扫码关注官方微信

扫码下载APP
返回顶部
首页 > 资讯 > 后端开发 > Python >Python爬虫入门教程 53-100
  • 538

0
分享到

Python爬虫入门教程 53-100

爬虫入门教程Python 2023-01-31 00:01:16 538人浏览 泡泡鱼

Python 官方文档：入门教程 => 点击学习

摘要

爬取背景 这套课程虽然叫爬虫入门类课程，但是里面涉及到的点是非常多，十分检验你的基础掌握的牢固程度，代码中的很多地方都是可以细细品味的。 为什么要写这么一个小东东呢，因为我生活在大河北，那雾霾醇厚的很，去了趟三亚，那空气，啧啧，舒服的很，

爬取背景

这套课程虽然叫爬虫入门类课程，但是里面涉及到的点是非常多，十分检验你的基础掌握的牢固程度，代码中的很多地方都是可以细细品味的。

为什么要写这么一个小东东呢，因为我生活在大河北，那雾霾醇厚的很，去了趟三亚，那空气，啧啧，舒服的很，所以爬取一下三亚天气，看看什么时候去最好，理想的温度为24~28，呵呵哒

代码走起来 ，天气类的网址多的很，重点关注历史天气
找到这么一个网站 https://www.tianqi.com/sanya/

python3爬虫入门教程
发现入口，哈哈，有机会爬取到

代码走起来，爬虫套路上吧

简单的requests，复杂的scrapy 总有一款适合你的

哇哦~从2011年到2019年都有唉

python爬虫入门教程
月份点进去，呈现了大概这些信息，最高气温，最低气温，天气，风向，风力，好了数据都有了
Http://lishi.tianqi.com/sanya/201101.html
python爬虫入门教程
到这个地方不着急，慢慢来，一个天天写爬虫的人必须要对URL敏感，一看就嗨，小时候喜欢找规律的人长大都能写爬虫

URL 是这样子的
http://lishi.tianqi.com/sanya/201111.html
http://lishi.tianqi.com/sanya/201102.html
http://lishi.tianqi.com/sanya/201103.html
http://lishi.tianqi.com/sanya/201104.html

http://lishi.tianqi.com/[三亚的拼音]/年月.html

OK，这就简单了，走起，看起来就简单，那我就使用pyspider了 ，好久没有，都有点遗忘了呢
怎么运行呢？
python3爬虫教程

一顿操作，数据就下载到了

没有特别复杂的地方，基本就属于常规操作了

    def __init__(self):
        self._city = "sanya"
    
    def get_date_list(self,begin,end):
        date_list = [x.strftime("%Y%m") for x in list(pd.date_range(start=begin,end=end,freq="M"))]
        return date_list
    
    @every(minutes=24 * 60)
    def on_start(self):
        # 我需要生成201101~201812的所有链接
        date_list = self.get_date_list("2011-01-01","2019-01-01")
        for item in date_list:     
            self.crawl('http://lishi.tianqi.com/%s/%s.html' %(self._city,item) , callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        items = []
        for each in response.doc('.tQtongji2 > ul:not(.t1)').items():
            date = each("li:eq(0)").text()
            hot = each("li:eq(1)").text()
            cold =  each("li:eq(2)").text()
            weather = each("li:eq(3)").text()
            wind_direction = each("li:eq(4)").text()
            wind_power = each("li:eq(5)").text()
            
            
            item = {
                "date":date,
                "hot":hot,
                "cold":cold,
                "weather":weather,
                "wind_direction":wind_direction,
                "wind_power":wind_power}
            items.append(item)
        
        return items

基本数据分析

首先看一下数据的基本面

python3爬虫入门教程

  • 75% 都是26度的天气，很舒服
  • 都发现了异常数据，例如最低气温最小的竟然为0，最高气温为13，不合理
  • 最热竟然是37度，还不如我大河北温度，奇怪了？

excel 读取

def read_xlsx():
    df = pd.read_excel("天气数据.xlsx",names =["cold","date","hot","weather","wind","wind_s"])
    return df

我要知道，三亚天气的一个走势，这个地方直接按照时间进行图标制作吧

按照时间排序

df = read_xlsx()
    opt_df = df[['date','cold','hot']]
    opt_df = opt_df.sort_values(by='date')

可以明显的看到波峰和波谷，这个地方只能知道三亚的天气是有波动的，距离我得到最后的结果进了一点点
matplot绘图
按照单独的一年绘制，得到一个很混乱的图，还是没有得到我想要的结果

    opt_df = opt_df.set_index("date")

    for i in range(2011,2019):
        data = opt_df[str(i)]
        plt.plot(range(1,len(data)+1), data['cold'])
    plt.show()

每个颜色表示不同的年分，看来还是要用子图了。
python3爬虫入门教程
从上到下，我从2011年依次罗列到2018年

    opt_df = opt_df.set_index("date")

    for i in range(2011,2019):
        data = opt_df[str(i)]
        plt.subplot(8,1,i-2010)
        plt.grid(True)
        plt.plot(range(1,len(data)+1), data['cold'])
        plt.plot(range(1, len(data) + 1), data['hot'])
        plt.title(str(i)+u"年，温度曲线")
        plt.tight_layout()
    plt.savefig("filename.png")
    plt.show()

一个小的注意事项是：解决使用 plt.savefig 保存图片时一片空白

原因

其实产生这个现象的原因很简单：在 plt.show() 后调用了 plt.savefig() ，在 plt.show() 后实际上已经创建了一个新的空白的图片（坐标轴），这时候你再 plt.savefig() 就会保存这个新生成的空白图片。

知道了原因，就不难知道解决办法了，解决办法有两种：

在 plt.show() 之前调用 plt.savefig()；

import matplotlib.pyplot as plt

""" 一些画图代码 """

plt.savefig("filename.png")
plt.show()

画图的时候获取当前图像（这一点非常类似于 Matlab 的句柄的概念）：

    # GCf: Get Current Figure
    fig = plt.gcf()
    plt.show()
    fig1.savefig('tessstttyyy.png', dpi=100)

python分析三亚天气走势
细细的看了一下，发现好稳定。。。。走势变化不大，那么，在去细化，我们拆解2018年的，然后推断2019年的，这个地方需要的展示12个月份的天气了，代码走起。

    d2018 = opt_df["2018"]
    print(d2018)

    for i in range(1,13):
        data = opt_df["2018-"+str(i)]
        plt.subplot(12, 1, i)
        plt.grid(True)
        plt.plot(range(1, len(data) + 1), data['cold'])
        plt.plot(range(1, len(data) + 1), data['hot'])
        plt.title(str(i) + u"月，温度曲线")
        plt.yticks([0,5,10,15,20,25,30,35,40])
        plt.xticks(range(1,32))
        plt.tight_layout()
    plt.savefig("filename.png")
    plt.show()

三亚天气分析
哈哈，到现在为止，啥也没看出来
python3爬虫入门教程
继续努力，看平均天气，把2018年每个月的平均天气整理出来

月份 最低气温 最高气温
1 20.1 26.1
2 17.6 26.6
3 19.6 29.3
4 22.0 30.7
6 25.2 32.5
7 24.5 31.4
8 24.5 31.8
9 25.2 31.9
10 23.2 31.5
11 21.7 30.2
12 20.4 28.1

哈哈哈，都是好天气......我到底在做啥结果.....

三亚天气
受不了，我去百度了，看看天气网站的结论，emmm....一样，在我们河北人看来，这就是恒温的。
python3爬虫入门教程
我还有的分析，我的数据是这样子的
python爬虫入门教程
是否下雨，我可以统计一下，代码走起来
全年的天气

天气 天数
中雨 15
多云 176
大雨 5
小雨 5
晴 12
暴雨 1
阴 11
阵雨 38
雷阵雨 6

统计一下每个月的天气变化
python3爬虫入门教程
总结，两个结论，666

  1. 1月，2月，3月，11月，12月基本没雨
  2. 其他月份有雨

好吧，停止了，好像没得到啥数据，就是1月，2月，3月，11月，12月去三亚吧，这几个月份中3月份和11月份机票最便宜，看来我要写爬取机票的博客了

python3爬虫入门教程

您可能感兴趣的文档:

--结束END--

本文标题: Python爬虫入门教程 53-100

本文链接: https://lsjlt.com/news/181498.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Python爬虫入门教程 53-100
    爬取背景 这套课程虽然叫爬虫入门类课程，但是里面涉及到的点是非常多，十分检验你的基础掌握的牢固程度，代码中的很多地方都是可以细细品味的。 为什么要写这么一个小东东呢，因为我生活在大河北，那雾霾醇厚的很，去了趟三亚，那空气，啧啧，舒服的很，...
    99+
    2023-01-31
    爬虫 入门教程 Python
  • Python爬虫入门教程 57-100
    滑动验证码介绍 本篇博客涉及到的验证码为滑动验证码，不同于极验证，本验证码难度略低，需要的将滑块拖动到矩形区域右侧即可完成。 这类验证码不常见了，官方介绍地址为：https://promotion.aliyun.com/ntms/act...
    99+
    2023-01-31
    爬虫 入门教程 Python
  • Python爬虫入门教程 48-100
    1. 爬取前的分析 mitmdump是mitmproxy的命令行接口，比Fiddler、Charles等工具方便的地方是它可以对接Python脚本。 有了它我们可以不用手动截获和分析HTTP请求和响应，只需写好请求和响应的处理逻辑即可。 ...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 49-100
    爬前准备工作 在开始安装Appium之前，你要先知道Appium是做什么的？Appium 是一个自动化测试开源工具，看到没，做测试用的，它有点类似Selenium，可以自动操作APP实现一系列的操作。 标记重点，可以使用python对Ap...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 52-100
    写在前面 关于获取文章自动发送到邮箱，这类需求其实可以写好几个网站，弄完博客园，弄CSDN，弄掘金，弄其他的，网站多的是呢~哈哈 先从博客园开始，基本需求，获取python板块下面的新文章，间隔60分钟发送一次，时间太短估摸着没有多少新博...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 54-100
    爬虫背景 爬虫最核心的问题就是解决重复操作，当一件事情可以重复的进行的时候，就可以用爬虫来解决这个问题，今天要实现的一个基本需求是完成“博客园“ 博客的自动评论，其实原理是非常简单的，提炼一下需求 基本需求 登录博客园<不实现，登...
    99+
    2023-01-31
    爬虫 入门教程 Python
  • Python爬虫入门教程 36-100
    爬前叨叨 2018年就要结束了，还有4天，就要开始写2019年的教程了，没啥感动的，一年就这么过去了，今天要爬取一个网站叫做酷安，是一个应用商店，大家可以尝试从手机APP爬取，不过爬取APP的博客，我打算在50篇博客之后在写，所以现在就放...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 38-100
    爬前叨叨 今天要爬取一下正规大学名单，这些名单是教育部公布具有招生资格的高校名单，除了这些学校以外，其他招生的单位，其所招学生的学籍、发放的毕业证书国家均不予承认，也就是俗称的野鸡大学！ 网址是 https://daxue.eol.cn...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 25-100
    1. 知乎文章图片写在前面 今天开始尝试爬取一下知乎，看一下这个网站都有什么好玩的内容可以爬取到，可能断断续续会写几篇文章，今天首先爬取最简单的，单一文章的所有回答，爬取这个没有什么难度。 找到我们要爬取的页面，我随便选了一个 https...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 26-100
    1. 知乎文章图片爬取器之二博客背景 昨天写了知乎文章图片爬取器的一部分代码，针对知乎问题的答案json进行了数据抓取，博客中出现了部分写死的内容，今天把那部分信息调整完毕，并且将图片下载完善到代码中去。 首先，需要获取任意知乎的问题，只...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 44-100
    1. 第二款抓包工具Charles安装与使用 Charles和Fiddler一样，也是一款抓包工具，比Fiddler界面更加清晰，支持多平台 1.1 官方网址 https://www.charlesproxy.com/ 1.2 下载地址...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 45-100
    1. Charles抓取兔儿故事背景介绍 之前已经安装了Charles，接下来我将用两篇博客简单写一下关于Charles的使用，今天抓取一下兔儿故事里面关于小猪佩奇的故事。 爬虫编写起来核心的重点是分析到链接，只要把链接分析到，剩下的就好...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 47-100
    1. 准备下载软件 介绍一款爬虫辅助工具mitmproxy ，mitmproxy 就是用于MITM的proxy,MITM中间人攻击。说白了就是服务器和客户机中间通讯多增加了一层。跟Fiddler和Charles最大的不同就是，mitmpr...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 46-100
    1. 手机收音机-爬前叨叨 今天选了一下，咱盘哪个APP呢，原计划是弄荔枝APP，结果发现竟然没有抓到数据，很遗憾，只能找个没那么圆润的了。搜了一下，找到一个手机收音机 下载量也是不错的。 2. 爬虫套路 爬虫基本套路 抓包获取链接 ...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 32-100
    1. B站博人传评论数据爬取简介 今天想了半天不知道抓啥，去B站看跳舞的小姐姐，忽然看到了评论，那就抓取一下B站的评论数据，视频动画那么多，也不知道抓取哪个，选了一个博人传跟火影相关的，抓取看看。网址： https://www.bilib...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 34-100
    爬前叨叨 已经编写了33篇爬虫文章了，如果你按着一个个的实现，你的爬虫技术已经入门，从今天开始慢慢的就要写一些有分析价值的数据了，今天我选了一个《掘金网》，我们去爬取一下他的全站用户数据。 爬取思路 获取全站用户，理论来说从1个用户作为切...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 29-100
    1. 手机APP数据----写在前面 继续练习pyspider的使用，最近搜索了一些这个框架的一些使用技巧，发现文档竟然挺难理解的，不过使用起来暂时没有障碍，估摸着，要在写个5篇左右关于这个框架的教程。今天教程中增加了图片的处理，你可以重...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 30-100
    1. 高考派大学数据----写在前面 终于写到了scrapy爬虫框架了，这个框架可以说是python爬虫框架里面出镜率最高的一个了，我们接下来重点研究一下它的使用规则。 安装过程自己百度一下，就能找到3种以上的安装手法，哪一个都可以安装上...
    99+
    2023-01-30
    爬虫 入门教程 Python
  • Python爬虫入门教程 55-100
    验证码探究 如果你是一个数据挖掘爱好者，那么验证码是你避免不过去的一个天坑，和各种验证码斗争，必然是你成长的一条道路，接下来的几篇文章，我会尽量的找到各种验证码，并且去尝试解决掉它，中间有些技术甚至我都没有见过，来吧，一起Coding吧 ...
    99+
    2023-01-31
    爬虫 入门教程 Python
  • Python爬虫入门教程 41-100
    爬前叨叨 从40篇博客开始，我将逐步讲解一下手机APP的爬虫，关于这部分，我们尽量简化博客内容，在这部分中可能涉及到一些逆向，破解的内容，这部分尽量跳过，毕竟它涉及的东西有点复杂，并且偏离了爬虫体系太远，有兴趣的博友，可以一起研究下。 之...
    99+
    2023-01-30
    爬虫 入门教程 Python
软考高级职称资格查询
热门wiki
近期文章
推荐阅读
热门问答
热门标签
编程网，编程工程师的家园，是目前国内优秀的开源技术社区之一，形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。

  • 官方手机版

  • 微信公众号

  • 商务合作