python安装
python学习
二 爬一个图片网站上
python学习
二 02 爬一个图片网站,获得主链接网址,并保存
python学习
二 03 爬一个图片网站-获得所有分页网址
python学习
二 04 爬一个图片网站-解析文件,获得所有图片链接
python学习
二 05 爬一个图片网站-下载图片链接
python学习
二 06 爬一个图片网站-多线程方式下载
python学习
三 01 再爬一个网站,几行代码,搞定分类类别
到目前为止,我们创建好了网站类别,并且获得了每个类别所链接的网址,其中最底层的类别所对应的网址,就是图片展示列表。
看一下网页,
图片展示是分页形式的,看下源码
分页信息如上,
分页位于class=pagination的<ul>标签下,我们获得了首页,现在只需获得最后一页就行,最后一页保存在ul的末尾 last page ,我们获得lastpage的索引,中间的页面改变下索引就可以了。
下面我们要做的是获得所有分页信息
为此,我写了递归函数:
针对这个网页的分页形式,重写了获得分页函数
有了这两个函数之后,我们就可以将所有的分页都下载下来了。
下载下来后,下一步就是下载每个分页对应的图片了。
0