学弟他作为一个宅男,闲着没事就喜欢用我教他的python来爬一些 “资源” 套图欣赏,我每次都骂他你总是这样找个女朋友不好点,他不以为然,依旧如故。气的我只好把他写的东西发出来让更多的人来谴责他!
我们先看一下他的效果图:
第一步:选取爬取的分类
第二步:开始爬取(默认保存C:sex, )
一、导包
二、定义全局变量
网址我和谐了,怕带坏你们。As we know,这些网站的域名一直变但是网站结构一般不会变化,所以日后变化就改动一下url变量就行。
三、总共八个核心处理函数
1、伪装报头访问函数
2、菜单,捕获输入函数
3、爬虫调度器函数
4、加载页面函数
5、加载图片
6、生成文件夹
默认c:/sex/
8、main
四、程序运行效果
全部是7个分类,使用多进程,保存了多少个分类就自动开多少个进程。输入目录对应编号就可以了,输入0时则结束输入,开始爬取
(每次运行前,如果旧的c:/sex/没删除,则应先手动删除)写的有点仓促,以后有时间会完善这个程序。
0