怎么用Python爬虫获取网址美图

本篇内容介绍了“怎么用python爬虫获取网址美图”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

python学习教程之爬虫：爬取街拍美图

抓包

查看参数信息

多看几页即可看见规律，主要改变的项无非是offset，timestamp，这里的stamp是13位的时间戳，再根据keyWord改变搜索项，可以改变offset值实现翻页操作，其他的都是固定项

数据解析

返回的数据中可以得到具体的栏目，image_list中是所有的图片链接，我们解析这个栏目，然后根据title下载图片即可

流程分析

构建url发起请求，改变offset的值执行便利操作，对返回的JSON数据进行解析，根据title名称建立文件夹，如果栏目含有图片，则以title_num的格式下载图片

import requestsimport osimport timeheaders = { 'authority': 'www.toutiao.com', 'method': 'GET', 'path': '/api/search/content/?aid=24&app_name=WEB_search&offset=100&fORMat=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&count=20&en_qc=1&cur_tab=1&from=search_tab&pd=synthesis&timestamp=1556892118295', 'scheme': 'https', 'accept': 'application/json, text/javascript', 'accept-encoding': 'gzip, deflate, br', 'accept-language': 'zh-CN,zh;q=0.9', 'content-type': 'application/x-www-form-urlencoded', 'referer': 'Https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D', 'user-agent': 'Mozilla/5.0 (windows NT 6.1; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/73.0.3683.103 Safari/537.36', 'x-requested-with': 'XMLHttpRequest',}def get_html(url): return requests.get(url, headers=headers).json()def get_values_in_dict(list): result = [] for data in list: result.append(data['url']) return resultdef parse_data(url): text = get_html(url) for data in text['data']: if 'image_list' in data.keys(): title = data['title'].replace('|', '') img_list = get_values_in_dict(data['image_list']) else: continue if not os.path.exists('街拍/' + title): os.makedirs('街拍/' + title) for index, pic in enumerate(img_list): with open('街拍/{}/{}.jpg'.format(title, index + 1), 'wb') as f: f.write(requests.get(pic).content) print("Download {} Successful".format(title))def get_num(num): if isinstance(num, int) and num % 20 == 0: return num else: return 0def main(num): for i in range(0, get_num(num) + 1, 20): url = 'https://www.toutiao.com/api/search/content/?aid={}&app_name={}&offset={}&format={}&keyword={}&' \ 'autoload={}&count={}&en_qc={}&cur_tab={}&from={}&pd={}&timestamp={}'.format(24, 'web_search', i, 'json', '街拍', 'true', 20, 1, 1, 'search_tab', 'synthesis', str(time.time())[:14].replace('.', '')) parse_data(url)if __name__ == '__main__': main(40)

“怎么用Python爬虫获取网址美图”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站，小编将为大家输出更多高质量的实用文章！