Python 官方文档：入门教程 => 点击学习
目录知识点爬虫基本步骤:爬虫代码导入所需模块获取网页地址发送请求数据解析保存数据运行代码，得到数据知识点 1.爬虫基本步骤 2.requests模块 3.parsel模块 4.xpa
1.爬虫基本步骤
2.requests模块
3.parsel模块
4.xpath数据解析方法
5.分页功能
1.获取网页地址 (糗事百科的段子的地址)
2.发送请求
3.数据解析
4.保存 本地
import re
import requests
import parsel
url = 'https://www.qiushibaike.com/text/'
# 请求头 伪装客户端向服务器发送请求
headers = {
'User-Agent': 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWEBKit/537.36 (Khtml, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}
requ = requests.get(url=url, headers=headers).text
sel = parsel.Selector(requ) # 解析对象 <Selector xpath=None data='<html xmlns="Http://www.w3.org/1999/x...'>
href = sel.xpath('//body/div/div/div[2]/div/a[1]/@href').getall()
for html in href:
txt_href = 'https://www.qiushibaike.com' + html
requ2 = requests.get(url=txt_href, headers=headers).text
sel2 = parsel.Selector(requ2)
title = sel2.xpath('//body/div[2]/div/div[2]/h1/text()').get().strip()
title = re.sub(r'[|/\：？<>*]','_',title)
# content = sel2.xpath('//div[@class="content"]/text()').getall()
content = sel2.xpath('//body/div[2]/div/div[2]/div[2]/div[1]/div/text()').getall()
contents = '\n'.join(content)
with open('糗事百科text\\'+title + '.txt', mode='w', encoding='utf-8') as fp:
fp.write(contents)
print(title, '下载成功')
【付费VIP完整版】只要看了就能学会的教程，80集Python基础入门视频教学
点这里即可免费在线观看
到此这篇关于python爬虫实战演练之采集糗事百科段子数据的文章就介绍到这了,更多相关python 采集糗事百科段子内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！
--结束END--
本文标题: Python爬虫实战演练之采集糗事百科段子数据
本文链接: https://lsjlt.com/news/155045.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
官方手机版
微信公众号
商务合作
0