Python如何实现短视频爬虫

这篇文章主要介绍了python如何实现短视频爬虫，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

网站地址在代码里面，大家用心一下就能看到了。

使用的软件

Python 3.8PyCharm 2021.2

模块

requestsparselreconcurrent.futurestimewarnings

不会安装模块看这篇：python模块的安装以及安装失败的解决方法

知道你们不想看那些步骤，我直接上代码吧

import requestsimport parselimport reimport concurrent.futuresimport timeimport warnings# 取消警告warnings.filterwarnings("ignore")def get_html(url):    """发送请求获取网页源代码"""    html_data = requests.get(url=url, verify=False).text    return html_datadef parse_data_1(html_data):    """第一次解析, 拿到所有的详情页链接"""    selector = parsel.Selector(html_data)    url_list = selector.xpath('//a[@class="meta-title"]/@href').getall()    return url_listdef parse_data_2(html_data):    """第二次解析, 获取视频链接"""    video_url = re.findall('url: "(.*?)",', html_data)[0]    return video_urldef save(video_url):    """保存视频"""    title = video_url.split('/')[-1]    # 取链接当中的字段作为标题    video_data = requests.get(video_url, verify=False).content    # 发送网络请求    with open(f'video/{title}', mode='wb') as f:        f.write(video_data)    print(title, "爬取成功!!!")start_time = time.time()url = 'https://www.520mmtv.com/hd/rewu.html'# 1. 向目标网站发送请求html_data = get_html(url=url)# 2. 第一次解析数据 提取详情页链接url_list = parse_data_1(html_data=html_data)for info_url in url_list[:10]:    # 3. 向详情页发送请求    html_data_2 = get_html(url=info_url)    # 4. 第二次解析数据 提取视频播放地址    video_url = parse_data_2(html_data=html_data_2)    # 5. 保存视频    save(video_url=video_url)print('花费时间：', time.time() - start_time)

感谢你能够认真阅读完这篇文章，希望小编分享的“Python如何实现短视频爬虫”这篇文章对大家有帮助，同时也希望大家多多支持编程网，关注编程网Python频道，更多相关知识等着你来学习!