怎么使用Python爬取网易云歌曲评论实现词云图

这篇文章主要讲解了“怎么使用python爬取网易云歌曲评论实现词云图”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“怎么使用Python爬取网易云歌曲评论实现词云图”吧！

环境使用

Python 3.8 解释器 3.10

PyCharm 2021.2 专业版

selenium 3.141.0

代码实现

先是安装、导入所需模块

from selenium import WEBdriver  # 导入浏览器的功能import re   # 正则表达式模块, 内置import time   # 时间模块, 程序延迟

1. 创建一个浏览器对象

driver = webdriver.Chrome()

2. 执行自动化

driver.get('https://music.163.com/#/song?id=488249475')# selenium无法直接获取到嵌套页面里面的数据driver.switch_to.frame(0)  # switch_to.frame()  切换到嵌套网页driver.implicitly_wait(10)  # 让浏览器加载的时候, 等待渲染页面

下拉页面, 直接下拉到页面的底部

js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight'driver.execute_script(js)

3.解析数据

divs = driver.find_elements_by_CSS_selector('.itm') # 所有div  css语法: 定位到 html 数据/xpath/正则for div in divs:    cnt = div.find_element_by_css_selector('.cnt.f-brk').text    cnt = re.findall('：(.*)', cnt)[0]  # 中英文有区别    print(cnt)

保存数据

翻页

for page in range(10):  # 控制翻页  速度太快    # 翻页 , 找到下一页标签, 点击?    driver.find_element_by_css_selector('.znxt').click()    time.sleep(1)# selenium  欲速则不达

保存为txt文件

with open('contend.txt', mode='a', encoding='utf-8') as f:    f.write(cnt + '\n')

运行代码得到结果

再做个词云

导入相关模块

import jieba  # 中文分词库  pip install jiebaimport Wordcloud  # 制作词云图的模块  pip install wordcloudimport imageio

读取文件数据

with open('contend.txt', mode='r', encoding='utf-8') as f:    txt = f.read()print(txt)

词云图 分词<中文(词语)> 基于结果

txt_list = jieba.lcut(txt)print('分词结果:', txt_list)

合并

string_ = ' '.join(txt_list)  # 1 + 1 = 2   字符串的基本语法print('合并分词:', string_)

创建词云图

wc = wordcloud.WordCloud(    width=1000,  # 图片的宽    height=800,  # 图片的高    background_color='white',  # 图片的背景色    font_path='msyh.ttc',  # 微软雅黑    scale=15,  # 词云图默认的字体大小    # mask=img,  # 指定词云图的图片    # 停用词< 语气词, 助词,....    stopwords=set([line.strip() for line in open('cn_stopwords.txt', mode='r', encoding='utf-8').readlines()] ))print('正在绘制词云图...')wc.generate(string_)  # 绘制词云图wc.to_file('out.png')  # 保存词云图print('词云图绘制完成...')

最后效果

感谢各位的阅读，以上就是“怎么使用Python爬取网易云歌曲评论实现词云图”的内容了，经过本文的学习后，相信大家对怎么使用Python爬取网易云歌曲评论实现词云图这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是编程网，小编将为大家推送更多相关知识点的文章，欢迎关注！