Python 官方文档:入门教程 => 点击学习
2022年9月25日更新 最近好几个兄弟反馈问财做了最大分页数的限制,无法查询所有数据了,我最近抽空处理了一下,现在把结果写在这里。 处理分页用到的代码较多,我就不全部贴了,我把功能封装成了一个pyt
最近好几个兄弟反馈问财做了最大分页数的限制,无法查询所有数据了,我最近抽空处理了一下,现在把结果写在这里。
处理分页用到的代码较多,我就不全部贴了,我把功能封装成了一个python包pywencai
,放到GitHub上了,感兴趣的可以去获取。
github地址:https://github.com/zsrl/pywencai
PyPI地址:https://pypi.org/project/pywencai/
详细用法可以去上边的地址看,我这里写下示例
由于包中执行了js代码,所以需要先保证你的计算机里有js运行环境,所以先安装一下node.js
之后安装包。
pip install pywencai
注:支持python3.8+版本,低版本环境请升级Python后使用。
import pywencaires = pywencai.get(question='退市股票', loop=True)print(res)
loop
参数即可以解决分页限制的问题,默认不传时为False
,最多只能返回100条数据,传True
,程序会循环分页,请求所有数据,返回全部结果。另外,你也可以将loop
设置为一个数字,指定循环分页的次数。
若使用此参数,会循环请求多次,会增加程序执行的时间,不过目前也只能做到这样了,我尝试了一下,还算可以接受。
使用时若遇到问题,可以留言或私信。
直接上代码
import osimport execjsimport JSONimport requests as rqimport pandas as pddef getToken(): with open(os.path.join(__file__, os.pardir, './hexin-v.js'), 'r') as f: jscontent = f.read() context= execjs.compile(jscontent) return context.call("v")def getWencai(**kwargs): data = { 'perpage': 10000, 'page': 1, 'secondary_intent': 'stock', 'iwcpro': '1', 'source': 'Ths_iwencai_Xuangu', **kwargs } res = rq.request( method='POST', url='Http://www.iwencai.com/unifiedwap/unified-wap/v2/result/get-robot-data', data=data, headers={ 'hexin-v': getToken(), 'User-Agent': 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWEBKit/537.36 (Khtml, like Gecko) Chrome/102.0.0.0 Safari/537.36' } ) result = json.loads(res.text) list = result['data']['answer'][0]['txt'][0]['content']['components'][0]['data']['datas'] return pd.DataFrame.from_dict(list)
hexin-v.js
这个文件我放到我的网站上了,可以直接打开链接下载https://beima.xyz/hexin-v.jsnode.js
写过,现在移植到python
程序,区别在于这里必须要改掉requests
发送请求时的默认User-Agent
,而且不可以设置为None
,应该是问财官方做了一些反爬的过滤,解决方法就是直接把你浏览器里的User-Agent
复制过来就好了,老法师应该都能懂。简单封装一下,非常实用。
来源地址:https://blog.csdn.net/u010214511/article/details/125036111
--结束END--
本文标题: 【从零开始玩量化5】Python程序获取同花顺问财数据
本文链接: https://lsjlt.com/news/387013.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0