扫码关注官方微信

扫码下载APP
返回顶部
首页 > 资讯 > 后端开发 > Python >python自动获取微信公众号最新文章的实现代码
  • 412

0
分享到

python自动获取微信公众号最新文章的实现代码

2024-04-02 19:04:59 412人浏览 薄情痞子

Python 官方文档：入门教程 => 点击学习

摘要

目录微信公众号获取思路采集实例微信公众号获取思路 常用的微信公众号文章获取方法有搜狐、微信公众号主页获取和api接口等多个方法。听说搜狐最近不怎么好用了，之前用的api接口也频繁维护

微信公众号获取思路

常用的微信公众号文章获取方法有搜狐、微信公众号主页获取和api接口等多个方法。
听说搜狐最近不怎么好用了，之前用的api接口也频繁维护，所以用了微信公众平台来进行数据爬取。
首先登陆自己的微信公众平台，没有账号的可以注册一个。进来之后找“图文信息”，就是写公众号的地方

在这里插入图片描述

点进去后就是写公众号文章的界面，在界面中找到“超链接” 的字段，在这里就可以对其他的公众号进行检索。

在这里插入图片描述

在这里插入图片描述

以“python”为例，输入要检索的公众号名称，在显示的公众号中选择要采集的公众号

在这里插入图片描述

点开浏览器的检查，找到network中，下图里的这个链接，而右边的Request URL才是存储公众号数据的真实链接。说明这是个JSON网页。

在这里插入图片描述

采集实例

以公众号“Python”的 链接 为例对网址进行分析。

https://mp.weixin.qq.com/cgi-bin/appmsg：微信公众平台的链接
"token": "163455614",     #需要定期修改的token
"lang": "zh_CN", #语言
"f": "json",
"ajax": "1",  #显示几天的文章
"action": "list_ex"
"begin": "0", #起始页面
"count": "1", #计数
"query": "",
"fakeid": 'MzIwNDA1OTM4NQ==',  #公众号唯一编码
"type": "9",

既然发现了fakeid是代表公众号的唯一编码，那接下来只需要把需要的公众号的fakeid找到就行，我随意找了三个公众号的进行测试。

fakeid=[ 'MzIwNDA1OTM4NQ==','MzkxNzAwMDkwNQ==','MjM5NzI0NTY3Mg==']
#若增加公众号需要增加fakeid

那接下来就是对网址的请求
首先导入需要的库

import time
import requests
from lxml import etree
import pandas as pd
import json
import numpy as np
import datetime
import urllib3
from urllib3.exceptions import InsecureRequestWarning

urllib3.disable_warnings(InsecureRequestWarning)

由于不想重复登录公众号平台，可以使用cookie避开登陆，对文章求情前需要找到网页的cookie和User-Agent，由于微信公众号回定期刷新，这个cookie和上面的token都要定期更换。
为避免反扒最好也找个代理ip

headers = {
"Cookie": "appmsglist_action_3567997841=card;wxuin=49763073568536;pgv_pvid=6311844914;ua_id=x6Ri8bc9LeaWnjNNAAAAADI-VXURALRxlSurJyxNNvg=;mm_lang=zh_CN;pac_uid=0_3cf43Daf28071;eas_sid=11Q6v5b0x484W9i7W0Z7l7m3I8;rewardsn=;wxtokenkey=777;wwapp.vid=;wwapp.cst=;wwapp.deviceid=;uuid=fd43d0b369e634ab667a99eade075932;rand_info=CAESIHgWwDfp3W4M9F3/TGnzHp4kKkrkMiCEvN/tSNhHtNBm;slave_bizuin=3567997841;data_bizuin=3567997841;bizuin=3567997841;data_ticket=IfMEEajZ8UvywUZ1NiIv9eKZkq0cgeS0oP6tTzEwNSjwK6q+u5vLw0XYeFvLL/JA;slave_sid=aVBzSlpYOGt4eTdmbzFRWDc1OUhzR1A1UkwzdUdBaklDaGh2dWY2MUZKTEw1Um1aalZRUXg5aVBMeEJVNklCcGlVN0s5Z3VEMmRtVENHS1ZxNTBDOWRCR0p2V2FyY2daU0hxT09Remd5YmlhRWExZkMwblpweVc3SndUbnJIQk55MGhUeExJa1NJcWZ0QmJS;slave_user=gh_e0f449d4f2b6;xid=7d5dc56bb7bb526c70cfef3f6bdfa18a",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWEBKit/537.36 (Khtml, like Gecko) Chrome/100.0.4896.75 Safari/537.36",
    }
proxies = {'Http': '112.80.248.73'}

接下来就可以对页面进行爬取，获取页面中的文章标题与文章链接，以及文章的时间，对网页的信息进行分析发现网页的所有信息都保存在’app_msg_list’这个字段中，所以对这个字段中的数据进行提取。

代码如下：

获取到的数据包存在df中，这里的数据还不是微信公众号的最新文章数据，而是微信公众号这最近一天发出的文章数据。所以还需要对发文的时间进行筛选。注意到这里的时间格式为时间戳，所以需要对时间数据进行转换
转换代码如下：

def time_s(df):
    def transfer_time(s): #时间处理
        aa = time.ctime(s)
        bb = aa.split(' ')
        cc = (bb[-1]+"-"+bb[1]+"-"+bb[-3]).replace('Jan','1').replace('Feb','2').replace('Mar','3'). \
            replace('Apr','4').replace('May','5').replace('Jun','6').replace('Jul','7').replace('Aug','8') \
            .replace('Sep','9').replace('Oct','10').replace('Nov','11').replace('Dec','12')
        dd = datetime.datetime.strptime(cc,'%Y-%m-%d').date()
        return dd
    
    ti=[]
    hd=[]
    for i in range(0,len(df['time'])):
        timestap= transfer_time(df['time'][i])
        ti.append(timestap)
        #print(ti)
        d= ti[i] + datetime.timedelta(weeks=0, days=0, hours=0, minutes=0, seconds=0, milliseconds=0, microseconds=0, )
        #dc = d.strftime("%Y-%m-%d")
        hd.append(d)
        
    df['time']=hd

这样就可以把微信公众号的时间戳数据转换为时间数据，之后，根据当前天的日期对数据集中的内容进行提取与存储就OK啦

dat=df[df['time'] == datetime.date.today() + datetime.timedelta(days= -1)] #自动获取昨天日期，将-1改为-2，则为前天的日期，以此类推
    ##改自动化
    path = 'C:/Users/gpower/Desktop/work/行业信息/'   #根据自己电脑位置更改
    import re
    filename=path+"微信公众号采集" + re.sub(r'[^0-9]','',datetime.datetime.now().strftime("%Y-%m-%d")) + '.csv'
    # 对文件进行命名，以“微信公众号采集+当前日期”命名
    dat.to_csv(filename,encoding='utf_8_sig')
    print("保存成功")

这样就可以把需要的微信公众号最新文章采集下来了，需要多个微信公众号在fakeid中添加公众号的识别码就OK啦～

到此这篇关于python自动获取微信公众号最新文章的文章就介绍到这了,更多相关python自动获取微信公众号文章内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！

您可能感兴趣的文档:

--结束END--

本文标题: python自动获取微信公众号最新文章的实现代码

本文链接: https://lsjlt.com/news/119363.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • python自动获取微信公众号最新文章的实现代码
    目录微信公众号获取思路采集实例微信公众号获取思路 常用的微信公众号文章获取方法有搜狐、微信公众号主页获取和api接口等多个方法。听说搜狐最近不怎么好用了，之前用的api接口也频繁维护...
    99+
    2024-04-02
  • 怎么用python自动获取微信公众号最新文章
    本篇内容介绍了“怎么用python自动获取微信公众号最新文章”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！微信公众号获取思路常用的微信公众号...
    99+
    2023-07-02
  • python如何实现微信公众号文章爬取
    小编给大家分享一下python如何实现微信公众号文章爬取，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！具体步骤如下：一、安装代理服务器目前使用的是Anyproxy...
    99+
    2023-06-19
  • python爬取微信公众号文章图片并转为PDF
    遇到那种有很多图的微信公众号文章咋办？一个一个存很麻烦，应朋友的要求自己写了个爬虫。2.0版本完成了！完善了生成pdf的功能，可根据图片比例自动调节大小，防止超出页面范围，增加了序号...
    99+
    2024-04-02
  • 使用Python获取公众号下所有的文章
    目录导出公众号所有文章开发者ID与开发者密码保存数据到CSV文件导出公众号所有文章 随着互联网的不断发展，网络上兴起了很多的自媒体平台。不用我说，相信大家也能知道当下非常流行的平台都...
    99+
    2024-04-02
  • Python实现快速保存微信公众号文章中的图片
    目录一、实现效果(以槿泉壁纸为例)二、实现过程三、源码四、Python正则表达式匹配日期与时间一、实现效果(以槿泉壁纸为例) 二、实现过程 1.新建一个link文本，将需要下...
    99+
    2024-04-02
  • Python怎么实现快速保存微信公众号文章中的图片
    本文小编为大家详细介绍“Python怎么实现快速保存微信公众号文章中的图片”，内容详细，步骤清晰，细节处理妥当，希望这篇“Python怎么实现快速保存微信公众号文章中的图片”文章能帮助大家解决疑惑，下面跟着小编的思路慢慢深入，一起来学习新知...
    99+
    2023-07-02
  • PHP开发微信公众号：如何实现文章推荐功能
    PHP开发微信公众号：如何实现文章推荐功能，需要具体代码示例随着移动互联网的发展，微信公众号正逐渐成为企业和个人传播信息的重要平台。为了增加用户体验和吸引更多用户，微信公众号的文章推荐功能成为了不可或缺的一部分。本文将介绍如何使用PHP开发...
    99+
    2023-10-26
    微信公众号 PHP开发 文章推荐
  • PHP开发微信公众号：如何实现自动回复
    PHP开发微信公众号：如何实现自动回复微信公众号是企业或个人通过微信平台向用户提供服务、传播信息的重要渠道之一。自动回复是微信公众号功能中的关键点之一，它可以帮助企业快速响应用户的咨询、指引用户进行相关操作，提高用户的满意度和体验。本文将介...
    99+
    2023-10-27
    PHP编程 微信公众号开发 自动回复 PHP开发微信公众号：
  • NodeJS实现微信公众号关注后自动回复功能
    一 实先自动回复功能的逻辑步骤 　　1 处理POST类型的控制逻辑，接收XML的数据包； 　　2 解析XML数据包（获得数据包的消息类型或者是事件类型）； 　　3 拼装我们定义好的消息； 　　4 包装成XM...
    99+
    2022-06-04
    自动回复 公众 功能
  • 在PHP中实现微信公众号新用户自动欢迎消息发送
    在今天的社交媒体时代，微信公众号已成为许多企业和个人建立在线品牌和社交媒体营销的重要手段。对于一个新用户来说，第一次关注公众号是一个重要的节点，也是建立一个良好关系的最佳时机。在这个时候，自动发送欢迎消息是十分重要的。在PHP中，通过一些简...
    99+
    2023-05-14
    PHP 微信公众号 自动消息发送
  • 微信公众号开发中使用Java如何实现获取用户的信息
    微信公众号开发中使用Java如何实现获取用户的信息？针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。首先需要到微信网站去设置一下，我是直接用的微信测试号。　　　　　　　　接口配...
    99+
    2023-05-31
    java 微信公众号 用户信息
  • 如何利用python给微信公众号发消息实例代码
    现在通过发微信公众号信息来做消息通知和告警已经很普遍了。最常见的就是运维通过zabbix调用shell脚本给微信发消息，起到告警的作用。当要发送的信息较多，而且希望按照指定格式显示的...
    99+
    2024-04-02
  • python使用pywinauto驱动微信客户端实现公众号爬虫
    目录项目地址pywinauto简介WechatAutomator类init_windowcrawl_gongzhonghaolocate_userprocess_page项目地址 https://github.com...
    99+
    2022-06-02
    python pywinauto python 公众号爬虫
  • 如何利用PHP实现微信公众号的营销活动
    如何利用PHP实现微信公众号的营销活动微信公众号作为现代社交媒体营销的重要渠道之一，拥有庞大的用户群体和强大的社交传播能力，成为企业推广产品和服务的理想平台之一。在微信公众号中，通过开展精心设计的营销活动，可以有效吸引用户关注，提升品牌曝光...
    99+
    2023-10-27
    PHP 微信公众号 营销活动
  • python代码实现扫码关注公众号登录的实战
    目录获取二维码部分获取关注状态值解析微信服务器报文大致思路：调用微信带参数二维码接口生成二维码，前端显示二维码同时于服务器进行长链接通信，监控关注状态，如果有对应的场景码参数的关注，...
    99+
    2024-04-02
  • nodejs微信公众号开发之如何实现自动回复各种消息
    这篇文章主要介绍了nodejs微信公众号开发之如何实现自动回复各种消息，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。1. 被动回复用户消息当...
    99+
    2024-04-02
  • python如何使用pywinauto驱动微信客户端实现公众号爬虫
    这篇文章主要介绍了python如何使用pywinauto驱动微信客户端实现公众号爬虫，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。pywinauto简介pywinauto是一...
    99+
    2023-06-15
  • vue实现微信公众号h5跳转小程序的示例代码第1/3页
    目录项目概述涉及知识点实现实现容器computed 实现分页项目概述 实现类似图中红色框框选中可以左右滑动的组件，点击可以跳转到对应的小程序页面。 涉及知识点 computed 实...
    99+
    2022-11-13
    vue 公众号跳转小程序 vue 公众号跳转
  • 帝国cms通过自定义函数获取新闻文章数的实现代码
    在帝国cms中实现获取用户发表的新闻数量，没有现成的方法，不过可以用自定义函数来实现，一起来看看。 帝国cms中添加用户自定义函数。 就是在e/class/userfun.php文件中加下如下函数即可： 1，核心函数内容...
    99+
    2022-06-12
    帝国cms 新闻文章数
软考高级职称资格查询
热门wiki
近期文章
推荐阅读
热门问答
热门标签
编程网，编程工程师的家园，是目前国内优秀的开源技术社区之一，形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。

  • 官方手机版

  • 微信公众号

  • 商务合作