返回顶部
首页 > 资讯 > 后端开发 > Python >python requests模块的使用示例
  • 569
分享到

python requests模块的使用示例

2024-04-02 19:04:59 569人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

目录为什么使用requests:模拟get请求:模拟请求头部信息模拟post请求requests上传文件requests设置代理time模块设置请求超时retrying模块设置刷新c

为什么使用requests:

  • 支持使用Cookie保持会话
  • 支持文件上传
  • 支持自动确定响应内容的编码
  • 对用户来说比较人性化

模拟get请求:

获取token


# 使用微信公众平台举例
get_param_dict={
 "grant_type":"**************",
 "appid":"**************",
 "secret":"**************",
}
response = requests.get(url='https://api.weixin.qq.com/cgi-bin/token', # url地址
      params=get_param_dict) # 参数
print(response.content.decode('utf-8'))

模拟请求头部信息

注:因为requests请求头是以python,requests发起的,所以大部分接口都会需要手动添加头部信息


# get 模拟请求头部信息,(当你发现数据不对时,就模拟)
# 以百度举例
get_param_dict ={
 "wd":"newdream"
}
# 添加头部信息字典(可以使用抓包抓取到头部信息)
header_info_dict = {
 "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWEBKit/537.36 (Khtml, like Gecko) Chrome/84.0.4147.105 Safari/537.36",
 "Accpet":"text/plain, */*; q=0.01"
}
response = requests.get(url = 'Https://www.baidu.com/s',
      params=get_param_dict,headers=header_info_dict)
print(response.content.decode('utf-8'))

模拟post请求


import requests,json
# requests模拟发送post请求
# 使用微信公众平台举例
url_param_doct = {"access_token": "43_XcK_1rvR8VPgicGGzq7Vp2QrGx30Kwhy9SsshoVTQs11G_jP9aqhy2bwRQFuG2hYzkwVjphJFfPj8WYQR8vgfu5Xej7KaZBiyPDJ9sYoCKte78sqgtBdCf6N5S8QosNXBOFSEJnzLMbxJwCOTWAgAAANQU"}
post_param_data = {
 "tag" : {  "name" : "我是新标签" }
}
response = requests.post(url='https://api.weixin.qq.com/cgi-bin/tags/create',
       params=url_param_doct,
       # json=post_param_data # 可以使用json
       data=json.dumps(post_param_data) # 也可以使用data,但是data要求是字符串,需要使用json模块dumps转化
       )
print(response.content.decode('utf-8'))

requests上传文件


import requests,os
# post上传文件
current_path = os.path.dirname(__file__) # os模块定位当前路径
excel_path = os.path.join(current_path,'..','data','j.xlsx') # join拼接
excel_file = {'file':open(excel_path,'rb')} # 做成字典,open打开文件 rb:只读二进制
response = requests.post(url='https://2.Python-requests.org/', # requests官方实例文档地址
       files=excel_file) # files传文件
print( response.content.decode('utf-8') )

requests设置代理


import requests
# 设置代理:为什么设置代理?
# 爬虫项目,有检测机制
# 防止公司系统有防灌水功能
# 需要翻墙做接口的时候
proxy_server = {'http':'http://127.0.0.1:8888',
    'https':'http://127.0.0.1:8888'} # 做一个字典
proxy_user_pass = {
 'https':'http://uesrname:passWord@127.0.0.1:8888' # 需要用户跟密码使用这个
}
response = requests.get(url= 'https://baidu.com',
      proxies=proxy_server) # proxies设置代理关键字
print(response.status_code)

time模块设置请求超时

如果一个请求很久没有结果,就会让整个项目的效率变得非常低,这个时候我们就需要对请求进行强制要求

让他必须在特定的时间内返回结果,否则就报错。


# 设置请求超时
import requests
import time
print(time.time()) # 时间戳
response = requests.get(url='https://www.baidu.com',timeout=3) # timeout=3: 请求如果在规定时间之内(3秒钟内)没有得到响应,就会抛出超时错误
print(time.time())

retrying模块设置刷新

使用超时参数能够加快我们整体的请求速度,但是在正常的网页浏览过成功,如果发生速度很慢的情况,我们会做的选择是刷新页面

retrying模块就可以帮助我们解决。使用retrying模块提供的retry模块

通过装饰器的方式使用,让被装饰的函数反复执行retry中可以传入参数stop_max_attempt_number,让函数报错后继续重新执行

达到最大执行次数的上限,如果每次都报错,整个函数报错,如果中间有一个成功,程序继续往后执行。


import requests
from retrying import retry


# 如果函数连续调用三次都报错,才会报错,如果三次之中有一次成功,就成功
@retry(stop_max_attempt_number=3)
def get_response(url):
 response = requests.get(url, timeout=2)
 return response
retrying_requests = get_response("https://www.baidu.com")
print(retrying_requests.content.decode())

cookie设置

好处:能够访问登录后的页面

坏处:一套cookie往往对应的是一个用户的信息,请求太频繁有更大的可能性被对方识别为爬虫
如何解决 ?使用多个账号


# 使用requests提供的session模块
import requests
# 构造fORMdata表单数据,填写自己的账号和密码
post_data = {
 "username": "xxxxx",
 "password": "xxxxx"
}
# session的使用: 在请求之前创建session对象
session = requests.Session()
# 后续的请求都由session来发起,因为session中保存了用户的登陆信息
session.post(url="https://www.baidu.com", data=post_data)
response = session.get("https://www.baidu.com")
# 使用session请求登陆后的界面
print(response.content.decode())

处理证书认证错误


import requests
# 方式一:不验证证书,报警告,返回200
requests.packages.urllib3.disable_warnings()# 直接解决爆红警告

# 方式二不验证证书,报警告,返回200 ,后面拼接verify=False,加这个控制台报警的话,就在加上方式一
response = requests.get('https://www.12306.cn',verify=False)
print(response.content.decode('utf-8'))

# 方式三:安装pyopenssl 安装之后就不会报错# pip3 install -U requests[security] 
response = requests.get('https://www.12306.cn')
print(response.content.decode('utf-8'))

# 方式四: 加上证书 公司内部 问开发要xxx.crt文件 ,最稳妥
response = requests.get('https://www.12306.cn',cert=('/path/server.crt', '/path/key'))

requests+jsonpath解析数据


hosts = 'https://api.weixin.qq.com' # 主机地址
# 获取token
get_param_dict = {
 "grant_type":"**********",
 "appid":"*************",
 "secret":"***************"
}
response = requests.get('%s/cgi-bin/token'%hosts,params=get_param_dict)
json_obj = response.json()
 # json数据解析:从一个json体中取出需要的数据,就叫json数据解析
token_id = jsonpath.jsonpath(json_obj,'$.access_token')[0] # 接口依赖,接口关联
print(token_id)

以上就是python requests模块的使用的详细内容,更多关于python requests模块的使用的资料请关注编程网其它相关文章!

--结束END--

本文标题: python requests模块的使用示例

本文链接: https://lsjlt.com/news/123045.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • python requests模块的使用示例
    目录为什么使用requests:模拟get请求:模拟请求头部信息模拟post请求requests上传文件requests设置代理time模块设置请求超时retrying模块设置刷新c...
    99+
    2024-04-02
  • Python requests模块怎么使用
    本文小编为大家详细介绍“Python requests模块怎么使用”,内容详细,步骤清晰,细节处理妥当,希望这篇“Python requests模块怎么使用”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习...
    99+
    2023-07-05
  • requests模块使用
    安装 requests# 在命令行工具中使用pip install requests# 使用前需要导入import requests下面我们来看一下requests库的几种常用高级用法会话对象会话对象可以跨请求保持某些参数,在同一个 Ses...
    99+
    2023-06-02
  • 27 Python的requests模块
    概述         在上一节,我们介绍了Python的logging模块,包括:logging的基本使用、logging的选项设置、日志旋转、logging.Filter类等内容。在这一节,我们将介绍Python的requests模块。r...
    99+
    2023-10-20
    python requests模块 GET POST 请求头 会话管理
  • Python3使用requests模块显
    1. 相关资料 请求关键参数:stream=True。默认情况下,当你进行网络请求后,响应体会立即被下载。你可以通过 stream 参数覆盖这个行为,推迟下载响应体直到访问 Response.content 属性。 tarbal...
    99+
    2023-01-31
    模块 requests
  • python中的 uuid 模块使用示例
    此模块提供不可变的 UUID 对象 (类 uuid) 和函数uuid1()、uuid3()、uuid4()、uuid5(), 用于生成在 RFC 4122 中指定版本1、3、4和5UUIDs 。如果你想要的只是一个唯一 的ID,你应该调用...
    99+
    2023-01-30
    示例 模块 python
  • python模块requests的安装
    1.到requests的官网下载包, 2.取包名为requests-2.12.4.tar.gz下载并解压到本地 3.cmd,切换到其目录下,python setup.py install 4.cmd,python,import requ...
    99+
    2023-01-31
    模块 python requests
  • 详解Python requests模块
    前言 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests 自称 “HTTP for Humans”,说明使用更简洁方便。...
    99+
    2022-06-02
    Python requests模块 Python模块
  • python—requests模块详解
    一、前言 1、requests简介 requests是一个很实用的Python HTTP客户端库,爬虫和测试服务器响应数据时经常会用到,它是python语言的第三方的库,专门用于发送HTTP请求,使用...
    99+
    2023-09-04
    python 开发语言 requests 网络爬虫
  • python requests模块详解
    requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的: python的标准库urllib2提供了大部分需要的HTTP功能,但是A...
    99+
    2023-01-31
    详解 模块 python
  • python使用requests模块请求http接口
    目录 Python requests 模块requests常用参数及响应内容安装及导入requests模块HTTP 请求方法GET 请求POST 请求HTTP状态码postman生成pytho...
    99+
    2023-09-20
    python http
  • python中requests模块怎么用
    这篇文章将为大家详细讲解有关python中requests模块怎么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。Requests模块是一个用于网络请求的模块,主要用来模拟浏览器发请求。其实类似的模块有很...
    99+
    2023-06-29
  • Python使用lxml模块和Requests模块抓取HTML页面的教程
    Web抓取 Web站点使用HTML描述,这意味着每个web页面是一个结构化的文档。有时从中 获取数据同时保持它的结构是有用的。web站点不总是以容易处理的格式, 如 csv 或者 json 提供它们的数据。...
    99+
    2022-06-04
    模块 页面 教程
  • python的requests模块实现登
    51cto用python的requests模块实现登陆示例代码如下: -- coding:utf-8 --import requestsimport re client = requests.session()agent = "Mozill...
    99+
    2023-01-31
    模块 python requests
  • python使用requests模块下载文件并获取进度提示
    使用python3写了一个获取某网站文件的小脚本,使用了requests模块的get方法得到内容,然后通过文件读写的方式保存到硬盘同时需要实现下载进度的显示 安装模块pip3 install requests&...
    99+
    2023-01-31
    进度 模块 提示
  • Python的argparse 模块示例
    节选自 The Python Standard Library by Example中文版<python标准库示例>转载:http://blog.xiayf.cn/2013/03/30/argparse/argparse模块作为...
    99+
    2023-01-31
    示例 模块 Python
  • Python中time模块和datetime模块的用法示例
    time模块方法: time.time():获取当前时间的时间戳 time.localtime():接受一个时间戳,并把它转化为一个当前时间的元组。不给参数的话就会默认将time.time()作为参数传入 ...
    99+
    2022-06-04
    模块 示例 Python
  • Python pluggy模块的用法示例演示
    目录1 pluggy 简介2 安装3 使用初体验4 详解解释5 HookspeckMarker装饰器支持传入一些特定的参数6 HookImplMarker装饰器也支持传入一些特定的参...
    99+
    2024-04-02
  • Python的collections模块中namedtuple结构使用示例
    namedtuple 就是命名的 tuple,比较像 C 语言中 struct。一般情况下的 tuple 是 (item1, item2, item3,...),所有的 item 都只能按照 index 访...
    99+
    2022-06-04
    示例 模块 结构
  • python模块的示例分析
    小编给大家分享一下python模块的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!Python的优点有哪些1、简单易用,与C/C++、Java、C# 等传...
    99+
    2023-06-14
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作