返回顶部
首页 > 资讯 > 后端开发 > Python >python3使用urllib抓取用户
  • 123
分享到

python3使用urllib抓取用户

用户urllib 2023-01-31 08:01:47 123人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

#python34 # -*- coding: utf-8 -*- import Http.cookiejar import urllib.error import urllib.parse import urllib.request

#python34
# -*- coding: utf-8 -*-

import Http.cookiejar
import urllib.error
import urllib.parse
import urllib.request

LOGIN_URL = r'http://......'
get_url = 'http://.......'  # 利用cookie请求访问另一个网址

username=input('用户名:')
passWord=input('密码:')
values = {'username': username, 'password': password}

postdata = urllib.parse.urlencode(values).encode()

headers = {
    'User-Agent':
    'Mozilla/5.0 (windows NT 6.1) AppleWEBKit/537.36 (Khtml, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}

cookie_filename = 'cookie_jar.txt'
cookie_jar = http.cookiejar.MozillaCookieJar(cookie_filename)
handler = urllib.request.HTTPCookieProcessor(cookie_jar)
opener = urllib.request.build_opener(handler)

request = urllib.request.Request(LOGIN_URL, postdata, headers)

try:
    response = opener.open(request)
    
    #将cookies保存到本地test.txt,便于读取
    cookies = list()
    for item in cookie_jar:
        cookies.append(item.name + '=' + item.value)
    print(cookies)
    with open('test.txt', 'w+', encoding='utf-8') as f:
        f.write(';'.join(cookies))
    
    #将cookies保存到本地cookie_jar.txt
    #cookie_jar.save(ignore_discard=True, ignore_expires=True)
except urllib.error.URLError as e:
    print(e.code, ':', e.reason)

#测试获取数据
get_request = urllib.request.Request(get_url)  
get_response = opener.open(get_request)  
print(get_response.read().decode())

--结束END--

本文标题: python3使用urllib抓取用户

本文链接: https://lsjlt.com/news/193461.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • python3使用urllib抓取用户
    #python34 # -*- coding: utf-8 -*- import http.cookiejar import urllib.error import urllib.parse import urllib.request ...
    99+
    2023-01-31
    用户 urllib
  • python3 urllib用法
    import urllib data = urllib.parse.urlencode(params).encode('utf-8') req = urllib.request.Request(url, data) req.add_head...
    99+
    2023-01-31
    urllib
  • Python3 使用urllib 发送a
    在爬取某网站的时候,碰到的一个问题, 在进行一个post请求时,postman 里面可以正常请求到数据,但是一模一样放到python里面就不行了,后面通过抓包发现了问题。 直接贴代码: raw = {‘number’: ‘12...
    99+
    2023-01-31
    urllib
  • Python3 Urllib库的基本使用
    一、什么是Urllib   Urllib库是Python自带的一个http请求库,包含以下几个模块: urllib.request    请求模块 urllib.error        异常处理模块 urllib.parse      ...
    99+
    2023-01-31
    Urllib
  • Python3学习urllib的使用方法示例
    urllib是python的一个获取url(Uniform Resource Locators,统一资源定址符)了,可以利用它来抓取远程的数据进行保存,本文整理了一些关于urllib使用中的一些关于head...
    99+
    2022-06-04
    示例 使用方法 urllib
  • 如何使用python3抓取微信公众号文章
    通过微信公众平台的查找文章接口,抓取我们需要的相关文章 1.首先我们先看一下,通过正常的登录自己的微信公众号,然后用文章搜索功能,搜索一下我们需要查找的相关文章。 打开https://mp.weixin.qq.com 登录公众号,打开素材...
    99+
    2023-01-31
    如何使用 公众 文章
  • python3使用urllib模块制作网络爬虫
    urllib urllib模块是python3的URL处理包 其中: 1、urllib.request主要是打开和阅读urls 个人平时主要用的1: 打开对应的URL:urllib.request.open...
    99+
    2022-06-04
    爬虫 模块 网络
  • 使用urllib
    工具为:python3(windows) 其完整表达式为: urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault...
    99+
    2023-01-30
    urllib
  • Python3使用requests包抓取并保存网页源码的方法
    本文实例讲述了Python3使用requests包抓取并保存网页源码的方法。分享给大家供大家参考,具体如下: 使用Python 3的requests模块抓取网页源码并保存到文件示例: import re...
    99+
    2022-06-04
    源码 并保存 网页
  • 【urllib的使用(上)】
    文章目录 一、urllib的基本用法二、urllib类型和方法类型方法 三、urllib下载下载网页下载图片下载视频 四、请求对象的定制五、编解码1.get请求方式urllib.par...
    99+
    2023-09-15
    python 前端 爬虫
  • python实现多线程抓取知乎用户
    需要用到的包: beautifulsoup4 html5lib image requests redis PyMySQL pip安装所有依赖包: pip install Image requ...
    99+
    2022-06-04
    多线程 用户 python
  • Python urllib如何使用
    本篇内容介绍了“Python urllib如何使用”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!一、简介urllib 库,它是 P...
    99+
    2023-07-04
  • python3怎么使用libpcap库抓包及处理数据
    本文小编为大家详细介绍“python3怎么使用libpcap库抓包及处理数据”,内容详细,步骤清晰,细节处理妥当,希望这篇“python3怎么使用libpcap库抓包及处理数据”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习...
    99+
    2023-07-04
  • Python的HTTP客户端模块urllib与urllib3怎么使用
    一、urllib概述:urllib是Python中请求url连接的官方标准库,就是你安装了python,这个库就已经可以直接使用了,基本上涵盖了基础的网络请求功能。在Python2中主要为urllib和urllib2,在Python3中整合...
    99+
    2023-05-20
    Python Http urllib
  • android使用Jsoup 抓取页面的数据
    jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取...
    99+
    2022-06-06
    jsoup 数据 Android
  • 如何使用python爬虫抓取弹幕
    这篇文章主要讲解了“如何使用python爬虫抓取弹幕”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“如何使用python爬虫抓取弹幕”吧!一、爬虫是什么?百度百科这样说:自动获取网页内容的程序...
    99+
    2023-06-29
  • 怎样使用Requests模块抓取网页?
    ​爬取网页其实就是通过URL获取网页信息,网页信息的实质是一段添加了JavaScript和CSS的HTML代码。Python提供了一个抓取网页信息的第三方模块requests,requests模块自称“HTTP for Humans”,直译...
    99+
    2023-05-14
    CSS JavaScript URL
  • 如何使用Requests模块抓取网页
    这篇文章主要介绍“如何使用Requests模块抓取网页”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“如何使用Requests模块抓取网页”文章能帮助大家解决问题。爬取网页其实就是通过URL获取网页信...
    99+
    2023-07-06
  • python3使用cookie免登录爬取
    前言 由于一些论坛不登录验证,就不能查看帖子的内容和附件,所以需要登录验证,如果在代码中添加登录验证,那就增加了代码的复杂度,所以可以结合cookie来登录然后爬取需要的资料 cookie的获取 使用chrome,登录后在开发工具里查取 ...
    99+
    2023-01-31
    cookie
  • python urllib库的使用详解
    目录1、请求模块:urllib.request data参数:post请求urlopen()中的参数timeout:设置请求超时时间:响应类型:响应的状态码、响应头:使用代理:url...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作