返回顶部
首页 > 资讯 > 后端开发 > Python >Python如何抓取淘宝IP地址数据
  • 780
分享到

Python如何抓取淘宝IP地址数据

2023-06-02 15:06:10 780人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

这篇文章主要介绍python如何抓取淘宝IP地址数据,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!示例代码def fetch(ip):    url =&n

这篇文章主要介绍python如何抓取淘宝IP地址数据,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

示例代码

def fetch(ip):    url = 'Http://ip.taobao.com/service/getIpInfo.PHP?ip=' + ip    result = []    try:        response = urllib.urlopen(url).read()        JSONdata = json.loads(response)        if jsondata[u'code'] == 0:            result.append(jsondata[u'data'][u'ip'].encode('utf-8'))                        result.append(jsondata[u'data'][u'country'].encode('utf-8'))            result.append(jsondata[u'data'][u'country_id'].encode('utf-8'))            result.append(jsondata[u'data'][u'area'].encode('utf-8'))            result.append(jsondata[u'data'][u'area_id'].encode('utf-8'))            result.append(jsondata[u'data'][u'region'].encode('utf-8'))            result.append(jsondata[u'data'][u'region_id'].encode('utf-8'))            result.append(jsondata[u'data'][u'city'].encode('utf-8'))            result.append(jsondata[u'data'][u'city_id'].encode('utf-8'))            result.append(jsondata[u'data'][u'county'].encode('utf-8'))            result.append(jsondata[u'data'][u'county_id'].encode('utf-8'))            result.append(jsondata[u'data'][u'isp'].encode('utf-8'))            result.append(jsondata[u'data'][u'isp_id'].encode('utf-8'))                    else:            return 0, result    except:        logging.exception("Url open failed:" + url)        return 0, result    return 1, result def worker(ratelimit, jobs, results, progress):    global cancel    while not cancel:        try:            ratelimit.ratecontrol()            ip = jobs.get(timeout=2) # Wait 2 seconds            ok, result = fetch(ip)            if not ok:                logging.error("Fetch infORMation failed, ip:{}".format(ip))                progress.put("") # Notify the progress even it failed            elif result is not None:                results.put(" ".join(result))            jobs.task_done()    # Notify one item        except Queue.Empty:            pass        except:            logging.exception("Unknown Error!")
def process(target, results, progress):    global cancel    while not cancel:        try:            line = results.get(timeout=5)        except Queue.Empty:            pass        else:            print >>target, line            progress.put("")            results.task_done()
def progproc(progressbar, count, progress):    """    Since ProgressBar is not a thread-safe class, we use a Queue to do the counting job, like    two other threads. Use this thread do the printing of progress bar. By the way, it will    print to stderr, which does not conflict with the default result output(stdout).    """    idx = 1    while True:        try:            progress.get(timeout=5)        except Queue.Empty:            pass        else:            progressbar.update(idx)            idx += 1

以上是“Python如何抓取淘宝IP地址数据”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注编程网Python频道!

--结束END--

本文标题: Python如何抓取淘宝IP地址数据

本文链接: https://lsjlt.com/news/230460.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Python如何抓取淘宝IP地址数据
    这篇文章主要介绍Python如何抓取淘宝IP地址数据,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!示例代码def fetch(ip):    url =&n...
    99+
    2023-06-02
  • Python爬虫抓取时如何更换ip地址
    这篇文章主要介绍了Python爬虫抓取时如何更换ip地址,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。python的五大特点是什么python的五大特点:1.简单易学,开发程...
    99+
    2023-06-15
  • 如何通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据
    如何通过抓取淘宝评论为例讲解Python爬取ajax动态生成的数据,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。在学习python的时候,...
    99+
    2024-04-02
  • 如何用Python获取计算机名,ip地址,mac地址
    目录获取计算机名获取ip地址获取mac地址获取计算机名 # 获取计算机名,常用的方法有三种,但最常用的是第一种 import os import socket # metho...
    99+
    2024-04-02
  • java如何获取ip地址
    java获取IP地址的方法: private static String getIpAddr(HttpServletRequest request) { String ip = request.getHeader("...
    99+
    2016-06-05
    java基础 java
  • shell如何获取IP地址
    这篇文章主要介绍了shell如何获取IP地址,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。获取IP地址:代码如下:ifconfig ...
    99+
    2024-04-02
  • 怎样用Python爬取淘宝评论数据
    今天就跟大家聊聊有关怎样用Python爬取淘宝评论数据,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。【项目准备工作】 准备Pycharm,下载安装等,不会安装的,可以回复:pytho...
    99+
    2023-06-01
  • Python如何实现获取内网IP地址
    本文小编为大家详细介绍“Python如何实现获取内网IP地址”,内容详细,步骤清晰,细节处理妥当,希望这篇“Python如何实现获取内网IP地址”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。方法一import&n...
    99+
    2023-07-05
  • 如何用python+selenium爬取淘宝美食
    今天就跟大家聊聊有关如何用python+selenium爬取淘宝美食,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。前言今天为大家介绍一个利用Python的selenium打开浏览器的...
    99+
    2023-06-02
  • php如何爬取天猫和淘宝商品数据
    这篇文章主要介绍了php如何爬取天猫和淘宝商品数据,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。 一、思路 最近做了一个网站用到了从网址爬取天猫和淘宝的商品信息,首先看了下手...
    99+
    2023-09-15
    php 开发语言 网络爬虫 数据挖掘 大数据
  • 如何获取IP代理地址
    这篇文章给大家分享的是有关如何获取IP代理地址的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。获得代理IP地址的四种方法:ADSL拨号服务器。缺点是IP需要重新连接时间,效率低。程序爬取的免费代理IP。这个效率很低...
    99+
    2023-06-15
  • 如何获取静态ip地址
    如何获取静态ip地址?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。1、路由器(1)将外部网线插入路由器的窗口,然后从路由器的四个窗口中自由选择插入网线和计算机的网卡连接。(...
    99+
    2023-06-15
  • vue中如何获取本地IP地址
    目录获取本地IP地址1、在浏览器中2、在vue文件中,实现如下获取本地内网IP获取本地IP地址 IP地址需要通过js获取: 网上有很多查询接口可以获取到IP,查到的搜狐的比较多,我这...
    99+
    2024-04-02
  • 利用java如何根据IP获取mac地址
    利用java如何根据IP获取mac地址?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。具体内容如下import java.net.InetAddress;import jav...
    99+
    2023-05-31
    java ip mac
  • 如何用python抓取B站数据
    目录概述我是对比快速开始1)安装过程2)获取弹幕数据3)绘制词云4)最终效果小结概述 可以获取的数据包括: video-视频模块 user-用户模块 dynamic-动态模块 这次用“Running Man”十周年特...
    99+
    2022-06-02
    python 抓取 python B站
  • Python如何逆向抓取APP数据
    本篇内容介绍了“Python如何逆向抓取APP数据”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!所需设备和环境:设备:安卓手机抓包:fidd...
    99+
    2023-06-16
  • python如何使用IP地址
    这篇文章主要介绍了python如何使用IP地址,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。使用IP地址如果你必须使用 Python 做网络...
    99+
    2024-04-02
  • 数据库中如何查看ip地址
    这篇文章主要介绍了数据库中如何查看ip地址,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。 SELECT...
    99+
    2024-04-02
  • linux如何自动获取ip地址
    linux中自动获取ip地址的方法:1、打开linux终端命令行;2、输入“sudo vi /etc/network/interfaces”命令修改interfaces配置文件;3、在配置文件中添加以dhcp方式配置网卡自动获取ip的代码;...
    99+
    2024-04-02
  • ubuntu如何自动获取ip地址
    ubuntu自动获取ip地址的方法:以DHCP方式配置网卡自动获取ip。输入以下命令编辑/etc/network/interfaces文件。sudo vi /etc/network/interfaces并在“#The primary net...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作