Python爬虫怎么实现搭建代理ip池

这篇“python爬虫怎么实现搭建代理ip池”文章的知识点大部分人都不太理解，所以小编给大家总结了以下内容，内容详细，步骤清晰，具有一定的借鉴价值，希望大家阅读完这篇文章能有所收获，下面我们一起来看看这篇“python爬虫怎么实现搭建代理ip池”文章吧。

一、User-Agent

在发送请求的时候，通常都会做一个简单的反爬。这时可以用fake_useragent模块来设置一个请求头，用来进行伪装成浏览器，下面两种方法都可以。

from fake_useragent import UserAgentheaders = {        # 'User-Agent': UserAgent().random #常见浏览器的请求头伪装（如：火狐,谷歌）        'User-Agent': UserAgent().Chrome #谷歌浏览器    }

二、发送请求

response = requests.get(url='Http://www.ip3366.net/free/', headers=request_header())        # text = response.text.encode('ISO-8859-1')        # print(text.decode('gbk'))

三、解析数据

我们只需要解析出ip、port即可。

使用xpath解析（个人很喜欢用）（当然还有很多的解析方法，如：正则，CSS选择器，BeautifulSoup等等）。

#使用xpath解析，提取出数据ip，端口        html = etree.HTML(response.text)        tr_list = html.xpath('/html/body/div[2]/div/div[2]/table/tbody/tr')        for td in tr_list:            ip_ = td.xpath('./td[1]/text()')[0] #ip            port_ = td.xpath('./td[2]/text()')[0]  #端口            proxy = ip_ + ':' + port_   #115.218.5.5:9000

四、构建ip代理池，检测ip是否可用

#构建代理ipproxy = ip + ':' + portproxies = {        "http": "http://" + proxy,        "https": "http://" + proxy,        # "http": proxy,        # "https": proxy,    }    try:        response = requests.get(url='https://www.baidu.com/',headers=request_header(),proxies=proxies,timeout=1) #设置timeout，使响应等待1s        response.close()        if response.status_code == 200:            print(proxy, '\033[31m可用\033[0m')        else:            print(proxy, '不可用')    except:        print(proxy,'请求异常')

五、完整代码

import requests                         #导入模块from lxml import etreefrom fake_useragent import UserAgent#简单的反爬，设置一个请求头来伪装成浏览器def request_header():    headers = {        # 'User-Agent': UserAgent().random #常见浏览器的请求头伪装（如：火狐,谷歌）        'User-Agent': UserAgent().Chrome #谷歌浏览器    }    return headers'''创建两个列表用来存放代理ip'''all_ip_list = []  #用于存放从网站上抓取到的ipusable_ip_list = [] #用于存放通过检测ip后是否可以使用#发送请求，获得响应def send_request():    #爬取7页，可自行修改    for i in range(1,8):         print(f'正在抓取第{i}页……')        response = requests.get(url=f'http://www.ip3366.net/free/?page={i}', headers=request_header())        text = response.text.encode('ISO-8859-1')        # print(text.decode('gbk'))        #使用xpath解析，提取出数据ip，端口        html = etree.HTML(text)        tr_list = html.xpath('/html/body/div[2]/div/div[2]/table/tbody/tr')        for td in tr_list:            ip_ = td.xpath('./td[1]/text()')[0] #ip            port_ = td.xpath('./td[2]/text()')[0]  #端口            proxy = ip_ + ':' + port_   #115.218.5.5:9000            all_ip_list.append(proxy)            test_ip(proxy)      #开始检测获取到的ip是否可以使用    print('抓取完成！')    print(f'抓取到的ip个数为：{len(all_ip_list)}')    print(f'可以使用的ip个数为：{len(usable_ip_list)}')    print('分别有：\n', usable_ip_list)#检测ip是否可以使用def test_ip(proxy):    #构建代理ip    proxies = {        "http": "http://" + proxy,        "https": "http://" + proxy,        # "http": proxy,        # "https": proxy,    }    try:        response = requests.get(url='https://www.baidu.com/',headers=request_header(),proxies=proxies,timeout=1) #设置timeout，使响应等待1s        response.close()        if response.status_code == 200:            usable_ip_list.append(proxy)            print(proxy, '\033[31m可用\033[0m')        else:            print(proxy, '不可用')    except:        print(proxy,'请求异常')if __name__ == '__main__':    send_request()

以上就是关于“Python爬虫怎么实现搭建代理ip池”这篇文章的内容，相信大家都有了一定的了解，希望小编分享的内容对大家有帮助，若想了解更多相关的知识内容，请关注编程网Python频道。