突破反爬虫策略

2023-06-02 05:06:15 178人浏览安东尼

摘要

1.什么是爬虫和反爬虫爬虫是使用任何技术手段批量获取网站信息的一种方式，反爬虫是使用任何技术手段阻止别人批量获取自己网站信息的一种方式；2.User-Agent介绍User Agent中文名为用户代理，是Http协议中的一部分，属于头域的组

1.什么是爬虫和反爬虫

爬虫是使用任何技术手段批量获取网站信息的一种方式，反爬虫是使用任何技术手段阻止别人批量获取自己网站信息的一种方式；

2.User-Agent介绍

User Agent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识；
User-Agent是headers中的一个属性，表示当前访问服务器的身份信息，如果同一个身份过于频繁的访问服务器会被识别为机器身份，遭到反爬的打击，所以需要频繁的更改User-Agent信息；
User-Agent字段解析：浏览器标识 (操作系统标识; 加密等级标识; 浏览器语言) 渲染引擎标识版本信息；

3.使用不同的User-Agent来规避反爬策略

想要随机更改User-Agent，首先我们可以在蜘蛛文件的Spider类中添加一个header请求头，很多网站只需要userAgent信息就可以通过，但是有的网站还需要验证一些其他的信息，所以我们可以在请求头中添加一些需要用到的字段，比如：
Accept：客户端支持的数据类型，用逗号隔开，是有顺序的，分号前面是主类型，分号后是子类型；
Accept-Encoding：指定浏览器可以支持的WEB服务器返回内容压缩编码类型；
Accept-Language：浏览器可接受的自然语言的类型；
Connection：设置HTTP连接的持久化，通常都是Keep-Alive；
host：服务器的域名或IP地址，如果不是通用端口，还包含该端口号；
Referer：指当前请求的URL是在什么地址引用的；

headers = {        'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,**;q=0.8',            'Accept-Encoding': 'gzip, deflate',            'Accept-Language': 'zh-CN,zh;q=0.9',            'Connection': 'keep-alive',            'host': 'dribbble.com',            'Referer': 'https://dribbble.com/',        }        random_index = get_randam_int(user_agent_list)        random_agent = user_agent_list[random_index]        headers['User-Agent'] = random_agent        a_nodes = response.CSS('header div.teaser a')        for a_node in a_nodes:            # print(a_node)            a_url = a_node.css('::attr(href)').extract()[0]            a_image_url = a_node.css('img::attr(src)').extract()[0]            yield Request(headers=headers,url=parse.urljoin(response.url, a_url), callback=self.parse_analyse, meta={'a_image_url': a_image_url})