返回顶部
首页 > 资讯 > 后端开发 > Python >python反爬之懒加载
  • 719
分享到

python反爬之懒加载

加载python 2023-01-30 22:01:27 719人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

# 在平时的爬虫中,如果遇到没有局部刷新,没有字体加密,右键检查也能看到清晰的数据,但是按照已经制定好的解析规则进行解析时,会返回空数据,这是为什么呢,这时可以在网页右键查看一下网页源代码,可以发现,在网页上的源代码中有些部分是正确的,

# 在平时的爬虫中,如果遇到没有局部刷新,没有字体加密,右键检查也能看到清晰的数据,但是按照已经制定好的解析规则进行解析时,会返回空数据,这是为什么呢,这时可以在网页右键查看一下网页源代码,可以发现,在网页上的源代码中有些部分是正确的,有些标签是不正确的,改了名字或者加了数字,或者不是你在网页上检查看到的标签名,所以如果你按照网页上的解析规则去解析, 是解析不到的,这时就要按照网页源代码的解析规则去解析了,这就是典型的网页懒加载。
# 什么是网页懒加载?
# 网页懒加载是前端为了提高网页访问速度,将页面内没有出现在可视区域内的图片先不做加载,等到手动滑动鼠标滚动到可视区域后再加载。这样对于网页加载性能上会有很大的提升,懒加载的效果就可以提升用户体验。
import requests
from pyquery import PyQuery as pq
headers = {
    'User-Agent':"Mozilla/5.0 (windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10",
}
url = 'Http://sc.chinaz.com/tupian/fengjingtupian.html'
r = requests.get(url=url,headers = headers)
r.encoding = r.apparent_encoding
demo = r.text
soup = pq(demo)
src = soup('.box.picblock.col3 img')
for i in src:
    i = pq(i)
    i = i.attr('src2')
    print(i)
print(len(src))

  选取了站长之家作为目标站点

  右键检查看到的标签

 

实际爬取下来的网页源代码

 

按照这个解析规则,一般就能正确的解析出来需要的内容了。

 

--结束END--

本文标题: python反爬之懒加载

本文链接: https://lsjlt.com/news/180247.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • python反爬之懒加载
    # 在平时的爬虫中,如果遇到没有局部刷新,没有字体加密,右键检查也能看到清晰的数据,但是按照已经制定好的解析规则进行解析时,会返回空数据,这是为什么呢,这时可以在网页右键查看一下网页源代码,可以发现,在网页上的源代码中有些部分是正确的,...
    99+
    2023-01-30
    加载 python
  • Python和JS反爬之解决反爬参数 signKey
    目录实战场景系统分析实战场景 Python 反爬中有一大类,叫做字体反爬,核心的理论就是通过字体文件或者 CSS 偏移,实现加密逻辑 本次要采集的站点是:54yr55y855S15b...
    99+
    2024-04-02
  • (11)Hibernate懒加载
    1、get、load方法区别?get: 及时加载,只要调用get方法立刻向数据库查询load:默认使用懒加载,当用到数据的时候才向数据库查询。2、懒加载(lazy)2.1、概念概念:当用到数据的时候才向数据...
    99+
    2024-04-02
  • Android开发技巧之Fragment的懒加载
    前言 所谓懒加载,就是当fragment完全可见的时候我们再去加载数据,我们在做应用开发的时候,一个Activity里面可能会以viewpager(或其他容器)与多个Fragm...
    99+
    2022-06-06
    技巧 懒加载 android开发 fragment Android
  • Android之Viewpager+Fragment实现懒加载示例
    我们在做应用开发的时候,一个Activity里面可能会以viewpager(或其他容器)与多个Fragment来组合使用。而ViewPager默认会缓存三页数据,即:Viewpager每加载一个Fragment,都会预先加载此Fragmen...
    99+
    2023-05-31
    viewpager fragment age
  • EntityFrameworkCore延迟加载(懒加载)用法
    众所周知在EF 6 及以前的版本中,是支持懒加载(Lazy Loading)的,可惜在EF Core 并不支持,必须使用Include方法来支持导航属性的数据加载。不过现在EF Co...
    99+
    2024-04-02
  • uni-app image懒加载
     1、uni-app官方给的文档注意看 lazy-loadBooleanfalse图片懒加载。只针对page与scroll-view下的image有效微信小程序、百度小程序、字节跳动小程序、飞书小程序 只针对page与scroll-vie...
    99+
    2023-10-20
    uni-app 微信小程序 小程序
  • JavaScript懒加载详解
    目录懒加载CSS样式:HTML部分:script部分 :总结懒加载 顾名思义比较懒,不想全部加载出来,当用户什么时候想看我在加载后面的东西 概括:懒加载其实就是延时加载,即当对象需要...
    99+
    2024-04-02
  • webpack的懒加载和预加载详解
    目录正常加载懒加载预加载没有使用预加载使用预加载总结正常加载 为了看的方便,index.js中的代码非常简单 console.log('index.js执行了') import ...
    99+
    2024-04-02
  • IntersectionObserver懒加载怎么用
    这篇文章给大家分享的是有关IntersectionObserver懒加载怎么用的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。概念IntersectionObserver接口(从属...
    99+
    2024-04-02
  • redis懒加载是什么
    redis懒加载指的是延迟加载,当访问页面时,会把img标签中的src链接设为同一张图片,将其真正的图片地址存储在img标签的自定义属性中,当js监听到该图片元素进入可视窗口时,即将地址存储到src属性中,从而达到懒加载的效果。...
    99+
    2024-04-02
  • 什么是react懒加载
    本教程操作环境:Windows10系统、react18.0.0版、Dell G3电脑。什么是react懒加载?React懒加载一、懒加载是什么?为什么需要懒加载?懒加载:不会预加载,而是需要使用某段代码,某个组件或者某张图片时,才加载他们(...
    99+
    2023-05-14
    懒加载 React
  • mybatis源码解读之executor包懒加载功能
    ProxyFactory是创建代理类的工厂接口,其中的setProperties方法用来对工厂进行属性设置,但是mybatis内置的两个实现类都没有实现该接口,所以不支持属性设置。c...
    99+
    2024-04-02
  • javascript实现图片预加载和懒加载
    本文实例为大家分享了javascript实现图片预加载和懒加载的具体代码,供大家参考,具体内容如下 预加载 预加载是预先加载好后面需要用到的资源, 后面使用的时候直接去缓存里取。举个...
    99+
    2024-04-02
  • webpack如何实现懒加载和预加载
    小编给大家分享一下webpack如何实现懒加载和预加载,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!正常加载为了看的方便,index.js中的代码非常简单console.log('index.js执行了')...
    99+
    2023-06-22
  • VUE懒加载进阶指南:实现更丰富的懒加载效果
    Vue.js 生态系统中提供了许多优秀的懒加载插件,可以简化懒加载的实现过程。一些常用的懒加载插件包括: vue-lazyload vue-lazy-images vue-lazy-list 这些插件通常都提供了丰富的配置选项,允许您...
    99+
    2024-02-13
    1. 使用第三方懒加载插件
  • react懒加载怎么使用
    这篇文章主要介绍“react懒加载怎么使用”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“react懒加载怎么使用”文章能帮助大家解决问题。react懒加载是指不会预加载,而是需要使用某段代码,某个组...
    99+
    2023-07-04
  • vue 路由懒加载详情
    目录1、什么是路由懒加载2、路由懒加载的使用1、什么是路由懒加载 官方的解释: 当打包构建应用时,JavaScript 包会变得非常大,影响页面加载。 如果我们能把...
    99+
    2024-04-02
  • MyBatis懒加载如何实现
    这篇文章主要介绍“MyBatis懒加载如何实现”,在日常操作中,相信很多人在MyBatis懒加载如何实现问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”MyBatis懒加载如何实现”的疑惑有所帮助!接下来,请跟...
    99+
    2023-06-30
  • VUE懒加载实战教程:让你快速掌握图片懒加载技术
    VUE懒加载原理 VUE懒加载的原理是:在页面加载时,只加载当前视窗内的图片,其他图片等到滚动到视窗内时再加载。这样可以有效减少页面加载的资源开销,提高网站的加载速度。 VUE懒加载实现方法 VUE懒加载可以使用以下两种方法实现: 1....
    99+
    2024-02-13
    VUE 懒加载 图片加载 图片优化
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作