返回顶部
首页 > 资讯 > 后端开发 > Python >Python静态网页爬取:批量获取高清壁
  • 681
分享到

Python静态网页爬取:批量获取高清壁

静态批量网页 2023-01-31 00:01:58 681人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

前言 在设计爬虫项目的时候,首先要在脑内明确人工浏览页面获得图片时的步骤 一般地,我们去网上批量打开壁纸的时候一般操作如下: 1、打开壁纸网页 2、单击壁纸图(打开指定壁纸的页面) 3、选择分辨率(我们要下载高清的图) 4、保存图片 实际

前言

在设计爬虫项目的时候,首先要在脑内明确人工浏览页面获得图片时的步骤

一般地,我们去网上批量打开壁纸的时候一般操作如下:

1、打开壁纸网页

2、单击壁纸图(打开指定壁纸的页面)

3、选择分辨率(我们要下载高清的图)

4、保存图片

实际操作时,我们实现了如下几步网页地址的访问:打开了壁纸的网页→单击壁纸图打开指定页面→选择分辨率,点击后打开最终保存目标图片网页→保存图片

在爬虫的过程中我们就尝试通过模拟浏览器打开网页的操作,一步步获得、访问网页、最后获得目标图片的下载地址,对图片进行下载保存到指定路径中

*这些中间过程中网页的一些具体筛选条件的构造,需要打开指定页面的源代码去观察和寻找包含有目的链接的标签

具体实现项目与注释

这里我只想获得一些指定的图片,所以我先在网页上搜索“长门有希”,打开了一个搜索结果页面,发现在这个页面上就已经包含了同类型的其他壁纸链接,于是我一开始就把最初访问的目的地址设置为这个搜索结果页面

目标结果页面截图:


 

图中下标为"1/29"."2/29"为其他同类型目标壁纸,通过点击这些图片我们可以打开新的目标下载图片页面

这里我们查看一下网页源代码


 

 

图中黄色底的地方就是打开这些同类壁纸的目的地址(访问的时候需要加上前缀"Http://desk.zol.com.cn")

现在我们可以尝试实现构建爬虫:

打开指定页面→筛选获得所有长门有希壁纸的目标下载页面链接

代码如下:


 

获得地址以后我们可以通过获取地址→打开指定页面→选择分辨率→获得目的下载地址→保存到本地指定路径中

测试的时候我输出了一下上一步truelist中保存的内容


 

可以看到保存的只是一个后缀,在访问的时候我们需要加上一个指定的前缀

实现代码如下(注释见代码):


 

最后可以在自己的目标文件夹中看到爬下来的图片集~


 

--结束END--

本文标题: Python静态网页爬取:批量获取高清壁

本文链接: https://lsjlt.com/news/181988.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Python静态网页爬取:批量获取高清壁
    前言 在设计爬虫项目的时候,首先要在脑内明确人工浏览页面获得图片时的步骤 一般地,我们去网上批量打开壁纸的时候一般操作如下: 1、打开壁纸网页 2、单击壁纸图(打开指定壁纸的页面) 3、选择分辨率(我们要下载高清的图) 4、保存图片 实际...
    99+
    2023-01-31
    静态 批量 网页
  • python动态网页批量爬取
    四六级成绩查询网站我所知道的有两个:学信网(http://www.chsi.com.cn/cet/)和99宿舍(http://cet.99sushe.com/),这两个网站采用的都是动态网页。我使用的是学信...
    99+
    2022-06-04
    批量 动态网页 python
  • Python爬虫利用多线程爬取LOL高清壁纸
    目录页面分析抓取思路数据采集程序运行总结前言: 随着移动端的普及出现了很多的移动 APP,应用软件也随之流行起来。 最近又捡起来了英雄联盟手游,感觉还行,PC 端英雄联盟可谓是爆火的...
    99+
    2024-04-02
  • 怎么利用Python批量爬取网页图片
    你可以使用Python的requests库来发起HTTP请求,并使用BeautifulSoup库来解析HTML文档以获取图片的URL...
    99+
    2023-09-27
    Python
  • 如何Python爬取5K分辨率高清桌面壁纸
    本篇文章为大家展示了如何Python爬取5K分辨率高清桌面壁纸,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。前言相信大家都很需要哪些既好看又能符合自己当时的心情的高清壁纸,很多时候壁纸反应我们当时的...
    99+
    2023-06-02
  • Python怎么利用多线程爬取LOL高清壁纸
    这篇“Python怎么利用多线程爬取LOL高清壁纸”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Python怎么利用多线程爬...
    99+
    2023-07-02
  • Python怎么爬取图虫创意优质高清壁纸图
    本篇文章给大家分享的是有关Python怎么爬取图虫创意优质高清壁纸图,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。图片素材一直各类设计必不可少的元素,一图胜千言,一张好的图片贯...
    99+
    2023-06-02
  • python爬取动态网页的方法是什么
    Python爬取动态网页的方法有以下几种:1. 使用Selenium库:Selenium是一个自动化测试工具,可以模拟浏览器操作,包...
    99+
    2023-09-15
    python
  • python如何爬取智能翻页批量下载文件
    这篇文章主要介绍python如何爬取智能翻页批量下载文件,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!Python主要用来做什么Python主要应用于:1、Web开发;2、数据科学研究;3、网络爬虫;4、嵌入式应用开...
    99+
    2023-06-14
  • Python 基于Selenium实现动态网页信息的爬取
    目录一、Selenium介绍与配置1.Selenium简介2. Selenium+Python环境配置二、网页自动化测试1.启动浏览器并打开百度搜索2.定位元素三、爬取动态网页的名人...
    99+
    2024-04-02
  • 只用50行Python代码爬取网络美女高清图片
    目录一、技术路线二、获取网页信息三、网页爬取分析四、网页详情页链接获取五、依据图片链接保存图片六、main()函数七、完整代码一、技术路线 requests:网页请求 Beautif...
    99+
    2024-04-02
  • Python爬虫:如何快速掌握Python爬虫核心技术,批量爬取网络图片
    对于爬虫,很多伙伴首选的可能就是Python了吧,我们在学习Python爬虫的时候得有侧重点,这篇文章教大家如何快速掌握Python爬虫的核心!有不清楚的地方,可以留言!1. 概述本文主要实现一个简单的爬虫,目的是从一个百度贴吧页面下载图片...
    99+
    2023-06-02
  • Python基于Selenium怎么实现动态网页信息的爬取
    这篇文章主要介绍“Python基于Selenium怎么实现动态网页信息的爬取”,在日常操作中,相信很多人在Python基于Selenium怎么实现动态网页信息的爬取问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答...
    99+
    2023-06-22
  • python通过selenium爬取网页信息,python获取浏览器请求内容,控制已经打开的浏览器
    背景:通过python中直接get或者urlopen打开一些有延迟加载数据的网页,会抓取不到部分信息。 1. 命令行打开chrome,并开启调试端口(前提,找到chrome安装目录,找到chrome....
    99+
    2023-09-03
    python selenium chrome 爬虫
  • 如何使用Node.js爬取任意网页资源并输出高质量PDF文件到本地
    这篇文章主要讲解了“如何使用Node.js爬取任意网页资源并输出高质量PDF文件到本地”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“如何使用Node.js爬...
    99+
    2024-04-02
  • python爬取bilibili网页排名,视频,播放量,点赞量,链接等内容并存储csv文件中
    首先要了解html标签,标签有主有次,大致了解以一下,主标签是根标签,也是所有要爬取的标签的结合体 先了解一下待会要使用代码属性: #获取属性 a.attrs  获取a所有的属性和...
    99+
    2024-04-02
  • 利用高德地图API批量获取地点经纬度和行车线路与OD距离(excel和python)
    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、excel调取API方法1.申请一个key2.excel调用API 二、python方法计算地址列...
    99+
    2023-09-10
    python
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作