返回顶部
首页 > 资讯 > 后端开发 > Python >Python3实现Web网页图片下载
  • 650
分享到

Python3实现Web网页图片下载

图片下载网页Web 2022-06-04 19:06:10 650人浏览 泡泡鱼

Python 官方文档:入门教程 => 点击学习

摘要

先来介绍一些python WEB编程基础知识 1. GET与POST区别 1)POST是被设计用来向web服务器上放东西的,而GET是被设计用来从服务器取东西的,GET也能够向服务器传送较少的数据,而Get

先来介绍一些python WEB编程基础知识

1. GET与POST区别

1)POST是被设计用来向web服务器上放东西的,而GET是被设计用来从服务器取东西的,GET也能够向服务器传送较少的数据,而Get之所以也能传送数据,只是用来设计告诉服务器,你到底需要什么样的数据.POST的信息作为Http 请求的内容,而GET是在HTTP 头部传输的;

2)POST与GET在HTTP 中传送的方式不同,GET的参数是在HTTP 的头部传送的,而Post的数据则是在HTTP 请求的内容里传送;

3)POST传输数据时,不需要在URL中显示出来,而GET方法要在URL中显示;

4)GET方法由于受到URL长度的限制,只能传递大约1024字节;POST传输的数据量大,可以达到2M

2. Cookies技术

Cookies现在经常被大家提到,那么到底什么是Cookies,它有什么作用 呢?

Cookies是一种能够让网站服务器把少量数据储存到客户端的硬盘或内存,或是从客户端的硬盘读取数据的一种技术。Cookies是当你浏览某网站 时,由Web服务器置于你硬盘上的一个非常小的文本文件,它可以记录你的用户ID、密码、浏览过的网页、停留的时间等信息。

当你再次来到该网站时,网站通过读取Cookies,得知你的相关信息,就可以做出相应的动作,如在页面显示欢迎你的标语,或者让你不用输入ID、密码就直接登录等等。

从本质上讲,它可以看作是你的身份证。但Cookies不能作为代码执行,也不会传送病毒,且为你所专有,并只能由提供它的服务器来读取。

保存的信息片断以“名/值”对(name-value pairs)的形式储存,一个“名/值”对仅仅是一条命名的数据。

一个网站只能取得它放在你的电脑中的信息,它无法从其它的Cookies文件中取得信息,也无法得到你的电脑上的其它任何东西。

Cookies中的内容大多数经过了加密处理,因此一般用户看来只是一些毫无意义的字母数字组合,只有服务器的CGI处理程序才知道它们真正的含义。

Python3通过Web网页图片下载基本功能点

要实现的主要功能点: 解析网页中的图片链接 对图片链接进行检测,如果图片格式 图片大小不符合要求,则不下载 加入异常处理机制 自动文件名提取,从图片链接直接提取文件名

python3通过Web网页图片下载参考代码:


from urllib import request
import threading
from time import sleep,ctime
from html import parser
def downjpg( filepath,FileName ="default.jpg" ):
 try:
  web = request.urlopen( filepath)
  print("访问网络文件"+filepath+"n")
  jpg = web.read()
  DstDir="E:\image\"
  print("保存文件"+DstDir+FileName+"n")
  try:
   File = open( DstDir+FileName,"wb" )
   File.write( jpg)
   File.close()
   return
  except ioError:
   print("errorn")
   return
 except Exception:
  print("errorn")
  return
def downjpgmutithread( filepathlist ):
 print("共有%d个文件需要下载"%len(filepathlist))
 for file in filepathlist:
  print( file )
 print("开始多线程下载")
 task_threads=[] #存储线程
 count=1
 for file in filepathlist:
  t= threading.Thread( target=downjpg,args=(file,"%d.jpg"%count) )
  count=count+1
  task_threads.append(t)
 for task in task_threads:
  task.start()
 for task in task_threads:
  task.join() #等待所有线程结束
 print("线程结束")
class parserLinks( parser.HTMLParser):
 filelist=[]
 def handle_starttag(self,tag,attrs):
  if tag == 'img':
   for name,value in attrs:
    if name == 'src':
     print( value)
     self.filelist.append(value)
     #print( self.get_starttag_text() )
 def getfilelist(self):
  return self.filelist
def main(WebUrl):
 #globals flist
 if __name__ == "__main__":
  lparser = parserLinks()
  web = request.urlopen( WebUrl )
  #context= web.read()
  for context in web.readlines():
   _str="%s"%context
   try:
    lparser.feed( _str)
   except parser.HTMLParseError:
    #print( "parser error")
    pass
  web.close()
  imagelist= lparser.getfilelist()
  downjpgmutithread( imagelist)  
  #downjpgmutithread( flist)
#WebUrl="http://www.baidu.com/" #要抓去的网页链接,默认保存到e盘
WebUrl="http://hi.baidu.com/yuyinxuezi/item/df0b59140a06be27f6625cd4"
main(WebUrl)

以上就是Python3实现Web网页图片下载的相关介绍,希望对大家的学习有所帮助。

--结束END--

本文标题: Python3实现Web网页图片下载

本文链接: https://lsjlt.com/news/15462.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Python3实现Web网页图片下载
    先来介绍一些python web编程基础知识 1. GET与POST区别 1)POST是被设计用来向web服务器上放东西的,而GET是被设计用来从服务器取东西的,GET也能够向服务器传送较少的数据,而Get...
    99+
    2022-06-04
    图片下载 网页 Web
  • python3 网页爬虫图片下载无效链
    代码比较粗糙,主要是备忘容易出错的地方。供自己以后查阅。#图片下载import reimport urllib.request    #python3中模块名和2.x(urllib)的不一样site='https://world.taoba...
    99+
    2023-01-31
    爬虫 图片下载 网页
  • java 下载网页,图片
    java根据图片的url地址下载图片到本地,已知图片的url地址,通过java代码下载到本地,直接上代码。 public static void downloadImgByNet(String imgSrc,String filePath...
    99+
    2020-02-24
    java教程 java
  • python 批量下载网页里的图片
    import requestsimport sys,re#设置提取图片url 的正则表达式imgre = re.compile(r"<img id=\"imgis\" src='(.*)'")#存放找到的 图片url的列表all_i...
    99+
    2023-01-31
    批量 下载网页 图片
  • Android sdcard实现图片存储 、联网下载
    本文实例介绍了sdcard存储图片下载简单操作,分享给大家供大家参考,具体内容如下 步骤 -- 在配置清单添加完联网权限后 1、res/layout界面布局 <Line...
    99+
    2022-06-06
    图片 存储 Android
  • 一个下载网页图片的shell脚本
    记得去年找工作面试时,听到一位同学说自己非常喜欢linux,我相信他说的是真的,我觉得喜欢linux的人很大的快乐来自shell脚本,因为它能够整合linux上的各种资源干大事。下面和大家分享下一个shel...
    99+
    2022-06-04
    脚本 下载网页 图片
  • win10如何批量下载网页中图片
    本篇内容介绍了“win10如何批量下载网页中图片”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!首先要在电脑上安装迅雷打开电脑,打开自带的Ed...
    99+
    2023-07-01
  • SimpleCommand实现图片下载(二)
    使用simplecommand下载网络图片,并显示到ImageView控件上。1 在app module的build.gradle将simplecommand框架进行导入,具体请看第1节的步骤1和22 设置网络图片的Url地址:这里以请求百...
    99+
    2023-05-30
    simplecommand 图片下载 %d
  • Java读取网页内容并下载图片的实例
    Java读取网页内容并下载图片的实例     很多人在第一次了解数据采集的时候,可能无从下手,尤其是作为一个新手,更是感觉很是茫然,所以,在这里分享一下自己的心得,希望和大家一起分享技术,如...
    99+
    2023-05-31
    java 读取网页 ava
  • Python3实现网页内容转换成PDF文档和图片
    目录1、引言2、代码实战2.1 模块介绍2.2 安装2.3 代码实例2.4 拓展3、总结1、引言 小鱼:小屌丝,你这是干啥呢? 小屌丝:我的女神想要这个网页的内容。 小鱼:那你也不能...
    99+
    2024-04-02
  • php如何实现下载图片
    这篇文章主要介绍了php如何实现下载图片,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。php实现下载图片的方法:1、使用“file_get_contents”实现下载图片;2...
    99+
    2023-06-08
  • Kotlin实现网络图片下载和保存功能
    目录一、理论基础二、实验目的三、实验步骤1、新建工程文件2、引入布局管理3、创建布局4、访问权限5、实现逻辑四、实验演示五、实验总结一、理论基础 掌握Kotlin面向对象的软件开发方...
    99+
    2023-02-07
    Kotlin网络图片下载和保存 Kotlin图片下载 Kotlin保存图片
  • 怎么用vbs结合wget实现下载网站图片
    本篇内容介绍了“怎么用vbs结合wget实现下载网站图片”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!vbs 函数过程:1. 调用wget:...
    99+
    2023-06-08
  • Shell脚本怎么实现批量下载网络图片
    这篇文章主要介绍“Shell脚本怎么实现批量下载网络图片”,在日常操作中,相信很多人在Shell脚本怎么实现批量下载网络图片问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Shell脚本怎么实现批量下载网络图片...
    99+
    2023-06-09
  • web网页上有哪些图片格式
    这篇文章主要介绍web网页上有哪些图片格式,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!GIF格式特点: 透明性 Gif是一种布尔透明类型,既它可以是全透明,也可以是全不透明,但是它并没有半透明(alpha 透明)。...
    99+
    2023-06-08
  • nodejs通过phantomjs实现下载网页
    功能其实很见简单,通过 phantomjs.exe 采集 url 加载的资源,通过子进程的方式,启动nodejs 加载所有的资源,对于css的资源,匹配css内容,下载里面的url资源 当然功能还是很简单的...
    99+
    2022-06-04
    下载网页 nodejs phantomjs
  • vue怎么实现根据图片url进行图片下载
    这篇“vue怎么实现根据图片url进行图片下载”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“vue怎么实现根据图片url进行...
    99+
    2023-07-04
  • 如何编写一个下载网页图片的shell脚本
    这篇文章主要介绍“如何编写一个下载网页图片的shell脚本”,在日常操作中,相信很多人在如何编写一个下载网页图片的shell脚本问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”如何编写一个下载网页图片的shel...
    99+
    2023-06-09
  • web网页图片优化的实用工具有哪些
    这篇文章主要介绍“web网页图片优化的实用工具有哪些”,在日常操作中,相信很多人在web网页图片优化的实用工具有哪些问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”web网页图...
    99+
    2024-04-02
  • js实现网页图片轮换播放
    本文实例为大家分享了js实现网页图片轮换播放的具体代码,供大家参考,具体内容如下 1、实现效果如下: 2、实现功能: (1)点击左右箭头之后,下面显示的图片会换成对应的上一张或下一...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作