返回顶部
首页 > 资讯 > 后端开发 > Python >使用python爬虫实现子域名探测问题
  • 636
分享到

使用python爬虫实现子域名探测问题

2024-04-02 19:04:59 636人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

目录前言一、爬虫1.ip1382.bing二、通过字典进行子域名爆破三、python爬虫操作步骤1.写出请求头headers与目标网站url2.生成请求3.抓取数据4.分析源码,截取

前言

意义:子域名枚举是为一个或多个域查找子域的过程,它是信息收集阶段的重要组成部分。
实现方法:使用爬虫与字典爆破。

一、爬虫

1.ip138

def search_2(domain):
    res_list = []
    headers = {
        'Accept': '**',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; linux x86_64) AppleWEBKit/537.36 (Khtml, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'Http://www.baidu.com/'
    }
    for i in range(1, 16):
        url = "https://cn.bing.com/search?q=site%3A" + site + "&Go=Search&qs=ds&first=" + str(
            (int(i) - 1) * 10) + "&FORM=PERE"
        # conn = requests.session()
        # conn.get('http://cn.bing.com', headers=headers)
        # html = conn.get(url, stream=True, headers=headers)
        html = requests.get(url, stream=True, headers=headers)
        soup = BeautifulSoup(html.content, 'html.parser')
        # print(soup)
        job_bt = soup.findAll('h2')
        for i in job_bt:
            link = i.a.get('href')
            print(link)
            if link in Subdomain:
                pass
            else:
                Subdomain.append(link)
    print(Subdomain)
if __name__ == '__main__':
    search_1("jd.com")

返回结果:

在这里插入图片描述

二、通过字典进行子域名爆破

def dict(url):
    for dict in open('dic.txt'):  # 这里用到子域名字典文件dic.txt
        dict = dict.replace('\n', "")
        zym_url = dict + "." + url
        try:
            ip = Socket.gethostbyname(zym_url)
            print(zym_url + "-->" + ip)
            time.sleep(0.1)
        except Exception as e:
            # print(zym_url + "-->" + ip + "--error")
            time.sleep(0.1)
if __name__ == '__main__':
    dict("jd.com")

返回结果:

在这里插入图片描述

三、python爬虫操作步骤

1.写出请求头headers与目标网站url

headers = {
        'User-Agent': "Mozilla/5.0 (windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240"
    }
url = "https://site.ip138.com/"

2.生成请求

get:res = requests.get(url + domain, headers=headers)
post:res = requests.post(url + domain, headers=headers, data=data)

3.抓取数据

soup = BeautifulSoup(res.content, 'html.parser')  # 以html解析器解析res的内容

此时print(soup),返回结果:

在这里插入图片描述

4.分析源码,截取标签中内容

1.通过分析源码,确定需要提取p标签中的内容:

job_bt = soup.findAll('p')

此时print(job_bt),返回结果:

在这里插入图片描述

2.继续提取a标签内属性为href的值:

try:
    for i in job_bt:
        link = i.a.get('href')
        linkk = link[1:-1]
        res_list.append(linkk)
        print(linkk)
except:
    pass

得结果:

在这里插入图片描述

3.再进行截取:

res_list[:-1]

得结果:

在这里插入图片描述

四、爬虫一些总结

1.抓取数据,生成soup

soup = BeautifulSoup(res.content, 'html.parser')  # 以html解析器解析res的内容

2.从文档中获取所有文字内容

print(soup.get_text())

3.从文档中找到所有< a >标签的链接

for link in soup.find_all('a'):
    print(link.get('href'))

到此这篇关于使用Python实现子域名探测的文章就介绍到这了,更多相关python子域名内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: 使用python爬虫实现子域名探测问题

本文链接: https://lsjlt.com/news/119225.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 使用python爬虫实现子域名探测问题
    目录前言一、爬虫1.ip1382.bing二、通过字典进行子域名爆破三、python爬虫操作步骤1.写出请求头headers与目标网站url2.生成请求3.抓取数据4.分析源码,截取...
    99+
    2024-04-02
  • python爬虫获取子域名以及对“百度安全验证”问题的解决
    编写的python代码是在借鉴老师给的资料的基础上实现的 进行课堂实践:模仿bing搜索引擎域名收集功能,实现baidu搜索引擎的域名搜集功能时,走了不少弯路,最后终于形成了完整的思路。尤其是在“百度...
    99+
    2023-09-25
    搜索引擎 爬虫 python
  • 使用Python实现简单的爬虫框架
    目录一、请求网页二、解析 HTML三、构建爬虫框架爬虫是一种自动获取网页内容的程序,它可以帮助我们从网络上快速收集大量信息。在本文中,我们将学习如何使用 Python 编写一个简单的...
    99+
    2023-05-19
    Python如何实现爬虫框架 Python爬虫框架 Python爬虫
  • python中如何使用Scrapy实现定时爬虫
    这篇文章将为大家详细讲解有关python中如何使用Scrapy实现定时爬虫,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。python的数据类型有哪些python的数据类型:1. 数字类型,包括int(整型...
    99+
    2023-06-14
  • 如何使用python实现垂直爬虫系统
    小编给大家分享一下如何使用python实现垂直爬虫系统,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!html_downloaderfrom urllib import requestdef&n...
    99+
    2023-06-29
  • 使用C++编写一个DHT爬虫,实现从DHT网络爬取BT种子
    以下是一个简单的使用C++编写的DHT爬虫,以从DHT网络中爬取BT种子:```cpp#include #include #incl...
    99+
    2023-10-12
    C++
  • 怎么在python中使用feapde实现一个爬虫
    这篇文章给大家介绍怎么在python中使用feapde实现一个爬虫,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。python是什么意思Python是一种跨平台的、具有解释性、编译性、互动性和面向对象的脚本语言,其最初的...
    99+
    2023-06-14
  • 如何使用python爬虫实现最新12306抢票
    这篇文章将为大家详细讲解有关如何使用python爬虫实现最新12306抢票,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。1.环境python 3.7谷歌浏览器chromedriver.exe(浏览器驱动程...
    99+
    2023-06-26
  • 如何使用Python爬虫实现自动下载图片
    小编给大家分享一下如何使用Python爬虫实现自动下载图片,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!python的数据类型有哪些python的数据类型:1. 数字类型,包括int(整型)、long(长整型)和float...
    99+
    2023-06-14
  • 使用Python爬虫怎么实现定时计划任务
    这篇文章将为大家详细讲解有关使用Python爬虫怎么实现定时计划任务,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。1.方法一、while True首先最容易的是while true死循环挂起...
    99+
    2023-06-15
  • 怎么在python中使用selenium实现一个网络爬虫
    本篇文章为大家展示了怎么在python中使用selenium实现一个网络爬虫,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。Python主要用来做什么Python主要应用于:1、Web开发;2、数据科...
    99+
    2023-06-08
  • 使用Python怎么实现异步爬虫的原理是什么
    这篇文章给大家介绍使用Python怎么实现异步爬虫的原理是什么,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。一、背景默认情况下,用get请求时,会出现阻塞,需要很多时间来等待,对于有很多请求url时,速度就很慢。因为需...
    99+
    2023-06-15
  • 如何使用Python网络爬虫实现起点小说下载
    如何使用Python网络爬虫实现起点小说下载,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。今天要跟大家分享一个小说爬取案例--------起点小说的小说下载。在做这个案例之...
    99+
    2023-06-15
  • python使用pywinauto驱动微信客户端实现公众号爬虫
    目录项目地址pywinauto简介WechatAutomator类init_windowcrawl_gongzhonghaolocate_userprocess_page项目地址 https://github.com...
    99+
    2022-06-02
    python pywinauto python 公众号爬虫
  • 使用Python多线程爬虫实现磁力链接搜索神器
    要实现一个磁力链接搜索神器,你可以使用Python的多线程爬虫来爬取磁力链接网站上的数据。以下是一个简单的示例代码:```pytho...
    99+
    2023-08-23
    python
  • python如何使用pywinauto驱动微信客户端实现公众号爬虫
    这篇文章主要介绍了python如何使用pywinauto驱动微信客户端实现公众号爬虫,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。pywinauto简介pywinauto是一...
    99+
    2023-06-15
  • 如何使用Python爬虫实现抓取电影网站信息并入库
    这篇文章主要介绍如何使用Python爬虫实现抓取电影网站信息并入库,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!一.环境搭建1.下载安装包访问 Python官网下载地址:https://www.python.org/...
    99+
    2023-06-29
  • 使用python爬虫怎么实现一个发送短信验证码功能
    本篇文章为大家展示了使用python爬虫怎么实现一个发送短信验证码功能,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。内联代码片。import timedef get_time()...
    99+
    2023-06-06
  • 如何使用Python实现汉诺塔问题
    前言汉诺塔问题是一个经典的问题。汉诺塔(Hanoi Tower),又称河内塔,源于印度一个古老传说。大梵天创造世界的时候做了三根金刚石柱子,在一根柱子上从下往上按照大小顺序摞着64片黄金圆盘。大梵天命令婆罗门把圆盘从下面开始按大小顺序重新摆...
    99+
    2023-05-15
    Python
  • 使用Python实现汉诺塔问题示例
    目录前言1.先谈一下什么是递归?2.简而言之就是:3.过程为:4.递归的关键是:汉诺塔问题1.问题描述2.问题分析 递归的过程:3.代码(Python)4.结果展示前言 汉诺塔问题是...
    99+
    2023-05-17
    Python 实现 Python 汉诺塔问题
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作