返回顶部
首页 > 资讯 > 后端开发 > Python >Selenium+Tesseract-OCR智能识别验证码爬取网页数据的实例
  • 646
分享到

Selenium+Tesseract-OCR智能识别验证码爬取网页数据的实例

2024-04-02 19:04:59 646人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

目录1.项目需求描述2.整体思路3.功能实现1.项目需求描述 通过订单号获取某系统内订单的详细数据,不需要账号密码的登录验证,但有图片验证码的动态识别,将获取到的数据存到数据库。

1.项目需求描述

通过订单号获取某系统内订单的详细数据,不需要账号密码的登录验证,但有图片验证码的动态识别,将获取到的数据存到数据库

2.整体思路

  1.通过selenium技术,无窗口模式打开浏览器

  2.在输入框中动态输入订单号

  3.将图片验证码截图保存到本地

  4.通过Tesseract-OCR技术去本地识别验证码转化为文字

  5.将获取的验证码输入输入框

  6.点击查询获取列表数据

3.功能实现

1.下载并安装Google浏览器,安装Google驱动chromedriver.exe,获取安装路径,配置在项目中

2.使用Selenium进行浏览器操作


System.setProperty(浏览器驱动, 浏览器驱动安装位置);
ChromeOptions options = new ChromeOptions();
options.addArguments("--headless");                            // 无窗口模式
options.addArguments("--disable-infobars");                    // 禁言消息条
options.addArguments("--disable-extensions");                  // 禁用插件
options.addArguments("--disable-gpu");                         // 禁用GPU
options.addArguments("--no-sandbox");                          // 禁用沙盒模式
options.addArguments("--disable-dev-shm-usage");
options.addArguments("--hide-scrollbars");                     // 隐藏滚动条

WEBDriver driver = new ChromeDriver(options);
driver.get(爬取网站URL);
driver.manage().window().setSize(new Dimension(450, 260));     // 设置游览器打开后调整大小
try {
    // 保存IMG图片到本地
    saveImgToLocal(driver);
    Thread.sleep(2000);
    // OCR智能识别验证码
    String codeByOCR = getCodeByOCR();
    if (codeByOCR != null) {
        try {
            WebElement input1 = driver.findElement(By.id(TEXTBOX1));
            input1.sendKeys(code);
            WebElement input2 = driver.findElement(By.id(TEXTBOX2));
            input2.sendKeys(codeByOCR);
            // 获取table数据
            WebElement addButton = driver.findElement(By.id(SELECT_BUTTON));
            addButton.click();
            List<WebElement> tRCollection = driver.findElement(By.id(TABLE_ID)).findElements(By.tagName("tr"));
            for (int t = 1; t < tRCollection.size(); t++) {
                List<WebElement> tDCollection = tRCollection.get(t).findElements(By.tagName("td"));
                VipLoGISticsMinHangDetailVo minHangDetailVo = new VipLogisticsMinHangDetailVo();
                minHangDetailVo.setLogistics_number(code);
                for (int i = 0; i < tDCollection.size(); i++) {
                    String text = tDCollection.get(i).getText();
                    switch (i) {
                        case 0:
                            minHangDetailVo.setTime(text);
                        case 1:
                            minHangDetailVo.setOutlet(text);
                        case 2:
                            minHangDetailVo.setOrganization(text);
                        case 3:
                            minHangDetailVo.setEvent(text);
                        case 4:
                            minHangDetailVo.setDetail(text);
                    }
                }
                list.add(minHangDetailVo);
            }
            log.info("验证码识别成功!");
        } catch (Exception e) {
            if (e.toString().contains("错误提示:验证码错误或已过期!")) {
                log.error("验证码识别错误!" + e.toString());
            } else if (e.toString().contains("错误提示:请输入验证码!")) {
                log.error("未输入验证码!:" + e.toString());
            } else {
                log.error("其他异常:" + e.toString());
            }
        }
    }
    driver.quit();
} catch (Exception e) {
    e.printStackTrace();
}

3.将图片验证码截图保存到本地(截屏法)


private void saveImgToLocal(WebDriver driver) {
    WebElement element = driver.findElement(By.id(img元素ID));
    //创建全屏截图
    WrapsDriver wrapsDriver = (WrapsDriver) element;
    File screen = ((TakesScreenshot) wrapsDriver.getWrappedDriver()).getScreenshotAs(OutputType.FILE);
    try {
        BufferedImage image = ImageIO.read(screen);
        //创建一个矩形使用上面的高度,和宽度
        Point p = element.getLocation();
        //元素坐标
        BufferedImage img = image.getSubimage(p.getX(), p.getY(), element.getSize().getWidth(), element.getSize().getHeight());
        ImageIO.write(img, "png", screen);

        FileUtils.copyFile(screen, new File(保存本地地址 + "imgname.png"));
    } catch (IOException e) {
        e.printStackTrace();
    }
}

4.将图片验证码保存到本地(鼠标法)


private static void saveImgToLocal1(WebDriver driver) {
    Actions action = new Actions(driver);
    action.contextClick(driver.findElement(By.id(img元素ID))).build().perfORM();
    try {
        Robot robot = new Robot();
        Thread.sleep(1000);

        robot.keyPress(KeyEvent.VK_DOWN);
        Thread.sleep(1000);

        robot.keyPress(KeyEvent.VK_DOWN);
        Thread.sleep(1000);

        robot.keyPress(KeyEvent.VK_ENTER);
        Thread.sleep(1000);
        //释放向下键,不然在此之前的条目将起作用
        robot.keyRelease(KeyEvent.VK_DOWN);
        Thread.sleep(1000);
        //运行保存
        Runtime.getRuntime().exec(SAVE_IMG_EXE);
        Thread.sleep(10000);
    } catch (Exception e) {
        e.printStackTrace();
    }
}

5.对本地验证码进行OCR识别


private String getCodeByOCR() {
    String result = null;
    File file = new File(本地图片地址);
    if (!file.exists()) {
        if (systemFalg != 1) {
            file.setWritable(true, false);
        }
        file.mkdirs();
    }
    File imageFile = new File(本地图片地址 + "imgname.png");
    if (imageFile.exists()) {
        ITesseract instance = new Tesseract();
        instance.setDatapath(tessdata存放地址);
        try {
            String doOCR = instance.doOCR(imageFile);
            result = replaceBlank(doOCR);
            log.info("解析的验证码为:{}", result != null ? result : "为空!");
        } catch (Exception e) {
            e.printStackTrace();
            log.error("解析验证码异常!");
        }
    } else {
        log.error("解析验证码的文件不存在!");
    }
    return result;
}

综上,该网页的数据就可以获取了。

到此这篇关于Selenium+Tesseract-OCR智能识别验证码爬取网页数据的实例的文章就介绍到这了,更多相关Selenium+Tesseract-OCR智能识别验证码爬取 内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: Selenium+Tesseract-OCR智能识别验证码爬取网页数据的实例

本文链接: https://lsjlt.com/news/136880.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作