返回顶部
首页 > 资讯 > 后端开发 > GO >使用Go构建一款静态分析工具Owl详解
  • 556
分享到

使用Go构建一款静态分析工具Owl详解

2024-04-02 19:04:59 556人浏览 独家记忆
摘要

目录介 绍原 理快速开始如何使用SDK方式其他介 绍 Owl是一款开源项目依赖分析工具,可以快速在指定的项目目录下查找符合某些特征的源代码文件或者依赖文件。为何开发了这款工具?例如很

介 绍

Owl是一款开源项目依赖分析工具,可以快速在指定的项目目录下查找符合某些特征的源代码文件或者依赖文件。为何开发了这款工具?例如很多时候我们项目太大,项目文件夹下有很多依赖文件,如一个Java项目引入了log4j这个jar依赖,在项目中某文件存在循环依赖问题。当某个依赖包出现了漏洞时,本工具能快速扫描项目目录下存在的可疑依赖文件,并且给出依赖文件所在的地址,帮助开发者能快速进行定位到可疑文件。

原 理

目前版本的功能比较简单,工作原理很简单,工具会对特定目录进行扫描通过内置的特征码算法匹配到特定文件,然后收集与其特征码匹配的文件地址,然后展示出来,也可以重定向到一个固定JSON文件中保存。

Owl类似于杀毒软件一样,和杀毒软件的工作原理差不多,Owl会根据依赖文件的特征码来扫描整个项目,和杀毒病毒库工作原理类似。当然如果严格按照杀毒软件那种标准做的话,可能涉及一些汇编相关的,目前owl功能实现还没有那么复杂,后面会版本会加入codeql代码分析引擎,通过codeql数据库来做静态分析功能增强。

快速开始

如何使用owl?你可以克隆仓库然后通过如下命令:

git clone git@GitHub.com:auula/owl.git

在仓库内部有一个Makefile文件可以快速帮助你构建相应平台的二进制文件,例如:

$: make help
make darwin	| Compile executable binary for MacOS platfORM
make linux	| Compile executable binary for Linux platform
make windows	| Compile executable binary for Windows platform
make clean	| Clean up executable binary

Owl起因也是为CodeAnalysis所编写的特征检测工具,所以你也可以在:https://github.com/Tencent/CodeAnalysis 这个项目下面的tools目录找到已经编译好的二进制可执行文件,下载对应平台的二进制文件即可。

如何使用

程序构建完成会得到一个二进制文件,程序名称为owl,如下为owl执行效果,一些子命令参数都已经列出:

$: ./owl
			 _____  _    _  __
			(  _  )( \/\/ )(  )
			 )(_)(  )    (  )(__
			(_____)(__/\__)(____) ? v0.1.2
 A dependency module feature scanning detection tool for static analysis.

Usage:
  owl [command]
Available Commands:
  completion  Generate the autocompletion script for the specified shell
  help        Help about any command
  hex         File hex encoding
  md5         Collection file md5
  run         Execute the scanner
  version     Version information
Flags:
  -h, --help   help for owl
Use "owl [command] --help" for more information about a command.

如果不知道子命令如何使用,可以在对应的子命令后面参入--help参数,即可得到帮助信息:

例如如果你要查找log4j,你首先要通过owl计算log4j特征码,命令如下:

$: ./owl md5 --path=/Users/ding/Downloads/log4j-1.2.17.jar

注意这里的特征码计算必须使用owl程序的算法,因为owl里面的算法针对大文件我是采用分数据块方案计算的,提升程序运行速度,所以如果使用其他软件的算法那么就会出现问题!

结果如下:

你也可以使用十六进制字符串特征去查找:

$: ./owl hex --path=/Users/ding/Downloads/log4j-1.2.17.jar

程序会将对应的文件转成十六进制字符串展示,如下图:

现在就可以使用扫描器进行扫描了,匹配模式可以指定为md5或者hex,未来可能会添加跟多的模式,命令如下:

$: ./owl run --dir=/Users/ding/Downloads/ --mode=md5 --code=04a41f0a068986f0f73485cf507c0f40

搜索得到具体依赖文件:

搜索结果如果过多,可以通过--out参数将结果重定向保存到文件中保存,文件格式为json

SDK方式

上面介绍完是command line方式进行的,owl程序本身就是一个command line,核心逻辑在 github.com/auula/owl/scan 这个包中编写的,如果想二次开发,那么就可以直接使用Go get github.com/auula/owl 安装这个模块到你项目里面,然后直接通过硬编码的方式进行自定义编程

一个简单实例,通过自定义代码方式进行依赖文件扫描和收集:

package main
import (
    "fmt"
    "github.com/auula/owl/scan"
)
func main() {
    // 创建扫描器
    scanner := new(scan.Scanner)
    // 设置扫描器路径     
    scanner.SetPath("github.com/auula/owl") 
    // 返回对应路径所有文件特征码
    res, _ := scanner.List() 
    fmt.Println(res)
    // 设置指定的匹配器,其他匹配器查看api文档
    scanner.SetMatcher(new(scan.Md5Matcher))
    // 搜索包含特征码文件,返回文件记录集合
    res, _ = scanner.Search("xxxx")
    // 打开一个文件描述符
    file, _ := os.OpenFile("res.json", os.O_CREATE|os.O_RDWR|os.O_TRUNC, 0666)
    // 将结果保存到指定文件中
    scanner.Output(file, res)
}

以上就是通过SDK方式自定义编码完成依赖特征检测。

其他

有问题欢迎提issue,工具不错的话记得按一个,仓库github.com/auula/owl。

到此这篇关于使用Go构建一款静态分析工具的文章就介绍到这了,更多相关Go静态分析工具内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

您可能感兴趣的文档:

--结束END--

本文标题: 使用Go构建一款静态分析工具Owl详解

本文链接: https://lsjlt.com/news/151107.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 使用Go构建一款静态分析工具Owl详解
    目录介 绍原 理快速开始如何使用SDK方式其他介 绍 Owl是一款开源项目依赖分析工具,可以快速在指定的项目目录下查找符合某些特征的源代码文件或者依赖文件。为何开发了这款工具?例如很...
    99+
    2024-04-02
  • 如何使用Go构建一款静态分析工具
    今天小编给大家分享一下如何使用Go构建一款静态分析工具的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。介 绍Owl是一款开源项...
    99+
    2023-07-02
  • IDEA中的静态分析工具如何使用
    IDEA中的静态分析工具可以帮助开发人员发现代码中的潜在问题,提高代码质量。以下是在IDEA中使用静态分析工具的一般步骤: 打开...
    99+
    2024-04-03
    IDEA
  • golang构建工具Makefile使用详解
    目录正文正文 可能是因为编译太简单了,golang 并没有一个官方的构建工具(类似于 java 的 maven 和 gradle之类的),但是除了编译,我们可能还需要下载依赖,运行测...
    99+
    2024-04-02
  • go性能分析工具pprof的用途及使用详解
    目录pprof的用途利用runtime/pprof包实现cpu分析的步骤利用runtime/pprof包实现内存分析的步骤:利用net/http/pprof包进行性能分析总结&nbs...
    99+
    2023-01-06
    go性能分析工具 go 性能 go pprof 性能分析
  • Linux 自动化构建工具make/Makefile的使用详解
    目录一、单个文件的编译1、写法一:逐个生成.i、.s、.o文件,最后再生成 test执行文件2、 写法二:一步到位,直接通过 test.c 生成 test 执行文件(推荐)3、 Makefile自动清理二、多个文件的编译...
    99+
    2022-06-05
    linux自动化构建工具 linux make Makefile
  • MySQL性能分析、及调优工具使用详解
    本文汇总了MySQL DBA日常工作中用到的些工具,方便初学者,也便于自己查阅。先介绍下基础设施(CPU、IO、网络等)检查的工具:vmstat、sar(sysstat工具包)、mpstat、oprofil...
    99+
    2024-04-02
  • wireshark工具详解、数据包抓取分析、使用教程
    Wireshark界面 Wireshark查看数据捕获列表 数据包概要信息窗口:描述每个数据包的基本信息。如图,点击某行数据,即可在下方显示该数据包的信息。 数据包解析窗口:显示被选中的数据包的解析信息,包含每个数据包的整体信息、数据链...
    99+
    2023-08-23
    网络 tcp/ip 服务器
  • 如何使用Java和NumPy框架API构建强大的数据分析工具?
    在当今信息时代,数据分析日益成为企业决策的重要工具。Java是一种广泛使用的编程语言,而NumPy是Python中广泛使用的数值计算库。本文将介绍如何使用Java和NumPy框架API构建强大的数据分析工具。 一、NumPy介绍 NumP...
    99+
    2023-07-26
    numpy 框架 api
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作