返回顶部
首页 > 资讯 > 后端开发 > GO >利用Go语言实现流量回放工具的示例代码
  • 735
分享到

利用Go语言实现流量回放工具的示例代码

2024-04-02 19:04:59 735人浏览 八月长安
摘要

目录前言Goreplay介绍与安装使用示例流量放大、缩小流量写入到ElastichSearchgoreplay基本实现原理总结前言 哈喽,大家好,我是asong。 今天给大家推荐一款

前言

哈喽,大家好,我是asong

今天给大家推荐一款使用Go语言编写的流量回放工具 -- goreplay;工作中你一定遇到过需要在服务器上抓包的场景,有了这个工具就可以助你一臂之力,goreplay的功能十分强大,支持流量的放大、缩小,并且集成了elasticsearch,将流量存入ES进行实时分析;

废话不多,我们接下来来看一看这个工具;

goreplay介绍与安装

项目地址:https://GitHub.com/buger/goreplay

goreplay是一个开源网络监控工具,可以实时记录tcp/Http流量,支持把流量记录到文件或者elasticSearch实时分析,也支持流量的放大、缩小,还支持频率限制;goreplay不是代理,无需任何代码入侵,只需要在服务相同的机器上运行goreplay守护程序,其会在后台侦听网络接口上的流量,goreplay的设计遵循 Unix 设计哲学:一切都是由管道组成的,各种输入将数据复用为输出;可以看一下官网画的架构图:

goreplay的安装也比较简单,只需要在https://github.com/buger/goreplay/releases 下载对应操作系统的二进制文件即可,我的电脑是Mac的:

解压缩后就是一个二进制文件gor,将其添加到您的环境变量中,方便我们后续的操作;

使用示例

实时流量转发

首先我们要准备一个WEB服务,最简单的就是用Gin 快速实现一个helloworld,替大家实现好了:https://github.com/asong2020/golang_Dream/tree/master/code_demo/gin_demo;

import (
 "flag"
 "github.com/gin-gonic/gin"
)

var Port string

func init()  {
 flag.StringVar(&Port, "port", "8081", "Input Your Port")
}

func main() {
 flag.Parse()
 r := gin.Default()
 r.Use()
 r1 := r.Group("/api")
 {
  r1.GET("/ping", func(c *gin.Context) {
   c.JSON(200, gin.H{
    "message": "pong",
   })
  })
 }

 r.Run("localhost:" + Port)
}

因为资源有限,这里我用一台电脑起两个进程来模拟流量转发,分别启动两个web服务分别监控端口号80818082

$ go run . --port="8081"
$ go run . --port="8082"

服务弄好了,现在我们来开启gor守护进程进行流量监听与转发,将8081端口的流量转发到8082端口上:

$ sudo gor --input-raw :8081 --output-http="http://127.0.0.1:8082"

现在我们请求8081端口:

$ curl --location --request GET 'http://127.0.0.1:8081/api/ping'

可以看到8082端口同样被请求了:

流量放大、缩小

goreplay支持将捕获的流量存储到文件中,实际工作中我们可以使用捕获的流量做压力测试,首先我们需要将捕获的流量保存到本地文件,然后利用该文件进行流量回放;

还是上面的Web程序,我们将端口8081的流量保存到本地文件:

$ sudo gor --input-raw :8081 --output-file ./requests.gor

我们对8081端口执行了5次请求:

然后我们对8082端口进行流量缩小测试,缩小一倍:

gor --input-file "requests_0.gor" --output-http="http://127.0.0.1:8082|50%"

调整百分比就是进行流量放大、缩小,这里我们缩小了一倍,可以看到只有2次请求到了8082端口;我们可以调整流量回放的速度,比如我们调整流量以10倍速度进行重播:

$ gor --input-file "requests_0.gor|1000%" --output-http="http://127.0.0.1:8082|50%" # 1000%就是放大10倍

流量写入到ElastichSearch

goreplay可以将捕获的流量导出到Es中,只需要执行如下命令:

$ gor --input-raw :8000 --output-http http://staging.cm  --output-http-elasticsearch localhost:9200/gor

我们不需要提前创建索引结构,他将自动创建,具体结构如下:

type ESRequestResponse struct {
 ReqURL               string `json:"Req_URL"`
 ReqMethod            string `json:"Req_Method"`
 ReqUserAgent         string `json:"Req_User-Agent"`
 ReqAcceptLanguage    string `json:"Req_Accept-Language,omitempty"`
 ReqAccept            string `json:"Req_Accept,omitempty"`
 ReqAcceptEncoding    string `json:"Req_Accept-Encoding,omitempty"`
 ReqIfModifiedSince   string `json:"Req_If-Modified-Since,omitempty"`
 ReqConnection        string `json:"Req_Connection,omitempty"`
 ReqCookies           string `json:"Req_Cookies,omitempty"`
 RespStatus           string `json:"Resp_Status"`
 RespStatusCode       string `json:"Resp_Status-Code"`
 RespProto            string `json:"Resp_Proto,omitempty"`
 RespContentLength    string `json:"Resp_Content-Length,omitempty"`
 RespContentType      string `json:"Resp_Content-Type,omitempty"`
 RespTransferEncoding string `json:"Resp_Transfer-Encoding,omitempty"`
 RespContentEncoding  string `json:"Resp_Content-Encoding,omitempty"`
 RespExpires          string `json:"Resp_Expires,omitempty"`
 RespCacheControl     string `json:"Resp_Cache-Control,omitempty"`
 RespVary             string `json:"Resp_Vary,omitempty"`
 RespSetCookie        string `json:"Resp_Set-Cookie,omitempty"`
 Rtt                  int64  `json:"RTT"`
 Timestamp            time.Time
}

goreplay提供了太多的功能,就不一一介绍了,可以通过执行help命令查看其他高级用法,每个命令都提供了例子,入手很快;

$ gor -h
Gor is a simple http traffic replication tool written in Go. Its main goal is to replay traffic from production servers to staging and dev environments.
Project page: https://github.com/buger/gor
Author: <Leonid Bugaev> leonsbox@gmail.com
Current Version: v1.3.0

  -copy-buffer-size value
     Set the buffer size for an individual request (default 5MB)
  -cpuprofile string
     write cpu profile to file
  -exit-after duration
     exit after specified duration
  -http-allow-header value
     A regexp to match a specific header against. Requests with non-matching headers will be dropped:
       gor --input-raw :8080 --output-http staging.com --http-allow-header api-version:^v1
  -http-allow-method value
     Whitelist of HTTP methods to replay. Anything else will be dropped:
      gor --input-raw :8080 --output-http staging.com --http-allow-method GET --http-allow-method OPTIONS
  -http-allow-url value
     A regexp to match requests against. Filter get matched against full url with domain. Anything else will be dropped:
       gor --input-raw :8080 --output-http staging.com --http-allow-url ^www.
  -http-basic-auth-filter value
     A regexp to match the decoded basic auth string against. Requests with non-matching headers will be dropped:
       gor --input-raw :8080 --output-http staging.com --http-basic-auth-filter "^customer[0-9].*"
  -http-disallow-header value
     A regexp to match a specific header against. Requests with matching headers will be dropped:
       gor --input-raw :8080 --output-http staging.com --http-disallow-header "User-Agent: Replayed by Gor"
       ..........省略

goreplay基本实现原理

goreplay底层也是调用LibpcapLibpcap即数据包捕获函数库,tcpdump也是基于这个库实现的,LibpcapC语言写的,Go语言不能直接调用C语言,需要使用CGo,所以goreplay可以直接使用谷歌的包github.com/google/gopacket,提供了更方便的操作接口,基于goreplay封装了inputoutput,在启动的时候通过命令行参数解析指定的inputoutputinput读取数据写入到output中,默认是一个input复制多份,写多个output,多个input之前是并行的,但是单个intput到多个output是串行的,所以input-file会有性能瓶颈,压测的时候需要开多个进程同时跑来达到压测需求;

goreplay源码有点多,就不在这里分析了,大家感兴趣哪一部分可以从gor.gomain函数入手,看自己感兴趣的部分就可以了;

总结

goreplay提供的玩法非常丰富,合理的改造可以做成回归工具帮助我们确保服务的稳定性,别放过这个自我展现的机会~。

以上就是利用Go语言实现流量回放工具的示例代码的详细内容,更多关于Go语言流量回放工具的资料请关注编程网其它相关文章!

您可能感兴趣的文档:

--结束END--

本文标题: 利用Go语言实现流量回放工具的示例代码

本文链接: https://lsjlt.com/news/121164.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • 利用Go语言实现流量回放工具的示例代码
    目录前言goreplay介绍与安装使用示例流量放大、缩小流量写入到ElastichSearchgoreplay基本实现原理总结前言 哈喽,大家好,我是asong。 今天给大家推荐一款...
    99+
    2024-04-02
  • 利用Go语言实现轻量级OpenLdap弱密码检测工具
    目录1.Go连接LDAP服务2.下载3.准备LDAP环境4.GO-LDAP案例实践创建用户遍历用户删除账号弱密码检查1.Go连接LDAP服务 通过go操作的ldap,这里使用到的是g...
    99+
    2024-04-02
  • C语言实现时间处理工具的示例代码
    目录c语言-时间处理工具头文件功能实现c语言-时间处理工具 头文件 #ifndef STUDY_TIME_UTIL_H #define STUDY_TIME_UTIL_H lon...
    99+
    2024-04-02
  • Go语言实现枚举的示例代码
    在编程领域里,枚举用来表示只包含有限数量的固定值的类型,在开发中一般用于标识错误码或者状态机。拿一个实体对象的状态机来说,它通常与这个对象在数据库里对应记录的标识状态的字段值相对应。...
    99+
    2024-04-02
  • R语言实现岭回归的示例代码
    岭参数的一般选择原则 选择k(或lambda)值,使得: 各回归系数的岭估计基本稳定 用最小二乘估计时符号不合理的回归系数,其岭回归的符号变得合理 ...
    99+
    2024-04-02
  • go语言实现全排列的示例代码
    目录思路:回溯过程:代码:思路: 首先画出全排列的树形结构,以123为例,一开始排列为空列表,第一个位置有三种可能,分别是1、2、3,画出三个分支;由于第一个位置已经被占用,那么第二...
    99+
    2023-03-07
    go语言全排列
  • 实用的Go语言开发工具及使用示例
    目录前言json-to-goyaml-to-gotable-to-go命令行调用Go 代码调用前言 孙悟空在花果山称王的时候,特意去了一趟东海,在那里淘到了如意金箍棒。因为身为一个山...
    99+
    2024-04-02
  • C语言实现音乐播放器的示例代码
    目录介绍实现代码介绍 该程序是一个小的DEMO,实现了以下几个功能,可以借鉴学习。 功能1:鼠标选择互动功能。通过鼠标的移动和按下,按钮的颜色也会发生改变。 功能2:音乐的播放与暂停...
    99+
    2023-02-26
    C语言实现音乐播放器 C语言音乐播放器 C语言音乐播放
  • C语言实现手写字符串处理工具的示例代码
    目录头文件实现文件头文件 #ifndef STUDY_STR_UTIL_H #define STUDY_STR_UTIL_H #include "../structure/cha...
    99+
    2024-04-02
  • GO语言实现文件上传的示例代码
    目录前言文件上传表单操作服务端操作流程实现小结前言 最近在写一个文件上传的功能,现在来进行整理总结一下go语言如何上传文件的,本文主要分享一下golang实现文件上传的流程和具体代码...
    99+
    2024-04-02
  • go语言实现屏幕截图的示例代码
    目录借助第三方库安装自定义截图 Capture全屏截图 CaptureDisplay获取活动显示器数量 NumActiveDisplays获取指定屏幕显示范围 GetDisplayB...
    99+
    2024-04-02
  • Go语言实现Sm2加解密的示例代码
    在 Go 语言中,可以使用 github.com/tjfoc/gmsm/sm2 包来实现 SM2 加密和解密。 示例代码如下: package main import (     ...
    99+
    2023-03-19
    Go Sm2加解密 Go Sm2
  • GO语言实现TCP服务器的示例代码
    interface/tcp/Handler.go type Handler interface { Handle(ctx context.Context, conn net.C...
    99+
    2023-03-24
    GO编写TCP服务器 GO TCP服务器 GO TCP
  • 利用C语言实现任务调度的示例代码
    目录前言任务调度模式结构分片轮询调度实现结语前言 这个任务调度模块的实现是形成于毕设项目中的,用在STM32中,断断续续跨度2个月实现了一些基本功能,可能后面再做其他项目时会一点点完...
    99+
    2023-05-15
    C语言实现任务调度 C语言任务调度
  • Go语言实现常用排序算法的示例代码
    目录冒泡排序快速排序选择排序插入排序排序算法是在生活中随处可见,也是算法基础,因为其实现代码较短,应用较常见。所以在面试中经常会问到排序算法及其相关的问题,可以说是每个程序员都必须得...
    99+
    2024-04-02
  • Go语言实现枚举的示例代码怎么写
    本篇文章为大家展示了Go语言实现枚举的示例代码怎么写,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。在编程领域里,枚举用来表示只包含有限数量的固定值的类型,在开发中一般用于标识错误码或者状态机。拿一个...
    99+
    2023-06-28
  • C语言实现职工工资管理系统的示例代码
    目录一、需求分析二、项目环境2.1、项目创建过程2.2、向项目添加头文件与源文件三、职工工资管理系统模块功能3.1、系统总体设计框图3.2、系统模块总体设计3.3、设计系统菜单功能3...
    99+
    2024-04-02
  • C语言实现栈的示例代码
    目录一、了解栈的结构特点二、具体实现补充 栈的用处一、了解栈的结构特点 栈是一种特殊的线性表,只允许从一端进出数据,称为后进先出,先进后出。 压栈:栈的插入操作叫做进栈/压...
    99+
    2024-04-02
  • Go语言实现切片增删改查的示例代码
    目录引言一、切片的基础语法1. 语法2. 示例3. 切片的长度和容量二、切片的初始化1. 直接初始化2. 使用数组初始化3. 使用数组的部分元素初始化(切片表达式)4. 空(nil)...
    99+
    2024-04-02
  • Go语言编程实例:Web开发中的代码示例
    《Go语言编程实例:Web开发中的代码示例》 随着互联网的快速发展,Web开发已经成为各行业中必不可少的一部分。作为一门功能强大且性能优越的编程语言,Go语言在Web开发中越来越受到开...
    99+
    2024-03-04
    go语言 web开发 代码示例 标准库
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作