如何读取和格式化通过 bash 管道接收的文本流？

在我们的日常工作中，经常需要通过命令行工具来处理文本数据。而在linux系统中，bash管道（pipe）是一个非常强大的工具，可以将一个命令的输出作为另一个命令的输入。但是，当我们通过管道接收到一大段文本流时，如何有效地读取和格式化这些数据呢？本文将为大家介绍一些实用的技巧和方法，帮助你更好地处理通过bash管道接收的文本流。无论你是初学者还是有一定经验的开发者，本文都将给你带来一些启发和帮助。

问题内容

目前，我正在使用以下内容来格式化 npm 脚本中的数据。

npm run startwin | while ifs= read -r line; do printf '%b\n' "$line"; done | less

它可以工作，但我的同事不使用 linux。所以，我想实现 while ifs= read -r line;执行 printf '%b\n' "$line";在Go中完成，并在管道中使用二进制文件。

npm run startwin | magical-go-fORMater

我尝试过的

package main

import (
    "fmt"
    "io/ioutil"
    "os"
    "strings"
)

func main() {
  fi, _ := os.Stdin.Stat() // get the FileInfo struct

  if (fi.Mode() & os.ModeCharDevice) == 0 {

    bytes, _ := ioutil.ReadAll(os.Stdin)
    str := string(bytes)
    arr := strings.Fields(str)

    for _, v := range arr {
      fmt.Println(v)
    }
}

目前，程序会静默文本流的所有输出。

解决方法

您想使用 bufio.scanner 进行尾部类型读取。恕我直言，您在 os.stdin 上进行的检查是不必要的，但是 ymmv。

请参阅此答案了解示例。 ioutil.readall() （现已弃用，只需使用 io.readall() ）读取错误/eof，但它不是循环输入 - 这就是您需要 bufio.scanner.scan() 的原因。

此外 - %b 将转换文本中的任何转义序列 - 例如传递的行中的任何 \n 都将呈现为换行符 - 您需要吗？ b/c go 没有等效的格式说明符，afaik。

编辑

所以我认为，您基于 readall() 的方法将会/可能会起作用......最终。我猜您期望的行为与 bufio.scanner 类似 - 接收进程在写入字节时处理字节（这实际上是一个轮询操作 - 请参阅 scan() 的标准库源代码以查看肮脏的细节） .

但是 readall() 会缓冲读取的所有内容，并且直到最终出现错误或 eof 才会返回。我破解了 readall() 的检测版本（这是标准库源代码的精确副本，只有一点点额外的检测输出），您可以看到它在写入字节时正在读取，但它只是没有在写入过程完成之前不会返回并产生内容，此时它会关闭管道的末端（其打开的文件句柄），从而生成 eof：

package main

import (
    "fmt"
    "io"
    "os"
    "time"
)

func main() {

    // os.stdin.setreaddeadline(time.now().add(2 * time.second))

    b, err := readall(os.stdin)
    if err != nil {
        fmt.println("error: ", err.error())
    }

    str := string(b)
    fmt.println(str)
}

func readall(r io.reader) ([]byte, error) {
    b := make([]byte, 0, 512)
    i := 0
    for {
        if len(b) == cap(b) {
            // add more capacity (let append pick how much).
            b = append(b, 0)[:len(b)]
        }
        n, err := r.read(b[len(b):cap(b)])

        //fmt.fprintf(os.stderr, "read %d - received: \n%s\n", i, string(b[len(b):cap(b)]))
        fmt.fprintf(os.stderr, "%s read %d - received %d bytes\n", time.now(), i, n)
        i++

        b = b[:len(b)+n]
        if err != nil {
            if err == io.eof {
                fmt.fprintln(os.stderr, "received eof")
                err = nil
            }
            return b, err
        }
    }
}

我刚刚编写了一个廉价的脚本来生成输入，模拟一些长时间运行的东西并且仅定期编写，我想象 npm 在你的情况下的表现如何：

#!/bin/sh

for x in 1 2 3 4 5 6 7 8 9 10
do
  cat ./main.go
  sleep 10
done

顺便说一句，我发现阅读实际的标准库代码确实很有帮助......或者至少在这样的情况下很有趣。

以上就是如何读取和格式化通过 bash 管道接收的文本流？的详细内容，更多请关注编程网其它相关文章！