本文旨在解决在Golang中，如何正确地将数据通过标准输入(stdin)传递给一个命令，并从该命令的标准输出(stdout)接收数据的常见问题。通过使用os/exec包，结合io.Copy和sync.WaitGroup，可以避免常见的race condition问题，确保数据的完整性和程序的稳定性。本文将提供一个可运行的示例，详细讲解每一步骤，并给出一些最佳实践建议。

在Golang中，与外部命令交互是一个常见的需求。os/exec包提供了执行外部命令的能力，但正确地处理标准输入和标准输出需要特别注意，否则容易出现数据丢失或程序阻塞等问题。

使用os/exec包

os/exec包允许我们执行外部命令，并可以获取其输入、输出和错误流。核心在于使用exec.Command函数创建命令对象，然后通过StdinPipe、StdoutPipe和StderrPipe获取对应的管道。

Golang Uber Dig

使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等

下载

示例代码

以下是一个完整的示例，展示了如何将数据传递给cat命令，并从其标准输出读取数据。

立即学习“go语言免费学习笔记（深入）”；

package main

import (
    "bytes"
    "io"
    "log"
    "os"
    "os/exec"
    "sync"
)

func main() {
    runCatFromStdinWorks(populateStdin("aaa\n"))
    runCatFromStdinWorks(populateStdin("bbb\n"))
}

func populateStdin(str string) func(io.WriteCloser) {
    return func(stdin io.WriteCloser) {
        defer stdin.Close()
        io.Copy(stdin, bytes.NewBufferString(str))
    }
}

func runCatFromStdinWorks(populate_stdin_func func(io.WriteCloser)) {
    cmd := exec.Command("cat")
    stdin, err := cmd.StdinPipe()
    if err != nil {
        log.Panic(err)
    }
    stdout, err := cmd.StdoutPipe()
    if err != nil {
        log.Panic(err)
    }
    err = cmd.Start()
    if err != nil {
        log.Panic(err)
    }

    var wg sync.WaitGroup
    wg.Add(2) // 增加两个goroutine的计数

    // 写入stdin的goroutine
    go func() {
        defer wg.Done() // goroutine完成时减少计数
        populate_stdin_func(stdin)
    }()

    // 读取stdout的goroutine
    go func() {
        defer wg.Done() // goroutine完成时减少计数
        io.Copy(os.Stdout, stdout)
    }()

    wg.Wait() // 等待所有goroutine完成
    err = cmd.Wait()
    if err != nil {
        log.Panic(err)
    }
}

代码解释

1. exec.Command("cat"): 创建一个执行cat命令的命令对象。
2. StdinPipe() 和 StdoutPipe(): 获取命令的标准输入和标准输出管道。
3. cmd.Start(): 启动命令。注意，此时命令只是启动，并没有真正执行。
4. sync.WaitGroup: 用于同步写入stdin和读取stdout的goroutine。这是避免race condition的关键。
   • wg.Add(2): 增加等待组的计数器，表示有两个goroutine需要等待。
   • go func() { ... }(): 启动两个goroutine，分别用于写入stdin和读取stdout。
   • defer wg.Done(): 在每个goroutine结束时调用，减少等待组的计数器。
   • wg.Wait(): 阻塞当前goroutine，直到等待组的计数器变为0，即所有goroutine都已完成。
5. 写入stdin的goroutine:
   • populate_stdin_func(stdin): 调用传入的函数，将数据写入stdin。
   • defer stdin.Close(): 确保在写入完成后关闭stdin。
6. 读取stdout的goroutine:
   • io.Copy(os.Stdout, stdout): 从stdout读取数据，并写入标准输出。
7. cmd.Wait(): 等待命令执行完成。Wait函数会返回命令的退出状态码。

关键点和注意事项

• 关闭Stdin: 在完成向stdin写入数据后，务必关闭stdin。如果不关闭，cat命令可能永远不会结束，导致程序阻塞。
• 同步Goroutine: 使用sync.WaitGroup确保在命令结束前，所有的数据都已写入stdin并从stdout读取。这可以避免cmd.Wait()在管道中还有数据未读取时就关闭管道，导致数据丢失。
• 错误处理: 示例代码中使用了log.Panic进行错误处理，在实际应用中，应根据需要选择更合适的错误处理方式。

总结

通过使用os/exec包，结合io.Copy和sync.WaitGroup，可以安全可靠地在Golang中与外部命令进行交互。理解并正确应用这些技术，可以避免常见的并发问题，确保程序的稳定性和数据的完整性。