golang tcp多文件传输及文件合并问题详解与解决方案

在使用Golang进行TCP多文件传输时，常常会遇到文件合并的问题：所有发送的文件最终合并到一个文件中。这是因为TCP协议的流式传输特性，接收端无法区分不同文件的数据边界。

解决方法的核心在于在应用层添加文件边界标识，让接收端能够准确识别每个文件的数据起始和结束位置。以下介绍两种常用的方法：使用HTTP协议和自定义协议。

方法一：使用HTTP协议

立即学习“go语言免费学习笔记（深入）”；

HTTP协议天然支持分块传输和数据边界标识，因此是一个理想的选择。 使用HTTP协议，每个文件作为一个独立的请求发送，接收端根据HTTP请求解析每个文件。 这避免了TCP流式传输带来的文件合并问题，但增加了代码复杂度。

Golang Uber Dig

使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等

下载

方法二：自定义协议

自定义协议需要在数据包中添加文件长度或其他标识信息。 以下是一个基于自定义协议的示例，每个文件数据包前8个字节表示文件长度：

发送端 (自定义协议)

package main

import (
    "encoding/binary"
    "fmt"
    "io/ioutil"
    "log"
    "net"
    "os"
)

func main() {
    conn, err := net.Dial("tcp", ":9900")
    if err != nil {
        log.Fatalf("dial: %v", err)
    }
    defer conn.Close()

    files := []string{"./file/1.jpg", "./file/2.jpg"} // 需要发送的文件列表

    for _, file := range files {
        data, err := ioutil.ReadFile(file)
        if err != nil {
            log.Fatalf("read file %s: %v", file, err)
        }
        length := len(data)
        lengthBytes := make([]byte, 8)
        binary.BigEndian.PutUint64(lengthBytes, uint64(length)) // 将文件长度转换为8字节的big endian表示

        _, err = conn.Write(lengthBytes)
        if err != nil {
            log.Fatalf("write length: %v", err)
        }
        _, err = conn.Write(data)
        if err != nil {
            log.Fatalf("write data: %v", err)
        }
    }
}

接收端 (自定义协议)

package main

import (
    "encoding/binary"
    "fmt"
    "io"
    "log"
    "net"
    "os"
)

func main() {
    listener, err := net.Listen("tcp", ":9900")
    if err != nil {
        log.Fatalf("listen: %v", err)
    }
    defer listener.Close()

    for {
        conn, err := listener.Accept()
        if err != nil {
            log.Printf("accept: %v", err)
            continue
        }
        go handleConnection(conn)
    }
}

func handleConnection(conn net.Conn) {
    defer conn.Close()
    fileNum := 1
    for {
        lengthBytes := make([]byte, 8)
        _, err := io.ReadFull(conn, lengthBytes)
        if err == io.EOF {
            break
        }
        if err != nil {
            log.Printf("read length: %v", err)
            break
        }
        length := int(binary.BigEndian.Uint64(lengthBytes))
        fileName := fmt.Sprintf("./tmp/%d.jpg", fileNum)
        file, err := os.Create(fileName)
        if err != nil {
            log.Printf("create file %s: %v", fileName, err)
            break
        }
        defer file.Close()

        data := make([]byte, length)
        _, err = io.ReadFull(conn, data)
        if err != nil {
            log.Printf("read data: %v", err)
            break
        }
        _, err = file.Write(data)
        if err != nil {
            log.Printf("write data to file %s: %v", fileName, err)
            break
        }
        fmt.Printf("Received file %s\n", fileName)
        fileNum++
    }
}

此示例中，发送端先发送8字节的文件长度，然后发送文件内容。接收端先读取文件长度，再读取相应长度的数据并写入文件。 记得在运行前创建./file和./tmp文件夹。

选择哪种方法取决于项目的复杂度和需求。如果对性能要求不高，HTTP协议更易于实现和维护；如果需要更精细的控制和更高的效率，则可以选择自定义协议。 记住要处理潜在的错误，例如网络错误和文件I/O错误。