要使用golang对接textgen webui本地大语言模型并实现api化，需按照以下步骤操作：1. 确保已安装golang环境并部署好textgen webui；2. 启动textgen webui的api模式（使用--api参数）；3. 在go代码中构建包含prompt和生成参数的json请求体；4. 使用net/http或第三方库发送post请求至api端点；5. 解析返回的json响应并提取生成文本。此外，可通过连接池、并发控制、流式响应等手段优化性能，并通过检查http状态码、设置超时、记录日志等方式增强错误处理能力。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
Golang对接TextGen WebUI本地大语言模型API化，简单来说，就是用Go语言写代码，让你的程序能调用本地部署的大语言模型，就像使用一个在线API一样方便。
解决方案
-
环境准备：
- 确保已经安装了Golang环境。
- 已经成功部署了TextGen WebUI，并且模型可以正常运行。 TextGen WebUI官方文档：https://www.php.cn/link/143111b6b5ed85477eab06fe01e851e2
- TextGen WebUI 开启 API 模式 (
--api
参数)， 例如：python server.py --api
。
-
安装必要的Go包：
立即学习“go语言免费学习笔记（深入）”；
我们需要使用
net/http
包来发送HTTP请求，以及encoding/json
包来处理JSON数据。 通常情况下这两个包是Go自带的，不需要额外安装。 如果需要更强大的HTTP客户端，可以考虑github.com/go-resty/resty/v2
。
-
构建请求体：
TextGen WebUI的API通常接受JSON格式的请求。你需要构建一个包含你的提示语（prompt）和其他参数的JSON对象。例如：
{ "prompt": "请用三句话介绍Golang。", "max_new_tokens": 200, "do_sample": true, "temperature": 0.7, "top_p": 0.9 }这些参数控制了生成文本的行为。
max_new_tokens
限制了生成文本的最大长度，temperature
和top_p
影响生成文本的随机性。 -
发送HTTP请求：
使用
net/http
包创建一个HTTP客户端，并发送POST请求到TextGen WebUI的API端点（通常是http://127.0.0.1:5000/api/v1/generate
）。设置Content-Type
为application/json
，并将构建好的JSON数据作为请求体发送。 -
处理响应：
librosa Python 音频与音乐分析库下载librosa 是一个用于音频和音乐分析的 Python 库。它提供了特征提取、频谱分析、节拍跟踪、起始检测和音频可视化的工具，基于 NumPy 和 SciPy 构建，用于科学音频计算。
接收到API的响应后，你需要解析JSON数据，提取生成的文本。通常，API会返回一个包含
results
字段的JSON对象，其中results
是一个包含生成文本的数组。{ "results": [ { "text": "Golang 是一种由 Google 开发的开源编程语言。它以其简洁的语法、高效的性能和强大的并发支持而闻名。Golang 非常适合构建网络服务、云计算和分布式系统。" } ] } -
完整代码示例：
package main import ( "bytes" "encoding/json" "fmt" "io/ioutil" "net/http" "log" ) type RequestBody struct { Prompt string `json:"prompt"` MaxNewTokens int `json:"max_new_tokens"` DoSample bool `json:"do_sample"` Temperature float64 `json:"temperature"` TopP float64 `json:"top_p"` } type ResponseBody struct { Results []struct { Text string `json:"text"` } `json:"results"` } func main() { // 构建请求体 requestBody := RequestBody{ Prompt: "请用三句话介绍Golang。", MaxNewTokens: 200, DoSample: true, Temperature: 0.7, TopP: 0.9, } requestBodyJson, err := json.Marshal(requestBody) if err != nil { log.Fatalf("JSON 序列化错误: %v", err) } // 发送HTTP请求 resp, err := http.Post("http://127.0.0.1:5000/api/v1/generate", "application/json", bytes.NewBuffer(requestBodyJson)) if err != nil { log.Fatalf("HTTP 请求错误: %v", err) } defer resp.Body.Close() // 读取响应 body, err := ioutil.ReadAll(resp.Body) if err != nil { log.Fatalf("读取响应错误: %v", err) } // 解析JSON响应 var responseBody ResponseBody err = json.Unmarshal(body, &responseBody) if err != nil { log.Fatalf("JSON 反序列化错误: %v", err) } // 提取生成的文本 if len(responseBody.Results) > 0 { fmt.Println(responseBody.Results[0].Text) } else { fmt.Println("未生成任何文本。") } }这个例子展示了如何用Go语言向TextGen WebUI发送请求并获取生成的文本。请注意，你需要根据你的TextGen WebUI的配置调整API端点和请求参数。 同时，错误处理部分可以更加完善，例如加入重试机制。
如何优化Golang对接TextGen WebUI的性能？
-
连接池：
net/http
包默认会为每个请求创建一个新的TCP连接。 在高并发场景下，频繁创建和关闭连接会降低性能。 可以使用http.Client
的Transport
字段配置连接池，例如：client := &http.Client{ Transport: &http.Transport{ MaxIdleConns: 100, MaxIdleConnsPerHost: 100, IdleConnTimeout: 90 * time.Second, }, }这样可以复用已经建立的TCP连接，减少连接建立和关闭的开销。
并发请求： 如果需要同时处理多个请求，可以使用goroutine和channel来实现并发。 例如，可以创建一个worker pool，将请求分发给worker goroutine处理。
流式响应： TextGen WebUI支持流式响应，可以一边生成文本一边返回，而不是等待所有文本生成完毕才返回。 这可以显著降低延迟。 需要在请求头中设置
"Accept": "text/event-stream"
，并使用bufio.NewReader
逐行读取响应。 注意处理SSE (Server-Sent Events) 格式。Gzip压缩： 启用Gzip压缩可以减少网络传输的数据量，提高传输速度。 可以在请求头中设置
"Accept-Encoding": "gzip"
，并在服务器端启用Gzip压缩。缓存： 对于相同的prompt，可以缓存生成的文本，避免重复计算。 可以使用内存缓存或Redis等外部缓存。
GPU优化： 确保TextGen WebUI充分利用GPU资源。 检查CUDA Toolkit 和 cuDNN 是否正确安装和配置。 适当调整 TextGen WebUI 的启动参数，例如
--threads
和--n_batch
。
TextGen WebUI API 接口有哪些常用参数？
prompt
(string, required): 要生成文本的提示语。max_new_tokens
(int, optional, default: 250): 生成文本的最大token数。temperature
(float, optional, default: 1.0): 控制生成文本的随机性。 值越高，文本越随机。top_p
(float, optional, default: 1.0): 控制生成文本的多样性。 值越高，文本越多样。top_k
(int, optional, default: 0): 从概率最高的k个token中选择。 如果设置为0，则禁用。typical_p
(float, optional, default: 1.0): Typical sampling参数。repetition_penalty
(float, optional, default: 1.18): 重复惩罚参数。 用于防止模型重复生成相同的文本。repetition_penalty_range
(int, optional, default: 0): 重复惩罚的范围。encoder_repetition_penalty
(float, optional, default: 1.0): Encoder重复惩罚参数。no_repeat_ngram_size
(int, optional, default: 0): 禁止重复的ngram的大小。 如果设置为0，则禁用。min_length
(int, optional, default: 0): 生成文本的最小长度。do_sample
(bool, optional, default: true): 是否进行采样。 如果设置为false，则使用greedy decoding。seed
(int, optional, default: -1): 随机种子。 用于控制生成文本的随机性。 如果设置为-1，则使用随机种子。stop
(list of strings, optional, default: []): 停止生成的字符串列表。 当生成文本包含列表中的任何一个字符串时，生成过程停止。stream
(bool, optional, default: false): 是否启用流式响应。format
(string, optional, default: "text"): 返回格式。 可以是 "text" 或 "json"。model
(string, optional): 指定要使用的模型。 如果未指定，则使用默认模型。
具体参数和默认值可能会因为TextGen WebUI的版本和使用的模型而有所不同。 最好参考TextGen WebUI的官方文档或API文档。
如何处理TextGen WebUI API调用中的错误？
- 检查HTTP状态码： 首先，检查HTTP响应的状态码。 200表示成功，4xx表示客户端错误，5xx表示服务器错误。 例如，400表示请求参数错误，500表示服务器内部错误。
- 读取错误信息： 如果HTTP状态码不是200，尝试读取响应体中的错误信息。 TextGen WebUI通常会在响应体中返回JSON格式的错误信息。
- 重试机制： 对于 transient 的错误（例如，网络连接问题），可以实现重试机制。 使用指数退避算法可以避免在服务器过载时加剧问题。
- 日志记录： 记录API调用的详细信息，包括请求参数、响应状态码、响应体和错误信息。 这有助于诊断问题。
-
超时设置： 设置合理的超时时间，避免程序长时间阻塞。 可以使用
http.Client
的Timeout
字段设置超时时间。 - 错误处理函数： 编写专门的错误处理函数，集中处理API调用中的错误。 这样可以提高代码的可读性和可维护性。
-
熔断机制： 在高并发场景下，可以使用熔断机制来防止 cascading failure。 当API调用失败率超过一定阈值时，熔断器会打开，阻止新的请求发送到API，直到API恢复正常。 可以使用第三方库，例如
github.com/sony/gobreaker
来实现熔断机制。 - 监控： 监控API调用的性能指标，例如响应时间、错误率和吞吐量。 这可以帮助你及时发现和解决问题。
一个更健壮的错误处理示例：
package main
import (
"bytes"
"encoding/json"
"fmt"
"io/ioutil"
"net/http"
"time"
"log"
)
// ... (RequestBody 和 ResponseBody 定义)
func callAPI(requestBody RequestBody) (string, error) {
requestBodyJson, err := json.Marshal(requestBody)
if err != nil {
return "", fmt.Errorf("JSON 序列化错误: %w", err)
}
client := &http.Client{
Timeout: 10 * time.Second, // 设置超时时间
}
resp, err := client.Post("http://127.0.0.1:5000/api/v1/generate", "application/json", bytes.NewBuffer(requestBodyJson))
if err != nil {
return "", fmt.Errorf("HTTP 请求错误: %w", err)
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
return "", fmt.Errorf("读取响应错误: %w", err)
}
if resp.StatusCode != http.StatusOK {
return "", fmt.Errorf("API 返回错误状态码: %d, 响应体: %s", resp.StatusCode, string(body))
}
var responseBody ResponseBody
err = json.Unmarshal(body, &responseBody)
if err != nil {
return "", fmt.Errorf("JSON 反序列化错误: %w, 响应体: %s", err, string(body))
}
if len(responseBody.Results) > 0 {
return responseBody.Results[0].Text, nil
} else {
return "", fmt.Errorf("未生成任何文本")
}
}
func main() {
requestBody := RequestBody{
Prompt: "请用三句话介绍Golang。",
MaxNewTokens: 200,
DoSample: true,
Temperature: 0.7,
TopP: 0.9,
}
result, err := callAPI(requestBody)
if err != nil {
log.Printf("API 调用失败: %v", err)
return
}
fmt.Println(result)
} 
