讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

立刻MV
立刻MV

低成本歌曲 MV、视频生成

updream

一键生成高质量推广成片

AniShort
AniShort

AI短剧协同制作平台

TensorFold 1.2.9如何使用Ollama兼容接口与TOML启动配置

落枫君_9571

落枫君_9571

发布时间:2026-11-16 11:23:55

|

214人浏览过

|

来源于php中文网

原创

tensorfold 1.2.9在既有推理引擎上增加ollama兼容api,并支持用toml文件保存serve参数。配置文件便于复用启动设置,兼容端点则让已有客户端有机会接入同一服务;两者都不意味着任意模型、gpu或ollama功能自动可用。

TensorFold官方文档中的服务启动环境与命令

Ollama兼容覆盖哪些端点

1.2.9列出的端点为/api/chat、/api/generate、/api/embed、/api/tags、/api/show、/api/ps和/api/version,走与OpenAI路由相同的引擎路径。这说明接口层增加了兼容入口,并不表示所有Ollama扩展参数、模型管理行为及客户端版本都已经逐项验证。

已有客户端如果只使用这些端点,可以围绕实际请求与响应评估接入。模型能否运行仍取决于TensorFold支持的架构、权重形式及本机硬件;接口名称相同不能替代模型与后端检查。

TensorFold 1.2.9新增Ollama兼容端点和配置文件的版本记录

怎样把启动参数保存为TOML

以下示例适用于已安装TensorFold 1.2.9、具备相应模型运行环境的终端。保存为serve.toml;示例采用官方README中的模型和服务别名,运行前需确保模型权重可获取且本机资源足够。配置中的127.0.0.1只在本机监听,8080是示例端口;不包含真实密钥。

# serve.toml
model = "mlx-community/Qwen3.5-2B-MLX-4bit"
host = "127.0.0.1"
port = 8080
name = "local-model"
context = 8192
thinking = false

配置键对应去掉--的serve参数,全部位于顶层。thinking = false对应--no-thinking;不能把no-thinking直接作为此开关的配置键。文件不支持任意完整TOML语法,例如表、点分键和嵌套数组会被拒绝,而不是默默忽略。

如何启动并临时覆盖端口

在保存配置的目录运行下面的命令。macOS和Linux会拒绝可由组或其他用户写入的配置,因此先移除这两类写权限。第二个启动命令是替代第一个的示例,用来说明临时改端口,不是要求同时启动两个实例。

chmod go-w serve.toml
tensorfold serve --config serve.toml

# 需要9000端口时,改用这一条启动命令
tensorfold serve --config serve.toml --port 9000

预期服务按配置加载模型并监听所选端口;命令行优先于文件,文件优先于内置默认值。若参数不支持、模型无法运行或配置不合法,启动可能失败,不能把命令存在当作已实测成功。

文件内相对路径以配置文件目录为起点,命令行路径仍以启动时工作目录为起点。路径参数不经过shell展开,文件中的~/不会自动变成用户主目录。重复参数列表在命令行出现时,会替换文件里的整组列表,而不是追加。

哪些修复值得纳入回归检查

在CUDA的Nemotron Omni场景,失败的图像请求不再污染下一次回复;GLM-5.3-Flash在TP=3且prompt_logprobs超过约100个token时的挂起得到修复。这些是具体场景修复,不能概括为所有错误或长提示故障都已消失。

/v1/models增加每个模型的input_types,不支持视频的模型收到视频请求时返回HTTP 400而不是500。CUDA发行服务也会在没有对应GPU内核时明确拒绝启动;遇到拒绝应先看硬件与构建支持,而不是把它当成随机挂起。

官方性能数字分别来自指定模型、GPU、并发数和提示长度,不能把一个场景的提升比例套到所有部署。Linux内存压力调节需要显式启用;CUDA图像路径和部分视觉内核仍属于尚未被已服务模型使用的基础工作,也不应当作已经开放的模型功能。1.2.9是这里讨论的准确版本,不代表始终为最新发行版。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3248

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

5529

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3909

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

506

2026.01.19

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

100

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

60

2026.11.12

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

60

2026.11.12

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

160

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

120

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn