开源项目garlic llm把qwen3.5-9b带到ps4本地运行。作者公布的基础版和slim机型测试显示,文本生成速度约为每秒31至39个token,部分代码输出可达43个token,并提供16k上下文。这些是项目作者的测试数据,不能视为所有ps4、固件和任务的通用速度。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
项目提供的PS4聊天界面示例
模型和语音功能都在主机处理
项目通过面向PS4 GPU的计算内核、自行提交的命令缓冲、混合Q4/Q3权重和4位注意力缓存控制内存占用,并利用模型的MTP头进行推测解码。语音模式还需要为语音模型腾出内存,作者给出的聊天速度约为每秒22个Token。文档列出的语音输出与听写语言各有范围,不能据此宣称完整支持中文语音。
在发送至付费API前,通过三层压缩预处理提示词;利用本地Ollama模型智能压缩消息并生成历史摘要。

作者列明的已测试环境与存储要求
属于特定自制软件环境,不是普通主机直接安装的服务
该应用需要可运行GoldHEN的PS4环境。作者测试过固件11.52的基础版与Slim,其他固件和Pro机型的反馈另有归属,不能混为同一组实测。项目还要求约6GB可用空间;先把完整安装包复制到主机再安装时,需预留更多空间。当前README明确,OpenAI兼容API虽已进入源码,但1.19安装包尚不包含,需等待后续安装包,不能按现成版本介绍其接入。

















