讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

Seko
Seko

AI短剧一键生成成片

SoundView
SoundView

字幕擦除翻译、配音口型同步

立刻MV
立刻MV

低成本歌曲 MV、视频生成

Hy4 flash、FP8 与 base 如何选择,加载前要核对什么?

星浩小哥_8038

星浩小哥_8038

发布时间:2026-11-18 13:43:47

|

458人浏览过

|

来源于php中文网

原创

日常对话和图文问答应选指令模型;量化指令模型还需确认推理框架与硬件支持;预训练基础模型适合后续训练研究。加载前要核对具体仓库、运行依赖、资源预算及许可证,不能把每次激活的参数量直接当作整套权重的显存需求。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

Tencent Hy 官方品牌封面

Hy4 flash、FP8 与 base 分别适合什么任务?

Tencent 官方模型卡列出三种开放权重:Hy4 flash 是指令模型,Hy4 flash-FP8 是 FP8 量化指令模型,Hy4 flash-base 是预训练基础模型。需要照着聊天或推理示例接入时,适用范围是前两种;base 没有经过同样的指令微调,不能因为名称相近就当作开箱即用的聊天模型。

已有部署计划且框架支持对应量化格式时,可以评估 FP8 版本。选择它不等于已经证明在目标设备上更快、显存够用或效果不变;这些结论需要自己的硬件、任务和配置验证。base 的用途应围绕预训练模型的继续训练与研究来判断。

Hy4 flash 官方模型卡中的三种权重用途与适用范围

下列指令版示例所参照的仓库文档固定在提交 d88c9dfd96ba4f2e6b92adba0b8e8f1c8696f959。这个提交标识用于定位资料,不代表独立的软件发行版本号。

这次可确认的时间信息是官方 Hugging Face 仓库于2026年11月17日创建及权重分发记录,不能据此推定模型在全球所有渠道的首次发布时间。模型卡还列有 ModelScope、GitCode 分发入口,具体获取时应核对仓库名和模型文件。

220B、12B 和 1M 应该怎样理解?

官方介绍称模型总参数约220B,其中包含约64B的 Engram 参数,每个 token 激活约12B参数;原生接收文本和图片、输出文本,支持最长1M上下文。模型规格表把1M写为1,048,576 tokens。这些都是官方资料口径,实际部署效果需在目标环境验证。

激活参数量描述计算路径,不代表加载时只需保存12B权重。权重格式、框架、并行方式及上下文缓存都会影响实际资源需求;支持最长上下文也不等于任意设备都能直接承载该长度。官方服务端示例使用八路张量并行,这是一组示例配置,不能反推任意单卡都能运行,也不能仅凭这一项断定最低硬件。

安装依赖前,先确认示例对应哪套环境

所核验模型卡当时说明 Transformers 支持尚待合入主分支,安装示例指向拉取请求50903的开发引用。不能假定任意已安装的正式发行版已经支持该模型。下面保留官方命令,供具备对应计算资源的独立 Python 环境评估;运行它会安装开发代码及相关依赖,开发引用也可能继续变化,生产环境应另行锁定经过验证的提交与依赖。

pip install "transformers[torch,vision] @ git+https://github.com/huggingface/transformers.git@refs/pull/50903/head"

该命令的用途是安装模型卡指定的 Transformers 实现及 torch、vision 相关依赖,不负责下载并完成模型推理。若出现无法识别模型架构的问题,首先应检查实际安装来源是否与模型卡要求一致,而不是直接把仓库换成 base。

怎样阅读官方图文加载示例?

下面是模型卡给出的 Hy4 flash 图文示例,适用于准备好兼容运行环境与充足资源后的加载验证。它使用处理器构造对话模板,读取示例图片,再请求一句话描述;模型和处理器加载可能下载大体积文件,设备自动分配也不能替代资源评估。这是一段官方用法示例,不能据此认定本地推理已经成功。

from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "tencent/Hy4-flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, device_map="auto")

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
            },
            {"type": "text", "text": "Describe this image in one sentence."},
        ],
    }
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    reasoning_effort="no_think",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0, inputs["input_ids"].shape[1] :], skip_special_tokens=True))

示例中 reasoning_effort="no_think" 表示直接回答;官方对指令模型还支持 "high",且其为默认思考模式。max_new_tokens=256 控制本次最多新增的 token 数,并不把模型上下文改成256。正常完成后,最后一行打印生成的图片描述;具体文字会随生成过程变化,不能把某句示例答案视为固定输出。

官方另推荐 temperature=0.9、top_p=1.0,但上面这段原始 Transformers 示例没有显式传入这两个采样值。它们不能与思考模式或上下文长度混为一谈。出现资源不足时,应回到硬件预算、量化支持和部署配置评估,不能据此认定某种降参方案一定可用。

开放权重是否意味着使用 Apache 2.0?

许可证名称是 Tencent Hy License, Version 1.0。其说明虽以 Apache License 2.0 为基础,但另有商业条款,并明确表示本许可证不是 Apache License 2.0。模型可获取权重,不代表所有商业使用都没有附加条件。

第10节将 MaaS 定义为向第三方提供模型推理或微调的远程访问,使其能够提交输入、指定参数或训练数据。它排除能力仅限特定功能或工作流、不给通用模型访问的终端产品,也排除仅转发至独立第三方模型服务的请求。

按该节原文,经营 MaaS 业务且任一连续12个月全球总收入超过5,000万美元时,不论收入是否来自该模型,都须在使用或继续使用前取得单独书面许可;另一种触发情况是在任一自然月月活用户超过1亿的自有产品或服务中使用该模型或衍生作品之前。仅内部使用且模型、衍生作品及其输出均不向第三方提供时,第10.2节不适用。对外服务计划需要按完整条款判断具体业务,不能把内部使用例外简化成所有企业均可无条件使用。

热门AI工具

更多
花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

0

2026.11.17

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

0

2026.11.17

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

0

2026.11.17

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

0

2026.11.17

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

0

2026.11.17

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

0

2026.11.17

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

180

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

120

2026.11.12

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

100

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn