讲师中心 微信公众号

工具推荐

视频效率加速
立刻MV
立刻MV

低成本歌曲 MV、视频生成

剧云
剧云

中文短剧剧本制作平台

AniShort
AniShort

AI短剧协同制作平台

Seko
Seko

AI短剧一键生成成片

Node.js 指南:教你如何用 SDK 实现 Gemini 视频分析功能实操

浅晨吖_1425

浅晨吖_1425

发布时间:2026-03-21 19:30:46

|

284人浏览过

|

来源于php中文网

原创

需配置Google Cloud项目、安装@grpc-cloud/vertexai、上传视频至GCS并设public-read权限、构造含video和text parts的请求、处理流式响应及错误。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

node.js 指南:教你如何用 sdk 实现 gemini 视频分析功能实操

如果您希望在 Node.js 环境中调用 Google Gemini SDK 对视频内容进行分析,则需完成身份认证、视频上传、内容提取与模型推理等关键环节。以下是实现该功能的具体操作路径:

一、配置 Google Cloud 项目与 API 密钥

Gemini 视频分析功能依赖 Google Cloud 的 Vertex AI 或 Gemini API 服务,必须先启用对应 API 并生成有效凭据。未正确配置将导致 403 或 401 错误。

1、访问 https://console.cloud.google.com/,登录您的 Google Cloud 账户。

2、创建新项目或选择已有项目,在左侧导航栏进入 API 和服务 > 启用 API 和服务。

3、搜索并启用 Vertex AI API 与 Generative Language API。

4、进入 API 和服务 > 凭据,点击“创建凭据 > 服务账号密钥”,选择新建服务账号,角色设为 Vertex AI User,密钥类型选 JSON,下载保存为 key.json。

二、安装 Gemini SDK 与依赖包

Node.js 环境需引入官方支持的 @google-cloud/vertexai 包,该包提供对 Gemini 1.5 Pro 等多模态模型的直接调用能力,不兼容旧版 @google/generative-ai。

1、在项目根目录执行命令:npm init -y 初始化 package.json。

2、安装核心 SDK:npm install @google-cloud/vertexai。

3、确保 Node.js 版本不低于 v18.17.0,可通过 node --version 验证。

三、上传视频至 Google Cloud Storage(GCS)

Gemini 视频分析要求输入为 GCS 中的公共可读 URI,本地文件路径无法直传。视频须先上传至指定存储桶,并设置对象 ACL 为 public-read。

1、安装 GCS 工具:npm install @google-cloud/storage。

2、创建 storageClient 实例,使用上一步下载的 key.json 进行认证。

Generate images & videos with: Gemini 3 Pro Image + Qwen Wan 2.6 (video) via one API key
Generate images & videos with: Gemini 3 Pro Image + Qwen Wan 2.6 (video) via one API key

使用AIsa生成图像与视频。仅需一个API密钥即可调用Gemini 3 Pro Image(图像)和Qwen Wan 2.6(视频)。

下载

3、调用 bucket.upload() 方法上传视频文件(如 sample.mp4),等待上传完成返回对象元数据。

4、获取上传后对象的完整 URI:gs://your-bucket-name/sample.mp4,该 URI 将作为后续分析请求的 input_uri 字段值。

四、构建多模态视频分析请求

Gemini 1.5 Pro 支持视频分帧采样与长上下文理解,需构造包含 video 和 text parts 的 contents 数组,其中 video 部分必须为 GCS URI,且不可与其他媒体类型混用。

1、初始化 VertexAI 客户端,指定项目 ID、位置(如 us-central1)和模型名称(gemini-1.5-pro)。

2、定义 contents 数组,首项为 video part:{ "video": { "uri": "gs://your-bucket-name/sample.mp4" } }。

3、第二项为 text part,携带分析指令,例如:{ "text": "逐帧描述视频中人物动作、场景变化及出现的文字内容,输出为带时间戳的 JSON 列表" }。

4、调用 generateContent() 方法提交请求,设置 maxOutputTokens 为 8192 以容纳长视频响应。

五、处理流式响应与错误捕获

视频分析响应可能延迟较高且体积较大,SDK 默认启用流式传输;若未显式处理 data 事件,将丢失全部输出。同时需区分 429(配额超限)、400(URI 不可达)等错误码。

1、在 generateContent() 返回的 Promise 中,使用 on('data', callback) 监听每一段响应 chunk。

2、每个 chunk 的 candidates[0].content.parts[0].text 字段含增量文本,需拼接至完整结果变量。

3、监听 on('error', err => {...}),检查 err.code 是否为 RESOURCE_EXHAUSTED 或 INVALID_ARGUMENT。

4、若遇 400 Bad Request 且 message 含 “invalid URI”,立即验证 GCS 对象是否存在且权限为 public-read。

热门AI工具

更多
Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
Gemini网页版零基础入门:5分钟上手Gemini聊天指南
Gemini网页版零基础入门:5分钟上手Gemini聊天指南

本专题专为零基础用户打造,5分钟快速掌握Gemini网页版核心用法。从账号登录到界面布局,详解如何发起对话、优化提示词及利用多模态功能。通过实战案例,教你高效获取信息、创作内容与分析数据。无论学习还是工作,轻松开启AI辅助新时代,让Gemini成为你的得力智能助手。

20157

2026.03.18

如何写出高效Gemini提示:Chain of Thought实用教程
如何写出高效Gemini提示:Chain of Thought实用教程

本专题详解如何利用“思维链”(Chain of Thought)技巧激发 Gemini 模型的深度推理能力。通过引导模型将复杂问题拆解为逐步推导的逻辑链条,显著提升其在数学计算、代码生成及逻辑分析任务中的准确率。文章提供实用提示模板与对比案例,助您掌握结构化提问方法,从简单指令升级为高效交互,轻松获取更精准、可解释的智能回答。

57

2026.03.23

Gemini多模态实战:图片PDF视频输入完整处理指南
Gemini多模态实战:图片PDF视频输入完整处理指南

本指南全面解析 Gemini 多模态实战,涵盖图片、PDF 及视频的高效处理流程。从上传技巧到提示词设计,教您如何提取文档关键信息、分析图表数据及解读视频内容。通过真实案例演示,助您掌握跨模态交互核心技能,轻松构建智能文档分析与多媒体理解应用,释放 AI 潜能。

77

2026.03.23

Gemini提示工程进阶:Few-shot与角色扮演优化方法
Gemini提示工程进阶:Few-shot与角色扮演优化方法

本进阶指南深入解析 Few-shot 学习与角色扮演在 Gemini 提示工程中的核心应用。通过精选示例引导模型模仿特定风格,结合角色设定规范输出语气与逻辑,显著提升复杂任务的处理精度。文章提供实用模板与调优策略,助您打造个性化 AI 助手,实现从通用回答到专业级交互的质的飞跃。

96

2026.03.23

Google AI Studio使用教程:从模板到自定义Prompt实战
Google AI Studio使用教程:从模板到自定义Prompt实战

本教程手把手教您掌握 Google AI Studio,从快速调用官方模板到深度自定义 Prompt 实战。内容涵盖界面导航、参数调优及版本管理,助您灵活构建专属 AI 应用。通过真实案例演示,让您轻松实现从创意构思到原型部署的全流程,高效释放 Gemini 模型潜能,打造智能化解决方案。

121

2026.03.23

Gemini API快速上手:Python调用generateContent完整指南
Gemini API快速上手:Python调用generateContent完整指南

本指南详解如何使用 Python 快速调用 Gemini API 的 generateContent 方法。从环境配置、密钥管理到核心代码实现,逐步演示文本生成、多模态输入及流式响应处理。包含完整示例与错误排查技巧,助开发者轻松集成 Gemini 强大能力,构建高效智能应用,开启 AI 开发新篇章。

130

2026.03.23

如何实现Gemini函数调用:Tool Use与外部工具集成教程
如何实现Gemini函数调用:Tool Use与外部工具集成教程

本教程深入解析 Gemini 函数调用机制,详解 Tool Use 配置与外部工具集成流程。从定义函数架构到处理动态参数,手把手教您连接数据库、搜索 API 及自定义服务。通过实战案例,展示如何让 AI 自主规划并执行复杂任务,突破纯文本限制,构建具备真实行动力的智能代理系统。

185

2026.03.23

Gemini结构化输出JSON模式:API稳定提取数据实战
Gemini结构化输出JSON模式:API稳定提取数据实战

本实战指南详解如何利用 Gemini API 的 JSON 模式实现结构化数据提取。通过配置响应格式约束,确保模型输出严格符合预定义 Schema,彻底解决解析错误难题。内容涵盖字段定义、类型校验及异常处理,助您在信息抽取、数据清洗等场景中构建高稳定性管道,轻松将非结构化文本转化为可靠的应用数据。

131

2026.03.23

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

0

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Gemini Notebook常见问题解答
Gemini Notebook常见问题解答

共0课时 | 0人学习

Gemini Notebook官方手册
Gemini Notebook官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn