podcast-generation_设计多媒体 skill-PHP中文网

podcast-generation

Polar Sponsor

爱发电赞助

.NET 9.0

立即下载

通过 WebSocket 使用 Azure OpenAI 的 GPT Realtime Mini 模型生成 AI 驱动的播客式音频叙事。用于构建文本转语音功能、

使用 GPT Realtime Mini 生成播客

功能概述

使用 GPT Realtime Mini 生成播客是一项面向实际任务的技能，主要用于使用 Azure OpenAI 的 Realtime API 从文本内容生成真实音频叙事；为 Realtime API 配置环境变量；

核心要点

通过 WebSocket 连接到 Azure OpenAI Realtime 端点；
发送文本提示，收集 PCM 音频块 + 转写文本；
将 PCM 转换为 WAV 格式；

使用与执行

返回 base64 编码的音。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。从功能定位来看，该技能强调把分散的操作要求整理成清晰、可复用的处理流程，使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数，再依据技能说明逐步执行；

结果检查与注意事项

若输入条件不完整，应先补齐信息或采用保守配置，避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期，并对异常提示、缺失字段和边界情况进行处理；涉及批量任务时，还应保存进度，避免中断后重复操作。该技能适合用于一次性任务，也可以接入自动化工作流，与其他技能或上层代理配合完成更完整的业务链路；在组合使用时，应明确每一步的输入输出关系，并避免不同步骤之间出现参数冲突。

使用 GPT Realtime Mini 生成播客

使用 Azure OpenAI 的 Realtime API 从文本内容生成真实音频叙事。

快速开始

为 Realtime API 配置环境变量
通过 WebSocket 连接到 Azure OpenAI Realtime 端点
发送文本提示，收集 PCM 音频块 + 转写文本
将 PCM 转换为 WAV 格式
返回 base64 编码的音频到前端播放

环境配置

AZURE_OPENAI_AUDIO_API_KEY=your_realtime_api_key
AZURE_OPENAI_AUDIO_ENDPOINT=https://your-resource.cognitiveservices.azure.com
AZURE_OPENAI_AUDIO_DEPLOYMENT=gpt-realtime-mini

注意：端点不应包含 /openai/v1/ —— 仅使用基础 URL。

核心工作流

后端音频生成

from openai import AsyncOpenAI
import base64

# 将 HTTPS 端点转换为 WebSocket URL
ws_url = endpoint.replace("https://", "wss://") + "/openai/v1"

client = AsyncOpenAI(
    websocket_base_url=ws_url,
    api_key=api_key
)

audio_chunks = []
transcript_parts = []

async with client.realtime.connect(model="gpt-realtime-mini") as conn:
    # 配置为仅音频输出
    await conn.session.update(session={
        "output_modalities": ["audio"],
        "instructions": "You are a narrator. Speak naturally."
    })
    
    # 发送要叙述的文本
    await conn.conversation.item.create(item={
        "type": "message",
        "role": "user",
        "content": [{"type": "input_text", "text": prompt}]
    })
    
    await conn.response.create()
    
    # 收集流式事件
    async for event in conn:
        if event.type == "response.output_audio.delta":
            audio_chunks.append(base64.b64decode(event.delta))
        elif event.type == "response.output_audio_transcript.delta":
            transcript_parts.append(event.delta)
        elif event.type == "response.done":
            break

# 将 PCM 转换为 WAV（见 scripts/pcm_to_wav.py）
pcm_audio = b''.join(audio_chunks)
wav_audio = pcm_to_wav(pcm_audio, sample_rate=24000)

前端音频播放

// 将 base64 WAV 转换为可播放的 blob
const base64ToBlob = (base64, mimeType) => {
  const bytes = atob(base64);
  const arr = new Uint8Array(bytes.length);
  for (let i = 0; i < bytes.length; i++) arr[i] = bytes.charCodeAt(i);
  return new Blob([arr], { type: mimeType });
};

const audioBlob = base64ToBlob(response.audio_data, 'audio/wav');
const audioUrl = URL.createObjectURL(audioBlob);
new Audio(audioUrl).play();