简介
OpenAI Realtime API 是 OpenAI 官方推出的实时语音与多模态交互接口。它允许开发者构建能够”边说边听、可被打断”的语音应用,把 GPT 系列的语音理解与生成能力直接接入到自己的产品中。
相比于传统的”语音转文字 → 文本模型 → 文字转语音”三段式方案,Realtime API 采用端到端的实时会话模式,显著降低了延迟,让语音 Agent 的交互更自然流畅。
核心功能
实时语音会话
支持通过 WebSocket 或 WebRTC 建立低延迟的语音双向通信。
自然打断
用户可以随时打断 AI 的发言,交互如同真人对话。
函数调用
在语音会话中调用外部工具与业务接口,扩展 Agent 能力。
适用场景
- 实时语音客服与语音助手
- 端到端语音 AI Agent 开发
- 多模态实时交互应用