如何使用openai的实时语音api实现虚拟女友或ai面试考试等场景？

OpenAI 于 2024 年 10 月 1 日宣布 Realtime API 的公测版本，使得开发者能够构建低延迟的多模态体验。这个 API 支持使用六种预设语音进行自然的语音对话，类似于 ChatGPT 的高级语音模式。

此外，Chat Completions API 也增加了音频输入和输出功能，支持文本或音频输入，并可以以文本、音频或两者的形式响应。

Realtime API 通过 WebSocket 连接直接流式传输音频输入和输出，减少了对多个模型的依赖，并能够自动处理中断。OpenAI 还强调了安全和隐私，采用了多层次的安全保护措施，并且在推出前进行了外部红队测试。

Realtime API 的定价包括文本和音频令牌的费用，音频输入和输出分别为100和200 每百万令牌。开发者可以通过 Playground、文档和参考客户端开始构建应用。

未来，OpenAI 计划增加更多的模态支持，提高速率限制，提供官方 SDK 支持，引入提示缓存，并扩展模型支持。

示例代码

import fs from 'fs';
import decodeAudio from 'audio-decode';

// Converts Float32Array of audio data to PCM16 ArrayBuffer
function floatTo16BitPCM(float32Array) {
  const buffer = new ArrayBuffer(float32Array.length * 2);
  const view = new DataView(buffer);
  let offset = 0;
  for (let ...

点击查看剩余70%

openai的实时语音api即将要开放了，只要把系统接入了这个api就能实现远程面试和虚拟女友的功能。