开始使用

项目概览

面向中文语音与国内模型服务的 LiveKit Agents 插件集合

livekit-plugins-chinese 为 LiveKit Agents 提供国内云厂商与开源语音服务适配。 插件遵循 LiveKit 的 STTTTSLLMRealtimeModel 接口,可以直接放入 AgentSession,无需在业务代码中手动处理厂商 WebSocket 协议。

项目定位

这个项目解决两类问题:

  • 把阿里云、火山引擎、阶跃星辰、Dify 和 FlashTTS 接入 LiveKit Agents。
  • 统一音频流、转写、生成、工具调用和会话生命周期,减少厂商协议差异泄漏到业务层。

如何选择

  • 希望模型直接听语音并用语音回答:优先查看阿里云 Realtime火山引擎 Realtime
  • 希望自由组合识别、文本模型和合成:选择阿里云或火山引擎的 STT + LLM + TTS。
  • 已经在 Dify 编排提示词、知识库或工作流:使用 Dify LLM
  • 已自行部署开源 TTS:使用 FlashTTS

运行要求

  • Python 3.10+
  • LiveKit Agents 1.6.7
  • 对应服务商已开通的模型或语音资源
  • LiveKit Cloud 凭证,或可用的自托管 LiveKit Server
  • Realtime 场景建议使用稳定的低延迟网络和 16 kHz 单声道麦克风输入

下一步

先在插件文档中选择服务商,并按对应页面完成安装,再根据 密钥与环境变量完成服务商配置。第一次接入可以直接从 第一个语音 Agent开始。