📖 产品简介
Cekura Bench 是 Cekura（YC 支持、2025 年完成 240 万美元种子轮）于 2026 年 10 月 8 日前后在 Product Hunt 发布（当日第 4 名）的公开语音 AI 基准测试站点。
它要解决的是：语音模型的榜单往往是文本或实验室指标，真实电话环境中的可靠性、字段说错、长时间沉默与每分钟成本会同时出现，只看延迟数字远远不够。Cekura Bench 把多款实时语音（speech-to-speech）模型放进同一个开源 Pipecat 电话 Agent 架构中，赋予相同的系统提示、业务工具与真实电话线路，在诊所预约与 Medicare 医保登记等 82 个业务场景上每个场景独立运行 3 次；只有 3 次通话全部达成正确业务目标且提取/存储的字段完全正确，该场景才算通过（pass³ 规则）。模型按可靠性、数据准确率、停滞通话率、响应时延与成本排名，且每一通通话的转录文本都向公众开放，可核对、可溯源。截至 2026-10-07 的语音对语音榜已覆盖 11 款模型（首发为 9 款），GPT Realtime 2.1 以 79.3% 的 pass³ 可靠性居首。该基准同时涵盖语音 Agent 基准与 STT 基准，TTS 基准即将推出。Cekura Bench 本身免费，定位为 Cekura 付费语音 Agent 评测与监控平台的获客与开源研究资产。
定位
在真实电话上评测实时语音模型的公开基准：82 个场景、每场景跑 3 次、全部通话记录公开
适合人群
正在为电话 Agent / 客服选型实时语音模型的团队
需要回归测试与生产监控的对话式 AI 厂商
做语音 Agent 红队与合规审计的团队
关注可靠性、时延与每分钟成本的采购方
支持平台
Web、Pipecat 开源电话 Agent、真实电话线路
开源
是 · GitHub
✨ 核心功能
- 真实电话评测：在真实网络电话线路上把模型当作完整电话 Agent 测试，而非实验室音频
- 82 场景 × 3 次：诊所预约与 Medicare 登记等垂直场景，每个跑 3 次，pass³ 严格判通过
- 五维排名：可靠性、数据准确率、停滞通话率、响应时延、每分钟成本
- 全量公开：每通通话转录文本公开，结果页 CC BY 4.0、可下载 JSON，方法学署名到具体负责人
- 同框对比：任意两款模型在相同条件下逐项对比
- 免费浏览：基准本身免费，并为 Cekura 付费评测平台导流
⚖️ 优缺点分析
👍 优点
- 真实电话环境评测，比文本/实验室指标更贴近落地选型
- pass³ 规则惩罚偶发成功，稳定性结论更可信
- 全量录音与转录公开，采购可凭证据而非厂商 PPT 决策
- 开源方法 + 公开代码，可复现、可审计
- 免费且覆盖主流实时语音模型
👎 缺点
- 场景偏医疗预约与医保登记，零售、多语言等流覆盖不足
- 排名为快照，模型静默更新后需以「最后更新」日期判断时效
- Cekura 同时售卖所评测市场的监控/红队服务，存在披露过的利益冲突
- 部分评分提示词与打分 rubric 未公开，无法 100% 复现
- TTS 基准尚在规划，当前仅语音/SST/语音 Agent 三类
📊 评分详情
功能完整
8.5
易用程度
8
安全可靠
8
性价比
9
💬 用户评价
选语音模型最怕厂商自报分数，Cekura Bench 把每通真实电话的转录都公开，采购终于能凭证据说话。
📝 更新日志
-
2026-10-08Product Hunt 发布Cekura Bench 于 2026-10-08 前后登陆 Product Hunt（当日第 4 名）。首个在真实电话上对 9 款（后扩展至 11 款）实时语音模型做端到端基准的开源站点：统一 Pipecat 电话 Agent、相同提示/工具/线路，82 个业务场景每场景跑 3 次（pass³ 判通过），按可靠性/准确率/停滞率/时延/成本排名，全量通话转录公开（CC BY 4.0）。由 YC 系 Cekura 团队（Sidhant Kabra / Shashij Gupta / Tarush Agarwal）出品，基准本身免费。