← 返回首页
🔬

three.dev

three.dev(Bryan 团队)

不等用户投诉:从线上真实流量里自动发现 AI 的静默失败、聚成失败模式,并把 Top 1 交给编码智能体修

智能体评测 可观测性 MCP PH 日榜 新
B+
从线上流量反推未知失败模式的评测层
⭐⭐⭐⭐

📖 产品简介

three.dev 于 2026 年 11 月 12 日登陆 Product Hunt,获 104 票、11 条评论、日榜第 10。

产品负责人在发布帖中提出问题:AI 功能往往「静默失败」——客服助手把 30 天退款窗口说成 60 天,系统不报错也不告警,只有客户投诉或恰好翻到那条请求时才被发现;而传统 evals 只能覆盖「已经知道会失败」的场景。three.dev 从线上真实流量出发:把一条配置 prompt 粘进编码智能体完成接入;后台对真实请求打分且不增加延迟;自动发现问题并按严重程度聚成失败模式,每条都附带真实对话与证据;再把排名最高的一类通过 MCP 交回编码智能体,由它阅读样例并提出针对性修复。PH 专属优惠:11 月 22 日前注册并在一周内接入流量,Starter 计划免费六个月,官方称相当于减免 474 美元(即 $79/月)。定价中 $79/月 与优惠口径来自官方发布帖,属厂商口径。信源:Product Hunt 11-12 日榜、hunted.space 产品页(官方发布帖全文)。

定位
不等用户投诉:从线上真实流量里自动发现 AI 的静默失败、聚成失败模式,并把 Top 1 交给编码智能体修
适合人群
已上线 AI 客服 / 助手、苦于静默失败发现太晚的产品团队 需要把线上问题证据直接交给编码智能体修复的工程团队 正在搭建 Agent 评测与可观测性体系的组织
支持平台
线上应用流量、编码智能体接入、MCP
开源
否

✨ 核心功能

  • ✨ 从线上真实流量而非预设测试集出发,发现未知失败模式
  • 🧩 一条 setup prompt 交给编码智能体即可完成接入
  • 🔌 后台对真实请求打分,不增加线上延迟
  • 🛡️ 问题自动聚类为失败模式,按严重度排序并附真实会话与证据
  • 📊 经 MCP 把 Top 1 失败模式交回编码智能体,由它提出定向修复
  • 🚀 PH 专属:11/22 前注册并一周内接入流量,Starter 免费 6 个月

⚖️ 优缺点分析

👍 优点

  • 补上「只能为已知失败写 eval」的盲区,从真实流量反推问题
  • 证据链完整(真实对话 + 严重度排序),便于团队排优先级
  • 评测 → 修复经 MCP 闭环交给编码智能体,减少人工搬运
  • 零额外延迟的后台打分

👎 缺点

  • 需要接入真实流量才能发挥价值,早期项目收益有限
  • $79/月 与 474 美元减免均为官方发布帖口径,完整价目未核实
  • 自动聚类与严重度判定的准确性缺少第三方评测
  • 修复建议质量取决于所接编码智能体

📊 评分详情

功能完整
8.5
易用程度
8.5
安全可靠
8
性价比
8

💬 用户评价

「你只能为已经知道会失败的那种情况写 eval。」——three.dev 产品负责人 Bryan(发布帖)

📝 更新日志

  • 2026-11-12
    three.dev 登陆 Product Hunt 日榜 #10(104 票)
    three.dev 于 2026-11-12 登陆 Product Hunt,获 104 票、11 条评论、当日第 10(Product Hunt 11-12 日榜、hunted.space 官方发布帖)。产品从线上真实流量发现 AI 静默失败:一条 setup prompt 接入、后台零延迟打分、自动按严重度聚类失败模式并附真实会话证据、经 MCP 把 Top 1 交回编码智能体提出定向修复。PH 优惠:11/22 前注册并一周内接入流量,Starter 免费六个月(官方称减免 $474,对应 $79/月)。