构建 Sheherazade's Lantern 这个项目的三个月里,我跟 AI Agent(Hermes Agent)一起经历了完整的迭代周期:从第一天兴奋地让它 "写篇文章"、"生成个封面"、"做个 RSS",到后来深刻认识到——Agent 的输出不是答案,而是需要被审计的草稿。
这三个月踩出来的三句话,每一句背后都有真实的血泪史。
最典型的翻车:让 Agent "发布网站,确认所有链接正常"。Agent 回复:"部署完成,所有页面正常运行。" 我信了。
结果用户点开 Blog → 404。
翻了一下,导航栏的链接写的是 /blog/,但在 GitHub Pages 项目站点上,这个绝对路径解析到了域名根目录 bossman-lab.github.io/blog/,而不是项目根目录 bossman-lab.github.io/sheherazades-lantern/blog/。Agent 的 "所有页面正常运行" 只是跑了个 curl 确认主页 200 了事,压根没点进去检查导航链接。
同样的翻车还发生在:封面图片路径 -- Agent 说 "已修复",但图片还是裂的,因为它用的 src="/images/cover.jpg" 还是绝对路径。
LLM 没有上下文意识。它不知道它在 GitHub Pages 项目站点上,不知道路径需要加项目名前缀,也不知道 "检查链接" 应该怎么检查。它只是在复现训练数据中见过的 "部署检查步骤"——而训练数据里的部署日志几乎都只检查主页。
不再是 "相信 Agent 的报告",而是:
验证逻辑写进 deploy.sh,每次发布自动跑。Agent "done" 只是流程的第一步,"verified" 才叫完成。
做播客封面时,我说 "这个封面太白,加点暖色调,封面圆圈太大了缩小一点"。Agent 回复 "已调整配色方案,缩小了圆圈尺寸"。
结果:圆圈更大了,颜色更冷了。
不是 Agent 不听话,是 "暖色调" 在它的语义空间里可能对应 #FFD700,在我眼里是 #D4A747;"缩小圆圈" 它觉得 10% 就够了,我觉得 50% 才叫缩小。双方对形容词的理解根本不在同一个坐标系。
后来我改成这样的 prompt:
背景色从 #000 改为 #121212 圆圈缩小到半径占宽度的 8% 圆圈颜色从 #FFD700 改为 #D4A747 透明度从 0.8 降到 0.4
一次通过。
人类用 感受 描述视觉,Agent 用 分布 理解视觉。在 Agent 的语义空间里,"暖色调" 是一个高斯分布,中位数可能在 #E8A040——但你觉得的 "暖" 可能在 #C8923A。你俩说的同一句话,脑中对齐的不是同一个 RGB 值。
更底层的原因是:LLM 的文本空间里没有 "这是对的审美" 的 ground truth。它在训练数据里见过 "暖色调配金色字体很舒服" 这句话,但它不知道这句话对你来说是真还是假。
| 错误 | 正确 |
|---|---|
| "暖色调" | #D4A747 |
| "小一点" | 8% |
| "透明一点" | opacity: 0.4 |
| "现代化" | Inter 字体, 16px 行高 1.7, 卡片圆角 8px |
| "庄重一点" | 字重 600, 行距 2.0, 深色背景 |
如果改不动 → 直接重做。渐进式调整("再调一点点")在没有即时视觉反馈的情况下,Agent 永远踩不准方向。
让 Agent "写一篇关于中国法律 AI 市场的文章"。它写了 3000 字——引用 2023 年的数据、列举了四家已经转型的竞品、分析了监管政策。看着很专业。
但问题是:其中两家竞品在 2024 年就合并了,一条法规在 2025 年初已经废止,一条引用链接 404,因为那个网站已经关了。
Agent 不知道这些。它只知道「这些内容在训练数据里存在过」。
更隐蔽的版本:让它 "研究一下怎么注册 Apple Podcasts"。它给了完美的 8 步骤——但里面第 3 步提到的 Apple ID 创建流程已经是两年前的版本了,Apple 改了界面和验证流程。
LLM 的知识截止在训练时。它不是搜索引擎,没有实时感知。它对 "今天" 的理解 = 训练数据中的某个时间快照。一条链接在 Agent 的认知里还活着,因为原始文档里写了这条链接——Agent 没有能力知道它现在是不是还活着。
更危险的是,Agent 不会标记不确定性。它不会说 "这条信息可能过时了"——它会自信地把所有知识以同样的确信度输出。
建立三道闸门:
闸门 ① — Agent 出示步骤框架
"我计划按这 5 步来完成:1) 搜集最新资料,2) 验证所有引用的有效性,3) 按以下模板组织结构,4) 生成初稿,5) 交叉检查。这是步骤大纲,请确认方向再继续。"
人类审核的是 路线图 是否合理,而不是赌成品对不对。方向错了,根本不用走到第 3 步。
闸门 ② — Agent 提供示例内容
"以下是按第 1 步生成的样例段落,你看看这个风格和深度对吗?"
人类审核的是 输出风格和质量标准。一旦确认,后续批量输出按同一标准走。风格不对的趁早发现,不浪费 3000 字的料。
闸门 ③ — 已验证的流水线自动执行
步骤和样例都确认了,才让 Agent 执行完整流程。每条链接需要可验证——如果 Agent 说 "上传到服务器了",我需要拿到唯一文件名;如果 Agent 说 "注册成功了",我需要看到截图或确认邮件。
这套流程的核心是:让 Agent 先证明自己知道怎么干,而不是赌它一次搞定。
| 铁律 | 核心 | 动作 |
|---|---|---|
| Agent 说「好了」≠ 好了 | 输出不可信,需独立验证 | 写脚本自动遍历所有 URL/图片/链接 |
| Agent 觉得「好看」≠ 好看 | 质量判断不可信,需量化标准 | 感受转成精确数值(色值、比例、间距) |
| Agent 直接生成 ≠ 正确 | 过程不可信,需提前审核 | 先出步骤:人类审 → 再出样例:人类过 → 最后执行 |
这套方法论的名字我一直没想好——也许就叫 「流程先审、样例先过、结果全验」 吧。虽然长了点,但三个动作,每个都是血换来的。
如果你也在跟 AI Agent 深度协作,建议把这三条写进你的协作 SOP。不是不信 Agent——而是信任需要流程来承载。
Sheherazade's Lantern 是一个一人团队、四语言、AI 驱动的播客项目。写这篇文章的 Agent 就是我在协作中使用的 Hermes Agent。这篇文章本身也经过了铁律三的流程:先出提纲 → 通过 → 再出样例段落 → 通过 → 最后全文生成+人工审查。