提示词自迭代 · DSPy + GEPA
AI 的创作指令不是一次写死的。真实作品数据喂评估集,GEPA 用自然语言反思重写提示词,held-out 验证拦下过拟合,对照择优才上线——点版本看每一轮改了什么,底部挂线上对照实验的真实聚合数据。
优化闭环
GEPA 反思重写
反思模型读执行轨迹与评估反馈,用自然语言重写提示词——不靠梯度,靠「想明白哪里错了」。
版本演进 · 节拍判断准确率(示意)
v5GEPA 第 3 轮 · 现行准确率 88% · 已采用
+ v5 新增若同时命中两个节拍,按页码位置与上一章节拍的连线下判。
吸收 v3 依据链,补上「二选一」的裁决规则。线上现行版本。
5 轮迭代1 版被验证淘汰现行 v5准确率数字为方法演示,非实测承诺
逐样本验证器 · 虚构基准集
本章事件一封盖着旧邮戳的信送到,林晚的日常被打破。
铺垫
只给结论,不引用章节事件——错在哪里无从对证。
催化剂
依据:信件事件打破日常,位置约第 12 页
金标准(人工标注):催化剂 · 本批 6 条:v1 对 2,v5 对 6(小批演示,大集指标见上方折线)
客户端能力 · 提示词自我迭代
用得越多,AI 越懂写作——这句话有工程实现
客户端采用 DSPy + GEPA 提示词自动优化:离线自动调优、线上对照择优, 创作指令随真实作品数据持续自我迭代。上面的闭环,就是「越用越懂」的全部机制。
版本演进与提示词文本为方法演示(示意数据);「线上对照实验」区块为 zhuque 修订遥测的实时匿名聚合(仅数字)。同系列教案: RAG 记忆检索 、 知识图谱 、 救猫咪十五节拍图谱 、 体裁改编前后对照 、 伏笔埋收时间线 。