Jecy 的手记JECY LI · AI AGENT ENGINEER

SELECTED WORK / 代表实践

真正的系统,
在演示结束之后才开始。

这里不只是展示做过什么,也记录这些系统为什么这样设计、如何被验证,以及哪些数字只是活动证据而不是价值结论。

01 / BUILD生成基础设施02 / EVALUATE质量评估体系03 / ITERATE持续自优化机制01 / BUILD生成基础设施02 / EVALUATE质量评估体系03 / ITERATE持续自优化机制

评估与迭代产生的证据回流,驱动下一轮生成。

01

AGENT GENERATION INFRASTRUCTURE

Agent 生成基础设施

让业务 Agent 的创建从单点手工开发,走向可以规模化生产、组合和持续维护的工程体系。

02

AGENT EVALUATION SYSTEM

Agent 质量评估体系

用可复现的评估方法,把“感觉能用”转化为可比较、可追踪的质量证据。

03

CONTINUOUS SELF-OPTIMIZATION

持续自优化机制

结合运行反馈识别问题、形成优化方案,并用后续结果验证问题是否真正被解决。

SELECTED CASE · CAPABILITY EVALUATION / 能力资产评估

评分出来了,
然后呢?

我负责了一套能力资产评估系统的架构设计与全栈实现。核心工作不是做了一块看板,而是把 Agent 级的可观测性,扩展到公司级能力资产的追踪与治理。

从"这个 Agent 跑得好不好",到"公司投入 AI 的产出到底怎样"——资产的覆盖广度、使用深度和实际效果需要同时可见。

我的角色
架构设计与全栈实现:运行态指标管道、PA 静态质量评分框架、北极星指标体系、看板全栈。
关键决策
把可观测性从"监控单个 Agent 运行",扩展到"公司级能力资产的全景追踪"——让资产的覆盖广度、使用深度和实际效果同时可见。
方法
三层质量评估:规则计数采集信号、AI 语义分析判断根因和质量、周度汇总形成趋势和告警。静态评分用 MECE 框架,结合确定性脚本与 LLM 混合评分。
验证方式
评估结果不只是展示在看板上,而是驱动了治理动作——低质量资产被识别并推动改进,告警信号触发实际响应。
看得见,
才有得治。
我在评估体系上踩过的四个坑

评估告诉你哪里有问题,但修复需要另一套系统。

SELECTED CASE · SELF-ITERATION OS / 持续迭代系统

系统跑通了,
价值却在第一层损耗掉了。

我参与设计并推进了一套面向 Agent 的持续迭代机制,重点关注如何从运行反馈中识别问题、形成改进方案,并验证变化是否真正有效。这个项目最重要的收获,不是某个具体模块,而是重新定义系统何时才算“完成”。

早期机制已经能够发现问题并提出改进建议,但一次复盘让我意识到:从信息送达,到使用者采取行动,再到问题真正消失,价值会在每一层继续损耗。

我的角色
参与持续迭代机制的设计与推进,聚焦运行反馈、问题识别、改进方案与效果验证之间的连接。
核心约束
不能用“建议已经生成”代替真实完成;涉及生产环境的高风险修改必须保留人工确认。
关键决策
把系统终点从生成建议,延伸到触达、行动和后续复验,让每一层价值损耗都能被看见。
验证方式
观察建议是否进入使用者的工作流、是否被采纳,以及同类问题在后续运行中是否减少。采纳的改进中,42% 的同类问题在下一轮运行中确认消失。
技术链路跑通,
不代表价值闭环成立。
01

送达不等于触达

信息已经发出,不代表使用者真正看到。只要没有进入当下的工作流,再好的建议也不会产生价值。

02

正确不等于可执行

方向正确的大型重构,如果远超日常维护的行动成本,仍然不会落地。系统必须把建议变成足够小、足够明确的下一步。

03

采纳不等于有效

方案被采纳只代表干预发生了。真正的结果,要看同类问题是否在后续运行中减少或消失。

FROM RECOMMENDATION ENGINE

从处方生成器,重构为迭代操作系统。

这次复盘改变了我对终点的定义:不再以“建议已生成”为完成,而是继续关注使用者是否看到、是否行动,以及相同问题是否在后续运行中减少。建议只是过程,真实改变与后续效果才是结果。

  1. 01 / GET从运行中获取证据

    识别执行偏差、用户纠正、能力缺口与定义质量问题。

  2. 02 / UNDERSTAND从整体路径理解根因

    先还原 Agent 的设计决策与执行结构,再用信号验证判断。

  3. 03 / APPLY受控地应用与验证

    经确认后实施修改,并在下一轮运行中追踪真实效果。

这一轮的验证结果,就是下一轮运行要获取的证据。

DESIGN PRINCIPLE / 风险边界

自动发现问题,但把高风险动作后置。

系统可以主动诊断和提出方案,但不会默认直接改写生产中的 Agent。只有经过必要的人工确认与验证后,修改才进入真实交付流程。相比生成了多少建议,我更关注改进是否被采用,以及 Agent 是否因此变得更可靠。

FROM ACTIVITY TO OUTCOME

我如何判断一个 Agent 是否真的创造了价值?

奖励的对象不应是创建了多少 Agent 或调用了多少次,而应是经过验证的业务增量。
阅读这套判断的完整推导