不是看怎么搭 Demo,而是看怎么让系统在客户那儿跑稳。很多帖子都在讲一个事:模型越强,工程约束越不能松。比如权限、幂等、可观测、状态恢复——这些不是加分项,是上线前提。

收集区间:2026-11-08 – 2026-11-15(JST),共 16 条。

岗位现实

AI 时代面试该考什么?别再问技术栈了

hboot
@hboot0230 · 2026-11-08

以前面试问:你熟悉哪些技术栈? 现在如果一个开发者说,React、Vue、Python、Go、Rust 都能做,面试官会怎么判断他的水平? 毕竟有了 AI,能把项目做出来,已经不一定代表真正掌握这门技术了。 你们觉得 AI 时代,程序员面试最应该考什么?

这是在说什么

以前问「会哪些语言」还能筛人,现在 AI 能帮你用五种语言写 CRUD。真正要考的是:你有没有亲手修过模型输出格式错乱的 Bug?有没有处理过工具调用超时但实际已执行的脏数据?这些才是真实交付中天天踩的坑。

我们能学到什么

  • 面试应聚焦具体故障场景,而非技术名词罗列
  • 考察候选人是否写过 Pydantic 校验层或自修复逻辑
  • 能说清一次失败请求的完整链路追踪路径,比背八股更有说服力

工程师护城河正在从技术转向「人的问题」

宝玉
@dotey · 2026-11-13

好文章👍 转译:《软件工程师现在该怎么办》 我听过有人说,软件工程师(SWE)要想保持竞争力,就得不断学习写代码和各种技术栈。我并不认同。 每发布一个新模型,这些纯技术技能的价值就会缩水一分。每天我都觉得自己越来越像个管理 AI 的产品经理,对深厚技术知识的需求则在不断减少。我原以为牢固的“技术护城河”早已干涸,现在给模型写一段用户故事作为提示词,效果甚至比一份严谨的技术方案还要好。工作所需的技能正在变得越来越不“技术”,而是越来越“人性化”。 有时候,看到 AI 正在解决我过去常做的那些难题,比如开发 SaaS 软件,我心里也挺失落的。过去,我非常享受埋头打磨一款应用、看着它一步步变成现实的成就感。眼睁睁看着自己辛苦学来的技能变得几乎一文不值,确实很打击人。开发 SaaS 应用曾经是个高门槛的难题,这也是我热爱它的原因。但现在它不再是难题了,所以我必须转向那些依然存在真正难题的领域。我需要把格局放得更大。 我最喜欢的书之一是《无穷的开始》(The Beginning of Infinity,注:知名物理学家戴维·多伊奇的科普哲学名著,探讨人类知识与进步的无限潜力),书中有个观点让我印象深刻:人类的创新没有尽头——“只要不违背自然规律,只要掌握了正确的知识,一切皆有可能。”每当我们创造出一项新事物,就会有成千上万种新的可能性随之诞生。计算机的发明淘汰了许多旧工作,但它最终创造出的新岗位要多得多。 AI 是一项了不起的创新,它赋予了我们做更多事情的能力,而这也要求我们换一种新思维。用我的旧思维来看,做一个 SaaS 应用就已经算大事了,但现在完全不是这样。如今开发一套复杂的企业级软件,甚至比五年前搭建一个简单的网站还要容易。所谓的“干大事”,意味着要在更宏大的尺度上去思考——国家级的、全球级的,甚至是宇宙级的。试想一下,如果你手下有一支 100 人的软件工程师团队,你能做出什么?如果是 1000 人呢?现在,我们只需花极低的成本就能拥有这样的生产力,所以我们绝不能再把目光局限于做几个 App 了。 作为工程师,我们还需要拓宽自己的能力边界。我们不能只盯着技术能力,而要跳出技术圈,去理解整个商业闭环:包括产品、市场营销和销售。 为了在当下保持不可替代性,我的做法是去学习那些 AI 帮不上忙的东西:产品定位、创造力、如何打动人心(delighting humans)、心理学、市场营销等等。这些属于“人的问题”,AI 永远无法独立解决,因为它们没有标准答案,也没有现成的测试集可供训练。AI 极擅长模式匹配(pattern matching),但它永远无法真正理解“身而为人”究竟是一种怎样的体验。而这,正是我们人类不可替代的价值所在,也是我正在加倍投入的方向。

这是在说什么

AI 擅长模式匹配,但搞不定产品定位、打动人心、商业闭环。比如同样做 SaaS,AI 能生成代码,但决定「为什么用户愿意付钱」「怎么让客户第一眼就想试」,还得靠人。这条信息量一般,当冷知识即可。

我们能学到什么

  • 每周花 2 小时读用户反馈,比刷 10 篇论文更接近真实需求
  • 学基础心理学(如损失厌恶、峰终定律),比学新框架更能提升转化率
  • 和销售、客服定期对齐,比只和研发开会更能发现系统盲点

RAG 怎么落地

WeKnora 开源:让知识库自己更新不靠人

lifcc
@mylifcc · 2026-11-08

为什么很多团队花大力气搭出来的本地 RAG 知识库,用不了两周就被大家彻底闲置了? 因为传统 RAG 只是把 PDF 和文档生硬地切成碎片塞进向量库——遇到跨文档逻辑推理就答非所问,而且原始文档一更新,旧知识就变成了误导 AI 的垃圾。 腾讯最新开源的 WeKnora,给出了一个把死文档变成“自维护活知识库”的完整平台 👇

这是在说什么

传统 RAG 像把书撕碎塞进抽屉,文档一改旧碎片就变垃圾。WeKnora 类似「带自动归档员的活档案馆」:它能识别文档版本、标记失效内容、主动触发重索引。不是换个向量库,而是给知识加生命周期管理。

我们能学到什么

  • RAG 系统必须支持文档粒度的版本控制和软删除
  • 知识入库环节要能区分「原始文档变更」和「语义变更」
  • 评估 RAG 时,先看知识新鲜度,再看检索准确率

RAG 不是大模型应用,是软件工程系统

Ethan 恩宇
@UPing123zzz · 2026-11-09

现在很多人学 RAG,基本上都是从同一套流程开始的: 文档上传 → Chunking → Embedding → Vector DB → Retrieval → LLM → 输出答案。 把 LangChain 或者 LlamaIndex 跑起来,接上一个向量数据库,再调用大模型,一个 RAG Demo 很快就出来了。 能跑通 RAG和真正具备交付企业级 RAG 系统的能力,完全是两回事。 这张图给出了一套 Production-Ready RAG Architecture,从 FastAPI、文档解析、向量数据库、检索生成,一直到 PostgreSQL、日志、Docker 和 CI/CD。 我觉得非常值得研究,但它真正有价值的地方,不是教你怎么组织 Python 文件夹,而是让你意识到: RAG 从来不只是一个大模型应用,它本质上还是一套需要长期维护的软件工程系统。 尤其是实际接触 GEO、企业知识库、Agent 工作流之后,我越来越发现,很多时候系统真正难解决的问题,根本不在大模型本身。 举个很简单的例子。假设你给一家企业做知识库,里面有几百份产品资料、FAQ、技术文档和业务说明。 用户问一个问题,系统返回了错误答案。 很多人第一反应是什么?换一个更强的大模型,重新修改 Prompt,调整 Temperature,甚至觉得是不是模型本身不够聪明。 但你有没有想过,可能从一开始,正确的知识就根本没有进入模型的上下文? 比如 PDF 解析的时候,表格的行列关系被破坏了,产品型号和对应参数混在了一起。 或者 Chunking 的时候,把一个完整的技术说明拆成了几个互相缺乏上下文的片段。 再或者,正确的文档明明就在知识库里,但 Retriever 没有召回;即使召回了,也因为排序太靠后,最后没有进入生成阶段。 这种情况下,你就算换一个再强的模型,也不一定能解决问题。 因为问题发生在检索层,你却一直在优化生成层。 我觉得这是 RAG 工程里特别重要的一种判断能力。 你必须能够区分:到底是知识库里没有答案,还是文档解析出现问题? 是 Chunking 策略不合理,还是 Embedding 没有捕捉到正确语义? 是检索召回出了问题,还是 Reranker 没把正确证据排在前面? 是 Prompt 没有限制模型行为,还是模型没有正确使用已经提供的证据? 这些问题表面上看最终表现都是AI 回答不准确,但实际上,每一种问题背后的解决方案完全不同。 而且真正到了企业环境,还有更多问题需要考虑。 文档更新之后,旧版本的向量索引怎么处理? 客户删除一份资料,怎么确保系统不会继续检索到已经删除的内容? 同一个系统服务多家企业,怎么保证 A 公司的内部资料不会被 B 公司检索出来? 用户同时上传大量文档,怎么避免请求超时? Embedding API 失败了怎么办?任务执行到一半中断了,怎么恢复?重复提交会不会导致重复写入和额外费用? 这些东西在 Demo 阶段可能完全不会暴露。 因为 Demo 的目标是证明功能可以实现,而生产系统的目标是确保它在各种异常情况下依然可靠。 这也是为什么我觉得,RAG 开发到后面,越来越像后端工程、数据工程、检索工程和 LLM 工程的结合。 你需要理解 HTTP、API、数据库、异步任务、缓存、权限控制、Docker、CI/CD,也需要理解 Embedding、Hybrid Search、Reranking 和模型生成。 而且这些技术不是简单堆在一起就可以了。 你还得知道为什么选择它们,以及什么时候根本不需要引入额外的复杂度。 比如,不是所有 RAG 都需要独立部署一个向量数据库。 某些中小规模项目,PostgreSQL 加 pgvector 就可能已经足够。 不是所有查询都适合纯向量检索。遇到产品型号、错误码、专业术语这种需要精确匹配的内容,关键词检索可能非常重要。实际项目里可以根据场景组合 BM25、向量检索和 Reranker。 也不是所有业务都需要 Agentic RAG。如果需求只是稳定回答企业 FAQ,普通检索工作流就能很好地解决问题,为什么还要引入一个不断自主规划、反复调用工具的 Agent? 增加技术组件,不一定意味着系统更先进,也可能只是增加了成本和故障点。 另外,我觉得这张图虽然已经涵盖了很多工程模块,但还缺少一个非常关键的东西:Evaluation,也就是真正的 RAG 评测体系。 很多人优化 RAG 的方法还停留在:自己随便问几个问题,感觉回答还不错,于是认为系统已经优化好了。 但如果没有标准测试集,没有检索召回率,没有答案正确性和忠实度评估,没有回归测试,你怎么知道修改之后系统究竟变好了还是变差了? 可能你优化了某几个问题的回答,却让另外几十个问题的召回效果下降。 可能模型回答得越来越流畅,但引用的资料却越来越不准确。 真正可靠的 RAG,应该能通过评测回答这些问题:正确证据有没有被召回?最终回答是否受到证据支持?知识库没有答案时能不能合理拒答?一次查询需要多少成本?P95 延迟是多少?新版本上线后有没有发生质量退化? 如果一个系统的效果无法被验证,那所谓的优化很可能只是在凭感觉调参数。 学习 RAG 最好的方式,不是再去收藏十几个框架,也不是让 Coding Agent 一次性生成一套看起来很专业的项目目录。 而是拿一批真实企业资料,从文档解析、知识入库、检索、重排到生成,完整做一遍。 然后故意制造各种问题。 把文档切坏,看看检索会发生什么。 加入相互矛盾的旧版本资料,看看系统能不能识别有效版本。 把正确答案放进知识库,观察为什么没有被召回。 模拟数据库连接失败、模型 API 超时、重复提交任务,看看系统有没有恢复能力。 最后给它建立一套测试集,每次修改都验证结果。 当你真正能够从日志、检索结果、数据库和代码里,把一次错误回答的原因找出来,并且通过测试证明自己修复了问题,你对 RAG 的理解就已经不只是会调用框架了。 这也是我现在越来越重视的一件事:AI 时代,写出一个 Demo 的门槛正在降低,但把 Demo 变成可靠产品的工程能力,依然需要长期积累。 未来可能会有越来越多的人,靠自然语言就能让 Agent 生成一套 RAG 系统。 但能不能理解客户真正需要什么,能不能做正确的架构取舍,能不能保证数据安全,能不能定位复杂故障,能不能持续维护和交付,是另一回事。 我觉得这才是 FDE、AI Engineer 真正应该深入掌握的能力。 不要只是追求把 RAG 跑起来。要学会解释它为什么能跑、为什么会错、出了问题怎么修,以及怎样证明它在真实业务里值得被信任。 会搭 RAG 是起点,能交付一个稳定、可观测、可评测、可维护的 RAG 系统,才是真正开始进入工程实践。

这是在说什么

RAG 的核心难点不在模型,而在文档解析(PDF 表格错乱)、切片(技术说明被截断)、检索(正确文档没召回)、权限(A 公司资料被 B 公司搜到)。就像修水管,漏水不是水龙头问题,是接头没拧紧。

我们能学到什么

  • 调试 RAG 错误,优先查日志里的 retrieval 结果,再看模型输入
  • 中小项目用 PostgreSQL + pgvector 足够,别一上来就上专用向量库
  • 必须建评测集:固定测试问题 + 人工标注标准答案 + 检索召回率指标

Agent 怎么落地

Google 的大象金鱼插件:强制拆开设计和评审

山景城小路
@Zen_with_AI · 2026-11-09

Google 开源插件:大象设计,金鱼评审 Google 开源了一个给 coding agent 用的插件,大象设计,金鱼评审。 大象(Elephant)抱着项目上下文起草设计文档; 金鱼(Goldfish)评审时看不到之前的对话,只看文档和源码,专门揪那些没说出口的假设和盲点。 支持 Claude Code、Codex、Cursor、Gemini,已有近 1.5 万 star,Apache 2.0 开源。 https://github.com/google/elephant-goldfish-model

这是在说什么

大象(Elephant)是设计者,带着全部上下文写方案;金鱼(Goldfish)是评审者,只看方案和代码,故意不看历史对话——就像人脑记不住 7 个以上信息,它专揪那些没写进文档的隐含假设。本质是用架构隔离对抗认知偏差。

我们能学到什么

  • 关键设计决策必须脱离对话上下文独立存档
  • 评审阶段禁用历史消息,倒逼文档自包含
  • 可用类似机制做 Prompt 审查:让另一个模型只读 Prompt 和输入,不看前序输出

斯坦福 CS329Z 中文版:从搭 Agent 到测 Agent

Larry 🍀 Orbi
@xqliu · 2026-11-09

斯坦福有门课叫 CS329Z,Engineering AI Agents,讲怎么把 agent 搭出来、测出来、再改好。现在有人把它整理成了一套中文教程。 一共 19 讲,从大模型、RAG、工具调用,讲到记忆、多 agent 协作、评测和安全,还配了 4 项实践:从零搭一个 agent、设计评测、课程项目、论文实践。 最实用的是 HW1 和第 5 讲配套代码的阅读指南。光看讲义只能懂个大概,跟着代码读一遍才算真上手。 门槛写得很清楚:会写 Python、调过 API 就行。作者给的路线是先读第 1 到 4 讲,再动手做 HW1。 内容全是 Markdown,另有一个能搜索、带目录的网页版,还有一个单文件离线版,下载下来用浏览器就能打开。 这是作者自己整理的学习资料,不是斯坦福官方中文版。10 月 28 号建的仓,到今天 510 星。

这是在说什么

这不是理论课,是带 HW1 代码实操的工程课。比如第 5 讲教你怎么写一个能自动发现并修复工具调用参数错误的 agent,重点不是框架 API,而是如何把 LLM 的概率输出收敛成确定性调用。

我们能学到什么

  • 动手做 HW1 比通读讲义重要十倍
  • 重点学「评测设计」和「失败注入测试」两讲
  • 离线单文件版可直接浏览器打开,适合地铁通勤时读

Personal Agent 发消息原理很简单:发消息本身是个 Tool

姬正
@letsjaaaaam · 2026-11-10

一开始我也这么想的,后来知道原理其实很简单. 这类 personal agent 其实是把「给用户发消息」本身设计成一个 Tool,比方说设计成一个 send message tool,把 message 放到参数里面。 这样 Agent 调用完之后, Agent 还可以继续工作。 具体原理其实也可以看这两个实现,写的都很清楚。 https://github.com/OpenHands/software-agent-sdk/blob/main/examples/01_standalone_sdk/18_send_message_while_processing.py https://www.weisu.io/articles/decoding-grok-bot/message-mechanism

这是在说什么

把「发送消息」封装成一个可调用的 Tool(比如 send_message(text: str)),Agent 就能在执行其他任务的同时异步发消息。就像人边开会边回微信,不是靠魔法,是靠把动作标准化。

我们能学到什么

  • 所有外部交互都应抽象为 Tool,包括发消息、写 DB、发邮件
  • Tool 必须定义明确输入输出,且支持幂等标识
  • 避免在 Agent 内部硬编码通信逻辑

校验 LLM 输出不能靠 Prompt 强调,得用 Pydantic 硬约束

ZC | AI & 宏观拆解
@zcswl7961 · 2026-11-10

在面试时,我特别喜欢问候选人一个非常接地气的问题: “如果大模型返回的 Tool Call 参数格式错乱、少传了必填字段,或者数据类型传错了,你在工程层是怎么处理的?” 80% 的年轻人会回答“在 Prompt 里强调格式必须正确”。这就说明他根本没有过真实的工程踩坑经验。 大模型的输出永远是概率性的, Prompt 只是软约束。真正合格的 Agent 开发者,会在底层写死基于 Pydantic / JSON Schema 的严格校验层。 当校验失败时,系统要能自动把报错信息构造回传给模型(Self-Correction),或者直接回退到兜底规则,而不是直接抛 Exception 导致整个工作流崩掉。 把概率性的 LLM 输出,通过强工程校验收敛成确定性的 API 调用,这才是 Agent 开发者真正的功力所在。

这是在说什么

Prompt 是软提醒,Pydantic 是红绿灯。比如模型返回 {“user_id”: “abc”},但字段要求是 int,校验层就该直接报错并触发 self-correction,而不是让下游服务崩溃。这是把概率输出变成确定性 API 的关键一步。

我们能学到什么

  • 所有 Tool Call 输入必须走 Pydantic 或 JSON Schema 校验
  • 校验失败时,构造清晰错误信息喂回模型,而非抛异常
  • 兜底规则(如默认值、降级逻辑)必须显式编码,不能依赖模型猜测

Agent 系统不是 LLM 加工具,是带权限和审计的运行时

Ethan 恩宇
@UPing123zzz · 2026-11-12

现在 AI 圈有一个特别荒诞的现象。 很多人连一个最基本的 Agent 执行链路都没有真正理解,就已经开始天天研究多智能体协作、Agent 集群、数字员工,甚至宣称未来一个人就能运营一家公司。 接个大模型 API,装几个 MCP,写几段 Skill,再用 LangGraph 或者其他框架编排一下,就觉得自己已经做出了一个完整的 Agent 系统。 我操,真正的企业级 Agent 架构,哪有这么简单? 上面这张 AI Agent Platform Architecture 架构图,我觉得非常值得所有准备做 Agent、FDE、企业 AI 落地的人认真研究。 它真正重要的地方,不是展示了多少个技术组件,而是揭示了一个很多人根本没有意识到的问题: LLM 只是 Agent 系统中的一个能力组件,而不是整个系统本身。 很多人做 Agent 的思维方式,到现在还停留在: 用户输入 → LLM 理解 → 调用工具 → 返回结果。 但你真正把它放进企业的业务环境,会发现事情根本没有这么简单。 首先,用户请求进来以后,系统需要通过 Agent Gateway 接收请求,再通过 Identity & Auth 确认用户的身份、权限和访问范围。 然后进入 Agent Orchestrator。 这才是整个 Agent 执行链路中真正值得研究的东西。 它需要管理任务规划、行动、观察结果、上下文状态、子 Agent 委派、错误重试以及任务恢复。 需要调用模型时,可以经过 LLM Router,根据任务需求选择不同能力、速度和成本的模型。 需要使用外部工具时,通过 Tool Registry 发现工具,再经过 MCP Gateway 等接口连接外部系统。 需要保留上下文时,通过 Memory Service 管理会话、长期记忆和用户偏好。 但真正让我觉得这张图有价值的,是它把另外几个经常被忽视的模块,也放进了核心架构。 Permission Engine、Approval Queue、Task Queue、Tracing & Observability、Evals & Guardrails、Audit Log Store。 这些东西,才是决定一个 Agent 能不能进入真实业务环境的重要基础。 举一个最简单的例子。 假设你做了一个招聘 Agent。用户上传简历,系统自动分析岗位匹配度,调用招聘数据库,生成评分,甚至自动推进面试流程。 看起来是不是特别牛逼?但问题来了。 一个普通员工能不能让 Agent 查看所有人的简历? Agent 能不能直接修改候选人的招聘状态? 如果模型错误理解了指令,把原本应该保留的候选人标记为淘汰怎么办? 如果一次工具调用超时,系统重新执行,导致同一份面试邀请发送了三遍怎么办? 如果业务负责人质疑某个评分结果,你能不能追溯 Agent 当时使用了什么数据、调用了什么工具、执行了什么操作? 这些问题,不是你把 Prompt 写得更长、更详细,就能彻底解决的。 你需要权限控制,需要高风险操作审批,需要持久化的任务状态,需要可观测性,需要审计日志,还需要明确的失败处理机制。 更重要的是,你不能把所有决策权都交给模型。 我觉得现在很多开发者对 Agent 的理解,存在一个特别危险的误区:总觉得 Agent 越自主、权限越大、能调用的工具越多,就代表系统越先进。 但在真实的企业环境里,很多时候恰恰相反。 Agent 能执行一个操作,不代表它应该被允许执行这个操作。 它能访问一个数据库,不代表它应该读取数据库中的所有数据。 它能自动调用付款 API,不代表它应该拥有不受限制的付款权限。 它能自主规划任务,不代表任何行动都可以绕开人工审批。 你需要把模型能够做什么、用户允许它做什么、系统最终批准它做什么,严格区分开来。 能力边界和权限边界,根本不是一回事。 这也是为什么我越来越觉得,未来 Agent 工程师真正需要研究的,不只是 Prompt Engineering,而是整个 Agent Runtime 和系统工程。 包括任务状态机、工具调用协议、上下文管理、模型路由、权限校验、异常恢复、可观测性和评测体系。 很多人天天研究哪个模型的 Benchmark 又提高了多少分,哪个 Agent 框架又拿了几万 Star,哪个 MCP Server 又新增了什么功能。 这些当然值得关注。但如果一个系统连最基本的执行过程都无法追踪,连任务失败后能否安全重试都不能保证,连工具调用的权限都没有隔离,那么模型再聪明,也很难让企业放心交给它真实的业务权限。 而且这里还有一个容易被忽略的问题。 Agent 系统的可靠性,不等于模型回答正确率。 模型回答正确,不代表任务执行成功。 工具调用成功,不代表业务状态一致。 工作流执行完毕,不代表业务结果符合预期。 甚至系统返回了 Success,也不代表这个任务真的完成了。 你必须建立能够检验真实业务结果的评测方式。 比如一个自动化任务,最终有没有正确修改数据库?有没有产生重复操作?有没有越过权限边界?有没有遗漏必要的审批? 这些才是企业真正关心的问题。 当然,也不能因为这张图包含十几个模块,就觉得开发任何 Agent 都必须把所有组件全部部署一遍。 一个简单的个人 Agent,可能根本不需要复杂的独立编排服务。 一个只有少量用户的内部工具,也没必要一开始就搭建庞大的分布式架构。 真正重要的是理解这些能力分别解决什么问题,再根据风险、规模和真实业务需求选择架构。 而不是为了看起来高级,把所有技术名词全部堆上去。 这也是我认为 AI 时代特别值得重视的一种工程能力: 不是你知道多少技术,而是你知道哪些问题必须解决,哪些复杂度根本没有必要引入。 未来模型一定会越来越强。Agent 生成代码、调用工具、操作电脑、处理复杂任务的能力,也会不断提高。 但能力越强,系统越需要明确的权限边界和责任机制。 否则我们得到的不是一个真正可靠的 AI 员工,而是一个拥有大量操作权限、行为却难以控制和追踪的自动化系统。 我越来越相信,Agent 的下一阶段,真正的竞争不只是模型智能水平,而是如何把越来越强的模型能力,约束进一个可控、可观测、可恢复、可审计的工程系统。 这也是 FDE 和企业 AI 工程师应该认真补齐的能力。 因为企业购买的不是几段 Prompt,不是某个 Agent 框架,也不是一个会自己调用工具的聊天机器人。 它真正需要的是能够解决业务问题,并且可以持续运营、管理和维护的系统。 所以别再把接入 MCP 当成 Agent 架构,把增加工具数量当成系统能力,把自主执行当成工程成熟度了。 真正成熟的 Agent,不仅要知道下一步应该做什么。 还必须知道自己有没有权限做、什么时候应该停止、什么操作必须交给人审批,以及执行失败之后怎样安全恢复。 未来 Agent 的技术壁垒,很大一部分就在这里。 模型可以越来越聪明,工具可以越来越丰富。 但如果有一天,你真的准备把企业数据库、客户资料、业务审批甚至资金操作权限交给 Agent,你首先应该问的绝对不是:这个模型的推理能力有多强? 而是:如果它做错了一件事,我能不能在造成更大损失之前发现、阻止,并且追溯整个过程? 这才是真正值得研究的 Agent 系统架构。

这是在说什么

LLM 只是引擎,Agent 系统是整辆车:Gateway 接入、Orchestrator 编排、Permission Engine 控权、Audit Log 记录每一步。就像汽车有油门也要有刹车和黑匣子,否则不敢让它进生产环境。

我们能学到什么

  • 任何涉及数据库写、付款、审批的操作,必须过 Permission Engine
  • 任务执行必须带唯一 trace_id,贯穿日志、DB、消息队列
  • 高风险操作(如删数据)默认进 Approval Queue,不可绕过

AI Chat 系统不是 SSE 流式输出,是完整对话生命周期管理

Ethan 恩宇
@UPing123zzz · 2026-11-13

现在 AI 编程越来越强,有一个挺有意思的现象就是,很多人用 Codex、Claude Code 几个小时就能做出一个 AI Chat 产品。 前端搭个聊天界面,后端接入 LLM API,再通过 SSE 实现流式输出,看着模型一个字一个字地往外蹦,感觉整个系统已经开发完成了。 但问题是:一个能够正常聊天的 Demo,和一个真正能够进入生产环境的 AI Chat 系统,根本不是一回事。 这张 AI Chat System Design 架构图,几乎把一套完整聊天系统需要考虑的工程问题全部串起来了。 首先是 Client 和 API Gateway。 用户从 Web、App 发起请求,经过身份认证、请求验证、限流,再进入真正的业务系统。 然后是 Conversations & Messages。 这部分负责对话管理、消息存储、历史记录、上下文构建。 很多人特别容易忽略这一层。 用户突然断网怎么办?刷新页面之后聊天记录还在不在?同一条消息重复提交怎么办?模型已经执行了工具,但消息没有成功保存怎么办? 能生成回答,不代表你能可靠地管理一次完整的对话。 接下来是整个系统的核心:AI Orchestration。 它负责组织上下文、构建 Prompt、选择模型、管理流式输出,以及决定什么时候调用工具。 这里的复杂度远远不只是把用户输入传给大模型。 你需要管理 Context Window、Token 预算、模型路由、执行状态、超时、重试和错误恢复。 尤其是涉及工具调用时,系统还要知道模型请求了什么工具、参数是否合法、是否有权限执行,以及执行失败之后应该怎么办。 再往下是 RAG 和 Tool Execution。 RAG 负责外部知识的检索、重排序与上下文构建,让模型能够使用企业文档和知识库。 Tool Execution 则让模型通过 API、MCP 等方式访问外部系统,甚至执行代码。 但这里有个特别重要的问题:工具调用成功,不代表业务操作一定正确;工具调用失败,也不代表可以无脑重试。 比如 Agent 自动发送邮件,第一次请求超时,但实际上邮件已经发送成功。 如果系统没有幂等设计,直接重试,就可能把同一封邮件发送两遍。 涉及付款、数据库写入、客户信息修改时,这种问题可能更加严重。 所以完整的 AI Chat 系统,还需要 Safety & Reliability。 包括权限控制、Prompt Injection 防护、工具沙箱、输出检查、风险操作审批,以及必要的执行审计。 还有 Background Processing。 知识库索引、文件解析、长时间运行的任务,不能全部塞进一次 HTTP 请求里等着执行完。 你需要异步任务、队列、持久化状态和失败恢复机制。 最后是 Scalability、Reliability & Observability。 用户越来越多,系统怎么扩容?模型调用越来越贵,成本怎么控制?某次回答耗时 30 秒,到底是模型慢、检索慢,还是工具调用阻塞? 如果没有 Tracing、Metrics、Logs 和 Evals,你甚至不知道问题究竟发生在哪一层。 真正的工程能力,不是系统出错之后反复修改 Prompt,而是能够定位是哪一个环节出了问题,并且验证修复是否有效。 当然,这不代表开发任何聊天应用都必须照着这张图,把所有模块全部部署一遍。 一个小型 AI 工具,可能只需要简单的后端、数据库和模型 API。 但当你开始服务真实用户、处理企业数据、执行实际业务任务时,这些原本被忽略的工程问题,就会一个个出现。 我越来越觉得,AI 编程工具正在快速降低代码实现的门槛,但并没有自动消除软件工程的复杂性。 你可以让 AI 写前端、写 API、生成数据库 Schema,甚至帮你配置 Docker 和部署服务。 但你仍然需要理解系统如何运行、数据如何流动、状态如何保持、权限如何控制、异常如何恢复,以及最终结果如何验证。 会调用模型,是 AI 开发的起点。 能设计完整的执行链路,是系统架构能力。 能让系统在真实环境里安全、稳定、可追踪地运行,才是工程交付能力。 未来真正值得长期积累的,不是你会使用多少个 Agent 框架,而是当面对一个复杂业务需求时,你能够清楚地知道应该怎样拆解系统、选择技术、控制复杂度,并且对最终结果负责。 AI 可以让写代码越来越容易。 但软件工程的价值,从来不只是把代码写出来,而是让整个系统真正可靠地工作。

这是在说什么

Demo 只需前端+LLM API,生产系统还要管:断网后消息是否丢、刷新后上下文是否在、工具调用成功但消息未保存怎么办。就像聊天 App 不只是发消息,还得保证对方收到了、没重复、能撤回。

我们能学到什么

  • 消息表必须带 status 字段(pending/sent/failed),不可仅靠 HTTP 成功
  • 所有工具调用需生成幂等 ID,失败重试时复用 ID 防止重复执行
  • 对话状态不能只存在内存,必须落库并支持跨实例同步

LangChain 和 LangGraph 不是新旧关系,是能力层和编排层

Ethan 恩宇
@UPing123zzz · 2026-11-14

最近在研究 LangChain 和 LangGraph,发现很多人对这两个东西的理解其实有点混乱。 有人觉得 LangChain 是旧框架,LangGraph 是新框架;也有人认为 LangChain 适合简单 Agent,LangGraph 才能做复杂项目。 但其实,这两个东西根本不是简单的替代关系。 它们解决的是不同层级的问题。 先说 LangChain。你可以把它理解成一个高层 AI Agent 开发框架。 它主要帮你把大模型、Prompt、Tools、上下文以及 Agent 执行循环组织起来。 比如你想做一个招聘 Agent,让模型根据用户的问题,自动查询岗位 JD、读取相关信息、调用工具,最后生成分析结果。 如果直接使用模型 API,你可能需要自己处理模型请求、工具调用、结果回传和下一轮推理。 而 LangChain 已经封装了不少相关能力,可以让你更方便地把这些组件连接起来。 它更关注的是,怎么快速构建一个具备模型推理和工具使用能力的 Agent。 但问题来了。如果你的业务不是简单地调用工具、返回结果,而是需要多个明确的执行步骤呢? 比如招聘系统需要先解析简历,再匹配岗位,生成评分报告,然后根据业务规则进入不同处理流程,最后等待 HR 审批。 而且任务执行到一半突然中断了,你还希望它能够从之前的状态继续执行,而不是所有步骤重新跑一遍。 这时候就轮到 LangGraph 了。 LangGraph 更接近一个有状态的工作流编排框架。 它最核心的三个概念就是 State、Node、Edge。 State 负责保存执行状态,Node 负责执行具体任务,Edge 负责决定任务下一步流向哪里。 你可以明确规定哪些步骤必须执行,哪些地方允许模型自主决策,什么时候进入条件分支,什么时候暂停等待人工审批。 它还提供 Checkpoint、Interrupt 等机制,让开发者能够设计状态持久化、暂停与恢复流程。 但这里有个特别重要的区别。 LangGraph 能帮你恢复工作流状态,不代表它自动解决了业务幂等问题。 比如 Agent 调用一个付费 API,实际上已经执行成功,但程序还没保存结果就崩溃了。 如果恢复后直接重新调用,依然可能产生重复扣费。 所以真正的生产系统,还需要自己处理外部任务 ID、幂等键、业务状态和错误恢复。 说到这里,其实就很容易理解这两个框架的关系了。 LangChain 更关注模型和工具怎么组织起来,让 Agent 具备执行任务的能力。 LangGraph 更关注任务执行过程怎么被组织、控制和管理。 而且现在 LangChain 的 create_agent 本身就是建立在 LangGraph 之上的。 两者完全可以配合使用。 比如用 LangChain 创建一个能够调用招聘工具的 Agent,再把它放进 LangGraph 的某个节点,由 LangGraph 管理整个招聘业务流程。 当然,这也不代表所有 AI 项目都必须使用这两个框架。 如果你的需求只是调用一次模型,提取几个字段,返回一份 JSON,直接使用模型 SDK 可能更加简单。 如果业务流程完全固定,普通的后端代码和状态机也可能足够。 我觉得现在很多人学 AI 开发,最容易犯的错误,就是还没想清楚业务到底需要什么,就急着引入各种 Agent 框架。 最后框架装了一大堆,工作流画得特别复杂,真正出了问题反而不知道从哪里排查。 说到底,LangChain 和 LangGraph 真正值得学习的,不只是它们的 API 怎么调用。 而是它们背后的模型工具调用、任务状态、条件路由、执行恢复和工作流设计思想。 你得知道什么时候应该让模型自主选择工具,什么时候应该使用确定性流程,哪些状态必须保存,哪些操作需要人工审批,以及任务失败以后应该怎么安全恢复。 这些东西即使以后换了框架,依然是非常重要的工程能力。 所以我的理解是: LangChain 让你更方便地构建 Agent。 LangGraph 让你更精细地控制 Agent 的执行流程。 但真正决定一个 Agent 能不能交付的,不是你选择了哪个框架,而是你有没有把业务流程、状态、权限和异常处理设计清楚。 学框架当然重要,但更重要的是搞明白框架到底帮你解决了什么问题。 不然最后 LangChain、LangGraph 都会用了,却连为什么需要一个 Checkpoint、为什么工具调用不能无脑重试都解释不清楚,那其实还是停留在工具使用层面。 这也是我觉得做 Agent、FDE、企业 AI 落地,最值得长期积累的工程能力。

这是在说什么

LangChain 是「怎么让模型调工具」,LangGraph 是「怎么让工具调用不乱套」。比如 LangChain 做招聘 Agent,LangGraph 管它从解析简历→匹配岗位→生成报告→等 HR 审批的整个流程。两者像螺丝刀和装配线,各干各的。

我们能学到什么

  • 简单任务用 LangChain create_agent 足够,别硬套 LangGraph
  • 复杂流程(如需中断、恢复、审批)必须用 LangGraph 管状态
  • Checkpoint 机制只保工作流状态,不保外部副作用(如已发邮件),需额外幂等设计

其他

先做一个垃圾出来,在 AI 时代更成立

工业聚
@guyingjie129 · 2026-11-12

DDD 的思想是好的,但过去20多年的 DDD 开发实践已经过时了。 Domain Modeling Made Functional 是更现代和 Agent-Friendly 的,最近的 Agentic Coding 拥抱形式化证明的浪潮,反映了这一趋势。 此外,任何试图让你事前思虑完备,不要轻易动手驱动 Agent 生成代码的建议,都不要听。 计划赶不上变化,我们是在实践中追赶一切潜藏的变化,最后在不断扬弃中保留和沉淀出扎实的成果。 不仅不要思虑完备,连思虑成熟都不需要,你可以马上并行用粗糙想法驱动 Agent 快速得到一些可体验的、可观测的产物,将抽象的想法有损地映射到具象的结果里。 在新的结果启发下,进一步延伸你的思考,不断循环递进,直到多条脉络被你一一踩过,最终站在了某个节点,你在众多路径中综合考量下选择了它,而不是一条路径里的唯一选择。 总的来说,先做一个垃圾出来,在 AI 时代更加成立。 如果你告诉我你交付的结果、开发的产品,它背后没有100个被放弃的垃圾,或者它身上没有来自过去被放弃的垃圾产品里的一些启发性痕迹,我会怀疑你根本没认真做。 你只是在努力地想,在一系列假设叠假设中推演,而不是在实际结果中延伸思考。 假设叠假设=更弱的假设;结果叠结果=更强的结果。 过去思考要多,是因为做的成本高;现在思考的成本高于做的成本,所以做的要多,给思考提供更多确定性结果和依据。

这是在说什么

过去写代码成本高,所以拼命想清楚再动手;现在生成代码快,但验证想法的成本更高。与其花三天设计完美架构,不如两小时做出粗糙原型,用真实反馈迭代。按常理理解是:AI 降低了试错门槛,但没降低判断门槛。

我们能学到什么

  • 用 AI 快速产出可体验产物,比写详细 PRD 更早暴露问题
  • 保留所有废弃分支和原型,它们是后续决策的关键依据
  • 每次迭代后问:这个版本比上个版本多解决了哪个具体问题?

冒烟测试样板:用两道题快速验证模型+规则组合

码良
@cxjwin · 2026-11-13

换了模型、改了 Harness,怎么知道它在自己的工程里还靠不靠谱?我先搭了一个冒烟集样板,用两道题把出题的路数定下来。 它测的是「模型 + 工具 + 仓内规则」这个组合,所以核心原理只有一条:每道题的正确答案必须依赖本仓的知识,光靠模型的通用能力拿不到满分。 由此推出五条设计原则: ① 功能和纪律分开判分。弱配置的典型失败是代码能跑但违反工程约束,很少是写不出来。只测功能会把这类失败放过去,所以每题都配一组隐藏测试,加一组静态检查。 ② 最顺手的做法是错的。只修被报告的那一处、去改配置、照抄旁边现成的实现,都是省事的路。认真读规则、看上下文的配置能避开,靠模式匹配的会踩中,区分度就来自这里。 ③ 题面不提示坑。按真实提需求的口吻写,不点名文件,不说约束。我有一道旧题是反例:题面把每个坑都写明了,结果 4 个模型全部满分。 ④ 素材来自真实 MR 和真实事故。回放 MR 时,测试和评审过的修法就是现成的标准答案;反复出现的事故,正是规则最该生效的地方。私有仓的内容也不会出现在任何模型的训练数据里。 ⑤ 失败能归因。每个检查项只对应一种能力:定位、范围判断、举一反三、规则到达、抗坏样本。哪项挂了,就知道该换模型还是该修 Harness。 样板里的两道题分工不同,一道回放真实 MR,一道专测纪律,后面扩题也按这两类来。合起来读结论: 回放过,纪律过:这套配置可用。 回放过,纪律不过:模型够用,但规则没送到模型手里,该修 Harness。 回放不过:模型或工具的基本能力不够,不必再看规则。 还有一条约束贯穿始终:单题编码 10 分钟,全自动判分,避开整包编译。冒烟集的价值在于跑得勤,单次太慢太贵,就很难坚持定期跑。

这是在说什么

它不测模型通用能力,只测「模型能否正确应用本仓私有规则」。比如一道题回放真实 MR,一道专测纪律(如禁止某类 import)。失败能直接归因到模型、Harness 或规则缺失。

我们能学到什么

  • 冒烟集必须全自动、单题≤10 分钟,否则没人坚持跑
  • 每道题配隐藏检查(如静态分析),防模型抄现成代码蒙混过关
  • 结论只有三种:配置可用 / Harness 需修 / 模型能力不足

AI e2e 测试:用自然语言下指令,用 API 数据当真值

欧巴聊AI
@hungryturbo · 2026-11-14

AI 时代的 e2e 测试该怎么做? 最近 GitHub 斩获 13.8k Star,刚拿了 800 万美金融资的开源 AI 测试框架 e2e,其创始团队技术布道师 Kacper Kapuściak 写了一篇非常扎实的工程实践,下面总结几条核心内容: 1、测用户意图目标,而非前端实现,越过 DOM 节点与 test-id 绑定,直接用自然语言向 Agent 下达具体,收敛的业务意图。由 AI 自主感知界面完成选日期,点生成等交互,哪怕前端重构组件库,测试照样稳定。 2、废弃拖慢 CI 流水线的固定 Sleep 读秒,改用带超时上限的 AI 动态条件等待。忽略Loading 消失这类弱的 UI 信号,直接等上月报表已打开可查看等强业务状态,并将负责异步加载的动态等待,与只抓拍当前画面的瞬时断言严格解耦。 3、执行 Agent 汇报点击完成,不能代表报表没空数据或串数据,更不能让大模型盲猜什么才是正确的画面。必须先从后端 API 查出真实任务列表作为唯一真值源,再调用独立的 AI Judge,严格比对屏幕渲染明细与 API 底账。 4、严禁测试用例之间产生顺序依赖,开跑前通过可复用的 Fixture 调接口独立构造专属工作区与测试数据,跑完后在生命周期钩子中自动清理还原,确保单测重试或并发执行绝对幂等。 5、将“生成报表,下载 CSV,发邮件”拆成命名清晰的独立原子测试。一旦断言失败,框架自动打包故障追踪轨迹,涵盖前置步骤、应用日志、Agent 推理上下文与屏幕快照,不仅人类能秒级定位,更能直接喂给 Coding Agent 自动修 Bug。 传送门:http://e2e.com/blog/5-tips-for-writing-good-agentic-tests

这是在说什么

传统 e2e 测 DOM,AI e2e 测意图。比如「生成上月报表」,Agent 自己找按钮点,但断言不看页面,而是查后端 API 返回的真实数据,再用独立 Judge 模型比对屏幕渲染是否一致。本质是把「UI 是否显示」换成「业务是否达成」。

我们能学到什么

  • 测试用例用自然语言写,不绑定 selector 或 test-id
  • 断言必须基于后端 API 数据,而非前端渲染结果
  • 失败时自动打包轨迹包(日志+截图+推理上下文),供 Coding Agent 直接修 Bug

Browser Use 的苦涩教训:模型进步比我们设计快

潦草学者 Scholar.L
@liaocaoxuezhe · 2026-11-13

过去一年半,我们死磕 Browser Use: 把 DOM 压到极致、测了几百种架构,试图教 AI 像人一样使用浏览器。 直到某天深夜,模型的进步用一种完全反直觉的方式,击碎了我们引以为傲的设计和架构。 https://www.liaocaoxuezhe.com/article/the-bitter-lesson-of-browser-use/

这是在说什么

团队花一年优化 DOM 解析和浏览器操作,结果新模型直接理解截图+OCR+网页结构,绕过了所有精心设计的交互逻辑。按常理理解是:底层能力突变时,过度工程化的适配层反而成累赘。

我们能学到什么

  • 避免为特定模型能力定制过深的胶水层
  • 优先用模型原生支持的能力(如多模态输入),再补缺失环节
  • 每季度审视架构中哪些模块已被模型原生覆盖

系统设计

AI 让写代码变容易,但系统设计反而更难

Ethan 恩宇
@UPing123zzz · 2026-11-12

AI 正在让写代码变得越来越容易,但有一件事反而越来越难了,它就是系统设计。 上面这份 System Design Roadmap 整理了整整 25 个章节,从计算机网络、数据库、缓存、消息队列,到分布式系统、微服务、可靠性、可观测性,基本覆盖了现代后端工程和系统架构的核心知识体系。 但我觉得真正值得思考的,不是这 25 个章节到底要花多长时间学完,而是 AI Coding 已经发展到今天这个程度了,为什么这些底层工程知识依然重要? 因为 AI 可以帮你在很短时间内生成一个能运行的应用,可以写 API、搭前端、接数据库,甚至部署到服务器。但它并不会自动替你承担整个系统的可靠性。 一个 Demo 能跑起来,和一个系统能够稳定交付给客户使用,完全是两回事。 比如你做一个 AI 数字人视频生成平台,用户提交一段文案,系统调用模型生成视频,再自动添加字幕、封面,最后输出成片。听起来就是几个 API 串起来的问题,AI 几分钟就能把核心代码写出来。 但真正进入生产环境以后,问题才刚刚开始。 模型接口超时怎么办?请求失败了,但供应商实际上已经开始生成视频了怎么办?用户重复提交会不会产生两次费用?十几个客户同时生成视频,任务怎么调度?某一个环节执行失败,整个工作流是从头再跑,还是从上一个成功节点恢复?用户反馈视频生成失败,你怎么判断是模型、网络、数据库还是文件存储出了问题? 这些问题,靠多写几个 Prompt 根本解决不了。 它们背后对应的是异步任务、幂等性、状态管理、消息队列、重试机制、链路追踪、异常恢复,以及整个系统架构的设计能力。 AI Coding 可以大幅降低代码实现的成本,但工程决策的成本并没有因此消失。 甚至恰恰相反。当代码越来越容易生成,系统的复杂度也越来越容易失控。以前开发一个复杂项目可能需要几周,现在几天就能堆出大量功能,但如果开发者自己不理解模块之间的依赖关系、不理解数据是怎么流动的、不知道故障边界在哪里,最后得到的可能只是一个越来越难维护的系统。 这也是为什么我认为,未来 AI 应用工程师和 FDE 真正的竞争力,不应该是会多少个 AI 工具、掌握多少种 Prompt 技巧,或者一天能生成多少行代码。 而是你能不能把一个模糊的业务需求,拆解成合理的系统架构;能不能判断哪些地方需要数据库,哪些地方需要缓存,哪些任务应该异步执行;能不能设计好权限、日志、测试和故障恢复;能不能在性能、成本、开发速度和可靠性之间做出合理的取舍。 当然,也没必要把这 25 章全部学完才敢开始做项目。对于绝大多数 AI 应用,可能根本用不到 Kafka、Kubernetes,更不用一开始就搞复杂的微服务架构。 真正重要的是带着具体问题去学,在真实项目里不断补齐工程知识,遇到一个问题就理解一个问题背后的原理,而不是停留在让 AI 修好这个 Bug 就结束了。 AI 时代,写出代码会越来越不稀缺,真正稀缺的是理解系统、设计系统,以及对最终交付结果负责的能力。 会调用模型,只是 AI 应用开发的起点。 能把模型能力变成稳定、可靠、可维护、真正解决业务问题的系统,才是工程能力的体现。

这是在说什么

AI 能秒出 CRUD,但不会告诉你:视频生成失败后该重试还是告警?用户重复提交会不会扣两次款?这些对应的是幂等设计、状态机、消息队列、链路追踪——底层工程知识没过时,只是使用场景变了。

我们能学到什么

  • 每个功能上线前,先写三行故障预案:超时怎么办、失败怎么办、重复怎么办
  • 用 Tracing 工具(如 OpenTelemetry)代替 print 日志定位瓶颈
  • 学分布式知识,不是为了造轮子,而是读懂云服务商的错误码含义