AI can do the work. Why are businesses still reluctant to trust it?
AI 前哨 01|关于企业真实的 AI 落地
AI 进入企业,表面上看到的是模型能力的提升:能生成内容、分析问题、调用工具,甚至独立完成部分任务。
但从模型能完成一个任务,到企业能够长期把任务交给 AI,中间还有一段距离。
这段距离涉及软件如何理解人的意图、Agent 如何进入业务流程、企业如何管理它们,以及结果如何验证、错误如何反馈。
企业 AI 落地的核心,不只是让 AI 能做事,而是把人的目标、标准、经验和边界,变成 AI 能执行、能验证、能持续改进的系统。
一、Software Is Changing Again:软件正在从代码系统变成意图系统
Karpathy 在 YC《Software Is Changing Again》中,把软件的变化概括成三个阶段。
- Software 1.0:人类直接写下的代码。
- Software 2.0:神经网络权重,人类通过数据和优化器训练模型,而不是逐行编写规则。
- Software 3.0:自然语言 Prompt,人类开始用英文、中文等自然语言直接“编程”大语言模型。
“your prompts are now programs”
这里最重要的变化,不是自然语言取代代码,而是软件多了一层表达目标和调度能力的方式。
Software 1.0 仍然负责确定性、稳定性和可验证性;Software 2.0 负责感知、分类、生成和模式识别;Software 3.0 则让人能够通过自然语言表达目标、约束和策略,进而调度模型与工具。
过去的软件,是把人类已经知道的流程写成代码。
现在的软件,开始允许人把目标、标准、经验和边界交给 AI,让系统在一定范围内生成、调用、判断和执行。
软件的边界,正在从“代码层”扩展到“意图层”。
但意图要变成行动,只靠一句 Prompt 不够。
AI 需要知道任务相关的信息,需要有可以调用的工具,还需要明确哪些操作被允许、结果怎样才算正确。
所以,软件不再只是代码文件。模型权重、系统提示词、工具说明、上下文窗口、企业知识文档、权限规则、测试标准和人类反馈流程,都开始成为系统的一部分。
这也是为什么 Karpathy 不只把 LLM 看作聊天机器人,而把它描述为一种 “new kind of a computer”。
它像 utility,因为智能可以通过 API 被计量、调用和分发;像 fab,因为训练前沿模型需要大量资本、算力和研究投入;也像 operating system,因为模型开始管理工具、文件、记忆、上下文、权限和第三方应用。
PC 时代,操作系统定义应用生态。
移动互联网时代,手机系统和 App Store 定义应用分发。
AI 时代,模型、Agent、工具接口、MCP、AGENTS.md、企业知识库和权限系统,正在共同形成新的软件基础层。
模型本身是能力。工具接口是行动边界。上下文是工作记忆。权限系统是组织治理。评估系统是可信度来源。
当这些能力被组合起来,模型就不再只是接受问题、返回答案,而是开始具备参与实际工作的条件。
这一步,正好连接到企业软件的下一种形态:Agent。
二、从 App 到 Agent:企业软件的工作单位正在变化
Bret Taylor 提出:
“The atomic unit of AI is the agent.”
过去 Web 的基本单位是网站,移动互联网的基本单位是 App,AI 时代的基本单位可能是 Agent。
如果软件能够理解目标、调用工具、访问上下文,并在约束范围内执行任务,那么企业使用软件的方式就可能发生变化。
过去企业购买 CRM、ERP、客服系统、财务系统和营销系统,再由员工进入这些系统完成工作。
未来企业可能购买销售 Agent、客服 Agent、财务分析 Agent、合同审查 Agent、供应链 Agent 和培训 Agent,让它们直接参与相应的业务流程。
这里的变化,不是在旧软件里增加一个聊天框。
而是把一段业务流程封装成一个具备目标、上下文、工具和权限的执行单元。
当软件的工作单位从供人操作的功能,逐步扩展到能够执行任务的 Agent,软件的使用者也会随之改变。
Karpathy 在 Build for Agents 中提出,互联网正在出现一类新的数字信息使用者:
“new category of consumer and manipulator of digital information”
过去数字系统主要面向两类对象:人类通过 GUI 使用软件,计算机通过 API 调用软件。
现在出现第三类对象:AI Agents。
Agent 会阅读自然语言和文档,理解工具说明,执行步骤,并在过程中处理错误。因此,仅有面向人的界面和面向程序的接口,还不足以支持它工作。
企业系统开始需要三套界面:
- 给人看的界面;
- 给系统调用的接口;
- 给 AI Agent 理解和执行的上下文层。
README 主要写给人看,API 文档主要说明程序如何调用接口,而 AGENTS.md、llms.txt、MCP 工具说明和 Markdown 文档,可以为 Agent 提供理解任务所需的上下文。
网站、SOP、知识库、销售话术、客服政策、风控规则和代码仓库,也需要逐步具备 AI 可读、可调用、可验证的结构。
企业数字化的下一步,不是简单上线更多软件,而是把企业流程改造成 Agent 可以安全参与的结构。
当 Agent 开始接手任务,企业软件的商业模式也可能发生变化:从按座席收费,延伸到按调用、任务、流程,甚至结果收费。
但“按结果收费”有一个前提:企业必须说得清楚要交付什么结果。
同样,一个 Agent 即使具备执行能力,如果任务目标不清楚、交付标准不明确,也无法真正替人完成工作。
所以,Agent 改变了执行方式,也把另一个问题推到了前面:人应该怎样定义任务、委派工作和判断结果。
三、管理成为新的编程能力:人从执行者转向 Agent 管理者
Ethan Mollick 在《Management as AI Superpower》中提出:
“talent is abundant and cheap. What’s scarce is knowing what to ask for.”
如果 Prompt 是程序,那么管理就是编程。
如果 Agent 是执行者,那么委派任务就是新的软件接口。
过去,很多工作需要人亲自完成,因此个人执行能力直接影响产出。现在,当 AI 能快速生成方案、处理信息和执行部分操作,人的工作开始向上移动。
更重要的事情变成:定义目标、拆解任务、说明交付标准、提供反馈,以及判断最终结果。
传统管理中的产品需求文档、导演分镜、建筑设计意图、军事任务命令和咨询项目交付范围,都可以成为 agentic work 的提示结构。
这些文档看起来属于不同领域,实际上解决的是同一个问题:
把一个人脑中的意图,转化为另一个执行者可以理解和完成的行动。
因此,企业内部长期被视为“软能力”的东西,开始变成可以被 AI 系统使用的硬资产:
- 任务定义与交付标准;
- 专业判断与行业框架;
- 反馈机制与复盘习惯;
- 可以持续维护的组织文档。
不懂技术的人,可以通过这些能力调动 AI;懂技术但缺乏业务判断的人,也会受到限制。
当委派对象从人扩展到多个 Agent,管理的工作方式还会继续变化。
Satya Nadella 用 “manager of infinite minds” 描述 AI 时代的知识工作者,并提出:
“macro-delegate and micro-steal”
宏观委派,微观介入。
过去一个人完成一个任务,后来一个人使用多个软件,现在一个人可能同时管理多个 AI Agent。
人可以把任务交给不同 Agent 并行处理,在需要专业判断的节点介入,而不是亲自完成每一个步骤。
但委派越多,另一个问题就越重要:Agent 开始代表人行动以后,企业如何知道它做了什么、用了什么权限、出了问题由谁负责?
这就涉及独立身份、数据访问、操作审计、内容来源和责任归属。
Nadella 提到一个关键问题:“who did what to whom”。
Agent 一旦代表人行动,就不再是普通插件,而必须进入企业的身份、权限和责任体系。
身份和权限解决的是“谁可以做什么”,但还没有解决“做出来的结果是否正确”。
企业要把任务真正交给 AI,接下来必须建立的就是验证能力。
四、从 Demo 到 Product:AI 产品的分水岭是验证系统
Karpathy 用一句话区分 Demo 和 Product:
“Demo is works.any(), product is works.all()”
AI 产品很容易产生 Demo 错觉。
只要某一次输出看起来成立,就可以展示模型能力。但真实产品不是一次成功的演示,而是需要在持续使用中保持稳定、可控、可追责。
AI 生成能力越强,验证体系越重要。
在软件开发中,验证相对清晰:代码能否运行,测试能否通过,部署是否成功,错误能否复现。
但在营销、咨询、教育、销售、法务、医疗、金融等领域,结果往往不是立刻就能测量,也不一定存在唯一正确答案。
所以,企业不仅要让 AI 产生结果,还要定义什么是好结果,以及怎样判断它是否满足要求。
验证系统包括:
- 输出标准、测试样本与反例库;
- 人工审核节点与权限边界;
- 日志记录、异常报警和回滚机制;
- 持续评估和反馈。
这些部分并不是上线以后才补充的管理流程,而是 AI 进入业务流程时所需要的系统能力。
没有验证系统,AI 容易停留在生成工具;具备验证系统,才有条件进入真实业务流程。
验证能力还会直接决定 Agent 能获得多大的自主权。
Karpathy 用 Iron Man suit 比喻 AI 产品:它既增强人,也具备一定自主性。
因此,企业不需要在“人使用工具”和“完全自主的 Agent”之间二选一,而可以采用 partial autonomy(部分自主):
- 低自主性:AI 提供建议,人类执行;
- 中自主性:AI 生成草稿,人类审核;
- 高自主性:AI 执行动作,关键节点请求确认;
- 更高自主性:AI 持续运行,只在异常时上报。
这几个等级并不代表所有业务都要一路走到完全自动化。
自主性必须和任务风险、错误成本、验证难度以及权限范围相匹配。
对于能够明确验证、风险可控的环节,可以逐步交给 AI;对于难以判断结果、错误代价高的环节,则需要保留更多人的控制。
所以,真正的问题不是“能不能无人化”,而是哪些节点可以由 AI 自主执行,哪些节点必须有人判断和兜底。
当任务能够被执行、结果能够被检查、错误能够被反馈,AI 的价值就不再局限于替人做快某一个动作。
它开始有条件加速整段业务流程的运行与改进。
五、从单点提效到流程重构:AI 压缩的是反馈周期
Dario Amodei 在《Machines of Loving Grace》中提出 “compressed 21st century”。
他预测,在生物医学等领域,AI 可能把人类未来 50 到 100 年的进展压缩到 5 到 10 年。
放在企业场景中,这个判断可以对应到工作与反馈的速度变化。
过去一个团队一周做一次方案,现在一个人可以在一天内生成、比较和测试多套方案。
过去一个产品从想法到原型需要数周,现在原型可能在小时或天的尺度内出现。
过去组织学习依赖会议、汇报和人工总结,现在 Agent 可以参与记录、分析、复盘和生成下一步行动。
单次动作变快固然重要,但更深一层的变化,是整个循环变快:
提出假设 → 生成方案 → 测试反馈 → 修正方向 → 再次生成 → 再次验证。
AI 压缩的不只是执行时间,更是从想法到反馈的周期。
当这个循环可以更频繁地发生,企业就有条件更快地试错和学习。
但这里还有一个前提:如果流程本身没有改变,只是让 AI 按原来的步骤更快执行,企业得到的可能只是一个速度更快的旧流程。
Richard Sutton 在《The Bitter Lesson》中指出,AI 研究史反复显示,能够利用计算扩展的一般方法,长期往往比把人类专家经验手工写进系统更有效。
把这个认识延伸到企业 AI 改造,关键就不是把旧 SOP 原封不动复制到 Prompt 里。
而是把人类经验转化为 AI 能使用的上下文、工具、反馈和评估环境,让系统能够通过更多计算、更多尝试和更多反馈持续改进。
这也解释了为什么流程重构比旧流程自动化更重要。
旧流程自动化,只会得到更快的旧流程。
新流程重构,才有机会释放 AI 的计算优势。
不过,反馈循环不是完全不需要人。
当系统不断生成方案、执行任务并返回结果,仍然需要有人判断:哪些反馈有效,哪些结果值得保留,哪些方向应该放弃。
这个问题又把讨论带回到人自身的能力。
六、AI 时代的护城河:品味、判断力与能量
公众号《不懂经》在《AI时代的护城河不是品味,是能量》中,讨论了一个与前面相连的问题:
当 AI 接管越来越多执行工作,人剩下的价值,是否就是从 AI 给出的方案里选出最好的一个?
硅谷流行 “personal taste is the moat”,把品味视为 AI 时代的护城河。
但这篇文章认为,把品味理解成“AI 生成一百个选项,人选一个最好的”,忽略了判断力是怎样形成的。
水野学对品味的定义是:使无法量化的现象表现出最佳样貌的能力。
品味不是一个现成的标签,而是长期经历、试错和选择的结果。
文章把品味的变化归纳为三层:
- 从过程退化为标签:人更关心自己看起来有没有品味,而不是怎样形成品味。
- 从做东西退化为选东西:不断选择现成结果,却减少了亲自实践的过程。
- 从指向世界退化为自我表演:品味从对事物的感受和判断,变成表达身份的信号。
其中,“从做东西退化为选东西”,与 AI 时代的工作方式尤其相关。
品味不是简单的“我喜欢什么”,而是能说明“为什么这个选择符合目标”。
后一种能力不能只靠看过多少方案获得,它需要实际做过事情,并接受结果的反馈。
文章以乔布斯和里克·鲁宾为例。乔布斯在 1997 年回归苹果后,大幅削减产品线;里克·鲁宾在长期音乐制作实践中形成自己的判断。
它们要说明的不是个人审美有多重要,而是判断需要实践,也需要承担选择的后果。
判断力来自真实世界里反复做东西、获得反馈、修正判断的过程。品味是这个过程的副产品。
这一点也能接上企业 AI 的反馈循环。
AI 可以增加方案和执行次数,但不会因为选项变多,就自动替人形成专业判断。企业仍然需要有人理解实际结果,决定继续什么、停止什么,并为选择负责。
既然判断力需要持续实践,为什么很多人并不愿意一直做下去?
《不懂经》进一步把原因指向 能量。
好奇心、注意力、忍受不确定性的能力、被否定之后继续做的能力,都属于能量。
AI 让信息和内容的生产成本迅速下降,但长期实践需要的注意力、心理成本,以及承担结果的意愿,并不会随之消失。
当越来越多人都能快速生成内容与方案,差异不只来自能生成多少,而在于是否愿意继续测试、继续修改、继续做出判断。
品味是你以为你有的东西。
判断是你实践出来的东西。
能量,是你决定把这一生投进什么地方。
七、回到企业:从模型能力到真实交付
把前面的变化放在一起,可以看到一条完整的路径。
Software 3.0 让人能够用自然语言表达目标和约束,但意图需要依靠工具、上下文和权限才能进入真实系统。
Agent 把这些能力组织成可以执行任务的单元,因此企业软件开始从“供人使用的功能”扩展到“可以被委派的工作”。
工作可以委派以后,管理的重要性就会上升。人需要明确目标、拆解任务、制定交付标准,并为 Agent 的行动划定边界。
但任务交出去不代表工作已经完成。验证系统需要判断结果是否可靠,企业才能根据风险和错误成本,逐步开放 Agent 的自主性。
只有执行、验证和反馈连接起来,AI 才能从单点提效走向流程改进,缩短从提出假设到获得反馈的周期。
而反馈是否有价值、方向是否需要改变,仍然依赖人的专业判断,以及持续实践的能力。
模型负责能力,工具负责执行,权限决定边界,验证决定能否信任,反馈决定能否改进,人负责目标、判断和后果。
所以,企业真实的 AI 落地,不是简单把 AI 接进已有的软件,也不是让所有流程都变成全自动。
而是把模糊意图变成可执行、可验证、可持续改进的系统。
观点源于 Andrej Karpathy、Bret Taylor、Ethan Mollick、Satya Nadella、Dario Amodei、Richard Sutton、水野学及公众号「不懂经」的相关观点,延伸做个人思考整理。