大家都在做垂直 AI 产物，为什么要反其道而行？Scaling Laws 能否掉灵，这个话题从 2024 年年末始终探讨至今，也不定论。Ilya Sutskever 在 NeurIPS 会上直言：年夜模子预练习这条路可能曾经走到头了。上周的 CES 2025，黄仁勋有提到，在英伟达看来，Scaling Laws 仍在持续，全部新 RTX 显卡都在遵守三个新的扩大维度：预练习、后练习跟测试时光（推理），供给了更佳的及时视觉后果。而这所有的思考，都能够追溯到「RL 之父」 Rich Sutton 在 2019 年宣布的经典漫笔 The Bitter Lesson 《甜蜜的经验》。Y Combinator 校友日上，Andon Labs 的 CEO 兼结合开创人 Lukas Petersson 听完 100 多个名目路演后写下了一个风趣的察看：《甜蜜的经验》中所写的 AI 研讨汗青仿佛正在 AI 创业界重演。研讨职员曾一次又一次试图经由过程精致的工程计划来晋升机能，但终极都败给了简略粗鲁的「加年夜算力」计划。现在天，AI 产物的开辟者们，仿佛正在重走这条老路。呆板之心在不转变博客原意的基本长进行了编译。假如感到博客太长，中心内容曾经总结好了：汗青证实，通用方式老是在 AI 范畴胜出；当下 AI 利用范畴的创业者正在重蹈 AI 研讨者从前的覆辙；更强盛的 AI 模子将催生通用型 AI 利用，同时也会减弱 AI 模子「套壳」软件的附加代价。AI 技巧的飞速开展带来了一波又一波新产物。在 YC 校友演示日上，我见证了 100 多个创业名目的路演。这些名目都有一个独特点：它们对准的都是施加了种种限度跟束缚的 AI 处理的简略成绩。AI 真正的代价在于它能机动处置各种成绩。给 AI 更多自在度平日能带来更好的后果，但现阶段的 AI 模子还不敷稳固牢靠，以是还无奈年夜范围开辟如许的产物。这种情形在 AI 开展史上重复呈现过，每次技巧冲破的门路都惊人地类似。假如创业者们不懂得这段汗青经验，生怕要为这些教训「交些膏火」。2019 年，AI 研讨泰斗 Richard Sutton 在他那篇有名的《甜蜜的经验》开篇提到：「70 年的 AI 研讨汗青告知咱们一个最主要的情理：依附纯洁算力的通用方式，终极总能以压服性上风胜出。」这篇文章题目里的「甜蜜」二字，恰是来自那些经心计划的「专家体系」终极都被纯靠算力支持的体系打得丢盔弃甲。这个剧情在 AI 圈一演再演 —— 从语音辨认到盘算机象棋，再到盘算机视觉，无一破例。假如 Sutton 明天重写《甜蜜的经验》，他必定会把近来年夜火的天生式 AI 也参加这份「打脸清单」，提示咱们：这条铁律还未生效。同在 AI 范畴，咱们仿佛还不真正汲取经验，由于咱们仍在反复同样的过错......咱们必需接收这个残暴的事实：在 AI 体系中，强行植入咱们以为的头脑方法，从久远来看注定掉败。这个「甜蜜的经验」源于以下察看:1.AI 研讨者总想把人类的常识教训塞进 AI2. 这招短期确切管用，还能让研讨者有成绩感3. 但早晚会碰到瓶颈，乃至妨碍 AI 的提高4. 真正的冲破每每出乎意料 —— 就是简略地加年夜盘算范围站在 AI 研讨者的角度，失掉了《甜蜜的经验》，象征着在总结经验的进程中明白了什么是「更好」的。对 AI 义务，这很好量化 —— 下象棋就看赢棋概率，语音辨认就看正确率。对本文探讨的 AI 利用产物，「更好」不只要看技巧表示，还要斟酌产物机能跟市场承认度。从产物机能维度来看，即产物能在多年夜水平上代替人类的任务。机能越强，就能处置越庞杂的义务，发明的代价天然也就越年夜。AI 产物平日是给 AI 模子加一层软件包装。因而，要晋升产物机能，有两条门路：1. 工程进级：在软件层面应用范畴常识设置束缚2. 模子进级：等候 AI 试验室宣布更强盛的模子这两条路看似都可行，但在此有个主要洞察：跟着模子机能晋升，优化工程的代价在一直降落。现阶段，软件真个计划确切能晋升产物表示，但这只是由于以后模子还不敷完美。跟着模子变得更牢靠，只要要将模子接入软件就能处理年夜少数成绩了 —— 不须要庞杂的的工程。上图展现了一个趋向：跟着 AI 模子的提高，工程带来的代价将逐步增加。固然以后的模子另有显明缺乏，企业仍能经由过程工程投入取得可不雅报答。这一点在 YC 校友演示日上表示得很显明。创业公司重要分为两类：第一类是曾经实现范围化的产物，专一处理简略成绩，但数目还未几；第二类则对准了绝对庞杂的成绩。后者现在开展势头不错，由于他们的观点验证证实：只有在工程高低足工夫，就能到达预期目的。但这些公司面对一个要害成绩：下一个模子宣布会不会让全部工程上的都成为无勤奋，捣毁他们的竞争上风？OpenAI 的 o1 模子宣布就很好地阐明了这个危险。我跟良多 AI 利用层的创业者聊过，他们都很担忧，由于他们投入了大批精神来完美提醒词。有了 o1 后，提醒词工程的主要性就年夜年夜下降了。从实质上讲，这种工程的目标是为了束缚 AI 少出错误。经由过程察看浩繁产物，能够归纳综合为两类束缚：专业性：权衡产物的聚焦水平。垂直型产物专一于处理特定范畴的成绩，装备了专门的软件包装；而程度型产物则更通用，能处置多种差别范例的义务。自立性：权衡 AI 的自力决议才能。在此鉴戒一下 Anthropic 的分类：1. 任务流：AI 按预设门路运转，应用牢固的东西跟流程2. 智能体：AI 能够自立抉择东西跟方式，机动决议怎样实现义务这就划定了一个 AI 产物的分类框架：表 1. 对著名 AI 产物的分类。须要留神的是，ChatGPT 可能每次对话都市遵守事后设定的代码门路，因而更像任务流而非智能体。以贸易剖析师制造路演 PPT 为例，看看每类产物怎样实现这个义务：垂类任务流：它按牢固步调履行义务，比方，先用 RAG 查问公司数据库，小型 LLM 做总结，年夜型 LLM 提取要害数据并盘算，检讨数据公道性后写入幻灯片，最后天生演示文稿。每次都严厉遵守这个流程。垂类智能体：LLM 能自立决议，轮回任务：用上一步的成果领导下一步举动，固然可用东西雷同，但由 AI 本人决议何时应用。直达到到品质尺度才结束。通用任务流：像 ChatGPT 如许的通用东西只能实现局部义务，既不敷专业也不敷自立，无奈完全处置全部任务流程。程度智能体：如 Claude computer-use，能像人一样操纵惯例办公软件。剖析师只要用天然言语下达指令，它就能依据现实情形机动调剂任务方式。这很好懂得 —— 以后的 AI 模子还不敷成熟，只能用这种方法才干到达可用程度。成果就是，即便是过于庞杂的成绩，创业者们也不得不硬塞进这个框架，由于这是现在独一能让产物委曲可用的方式。固然经由过程工程优化能够晋升这些产物，但晋升空间无限。对以后模子难以处置的成绩，与其投入大批工程资本，不如等候更强盛的模子呈现 —— 到时只要很少的工程就能处理成绩。正如 Leopold Aschenbrenner 在《Situational Awareness》中所指出的：「完美这些繁琐的工程，可能比等候更强盛的模子还要耗时。」这不由让人遐想起《甜蜜的经验》：AI 研讨者重复实验用工程手腕晋升机能，终极却老是被简略堆砌算力的通用计划超出。明天的 AI 产物开辟仿佛正在重蹈覆辙。把表 1 的内容跟《甜蜜的经验》接洽起来之后，如许能更明白地看到此中的关系：总而言之，我的观念是：试图用软件工程来补充以后 AI 模子的缺乏，仿佛是一场注定掉败的战役，尤其是斟酌到模子提高的惊人速率。正如 YC 合资人 Jarred 在 Lightcone 播客中所说：「第一波基于牢固流程的 AI 利用，年夜多被新一代 GPT 模子吞没了。」Sam Altman 常说，要打造那种等待而不是惧怕新模子宣布的创业公司。我碰到的良多 AI 创业者对新模子都很高兴，但从他们公司的好处看，这种高兴可能不太适合。从统计学角度懂得《甜蜜的经验》让咱们用简略的统计学来懂得这个情理。在做模子时，平日要面对一个抉择：要么做一个规矩很逝世板的模子（高偏向），要么做一个机动但不太稳固的模子（高方差）。《甜蜜的经验》告知咱们：选机动的。究其起因，由于只有有充足的算力跟数据，机动的模子终极也能变得很稳固。就像打篮球，就算姿态不尺度，练得多了也能投准。但反过去就不可了，太逝世板的方式会被本人的规矩限度住。两种做 AI 的方式传统呆板进修须要人来决议什么信息主要。比方给一张图片，你到手动找出有效的特点，数一数有几多个圆形，丈量一下种种尺寸等等。但深度进修差别，它能本人学会找主要的货色。以主动驾驶来说，你有两种方法：1. 老方式：把车看到的货色剖析：后面的车在哪，车道线在哪，谁人人跑多快？2. 新方式：直接把视频扔给 AI，让它本人学会开车。老方式看着更靠谱，更有掌握。以是晚期的 AI 都这么干。但正如 George Hotz 所说：「AI 的汗青告知咱们，老方式最后总会被新方式战胜。」作者简介博客作者为 Lukas Petersson。往年 26 岁的他于客岁从隆德年夜学结业，拿下了工程物理跟数学双硕士学位。固然年青，但他的阅历堪称丰盛多彩：当初他是 Andon Labs 的 CEO 兼结合开创人，专一 AI 保险评价跟年夜言语模子研讨。此前，他曾在 Google 练习，曾在 Disney Research 开辟病毒式呆板人，还曾参加探空火箭发射名目，担负名目重要担任人。