AI 工程化，正在进入模型内部

2024 把模型做成产品，2025 把模型训练出来，2026 工程开始进入模型架构、训练机制和推理系统之中——这三年，「AI 工程化」的含义发生了明显变化。

这三年，「AI 工程化」的含义发生了明显变化。

2024 年，国产模型能力的提升还不是讨论重点，第一波出现的是关于应用的讨论。行业当时的共识是，中国可能会优先跑出一批现象级应用。这种判断，来自大家对移动互联网时代国产 App 发展速度在 AI 领域复刻的乐观预期。

2025 年，国产模型的成长越来越离不开对基础设施的讨论。如何实现规模化集群，如何推动基础设施规模化，以应对模型训练和推理成本上升、用户侧调用规模扩大、上下文增长等挑战，成为工程化的新焦点。

到了 2026 年，越来越多关键突破不再只发生在模型外部，而是直接进入注意力结构、稀疏架构、训练优化器和推理机制之中。

我曾经认为，一根完整的「烟囱」是最有效的 AI 发展模式：

芯片 → AI 数据中心 → AI Infra → Model → Agent → App

这个观点没有改变。但这根烟囱在国产 AI 的发展过程中，明显呈现出分段式推进的特征——随着各个分段的优化陆续达到新的里程碑，整条烟囱也越来越值得期待。

（本文所说的 AI Infra，既包括训练集群、存储、通信和算力调度，也包括推理框架、模型服务与部署基础设施。）

2024：最先被期待的是现象级应用

2024 年，国产模型能力的提升还不是行业讨论的中心。最先兴起的是应用层的讨论，市场一度形成了一种判断：

中国未必会最先训练出全球最强的基础模型，但有可能率先跑出一批现象级 AI 应用。

这种乐观并非没有依据。

截至 2024 年 6 月，我国生成式人工智能产品用户规模已经达到 2.3 亿，占总人口的 16.4%。另据国家互联网信息办公室披露，截至当年 8 月，已有超过 190 个生成式人工智能服务模型完成备案并上线。

模型供给快速增加的同时，竞争也迅速从「有没有模型」转向「用户为什么要使用」。

QuestMobile 的数据显示，截至 2024 年 7 月，国内 AI 原生 App 月活跃用户规模已经超过 6630 万。其中，豆包、文小言、Kimi、星野和通义进入用户规模前列；仅豆包的月活跃用户就超过 3000 万。与此同时，各家产品中的智能体数量快速增加，通义、讯飞星火和豆包分别搭建起数量可观的智能体生态。

这一时期的产品竞争，已经出现了明显分化。

豆包：大众化综合助手

豆包走的是大众化综合助手路线。它并不强调复杂的技术概念，而是把聊天、写作、图片生成、智能体和语音交互整合进一个低门槛的消费级产品中。其增长更多依赖产品体验、免费策略、渠道投放和字节跳动既有的内容分发能力。

Kimi：以长文本建立产品认知

Kimi 则通过长文本能力获得了鲜明的产品认知。阅读论文、总结报告、解析网页和处理长文档，成为用户理解 Kimi 的主要入口。

2024 年，Moonshot 又陆续开放 Tool Calling、企业级 API 和 Context Caching，将长文本能力从一个模型指标包装成了普通用户和开发者可以直接理解的使用场景。

可灵 AI：从模型能力直接走向创作者产品

除了通用助手，国产 AI 应用也开始进入内容创作这一中国互联网企业更熟悉的领域。

2024 年 6 月，快手开放测试可灵 AI。可灵可以生成最长 2 分钟、1080p、30 帧的视频，并支持复杂运动和多种画面比例。它没有停留在技术演示阶段，而是很快被放进面向创作者的产品中。

据快手官方披露与公开报道，上线约一个月后，可灵已有超过 50 万人申请使用，向超过 30 万用户开放，累计生成超过 700 万条视频；截至 2024 年 12 月，其用户规模超过 600 万，累计生成超过 6500 万个视频和 1.75 亿张图片。

这件事的重要性，不只是中国团队推出了一个视频生成模型，而是快手迅速把模型能力转化成了创作者可以注册、试用、生产内容并付费的产品。模型迭代、产品运营、创作者生态和商业化，从一开始就被放在同一套体系中。

字节跳动的即梦 AI、百度文库的 AI 重构，以及大量 AI 搜索、写作、教育、陪伴和办公产品，也体现了类似思路：

与其等待基础模型出现决定性的能力跨越，不如先把现有模型嵌入中国用户已经熟悉的内容、办公和消费场景中。

因此，2024 年行业所说的「AI 工程化」，更多指向应用实现：

这种思路明显带有移动互联网时代的经验。

中国互联网企业曾经依靠庞大的用户市场、极快的产品迭代、精细化运营和成熟的商业化能力，在短视频、电商、移动支付、本地生活等领域跑出一批现象级国产 App。

因此，2024 年一个非常自然的推演是：即使国产基础模型暂时没有形成明显的技术领先，中国团队仍可能通过更贴近用户需求的产品定义和更高效率的应用迭代，率先找到 AI 的大众入口。

但这一年的实践也逐渐暴露出问题。

大量产品虽然获得了初始用户，却没有真正形成不可替代的高频需求；不少应用只是把聊天、总结、写作和图片生成重新组合，产品差异很容易被下一次模型升级抹平。用户使用的是某个功能，却未必忠于某个 AI 应用。

更关键的是，应用层创新高度依赖底层模型能力和调用成本。当模型能力相近时，产品可以依靠交互与运营竞争；但当上下文长度、推理能力、多模态能力和生成质量成为关键变量后，应用团队能够发挥的空间便开始受到模型上限的约束。

当然，把 2024 年概括为「应用之年」，并不意味着模型侧没有进展。DeepSeek-V2 在这一年提出并应用 MLA，Qwen2、GLM-4 等国产模型也持续迭代。只是相较于应用产品快速增长带来的市场声量，这些模型侧积累当时还没有成为大众讨论的中心。后来回看，它们已经为 2025 年模型与基础设施竞争的加速埋下了伏笔。

由此，2024 年的应用热潮留下了一个阶段性结论：

中国移动互联网积累的产品、分发和商业化能力，确实可以加速 AI 应用落地；但仅靠应用层的快速复制，还不足以形成稳定的长期优势。

应用可以最先跑起来，但要让应用持续向前，竞争最终仍会向模型能力、推理成本和基础设施效率下沉。

2025：应用竞争，最终回到了基础模型与基础设施

进入 2025 年，一个行业共识开始逐渐形成：

LLM 正在吞噬越来越多原本属于应用层的能力。

过去一年，大家还在讨论 AI 搜索、AI 写作、AI 办公、AI 阅读、AI Coding 是否会诞生新的超级应用。但随着基础模型能力持续提升，人们发现，大量所谓的 AI 应用，本质上只是模型能力的一层包装。

模型升级一次，应用就需要重新定义一次。

模型支持长上下文，长文阅读应用的优势开始消失；模型具备更强推理能力，很多原本需要外部工作流拆解的任务开始被压缩进模型及其执行系统之中；模型对工具调用的支持越来越稳定，Computer Use 这类 Agent 执行能力，以及 MCP 这类开放工具协议，也在逐步标准化。越来越多原本由单个应用自行搭建的能力，开始下沉为模型服务与 Agent 基础设施的通用能力。

应用开始越来越依赖模型，而不是模型依赖应用。

与此同时，用户对于 AI 产品的容忍度也越来越低。

模型推理不稳定、响应速度慢、上下文容易遗忘、幻觉率高，都直接表现为应用体验不好。越来越多团队意识到，真正决定产品体验的，已经不只是前端设计，而是底层模型、推理系统与上下文工程的共同表现。

于是，国内几乎所有头部厂商，都开始重新把资源投入基础模型。

这一年，DeepSeek-R1 的发布成为行业的重要转折点。它证明国产模型的推理能力已经进入全球第一梯队。更重要的是，其开放权重、技术报告和蒸馏模型进一步证明，前沿推理能力可以通过开放方法快速扩散，而不必始终封闭在少数实验室内部。

与此同时，阿里持续推进 Qwen 系列开源模型，腾讯不断升级混元，字节加大 Seed 系列模型投入，Moonshot 持续演进 Kimi，大厂和创业公司几乎都把基础模型重新放到战略核心位置。

但模型竞争很快又遇到了新的瓶颈。

更大的模型意味着更大的训练集群，更长的上下文意味着更大的 KV Cache，更复杂的推理意味着更高的推理成本。

由于众所周知的硬件环境限制，国产模型的发展无法简单依赖「更多 GPU、更大集群」这条路径。

于是，这一年关于大模型的讨论，很快演变成了关于基础设施的讨论：

在这一阶段，模型能力的许多关键进步，都依赖基础设施能力的同步提升。

这一阶段，DeepSeek-V3 所代表的模型与训练系统协同设计、Moonshot 推出的 Mooncake 推理系统，以及国内大量围绕算力调度、推理框架和通信优化展开的工作，都体现出一个共同特点：

模型竞争，越来越成为模型架构与基础设施协同能力的竞争。

或者说，这一年 AI 工程化讨论的重点，不再是「如何把模型做成产品」，而是：

如何把模型真正训练出来，并且能够持续、稳定、低成本地运行起来。

2025 年，国产 AI 的竞争重心开始明显向底层下沉。

应用层依然热闹，但相较于 2024 年的应用热潮，更多战略资源开始投入基础模型及其背后的基础设施。

2026：模型开始成为工程本身

到了 2026 年，过去两年对基础模型与基础设施的投入开始集中兑现。

一个更直观的变化，是国产模型逐渐摆脱了围绕海外 SOTA 被动跟进的发布节奏。

过去几年，国内模型的发展往往围绕海外前沿能力展开：海外发布一代模型，国内厂商快速跟进，再完成一轮工程化落地。

如果说 2025 年 DeepSeek-R1 的发布就已表明国产模型有了独立节奏，那么进入 2026 年，这种多点开花的格局已经成为常态。

DeepSeek、Kimi、Qwen 等模型持续迭代，不再只是等待某一个海外模型定义下一代能力，而是在多个维度持续追赶 SOTA，并开始提出自己的技术路线。

更重要的是，这一次缩小差距的方式，与过去已经不同。

过去，我们更多关注 Google、OpenAI、Anthropic 又提出了什么新的训练方法和推理能力，再观察国内多久能够复现。

到了 2026 年，过去几年陆续形成的国内原创技术路线，开始更密集地进入新一代模型和推理系统，并直接影响跑分、显存、吞吐、成本与实际体验。

这些创新大致可以分为三个层次。

模型架构：让系统瓶颈进入数学结构

DeepSeek 的 MLA，以及 Kimi 提出的 KDA（Kimi Delta Attention），都把注意力结构与推理效率放进同一套设计目标中。

MLA 通过压缩 Key-Value 表示降低 KV Cache 压力；KDA 则尝试通过混合线性注意力架构，降低长序列处理中的计算和缓存成本。

它们的重要性不只在于「提出了新的注意力机制」，而在于：

原本需要推理框架在部署阶段被动承受的显存和长序列计算压力，开始在模型架构设计阶段被直接处理。

训练机制：让稳定性和集群效率进入模型设计

DeepSeek 的无辅助损失负载均衡策略，面向的是 MoE 训练中的专家负载与通信效率；Moonshot 为 Kimi K2 提出的 MuonClip，则把大规模训练中的稳定性问题进一步推进到优化器设计本身。

MTP 首先是一种训练目标，通过一次预测多个未来 Token 提供更密集的训练信号；与此同时，训练得到的相关模块也可以为推测解码提供模型侧支持。

这些工作说明，训练稳定性、专家负载、数据效率和推理准备，不再只是训练框架外部的调参问题，而开始成为模型训练机制的一部分。

推理系统：让模型与 Serving 协同设计

DeepSeek 提出的 DSpark，结合半自回归草稿生成与基于置信度的动态验证机制，提高推测解码在高并发服务中的效率。

这类工作并不是单纯在模型训练完成后增加一个外挂加速器，而是要求草稿模型、验证机制和线上 Serving 围绕同一套吞吐与延迟目标共同设计。

因此，这些工作的共同点，并不只是「创新发生在模型内部」。

更重要的是：

越来越多原本由基础设施和部署系统承担的工程问题，开始被前移到模型设计阶段解决。

KV Cache 和长序列计算压力，不再只是推理框架调度问题，而开始通过 MLA、KDA 等注意力结构直接降低；MoE 的通信与负载问题，不再只依赖集群侧补救，而是被写入模型路由和负载均衡机制；训练稳定性也不再只是学习率、梯度裁剪和人工调参问题，而开始进入优化器本身。MTP 与 DSpark 则进一步说明，训练目标、模型结构和线上推理系统正在围绕同一套效率目标协同设计。

所谓「工程进入模型内部」，并不是模型取代了基础设施，而是显存、通信、吞吐、稳定性和成本等工程约束，开始直接塑造模型的数学结构、训练方式和推理机制。

于是，模型工程与基础设施工程之间的边界开始越来越模糊。

所谓「模型开始成为工程本身」，也不是说基础设施不再重要，而是模型架构、训练系统与推理基础设施开始共同设计。模型不再只是由基础设施承载的对象，也开始成为解决基础设施瓶颈的手段。

与此同时，阿里巴巴持续推进 Qwen 系列开源，也代表了另一种竞争方式。

Qwen 不仅持续发布不同规模、不同能力的模型，还快速完成对 Hugging Face、vLLM、SGLang、llama.cpp、Ollama 等全球主流生态的适配，逐渐成为国际开源社区广泛支持的模型系列之一。

如果说过去开源只是开放权重，那么今天更重要的是：

谁能够成为整个开源 AI 生态默认兼容的模型。

这意味着国内模型竞争的目标，也开始从「追赶某一个模型」，变成「建设一个全球开发者都愿意使用的生态」。

因此，2026 年真正发生的变化，并不是国产模型突然超过了海外模型。

真正的变化是：

国产模型开始拥有自己的创新节奏、自己的论文、自己的模型路线，以及自己的开源生态。

过去三年，国产模型与海外 SOTA 的差距一直在缩小。

但过去缩小的更多是排行榜上的分数。

到了 2026 年，开始缩小的是实际用户体验上的差距。

对越来越多开发者而言，在代码、长文本、Agent 和多轮推理等场景中，国产模型已经成为可以与海外第一梯队直接比较的选项。

这种体验上的接近，比任何一张 Benchmark 排行榜都更有意义。

未来展望

如果说 2024 年的工程化，是把模型做成产品；2025 年的工程化，是把模型训练出来；那么到了 2026 年，工程化开始进一步进入模型架构、训练机制和推理系统之中。

展望未来，至少有四个主题值得继续观察。

1. 企业 AI 落地，最终面对的是组织与经营问题

在企业落地层面，一条完整「烟囱」的要素组合还会继续发生变化。

未来企业真正部署的，不会只是一个 LLM，而会是一套由 LLM、Harness、企业记忆、知识库、权限系统、工具、工作流和交互界面共同组成的生产系统。

这套系统需要同时适应多种角色、多种部署方式和多种交互形态，也必须满足高安全、高可用和可审计的要求。对企业而言，模型能力当然重要，但最终决定部署进度的，往往还是成本、稳定性、责任边界和 ROI。

企业需要的不是一个回答问题更聪明的模型，而是一套能够真正进入现有组织、流程和经营体系的系统。

这也意味着，企业 AI 落地不会仅仅依靠技术能力自然发生。很多时候，它还要求企业同步调整工作流、权责边界、数据治理、预算归属和绩效评价方式。

真正困难的问题可能不再是「模型能不能做」，而是企业是否愿意把一部分流程、判断和责任交给 AI。

因此，一个极端但现实的推测是：如果 AI 无法直接赋能获客、营收增长或成本下降，那么企业 AI 落地可能会像过去的 SaaS 化、工业互联网化和产业互联网化一样，需要经历多个周期的试错、收缩和重新投入，才能真正进入核心业务。

技术成熟，并不意味着组织已经准备好。

未来企业 AI 的竞争，不只是模型能力的竞争，也会是组织改造能力和价值兑现能力的竞争。

2. 真正决定用户体验的，将是模型、Harness、记忆和上下文的智能编排

从产品和技术拓扑来看，未来的产品组合与应用商组合必须变得更加灵活，才能再次显著提升用户体验。

前些天，我写下了一句话：

越来越需要 LLM Router 了，组合搭配模型和 Harness。更合适的可能不是简单的模型路由，而是意图与场景分流器。

今天，大多数用户并不知道自己正在使用的模型，是否真的适合当前任务。

简单问答可能被送入高成本推理模型，导致过度思考、过度展开、不必要的 Token 消耗和时间浪费；复杂任务也可能被交给能力不足的模型，最终表现为反复追问、上下文丢失和执行失败。

更强的模型，并不必然意味着更好的体验。

对于很多简单任务，过强的推理反而会让结果变得冗长、迟缓和复杂。因此，对简单任务自动切换至更轻量的模型，并不是体验降级，反而可能是高级用户体验的重要标志。

未来真正成熟的 AI 产品，不应该要求用户先理解模型，再选择模型。

系统应该先理解任务，再自动完成一组配置：

这已经不只是一个 LLM Router，而更像是一层 AI Runtime。

所谓 AI Runtime，是介于模型与应用之间，负责任务理解、模型选择、Harness 匹配、上下文编排、工具调用、结果校验以及成本控制的运行层。

未来真正决定体验的，可能不再是产品接入了哪一个最强模型，而是它能否在正确的场景中，调用正确的模型、Harness、记忆、上下文和工具。

最好的体验，不是永远调用最强的智能，而是用刚好足够的智能完成任务。

3. Skill 的加载方式，将决定 Agent 生态的开放程度和用户替换成本

在模型和 Harness 之上，另一个值得观察的问题，是 Agent 使用过程中的工具和 Skill 加载模式。

未来的 Skill 由谁提供？

是由模型厂商自主开发，还是允许第三方开发者自由接入？Skill 是否需要与特定 LLM 深度绑定？同一个 Skill 能否跨模型、跨平台、跨 Harness 运行？它的权限、状态、记忆和调用结果，又能否形成统一标准？

这些问题看似只是工具调用机制，背后争夺的却是下一代 AI 生态的控制权。

如果 Skill 与某一个 LLM、某一家平台或某一种 Harness 高度绑定，那么模型厂商可能会逐渐形成类似操作系统的生态锁定。

用户真正积累的，不再只是对某一个模型的使用习惯，而是围绕模型形成的工具链、工作流、权限体系、企业记忆和自动化流程。

到那时，模型本身可能很容易替换，但整个工作系统很难迁移。

反过来，如果 Skill 能够基于开放协议，在不同模型和 Harness 之间迁移，那么价值就可能从单一模型厂商，转移到协议层、编排层和企业自己的 AI Runtime。

MCP 等开放协议正在尝试标准化模型与工具、数据源之间的连接方式。但工具能够连接，并不意味着 Skill、状态、权限和工作流已经可以自由迁移。真正的开放生态，还需要解决身份、权限、状态、记忆、执行语义和跨 Harness 兼容等问题。

因此：

未来用户的替换成本，可能不再主要来自模型本身，而来自围绕模型形成的 Skill、记忆、权限和工作流。

谁能够让这些资产更容易积累、复用和迁移，谁就可能掌握 Agent 时代更长期的竞争优势。

4. 开源模型逼近 SOTA，可能重新分配整个 AI 产业链的价值

过去几年，大模型产业建立在一个默认前提之上：最先进的能力集中在少数闭源模型手中。

因此，企业采购围绕模型展开，应用能力依赖模型，基础设施也按照模型厂商的技术路线进行适配。

某种意义上，整个产业链都在为少数头部闭源模型服务。

但随着开源模型不断逼近 SOTA，这种关系可能开始发生改变。

对于绝大多数企业场景而言，真正需要的未必是始终领先半代的模型，而是一个能力足够强、成本可控、可以自主部署、能够持续迭代，也便于与自身数据和业务系统结合的模型体系。

当开源模型成为稳定、可信的供给，企业就会拥有更多选择权。

模型可以替换，部署可以迁移，推理框架可以切换，不同任务也可以由不同模型共同完成。企业不再需要把全部产品能力绑定在一家模型厂商身上，而可以根据效果、成本、安全和延迟，构建多模型供给体系。

如果这一趋势持续发展，一个值得观察的变化是：

整个产业需要支付的「LLM 税」，可能会越来越低。

（所谓「LLM 税」，指由少数闭源模型因能力稀缺形成的定价溢价，而非大模型的全部使用成本。）

过去，由于只有少数闭源模型能够提供足够领先的能力，整个产业链不得不支付更高的 API 费用、更强的厂商绑定成本，以及围绕特定模型重新开发系统的隐性成本。

当开源模型逐步逼近 SOTA，这部分由能力稀缺形成的溢价就可能持续收窄。

闭源模型仍然可能在复杂工具使用、前沿推理、可靠性、安全保障和新能力上保持领先；但在代码、数学、长文本以及部分 Agent 场景中，开源模型正在进入可替代或混合部署的范围。随着这种差距在更多任务上缩小，基础能力本身会越来越难维持长期的超额定价。

这并不意味着基础设施会因此失去价值。

恰恰相反，随着模型供给更加多元，真正开放的基础设施层可能会变得更加重要。

推理框架、部署平台、模型编排、企业 AI Runtime、Agent 执行层、记忆系统、安全体系和可观测平台，都需要同时服务多个模型、多个 Harness 和多个业务场景。

基础设施的价值，也将从「适配某一个最强闭源模型」，转向「帮助企业自由组合、替换和管理不同模型」。

从这个角度看，开源与闭源的竞争，不只是模型能力的竞争，也可能重新定义 AI 产业的价值分配。

如果开源模型持续逼近 SOTA，闭源模型对产业链和基础设施的控制力就可能被部分挤出。更少的 LLM 税，会让更多价值回流到应用、企业服务和开放基础设施，而不是让整个基础设施层长期沦为闭源模型的执行工具。

未来企业真正愿意长期付费购买的，可能不只是某一个模型提供的智能，而是一套能够自由组合 LLM、Harness、Skill、记忆与基础设施的开放系统。

结语

过去，我们相信最强的 AI 来自一根最高、最完整的烟囱。

未来，更值得期待的，或许不仅是把这根烟囱建完整，而是让不同模型、基础设施和应用之间能够自由连接。

#AI工程化 #模型架构 #AIInfra #AIRuntime #DareToB2B