当前的大模型虽然聪明，但输出时仍是一个字一个字地生成。是否存在一种可能性：真正的通用人工智能（AGI）并非如此？

近期，斯坦福大学与 Together AI 的研究人员提出了一种全新的文本生成范式，既非自回归，也非扩散。他们将 NeurIPS 2024 最佳论文中 VAR 在图像领域的“下一尺度预测”方法应用于文本，让模型先并行生成几句话的“概念大纲”，再逐层并行细化细节，直至还原为完整文字。

这一新模型被命名为 Next-Concept Modeling（NCM，下一概念建模），直接挑战了主流的 Next-Token Modeling（下一 token 建模）范式。

在多项实验中，NCM 在保持相近或更优质量的同时，比扩散语言模型的生成速度快 10 到 31 倍。

论文标题：《Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation》 论文链接：https://arxiv.org/abs/2610.14162 GitHub 地址：https://github.com/HazyResearch/ncm

目前，主流的大语言模型（如 GPT、Claude、DeepSeek 等）多采用自回归方式，即根据已有内容预测下一个 token，后续输出依赖前面的结果。近年来兴起的扩散语言模型则可同时处理多个位置，通过反复去噪逐步生成文本。然而，并行并不意味着一步到位：迭代次数减少可能导致质量下降，而每轮处理整段序列也会带来额外计算开销。

NCM 的思路是改变“每一步生成什么”这一核心问题。它借鉴了图像生成中的 next-scale prediction：画面可先生成低分辨率版本，再逐级增加细节。既然文本可以扩散生成，那么文本是否也能拥有自己的“缩略图”呢？

难点在于这两个维度存在差异：图片缩小后通常仍能辨认主体，但一句话删掉几个字就可能完全改变含义。因此，模型需要学会一种既能概括、又适合继续细化的表示方式。为此，NCM 设计了两阶段训练流程。

首先是训练一个多尺度残差 VQ-VAE。这可以理解为一套文本编码与还原系统：将原文转换为多层离散编码，前面的编码较少，后面的编码更多，每层补充之前未表达的信息。为防止粗层“偷懒”，训练时会随机截去后面的细层，要求系统仅凭剩余部分尽量还原原文。这样，模型必须确保前面的层也承载有用信息。

随后，冻结这套系统，训练 Transformer 根据此前各层累积的表示来预测下一层。在生成时，模型逐层推进，同一层的编码同时预测，最终由解码器还原成文本。

那么模型效果如何？论文展示了德译英翻译示例：NCM 先解码中间层，早期输出包含重复和不完整表达，随着层级推进，内容逐渐清晰，最后在第十一步形成通顺译文。这种思路是否更接近人类翻译过程？

NCM 的另一特点是速度快。一方面，需依次执行的生成轮数减少；另一方面，早期只处理较短的编码序列，每轮平均计算量也有所降低。

作者在单块 H100 SXM 80GB 上测试：LM1B 无条件生成比强扩散基线快约 21 倍，且生成困惑度更优；OpenWebText 上质量有竞争力，速度约为 10 倍；XSum 摘要任务中，在 ROUGE-L 指标相当的情况下，速度约为 31 倍。训练成本方面，两个数据集分别少用 4.9 倍和 4 倍的 token，而对比对象 DUO、MDLM 在 OpenWebText 上需跑 100 万步、处理超过 5000 亿个 token。

在推理任务（如数独）中，NCM 在更少采样步骤下优于自回归和扩散基线。在仅有 30 条线索的困难题目上，NCM 的完整解出率为 86.1%，高于 FMLM+ 的 81.3%；生成器调用次数分别为 12 次和 16 次。

逐层细化整个棋盘，可能更利于协调全局约束，这相当于让 AI 换个角度看待问题。

展望未来，速度优势还可用于在相同时间内生成多个候选，再从中挑选。团队尝试了最小贝叶斯风险解码，利用候选之间的相似性进行选择，进一步改善了翻译和摘要指标。

当然，距离通用大模型，NCM 仍有许多问题需要回答。论文主体实验使用的生成器约为 1 亿参数，规模扩展到 7.25 亿参数。扩大规模后能否保持优势，以及精确文本与长篇内容的表现如何，均需后续验证。

如果说文字生成也可表示为“概念—细节”的层级结构，那么模型就能先想清楚再动笔，这正是人类写作的方式。

这意味着未来文本生成的路线图可能会被改写。

参考内容： https://hazyresearch.stanford.edu/blog/2026-10-12-ncm https://scalingintelligence.stanford.edu/blogs/ncm/

本文来自微信公众号 “机器之心”（ID：almosthuman2014），编辑：泽南，36氪经授权发布。