TL;DR: 高级推理技术正在证明，如何运行模型与运行哪个模型同等重要。企业应专注于优化其推理堆栈，以从现有的人工智能投资中释放出更强的LLM推理能力和性能。

我们身在何处

在过去几年里，人工智能领域的主流叙事一直很简单：越大越好。构建更大规模基础模型的竞赛，其前提假设是扩展参数和训练数据是提升性能最可靠的途径。这导致人们将预训练、微调以及模型本身作为价值的核心所在。然而，越来越多的研究表明，这幅图景并不完整。从一个训练好的模型生成输出所使用的方法——即推理或解码策略——正成为一个同等关键、但常被忽视的性能驱动因素。

最近一篇题为《Chopthin-Consensus Power Sampling: A Diversity-Preserving Approach to LLM Decoding》的论文凸显了这一转变。研究人员引入了一种新颖的解码方法，解决了大型语言模型（LLM）“思考”方式中的一个根本性弱点。在处理复杂的推理任务时，模型常常过早地锁定单一逻辑路径，即使这条路最终导向次优或错误的答案。像贪婪搜索这样简单地在每一步选择最可能下一个词的标准技术，会加剧这个问题。相比之下，论文提出的CCPS方法维持了一组多样化的潜在推理路径，让模型在收敛到最终答案之前能够探索更多的可能性。这提升了复杂推理的质量和鲁棒性，而无需重新训练底层模型。

幕后推手

对推理的关注并不仅仅是学术上的好奇心；它是对塑造企业AI格局的强大经济和运营力量的回应。我们看到三个主要驱动因素，迫使领导者们将目光投向模型之外，转而关注推理堆栈。

首先，大规模服务大型模型的经济压力正变得难以承受。推理成本占了AI模型总拥有成本的绝大部分，而为实时应用运行数十亿参数模型所需的能源和计算资源是巨大的。正如斯坦福大学以人为本人工智能研究所等机构的研究记录所示，AI开发和部署的成本持续上升，推动组织寻求效率提升。其次，企业要求的可靠性和一致性程度，要高于标准解码方法所能提供的。对于金融、医疗或物流等高风险用例，一个才华横溢但偶尔胡言乱语的模型是一种负累。高级推理技术为实现更具确定性和可信赖的输出提供了一条路径。最后，行业正经历着仅靠规模扩张带来的回报递减。虽然更大的模型能力仍然更强，但代际之间的性能提升正变得愈发渐进，这迫使创新转向AI堆栈的其他领域以释放价值。

未来情景

随着这些力量的加剧，我们看到企业AI的未来正演变为三种可能的情景之一，每一种都对技术领导者有着不同的影响。

情景一：推理堆栈成为战略护城河。 在这个未来，大型科技公司和一批新兴的专业初创公司开发出专有的、高性能的推理引擎，从开源和闭源模型中榨取最大价值。获得这种顶级性能成为一种竞争优势，企业要么为此支付高昂的溢价，要么就冒着落后于那些能更高效、更可靠地运营AI的竞争对手的风险。

情景二：广泛的商品化。 情况恰恰相反。像CCPS这样的技术被迅速集成到Hugging Face Transformers、vLLM和PyTorch等主流开源库中。高级推理成为一种标准的、大众化的能力。竞争的战场从推理层转移回专有数据、独特的应用工作流以及集成速度上。

情景三：混合最优解。 这种情景下，企业采取一种组合方法。它们将高级推理技术与多种模型——大型与小型、通用与专用——相结合。目标是利用更智能的解码方式，从小规模、更具成本效益的模型中引出旗舰级的性能。这种方法与分层AI系统背后的逻辑相呼应，允许组织针对特定任务优化其AI部署，平衡成本、延迟和质量，而不是依赖单一的、庞大的模型来处理所有事情。

关注要点

为了判断哪种情景正在展开，企业领导者应关注几个关键的信号。首先是开源社区的采纳速度。留意那些保留推理多样性的技术何时被作为标准选项集成到vLLM或Hugging Face的Text Generation Inference (TGI)等库中；这将是走向商品化的信号。其次，关注硬件的专业化发展。如果NVIDIA、Groq或Cerebras等公司推出专门用于加速复杂多路径推理的新芯片或服务器架构，这将表明高性能推理正在成为一个独特的市场类别。最后，追踪初创生态系统。如果资金雄厚的“推理即服务”公司数量增多，它们销售的是性能和可靠性——而不仅仅是模型的API访问权限——这将是推理堆栈正在成为战略护城河的强有力指标。

我们的观点

我们认为第三种情景，即“混合最优解”，对大多数大型企业而言，代表了最可能且最具战略合理性的路径。虽然专有推理引擎将提供顶尖性能，但开源技术的进步与多样化的模型组合相结合，提供了一种更灵活、更有弹性且更具成本效益的长期策略。对于首席信息官和首席技术官来说，正确的做法不是简单地采购市面上最大的模型，而是投资于构建一个复杂且适应性强的推理能力。这意味着要将运行模型的软件和基础设施视为AI堆栈中的一等公民。

要驾驭这些架构上的权衡，需要一个清晰的愿景，明确AI将在何处为您的业务创造最大价值。制定全面的人工智能战略与路线图是必不可少的第一步，以确保围绕模型和推理堆栈的技术选择与可衡量的业务成果直接对齐。在Thinkia，我们帮助企业领导者构建这些务实的路线图，从架构理论走向现实世界的实施和价值创造。