麻省理工学院新方法提升大语言模型生成代码效率与准确性

北京软件开发公司的工程师发现，如今可借助大型语言模型（LLMs）更快生成计算机代码，但这需代码遵循编程语言规则且不致使计算机崩溃，方能减轻软件开发工程师工作负担。确保大语言模型符合语言规则的一些方法存在弊端，要么扭曲原意，要么耗时久不适用于复杂任务。

经查资料，麻省理工学院及其他研究人员开发出一种新方法，能自动引导大语言模型生成符合特定语言规则（如编程语言）且无错误的文本。该方法让大语言模型聚焦于可能有效准确的输出，早期舍弃无前景输出，这种概率方法提升了计算效率。

得益于效率提升，此架构使小型LLM在生成准确且结构正确的输出方面，超越众多更大规模模型，应用于分子生物学、机器人等多领域实际案例。长远看，新架构或助非专家控制AI生成内容，如商人可通过自然语言提示编写复杂SQL查询。

“这项工作影响超出研究领域，有望改进编程助手、AI驱动的数据分析和科学发现工具。”麻省理工学院研究生、该框架论文共同主要作者若昂·洛拉表示。除Loula外，还有多人参与此项研究，成果将在国际学习表征会议上展示。

控制LLM生成结构化文本的常见方法是检查整个输出，若无效则需重新开始，消耗资源。而逐步检查中间结果虽可确保代码结构有效，但可能偏离用户意图，降低准确性。

研究人员将工程知识注入LLM，引导其产生有前途的输出，使其更可能遵循结构和意义约束。他们运用序列蒙特卡洛技术，让LLM并行生成相互竞争，模型根据输出前景动态分配资源，关注高权重输出，舍弃其余。

为测试方法，他们将框架用于生成Python代码、SQL数据库查询、分子结构和机器人计划四种类型输出的LLM。与现有方法相比，该方法更准确且计算量更少，如在Python代码生成中，小型开源模型表现优于大型专用商业闭源模型。

展望未来，研究人员希望用此技术控制生成文本大块内容，结合学习使模型输出更准确。长远来看，项目或对非技术用户有广泛应用，如与自动数据建模系统等结合，实现机器辅助的数据分析系统。