电话

18600577194

当前位置: 首页 > 资讯观点 > 软件开发

麻省理工学院新方法提升大语言模型生成代码效率与准确性

标签: 北京软件开发公司 2025-06-04 

北京软件开发公司的工程师发现,如今可借助大型语言模型(LLMs)更快生成计算机代码,但这需代码遵循编程语言规则且不致使计算机崩溃,方能减轻软件开发工程师工作负担。确保大语言模型符合语言规则的一些方法存在弊端,要么扭曲原意,要么耗时久不适用于复杂任务。

北京软件开发使用ai如何提高生成代码的准确性

经查资料,麻省理工学院及其他研究人员开发出一种新方法,能自动引导大语言模型生成符合特定语言规则(如编程语言)且无错误的文本。该方法让大语言模型聚焦于可能有效准确的输出,早期舍弃无前景输出,这种概率方法提升了计算效率。

得益于效率提升,此架构使小型LLM在生成准确且结构正确的输出方面,超越众多更大规模模型,应用于分子生物学、机器人等多领域实际案例。长远看,新架构或助非专家控制AI生成内容,如商人可通过自然语言提示编写复杂SQL查询。

“这项工作影响超出研究领域,有望改进编程助手、AI驱动的数据分析和科学发现工具。”麻省理工学院研究生、该框架论文共同主要作者若昂·洛拉表示。除Loula外,还有多人参与此项研究,成果将在国际学习表征会议上展示。

控制LLM生成结构化文本的常见方法是检查整个输出,若无效则需重新开始,消耗资源。而逐步检查中间结果虽可确保代码结构有效,但可能偏离用户意图,降低准确性。

研究人员将工程知识注入LLM,引导其产生有前途的输出,使其更可能遵循结构和意义约束。他们运用序列蒙特卡洛技术,让LLM并行生成相互竞争,模型根据输出前景动态分配资源,关注高权重输出,舍弃其余。

为测试方法,他们将框架用于生成Python代码、SQL数据库查询、分子结构和机器人计划四种类型输出的LLM。与现有方法相比,该方法更准确且计算量更少,如在Python代码生成中,小型开源模型表现优于大型专用商业闭源模型。

展望未来,研究人员希望用此技术控制生成文本大块内容,结合学习使模型输出更准确。长远来看,项目或对非技术用户有广泛应用,如与自动数据建模系统等结合,实现机器辅助的数据分析系统。