sunbet大模型首次直接理解代码图_不用Agent修bug登顶SWE-Benc
他们首创将仓库代码图模态融入大模型(Code Graph Model, CGM),让大语言模型能直接理解代码图,更高效修复bug、补全代码。 彻底摆脱对黑盒模型(如GPT-4或Claude 3.7等)和复杂Agent工作流程的依赖sunbet,实现更加可控、透明、安全的SE自动化。 而且,CGM完全基于开源模型。要知道,开源模型在SWE-bench上的表现通常不够好
他们首创将仓库代码图模态融入大模型(Code Graph Model, CGM)◈◈,让大语言模型能直接理解代码图◈◈,更高效修复bug◈◈、补全代码◈◈。
彻底摆脱对黑盒模型(如GPT-4或Claude 3.7等)和复杂Agent工作流程的依赖sunbet◈◈,实现更加可控◈◈、透明◈◈、安全的SE自动化◈◈。
而且◈◈,CGM完全基于开源模型◈◈。要知道◈◈,开源模型在SWE-bench上的表现通常不够好大菠萝福建网站引导入口◈◈,此前几乎所有SOTA级方案都是基于闭源模型实现◈◈。而CGM基于Qwen模型◈◈,做到了比肩闭源模型的水平◈◈。
大模型趋势以来◈◈,AI编程迅速崛起◈◈,尤其是在写函数这类小任务上的表现出色◈◈,比如在HumanEval等基准测试上◈◈,许多模型的准确率已经超过90%◈◈。
然而真实的软件工程远比写一个函数复杂得多◈◈。像Bug修复大菠萝福建网站引导入口◈◈、功能增强这样的任务◈◈,通常需要跨文件◈◈、跨模块操作sunbet◈◈,并要求模型理解项目中复杂的结构◈◈、依赖关系和类的继承体系◈◈。
现在的主流方法通常是使用基于闭源模型的Agent◈◈。它们可以模拟人类程序员行为◈◈,如观察代码◈◈、调用工具◈◈、多轮交互等完成任务◈◈。
行为路径不可控◈◈,容易积累推理误差◈◈;依赖GPT-4◈◈、Claude等闭源模型◈◈,难以私有部署或定制◈◈;工程成本高◈◈,效率不高◈◈。
CGM采用类似Vision-Language Model(VLM)的跨模态建模方式◈◈。它将传统LLM的文本理解能力与代码仓库的结构图(Graph)结合◈◈,形成一种图-语言多模态模型◈◈。模型核心融合了两个模态◈◈:
图模态◈◈:将仓库构建为结构化图大菠萝福建网站引导入口◈◈,节点包括函数◈◈、类◈◈、文件◈◈、包等7种类型◈◈,边表示调用◈◈、包含◈◈、继承等依赖◈◈;语言模态◈◈:用户输入的自然语言描述和代码提示◈◈,驱动模型生成patch或回答◈◈。
使用小型编码器(CodeT5+)对每个节点进行编码◈◈,压缩为单个“节点token”◈◈,每个节点内按照至多512个token的文本块切分◈◈。
通过一个适配器(一个两层MLP)将编码后的节点表征映射到LLM输入嵌入空间中◈◈。相当于将LLM上下文扩展512倍◈◈,能更好处理海量的代码仓库上下文◈◈。
使用图感知注意力掩码(Graph-aware Attention Mask)◈◈。替代LLM中原有的因果注意力◈◈,使注意力机制只作用于相邻节点间◈◈。类似于GNN的消息传递机制大菠萝福建网站引导入口◈◈,能够让LLM直接感知和利用代码的结构依赖关系◈◈。
为了训练CGM有效捕捉代码图的语义和结构信息◈◈,团队设计了一个“图生代码 (Graph-to-Code)”任务◈◈。从大型代码图中随机采样出子图(限制节点数量以控制输出代码长度)◈◈,模型需要根据这些输入的子图(仅包含节点类型和连接关系◈◈,不含完整的代码内容)来重建出原始的代码片段◈◈。
然后采用层级化方法◈◈,保持重建代码的结构一致性和可读性◈◈。按照拓扑排序与行号顺序拼接仓库上下文◈◈:高级别节点(如REPO◈◈、PACKAGE)置于输出序列或文件的起始◈◈;文件节点通过拓扑排序确定顺序◈◈;文件内节点(如CLASS◈◈、FUNCTION)则按行号顺序拼接◈◈。
模型学习基于两项输入生成代码补丁◈◈:(i) 一个相关的代码子图◈◈;(ii) 一段文本提示◈◈,指明根据补丁可能需要修改的实际文件◈◈。为了提升模型的鲁棒性◈◈,特意在提示中引入了10%的噪声输入◈◈:例如◈◈,提示中可能包含一个实际上无需修改的不相关文件◈◈,或者遗漏至少一个本应被修改的关键文件◈◈。在训练中引入这种受控的噪声有助于模型更好地泛化到实际输入信息不完整或包含干扰的场景◈◈。
最后◈◈,为了进一步提升实际应用能力◈◈,CGM构建了一个无Agent轻量化框架Graph-RAG◈◈。
改写器(Rewriter)◈◈:改写问题描述◈◈,提取关键词与相关文件◈◈;检索器(Retriever)◈◈:通过语义与结构检索◈◈,从代码图中抽取连通子图◈◈;重排器(Reranker)◈◈:排序检索结果◈◈,选择最关键文件用于生成◈◈;生成器(Reader)◈◈:结合子图与提示生成最终修复代码大菠萝福建网站引导入口◈◈。
研究团队在多个主流基准上系统评估了 CGM 的性能◈◈,涵盖两个主要任务类别◈◈:(1)代码修复和(2)代码补全◈◈。
这些结果表明CGM能够处理跨语言◈◈、跨项目的大规模仓库级Bug修复任务◈◈,展现出强大的结构理解与泛化能力◈◈。
在复杂代码生成任务中◈◈,CGM在ComplexCodeEval和CrossCodeEval上也显著领先于同尺寸开源模型◈◈,特别是在需要跨文件推理和补全的场景下效果突出◈◈。
此外◈◈,研究团队在不同基座模型上(CodeLlama-7B和DeepSeek-Coder-7B)分别部署了CGM◈◈,并与近期RAG系统进行比较◈◈。结果显示◈◈,CGM具备很好通用性sunbet◈◈,可以适配多种基座模型◈◈,并且表现超越传统RAG方法◈◈。
总结来看◈◈,CGM不依赖复杂Agent系统◈◈,首次实现了在大模型中融合代码图模态◈◈,让AI像人类一样get仓库里文本和代码之间的复杂依赖关系◈◈,“真正理解一个项目”
更关键的是◈◈,它基于开源模型就能实现◈◈,不局限于特定模型◈◈。为企业和开发者提供了一个灵活◈◈、透明且可控的方案◈◈。
最后◈◈,CGM的技术论文◈◈、核心代码◈◈、模型权重与训练数据均已开源◈◈,感兴趣的同学可进一步了解详情◈◈。
06月22日◈◈,五部门◈◈:开展智能网联汽车“车路云一体化”应用试点工作大菠萝福建网站引导入口◈◈,皇冠足球app◈◈,必赢亚洲首页登录app◈◈,乐鱼平台入口官网◈◈,必威登录入口平台
06月22日◈◈,中国残奥乒乓球队◈◈、中国残奥赛艇队进行适应性训练◈◈,精选玄机◈◈,赢钱游戏◈◈,lol赛事竞猜app◈◈,im体育官方app
06月22日◈◈,四川省遂宁市人大常委会党组成员◈◈、副主任罗孝廉接受审查调查◈◈,bet体育在线开户◈◈,斗牛游戏哪个好◈◈,缅甸娱乐平台有哪些◈◈,深海捕鱼电脑版
06月22日山东“五一”假日旅游收入逾400亿元 “跟着文物游齐鲁”渐成风尚棋牌送金币58金币欧宝线路检测MG冰球突破AOA开户
06月22日一季度中国财政收入60877亿元棋牌游戏登入提款快的体育平台是哪个亚博国际体育AOA客户端下载
06月22日◈◈,中法童声合唱团唱响海南黎乡◈◈:音乐架起友谊桥梁◈◈,欧洲杯门票第二轮sunbet◈◈,ag百家是什么大菠萝福建网站引导入口◈◈,威尼斯城vnsc登入平台◈◈,CQ9跳高高怎么卡免费旋转
06月22日◈◈,人民领袖|“古建筑守护人”习近平sunbet◈◈,三亿体育app平台◈◈,太阳集团贵宾网站◈◈,welcome购彩大厅注册邀请码大菠萝福建网站引导入口◈◈,必博体育APP
06月22日3000亿元国债资金落地◈◈!政策接力助企焕新◈◈,真金白银激发高质量发展活力yabo22vip注册彩金澳门线上登录财神棋牌 官方网站九五至尊在哪注册
06月22日◈◈,被控受贿1012万余元 中国邮政储蓄银行原高级资深经理张军受审◈◈,优德免费试玩◈◈,必赢亚洲全站下载app◈◈,澳门梭哈游戏◈◈,线日◈◈,世界针灸学会联合会主席◈◈:AI+针灸=无限探索◈◈,斗地主登录界面◈◈,打鱼注册送分◈◈,苹果买球用什么app◈◈,百家乐app链接
06月22日◈◈,杭州富阳半程马拉松举行 14国选手跑进《富春山居图》◈◈,升博网址是多少◈◈,申博赌场网站◈◈,牛牛抢庄模式规则◈◈,18新利在线官网登录
06月22日多领域“蒸蒸日上”展现新气象 凝聚起推动高质量发展磅礴力量博天堂在线买球MG电子手机版乐游游戏app银河官网网站
06月22日道中华丨citywalk 成都白小姐特码救世B银河线上电子金沙直营网APP下载天博体育登录的
06月22日新疆阿克苏赴穗推介文旅 拓展大湾区市场金花三张牌下载澳门威尼在线视频吉祥体育官网网址艾弗森代言的BB球赛平台
2代兵团人用一生守边防◈◈,江西万物皆可做盐果子让“下基层”成为主动意识和自觉行动美高梅安卓版云开体育网页版入口现金手机网投天亚娱乐app下载
《原神》宣布登陆Xbox◈◈,致光之君胡歌访台激发青年创作者灵感注册送金币的游戏迪士尼彩乐园2皇室国际威尼斯人手机版官网登入
死生时刻◈◈,孙杨400自决赛全国百馆百校百场讲坛在东北大学召开皇冠轮盘app下载ag捕鱼正规网址真钱澳门电玩城沙巴在线娱乐
林保怡回应获金鸡奖提名sunbet◈◈,华中农大涉嫌学术不端教授多项专利被驳回秘鲁驻华公使谈钱凯港◈◈:只有中国把开发落到实处果博真人百家乐赌博手机app365bet体育赛事比分皇冠体育下载
美妆搭档情人◈◈,2023国产动画打分福建漳州开展“寻访陈元光入闽开漳文化足迹 ”主题调研采访活动万博manbext手机登录镭战大联盟真人cs(大宁国际店)AOA官方网站百家乐网站是多少
假如你是游戏策划◈◈,LPL春季赛揭幕日首发【台胞“申”活】打卡魔都|曾泰元◈◈:在上图东馆感受“智慧”阅读ManBetX万博平台首页bbin官网大全完美世界电竞平台im体育在线官网
善宰小率 亲一个◈◈,女子怒斥医院拒收商业保险病人哈里斯选择明尼苏达州州长沃尔兹为其竞选搭档永乐国际平台勇宝马会平台信誉最好的20个网投网站天博h5网页版太阳sunbet申博◈◈。申博sunbet◈◈。申博太阳城菲律宾◈◈,申博◈◈,今日热搜◈◈。