摩我线程携手智源钻研院实现基于Triton的小大模子算子库适配

远日,摩线摩我线程与北京智源家养智能钻研院(简称:智源钻研院)已经顺遂实现基于Triton讲话的程携下功能算子库FlagGems的适配工做。患上益于摩我线程自研统一系统合计架构MUSA,手智实现算库适配双圆正在短短一周多的源钻研院时候里,即乐成实现为了远60个算子的基于功能验证,细度相宜拜托尺度,小大模并真现对于Bert-large模子的摩线周齐反对于。FlagGems算子库正在摩我线程MUSA架构上提醉出了接远足写算子的程携合计功能,且功能借正在延绝调劣,手智实现算库适配极小大减速了开源小大模子正在摩我线程齐功能GPU上的源钻研院布置速率。
智源钻研院正在往年的基于智源小大会上推出了FlagGems算子库,那是小大模一个操做Triton编程讲话真现的下功能通用算子库,旨正在为小大讲话模子提供一系列可操做于PyTorch框架的摩线算子,减速模子的程携推理与实习,降降新算法的手智实现算库适配斥天门槛,增长芯片架构的坐异。FlagGems算子库以Triton编程讲话的易用性战编译器的尺度接心为底子,为多元芯片提供了一套易适配、下功能的算子处置妄想,拷打基于Triton的同一、开源的硬硬件去世态建设。
正在适配历程中,摩我线程与智源钻研院团队慎稀开做,配开克制了一系列足艺挑战,确保FlagGems算子库正在摩我线程齐功能GPU上的下效晃动运行。摩我线程研收团队经由充真调研论证,借组成为了Triton编译器正在MUSA架构上适配的残缺妄想,力务真现斥天者正在基于摩我线程齐功能GPU妨碍Triton斥天算子历程中,也能患上到与本去不同的体验,做到CUDA框架战MUSA框架的无缝迁移。
这次开做不但充真提醉了摩我线程齐功能GPU强盛大的兼容性、灵便性与扩大性,也为斥天者战用户带去了更普遍的抉择战更下效的斥天体验。摩我线程战智源钻研院将继绝深入开做,配开增长AI足艺的去世少战操做,为中国小大模子的成前途献实力。
闭于智源钻研院
北京智源家养智能钻研院(简称:智源钻研院)是北京市于2018年11月拷打竖坐的新型研收机构。智源钻研院的中间目的是散焦家养智能本初坐异战中间足艺,拷刺探工智能实际、格式、工具、系统战操做患上到修正性、倾覆性突破,反对于北京建设成为齐球家养智能教术惦记、底子实际、顶尖强人、企业坐异战去世少政策的源头。
闭于摩我线程
摩我线程竖坐于2020年10月,以齐功能GPU为中间,起劲于背齐球提供减速计算的底子配置装备部署战一站式处置妄想,为各止各业的数智化转型提供强盛大的AI合计反对于。
咱们的目的是成为具备国内开做力的GPU收军企业,为流利融会家养智能战数字孪去世的数智天下挨制先进的减速合计仄台。咱们的愿景是为宜晴天下减速。
相关文章
环保部:京津冀及周边小大气传染防治强化督查 32家企业战单元存正在情景问题下场
环保部今日诰日继绝传递京津冀及周边小大气传染防治强化督查情景。9号,28个督查组共检查了861家企业单元),收现其中的32家企业单元)存正在情景问题下场。收现的情景问题下场收罗:一、仍有部份财富企业已2025-06-06Phys. Rev. Lett.:超稳态金属玻璃的抗老化特色 – 质料牛
【引止】由于劣秀的热力教战能源教晃动性,超稳态玻璃已经成为非晶态物量中极具后劲的新质料。其制备历程是使患上超晃动性存正在的直接原因:比照于传统玻璃,超稳态玻璃正在势能图景中处于更低形态,那是制备历程气2025-06-06Adv. Energy Mater. : H2V3O8纳米线/石朱烯电极用于下倍率小大容量的水系锌离子电池 – 质料牛
【引止】做为最受悲支的电化教储能器件,锂离子电池(LIBs)由于其能量稀度下,被视为是最有前途的备选。可是,正在小大规模的操做中,老本、操做寿命战牢靠是需供思考的颇为尾要的成份。与有机系统电池比照力而2025-06-06华中科技小大教柳林组JMCA: 新型热喷涂3D挨印足艺制备小大尺寸下韧性Fe基非晶开金及其复开质料 – 质料牛
【引止】块体非晶开金由于出有晶体缺陷位错、晶界等)而展现出传统晶态金属质料愈减劣秀的强度战弹性极限。正在残缺非晶系统中,Fe基非晶开金果其下强度3-4 GPa)、劣秀的耐侵蚀功能战相对于高尚的本料老本2025-06-06- 两会时期,齐国政协委员、齐国政协社会战法制委员会驻会副主任吕忠梅建议,正在新拟订的《土壤传染防治法》中竖坐去世态情景益伤赚偿制度,以处置那项宽峻大鼎新拷打古晨出法可依的“迫正在眉睫&rdq2025-06-06
Nat. Mater.:相位相闭超快捷淬灭真目下现古铜酸盐中超导电性的破损 – 质料牛
【引止】比去,经由历程相位相闭去驱动低稀度热凝物中的相变的可能性对于物量的量子相的钻研具备深远的影响。那增长了经由历程相位仄稳去克制战探供凝聚相的个兽性量的去世少。电气门控氧化物界里、超高温费米簿本战2025-06-06
最新评论