作家 | 三北

剪辑 | 漠影

跟着OpenAI的视频生成模子Sora爆火，国内大模子同业正在铆足劲加快追逐，同期面对的算力瓶颈及对应的本钱压力日益突显。

软件优化门径是破解算力瓶颈的一条捷径。本年3月，国内闻名AI公司潞晨科技开源的Sora复现架构决策Open-Sora，据称可责问46%复现本钱，背后就获利于潞晨科技的Colossal-AI软件系统。

Colossal-AI是潞晨科技自研的面向大模子的通用深度学习系统，可用于大模子推行、微调、推理部署的全历程。该系统在圈内与微软DeepSpeed和英伟达的Megatron分庭抗礼，并凭借GitHub上三万六千多颗星，被一众设立者视为细分赛说念世界第一。

本年2月，潞晨科技更进一步连结华为推出Colossal-AI云平台——ColossalAI Platform，以此处分大模子从业者国产化移动难问题，为用户提供开箱即用的高性能算力及设立部署全历程器具。与此同期，潞晨昇腾训推一体机照旧上线，据称性能最高可达对应A800机器性能的92%。

新京报记者注意到，张亮麻辣烫的门店以加盟为主，其直营店数量不到加盟店的2%，此前被曝出的食安问题的门店也多为加盟店。业内人士认为，加盟模式可以帮助餐企迅速拓展门店，但如果总部疏于监管，加盟店问题频出，也会损害品牌形象，引发系列问题。

张亮麻辣烫表示：“作为餐饮特许品牌方，对于监管不严造成某些加盟门店私自采买食材，我们承担主要责任。”

ColossalAI Platform网站截图

ColossalAI Platform地址：

https://platform.luchentech.com/

当下赶巧AI成两会热点话题，高层初次将开展“东说念主工智能+（AI+）”活动写进政府使命评释，AI算力瓶颈问题备受关爱。那么稳妥中国的AI算力处分决接应该是什么样的？

潞晨科技与华为连结推出的算力处分决策，为产业提供了一个典型新范本。

01 .

直击传统行业“AI+”痛点

两大决策进步算力中心价值

“投入2024年，咱们不雅察到大模子探讨算力需求昭彰加多。”潞晨探讨认真东说念主告诉智东西，“额外是视频生成大模子如Sora的爆发，以及对话机器东说念主的无为应用，推动了大模子在不同业业的落地应用。”

在这种配景下，客户的需求特征变化主要体现时对更大鸿沟、更高性能的筹备资源的进犯需求，以得志复杂任务的推行和推理。各地算力中心如星罗棋布般落成，一方面有望在启用后相接多半AI算力需求，另一方面则在落地场景中面对严峻的应用挑战。

算力中心唯有靠提供额外行状，材干形成诱骗客户的卖方上风。

业内东说念主士称，不少算力中心有硬件却很难卖出去，因为无法帮客户真实把算力用起来。算力中心的客户在大模子设立过程中面对重重挑战，触及万般化的⼯具和框架、复杂的设立和部署过程、资源经管和退换、数据经管、膨大、监控和调试、安全性和权限经管等多方面，成为传统行业“AI+”转型的路障。

潞晨科技与华为最新的和解，为算力中心及传统行业“AI+”转型提供了新解法。本年2月，潞晨科技与华为推出了两类连结处分决策：

一是ColossalAI Platform零丁部署版，这是个⼀体化的AI设立和部署平台，不错助用户在昇腾上像作念PPT相同推行/微调/部署大模子。用户可通过华为云云商店下单，进行ColossalAI Platform特等化部署，从而在腹地以更低门槛、更低本钱、更高速率通过特等数据推行/微调出恶果更好的特等垂类大模子。

ColossalAI Platform零丁部署版网站截图

ColossalAI Platform零丁部署版地址：

ht tps://marketplace.huaweic loud.com/contents/b0fa0a48-b4b5-4651-8277-a14430a8b4d0#productid=OFFI967630942413742080

二是潞晨昇腾训推一体机，也等于潞晨昇腾超等使命站，用户购买机器后可零本钱移动，长沙调研公司开箱即用地赢得与英伟达机器忘形的高性能算力，用上与ColossalAI Platform访佛的功能及行状。

02 .

云平台：千元预算半天推行

闪开源模子忘形GPT

潞晨探讨认真东说念主告诉智东西，关于自有昇腾硬件算力的客户或算力中心来说，他们只需要在华为云云商店下单Colossal-AI Platform零丁部署版，就省略赢得访佛“千元半日训出70亿参数大模子”、“万元训出忘形GPT大模子”的体验。

几个月前，Colossal-AI团队仅愚弄8.5B tokens数据、15小时、数千元的推行本钱，到手构建了性能超卓的70亿参数中语Llama 2版块模子，在多个评测榜单性能优厚。

Colossal-LLaMA-2-7B测试忘形同鸿沟SOTA模子

在此基础上，1月，Colossal-AI再次迭代，愚弄25B tokens数据，仅破耗数万元本钱，打造了恶果更佳的130亿参数的Llama 2模子，在CMMLU、AGIEVAL、GAOKAO与C-Eval多个榜单上推崇优异，并列破耗上千万元的主流大模子。这些大模子在好多场景中能忘形OpenAI的GPT-3.5以致是GPT-4模子。

Colossal-LLaMA-2-13B测试超同鸿沟主流模子

关于用户来说，ColossalAI Platform上手翰单。平台提供统⼀的接⼝和⼯具，底层时期艰苦照旧被屏蔽了，使得设立大模子变得像作念PPT相同容易。

字据潞晨官方测试，通过无邪的筹备资源、可膨大性和高度可定制的环境，ColossalAI Platform能助大模子预推行本钱责问50%，大模子基础设施本钱责问10倍，大模子硬件需求本钱责问10倍，大模子形势上线时刻裁减10倍。

从功能模块来看，ColossalAI Platform主要包括基础设施层、行状层-AI行状中台、应⽤层-AI处分⽅案三层架构。

ColossalAI Platform的主要架构

其中，基础设施层包括筹备节点、存储和⽹络几个模块，提供硬件与框架⽀抓、原⽣集成ColossalAI的预制镜像、预制镜像⾥AI代码框架版块的按时更新、AI算⼒资源经管等功能。

行状层-AI行状中台主要提供AI算⼒资源经管、AI云主机、模子推行、推行任务模版、模子部署、模子经管、数据集经管、算法经管等功能。

应⽤层-AI处分⽅案主要提供AI应⽤市集、镜像经管、⽂档中⼼等功能。

总的来说，Colossal-AI Platform的主要上风如下：

1、ColossalAI Platform和Colossal-AI通过在⼤型集群上提供“低代码零代码设立体验”，权臣提⾼复杂应⽤门径的设立速率。

2、ColossalAI Platform原⽣集成⾼效散播式设立基础设施Colossal-AI，进⼀步优化⼤模子的推行和推理过程。

3、ColossalAI Platform预置⾃动化算⼒和存储资源的处分⽅案，⾃动为⽤户确立最优集群，并确保数据安全。

4、ColossalAI Platform权臣责问企业研发本钱，将⼤模子项⽬上线时刻裁减10倍。

Colossal-Al云上大模子高效处分决策昨年底赢得了华为云连结CNCF、中国通讯院等颁发的“2023年度云原生时期蜕变奖”，Colossal-AI大模子设立系统也在同期期入选中国信通院确实开源大模子产业鼓动方阵。

潞晨科技获“2023年度云原生时期蜕变奖”

03 .

一体机：克服昇腾适配瓶颈

性能对王人NV同代产物

关于一些尚未采购算力的客户，潞晨昇腾超等使命站是优选旅途。

潞晨昇腾超等使命站具有两大中枢上风，0本钱结束到昇腾机器的无缝移动，并从性能上忘形英伟达高端推行卡。

潞晨Colossal-AI系统动作亚洲AI系统细分赛说念名轮番一的选手，凭借其在AI系统软件的使命领先匡助国内企业处分了昇腾机器适配艰苦，仅需安设Colossal-AI便可结束原先PyTorch形势到昇腾机器上的无缝移动。

潞晨昇腾超等使命站结束0本钱适配

在性能方面，在Colossal-AI的加抓下，昇腾性能则可平直忘形以致卓绝英伟达在原生PyTorch框架下的性能，弥补了国内在AI系统上的空白，为国内边远有落地大模子经营的企业提供了可靠的世界产替代决策。

潞晨昇腾超等使命站获昇腾时期认文凭

04 .

结语：开释国产算力

助大模子产业松懈瓶颈

当下赶巧“东说念主工智能+”飞腾为国度打造新质分娩力的策略活动，同期好意思国OpenAI推出的Sora对国内AI产业形成更大的压力，这都条款智能算力产业给出更高性能、更高遵循的算力处分决策，助大模子产业松懈瓶颈，打造稳妥中国的大模子算力决策。

“华为昇腾+潞晨Colossal-Al”组合为中国大模子发展提供了一个普遍参考神秘顾客平台，其创始性在于将华为昇腾先进AI芯顷刻期与潞晨高性能筹备相勾通，为国内客户提供了全面、高效、可定制的处分决策，形成推动中国大模子时期和产业演进的更大能量。