马斯克方案造大模子超等运筹帷幄机的音尘近日备受温和,相配是相干该超算要在来岁秋天之前初始并为新版块东谈主工智能大模子Grok提供算力提拔激发预计。马斯克这一作念法将会对东谈主工智能范畴形成哪些影响?又给中国大模子发展带来哪些启示呢?
据路透社报谈,好意思国富豪马斯克最近告诉投资者,他的东谈主工智能初创公司xAI正方案开拓一台超等运筹帷幄机,为其下一版块的东谈主工智能聊天机器东谈主Grok提供算力。
据报谈,马斯克默示,他但愿在 2025年秋季之前让拟议的超等运筹帷幄机初始,并默示xAI不错与甲骨文公司合营来开发这台大型运筹帷幄机。
马斯克向投资者所作念的演示称,完成后,蚁集的芯片组——英伟达的旗舰H100 GPU数目——将至少是现在最大GPU集群的4倍。
马斯克在本年稍早默示,锻真金不怕火Grok2模子需要轻便2万块英伟达H100,而Grok3模子及更高版块将需要10万块英伟达H100。
中国科学院运筹帷幄时代参议所参议员张云泉对《环球时报》记者默示,当大模子的运算范围达到1万块GPU,以致10万块时,就需要通过发展大模子专用超算来打破能耗墙、可靠性墙、并行墙等算力瓶颈。这是大模子发展到一定经过的势必趋势。
咫尺OpenAI与微软以及谷歌等巨头王人在发展大模子超算方式,但愿通过搭建几十万块以致百万块GPU霸占公共最众多模子的时代制高点。
在回应大模子超算与通用超算之间存在什么分离的发问时,张云泉默示,主若是运筹帷幄的算法、精度和职责负载以及需要的软件栈不同。
北邮东谈主机交互与明白工程践诺室主任刘伟选择《环球时报》记者采访时默示,若马斯克准备把算力及大模子等与AI相干的产业重要节点王人我方作念,可能会对AI行业产生以下影响:马斯克见效地铁心了这些重要节点,可能会导致AI产业的辘集化经过普及,进而会对竞争环境产生影响,减少其他公司进入阛阓的契机。何况,铁心大王人的数据和算力可能激发数据诡秘和安全方面的担忧,确保数据的正当使用和保护用户诡秘将成为重要问题。若出现这种情况,其他公司可能会面对更大的竞争压力,尤其是那些依赖于与马斯克竞争的重要时代或劳动的公司。另外,还可能会促使行业制定更严格的圭表和监管,以确保AI时代的合理使用和保护公众利益。与此同期,鉴于马斯克在时代范畴丰富的训诲和资源,他的插足可能会加快AI时代的发展,鼓励新的改进和打破。
张云泉默示,他在本年两会提案中提到,在西方高端GPU对我国“卡脖子”的配景下,短期内打破大模子算力瓶颈,中国有一条路可走:期骗往时二十多年聚积的先进超算时代,研发大模子专用超算,克服大模子算力瓶颈问题,使我国不错牢牢咬住公共大模子开赴点进水平,不至于掉队。
作家:刘扬