💎 查看近期市场上最稳健的公司立即进入

十万个英伟达H100!马斯克超级计算集群正式投入使用

发布时间 2024-7-23 16:54

十万块英伟达H100的训练集群你见过吗?
7月23日,马斯克在社交平台X上宣布,旗下xAI的专用训练集群——孟菲斯超级计算机集群(Memphis Supercluster)已经正式投入使用。

据马斯克介绍,该集群配备了10万个英伟达H100 GPU,全面超越了超级计算机Top500榜单中的任意一台,包括世界上最强的Frontier(37,888个 AMD GPU)。
该项目的启动可以追溯至今年3月。彼时,马斯克想用一个超级计算集群训练Grok3,目标是将其在年底前训练成世界上最强大的人工智能。之所以把集群放在孟菲斯建设,是因为孟菲斯作为田纳西人口第二大的城市,可以嫁接丰富的电力资源(用于运行集群)和水资源(用于散热)。
根据孟菲斯电力、天然气和水务公司的首席执行官估计,超级计算机集群每小时可能使用高达150兆瓦的电力,相当于10万户家庭所需电量,而超级计算机集群预计每天至少需要100万加仑的散热水。
最初,孟菲斯方面担心,如此大规模的资源重新分配会引起当地居民的资源短缺。作为交换,马斯克已经口头承诺将改善孟菲斯的公共基础设施,以支持数据中心的发展,包括兴建一个新的变电站和一个污水处理设施。另外,马斯克还在孟菲斯超级计算站点发布了六个招聘信息,职位包括光纤工头、网络工程师和项目经理等。
协议敲定后,今年5月,马斯克迅速开启了集群的建设工作。为此,马斯克斥巨资购买了大量英伟达“Hopper”H100 GPU,并在科技公司Supermicro订购了大量硬件。略显可惜的是,如果不是与时间抢跑,马斯克完全可以等英伟达马上推出的H200,甚至是基于Blackwell的B100和B200 GPU,如果上了这两块芯片,孟菲斯超级计算机集群的算力将不可想象。
原本在马斯克的计划中,超级计算工厂的建设完成时间为2025年秋季之前。这表明,项目完成度远超预期,提前了将近一年。马斯克表示,新的Supercluster”将“从各个方面训练世界上最强大的人工智能”,改进后的大语言模型(Grok)应该在“今年12月之前”完成训练阶段。
据了解,Grok模型是马斯克旗下xAI的生成式人工智能产品,其独特优势是可以通过X平台实时了解世界。它还可以回答大多数其他人工智能系统拒绝的尖锐问题。目前,Grok模型还是一个早期测试产品,它会在准备好之后优先向美国的X平台的Premium Plus用户提供。

最新评论

正在加载下一篇文章……
风险批露: 交易股票、外汇、商品、期货、债券、基金等金融工具或加密货币属高风险行为,这些风险包括损失您的部分或全部投资金额,所以交易并非适合所有投资者。加密货币价格极易波动,可能受金融、监管或政治事件等外部因素的影响。保证金交易会放大金融风险。
在决定交易任何金融工具或加密货币前,您应当充分了解与金融市场交易相关的风险和成本,并谨慎考虑您的投资目标、经验水平以及风险偏好,必要时应当寻求专业意见。
Fusion Media提醒您,本网站所含数据未必实时、准确。本网站的数据和价格未必由市场或交易所提供,而可能由做市商提供,所以价格可能并不准确且可能与实际市场价格行情存在差异。即该价格仅为指示性价格,反映行情走势,不宜为交易目的使用。对于您因交易行为或依赖本网站所含信息所导致的任何损失,Fusion Media及本网站所含数据的提供商不承担责任。
未经Fusion Media及/或数据提供商书面许可,禁止使用、存储、复制、展现、修改、传播或分发本网站所含数据。提供本网站所含数据的供应商及交易所保留其所有知识产权。
本网站的广告客户可能会根据您与广告或广告主的互动情况,向Fusion Media支付费用。
本协议的英文版本系主要版本。如英文版本与中文版本存在差异,以英文版本为准。
© 2007-2024 - Fusion Media Limited | 粤ICP备17131071号 | 保留所有权利。