Exacluster展示业界首批基于英伟达H200 GPU的AI集群

1月12日消息，基于生成式AI的搜索引擎技术初创公司ExaAILabs首席执行官 Will Bryk于当地时间周五宣布，该公司已经部署了 Exacluster，这是业界首批基于英伟达（Nvidia）H200 GPU 的集群之一。该集群将用于构建一个AI搜索引擎，号称可以比谷歌（Google）搜索更好地理解用户需求，并返回更好的搜索结果。

据介绍，Exacluster采用了 18 个基于 NVIDIA H200 的 8卡服务器（exa 表示 Quintillion，或 10^18），即拥有 144 个 H200 GPU，具有 20TB HBM3E 内存（每个 GPU 141GB HBM3E），可提供 569958 TOPS（约 570 PetaTOPS）的组合计算性能。同时，该集群还集成了192 个 96 核CPU（共计 3456 个CPU内核），并配备了 36TB 的 DDR5 内存和 270TB 的 NVMe 固态存储。该集群将被将用于训练 ExaAI 的神经网络，总体的功耗为 100kW。

该集群依然采用的是标准空气冷却方案，因此为了解决散热问题，该集群当中的每个机架只安装两台这样的机器，以确保所有服务器都能得到足够的冷却。

据Will Bryk介绍，Exacluster的成本约为500万美元，这也意味着其每台服务器价格约为27.78万美元。值得一提的是，英伟达也是ExaAILabs公司的主要投资者之一，此外Lightspeed 和 YCombinator也是其投资者。