全球首款Transformer专用AI芯片Sohu发布 比英伟达H100快20倍

6月26日消息，据媒体报道，美国新兴的芯片创业公司Etched发布其首款AI芯片——Sohu。

这款芯片在运行大型模型时展现出了惊人的性能，其速度超越了行业巨头英伟达的H100高达20倍，即便是与今年3月才面世的顶尖芯片B200相比，Sohu也展现出超过10倍的优越性能。

Sohu芯片的最大突破在于它直接将Transformer架构嵌入芯片内部。据Etched公司负责人Uberti透露，Sohu采用了台积电的先进4纳米工艺制造，不仅在推理性能上远超GPU和其他通用人工智能芯片，更在能耗控制上达到了新的高度。

对于Transformer技术而言，Sohu无疑是目前市场上最快的芯片，其性能与其他产品之间存在显著的量级差异。值得一提的是，当前主流的AI产品如ChatGPT、Claude、Gemini和Sora等，均基于Transformer架构驱动。

作为世界上首款Transformer ASIC（应用型专用集成电路）芯片，Sohu的集成应用更是令人瞩目。据测试，一台配备8块Sohu芯片的服务器，其性能足以媲美160块H100 GPU的集群。

具体而言，集成8块Sohu芯片的服务器每秒能够处理高达50万的Llama 7B tokens，这一数据在业界堪称前所未有。

而打造这款杰出芯片的Etched公司，位于美国加州的库比蒂诺，尽管成立仅两年，团队规模也仅有35人，但其创始人——哈佛辍学生Gavin Uberti（前OctoML和前Xnor.ai员工）和Chris Zhu，与资深技术专家Robert Wachen和前赛普拉斯半导体公司首席技术官Mark Ross共同领导，已经成功研发出这款专为大模型AI设计的芯片，展现了其强大的技术实力和无限潜力。