新闻资讯

行业资讯

当前位置：首页 / 新闻资讯 / 行业资讯

日本联合研究团队发布Fugaku-LLM大模型,在富岳超算上训练大模型

发布日期：2024-05-11     93 次

5 月 11 日消息，由多方企业和机构组成的日本联合研究团队昨日发布了 Fugaku-LLM 大模型。该模型的最大特色就是其是在 Arm 架构超算“富岳”上训练的。

Fugaku-LLM 模型的开发于 2023 年 5 月启动，初期参与方包括富岳超算所有者富士通、东京工业大学、日本东北大学和日本理化学研究所（理研）。

而在 2023 年 8 月，另外三家合作方 —— 名古屋大学、CyberAgent（也是游戏企业 Cygames 的母公司）和 HPC-AI 领域创企 Kotoba Technologies 也加入了该模型研发计划。

1 - Copy.png

▲ 富岳超算。图源富士通新闻稿

在昨日发布的新闻稿中，研究团队表示其充分挖掘了富岳超算的性能，将矩阵乘法的计算速度提高了 6 倍，通信速度也提升了 3 倍，证明大型纯 CPU 超算也可用于大模型训练。

Fugaku-LLM 模型参数规模为 13B，是日本国内最大的大型语言模型。

其使用了 13824 个富岳超算节点在 3800 亿个 Token 上进行训练，其训练资料中 60% 为日语，其他 40% 包括英语、数学、代码等部分。

该模型的研究团队宣称 Fugaku-LLM 模型可在交流中自然使用日语敬语等特殊表达。

具体到测试成绩上，该模型在日语 MT-Bench 模型基准测试上的平均得分为 5.5，排在基于日本语料资源的开放模型首位，并在人文社科类别中得到了 9.18 的高分。

目前 Fugaku-LLM 模型已在 GitHub 和 Hugging Face 平台公开，外部研究人员和工程师可在遵守许可协议的前提下将该模型用于学术和商业目的。


版权声明：本站内容除特别声明的原创文章之外，转载内容只为传递更多信息，并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题，请及时通过电子邮件或电话通知我们，以便迅速采取适当措施，避免给双方造成不必要的经济损失。联系电话：020-2204 2442,邮箱：Sales@greentest.com.cn。
上一篇: 长城汽车：6C 超快充电芯已进入验证阶段,将加快固态电池上车应用
下一篇: 新思科技面向台积公司先进工艺加速下一代芯片创新

为您精选

热门文章

最新文章

热门标签

EMC EMI 车载充电机 OBC 新能源电车 EV 5G 无线通信 征收关税 主板 显卡 DV试验 DVP试验 频谱仪 示波器 OCV测试 锂电池 xAI AI芯片 英伟达 传导发射 新能源汽车 物联网 SoC芯片 人工智能 AIoT 半导体VPD测试 直流充电桩 交流充电桩 emc ECU ECM 电动汽车 电波暗室 测试测量 天线测试 通信系统 ISO协议 SAR测试 混响室 隔声室 消声室 华为 数据中心 低碳 科技 无线连接 电源 MVG SSD 雷达传感器 emi测试 新能源 电动车 GB2423 冷热冲击试验 芯片 AI 大模型 AMD

寻找更多销售、技术和解决方案的信息？

联系我们
关于绿测

广州绿测电子科技有限公司（简称：绿测科技）成立于2015年11月，是一家专注于耕耘测试与测量行业的技术开发公司。绿测科技以“工程师的测试管家”的理念向广大客户提供专业的管家服务。绿测科技的研发部及工厂设立于广州番禺区，随着公司业务的发展，先后在广西南宁、深圳、广州南沙、香港等地设立了机构。绿测科技经过深耕测试与测量领域多年，组建了一支经验丰富的团队，可为广大客户提供品质过硬的产品及测试技术服务等支持。

查看详情
应用解决方案
产品与服务
新闻资讯
绿测工场服务号
绿测工场服务号
绿测科技订阅号
绿测科技订阅号
020-2204 2442
Copyright @ 2015-2024 广州绿测电子科技有限公司 版权所有 E-mail：Sales@greentest.com.cn 粤ICP备18033302号