站长之家(ChinaZ.com)12月19日消息:
美国初创公司EtchedAI近日宣称,他们成功开创了一项新的技术,将Transformer架构直接烧录到了芯片中,创造出了世界上大的专门用于Transformer推理的服务器Sohu。据称,这项技术可以运行万亿参数的模型,甩英伟达几百条街。
官网地址:HTTPs://www.etched.ai/
该服务器具有多项功能,包括实时语音代理,能够在毫秒内处理成千上万的词;更好的编码与树搜索能力,可以并行比较数百个响应;多播推测解码功能,实时生成新内容;支持未来的万亿参数模型,只需一个核心,支持全开源软件栈,可扩展至100T参数模型;还具备解码技术,包括光束搜索和MCTS解码。
此外,每个芯片还配备了144GBHBM3E,支持MoE和转换器变体,为服务器的高性能提供了有力支持。这一突破性技术的问世,将为Transformer架构的应用带来新的可能性。
(举报)
标签: 芯片、本文地址: https://yihaiquanyi.com/article/98175d3e7a38a780c26c.html
上一篇:我来了以后才知道了他的真相来了才知道曾经...