稀疏化算法 重新定义AI计算

稀疏化算法 重新定义AI计算

墨芯提供云端和终端AI芯片加速方案。墨芯通过优化计算模式，支持全面稀疏化神经网络开发，提供超高算力、超低功耗的通用AI计算平台。

墨芯是一家致力于颠覆式创新的AI芯片设计商，采用领先于世界的稀疏化算法，旨在打造世界下一代人工智能芯片，成为AI芯片2.0时代的全球领跑者。2018年，墨芯人工智能在硅谷创立，目前总部位于深圳。创始团队来自于卡内基梅隆大学顶尖AI科学家、世界顶尖半导体公司 (如Intel、Marvell和Oracle等) 核心高量产芯片研发团队。

稀疏化芯片架构全球领跑

墨芯人工智能双稀疏化算法技术拥有全球专利，为AI计算模式和芯片架构带来了颠覆性的技术创新和数量级的算力提升，从根本上突破AI 1.0时代的算力瓶颈。

超低功耗、超高算力

墨芯旨在打造超高算力、超低功耗的通用AI计算平台，从软件算法出发，通过软硬件协同设计，创新并推动稀疏化计算全新生态，将现有AI算力提升1-2个数量级。

世界级研发团队

来自世界顶尖AI科学家和世界顶尖半导体公司核心高量产芯片研发团队的前沿学术研究和一线产业洞察，为市场所需的技术迭代升级提供坚实基础。

Antoum 芯片

 

墨芯独创双稀疏化算法技术，重新定义AI芯片架构。第一款双稀疏化芯片Antoum针对云端人工智能推理场景，Antoum芯片支持高达32倍稀疏率。

Antoum是一款高性能通用可编程芯片，广泛支持CNN、RNN、LSTM、Transformer、BERT等网络模型和浮点、定点丰富的数据类型。

在视觉应用场景中，Antoum带来突破性的创新，将编解码性能提升至业内领先水平。Antoum的出现为现有AI芯片架构带来创新和更多算力提升空间。

Antoum 芯片独特优势

超高算力

通过优化计算模式，支持全面稀疏化神经网络，Antoum芯片提供超高算力。

超低功耗

墨芯Antoum芯片将同等运算量的耗电量降至1/10，以大大降低能耗成本。

 

高能效比

对多种常用的AI模型通用性优异，相比当前主流产品有10倍以上的能耗比提升潜力。

高性能视频处理

专用硬件转码引擎，可以解码多路全高清视频流，轻松地将可扩展的深度学习集成到视频处理中，以提供创新的智能视频服务。

AI计算卡

 

墨芯人工智能AI计算卡S4、S10和S30，搭载墨芯Antoum®️芯片，支持高达32倍稀疏率，提供超高算力、超低功耗和超高能效比的AI计算加速。

墨芯人工智能AI计算卡，支持计算机视觉、自然语言处理、多模态等众多数据中心AI推理应用，适用于互联网、运营商、智慧城市、生命科学、自动驾驶等大规模推理场景，独创双稀疏算法技术和软硬协同架构设计，算力实现数量级提升，并为客户极大降低TCO。

软硬件协同设计

实现高性能和高能效，芯片计算单元和大容量大带宽片上存储紧密耦合，结合模型压缩稀疏能力，计算效率在业界处于领先位置。

高倍率稀疏张量核

支持高倍率稀疏张量运算的AI推理卡，支持高达32倍稀疏率，同时实现稀疏神经网络的高模型精度和高硬件执行效率。

可扩展性

通过自定义稀疏处理单元和专用视频编解码器、JPEG解码器引擎、词向量查找单元、内存格式转换引擎、向量处理器形成稀疏处理子系统，可灵活地支持并行模型和并行数据计。

高性能多媒体处理能力

集成专用硬件视频编解码器引擎和JPEG解码器引擎。支持智能视频分析服务，可轻松集成可扩展的深度学习算法，配备视频编解码器引擎可编解码4K多路视频流数据，配备JPEG解码器可以极大减轻CPU密集型的JPEG解码任务。

墨芯AI加速卡在全球权威AI测评MLPerf中

连续两届获得冠军

 

大模型方案

大模型方案介绍

 

随着前沿的AI大模型参数呈指数级增长的发展趋势下，仅凭一张或多张GPU计算卡已经很难满足大模型的推理需求。随之而来的，是企业采购、开发、运营成本的大幅增加。

墨芯提供了一种突破性的大模型推理引擎，广泛应用于计算机视觉、自然语言处理、音频处理等场景。

通过软件、硬件、双稀疏算法协同的设计方案，与基于GPU的设计方案相比较，实现单卡即可推理大模型，并且算力成倍数提高，为用户带来极低的延迟体验。

大模型推理引擎部署

利用SparseOPT工具，将稠密模型转化为对应的稀疏模型

利用SparseRT工具，对稀疏模型进行编译

利用SparseRT工具，将编译成功的稀疏模型做服务部署，并通过SOLA Runtime，为用户提供灵活便捷的硬件控制能力，助力开发复杂的AI应用

应用场景

墨芯提供终端和云端AI芯片加速方案，可广泛应用于数据中心、互联网、运营商、安防等领域。可高效加速计算机视觉、自然语言处理、智能推荐、语音识别与合成、知识图谱等诸多云端推理场景，携手各行业合作伙伴打造高效AI算力的行业应用场景，可广泛应用于互联网、运营商、智慧城市、金融、教育、医疗、工业制造、能源等行业的云端数据中心人工智能应用。

 

 

参考文献链接

https://www.moffettai.com/index.shtml