AI部署成本有望降至5万元以内联想发布推理加速引擎搭载产品预计下半年上市_商业

今年初，AI一体机的大规模出现使得企业，尤其是中小型企业部署AI和大模型的成本大幅降低。现在，联想集团展示了一种新的端侧算力解决方案，即“联想推理加速引擎”，这款由联想、清华大学及无问芯穹联合研发的软硬件协同优化平台可让一台普通PC的本地推理能力媲美OpenAI去年发布的o1-mini云端模型。该引擎通过高性能并行解码、算子融合优化以及异构计算技术，实现了多种应用场景下推理速度的提升，同时降低了功耗和内存占用。联想集团还展示了搭载上述加速引擎的台式电脑产品，该产品内置了1张中阶显卡、1张显存扩容卡以及“联想推理加速引擎”，整体造价约在4万元左右，可实现32B大模型的本地训练。预计今年下半年上市，有望进一步降低金融、教育、法律等领域的企业用户尤其是中小企业用户私有化部署大模型的成本。此外，用户还可通过内置的“AI Studio”软件平台，选择自己定制的大模型进行训练，本地训练成本可下降98%。总的来说，联想集团的新技术将进一步降低部署AI和大模型的成本，为中小企业用户提供更多的便利和选择。这将有望推动AI在更多领域的应用和发展。