CPU上跑AI？从推荐系统的演进看CPU的崛起

　　在信息和数据极度繁荣的当下，人工智能正在通过各种方式影响着人类生活。其中，AI推荐系统作为互联网时代最关键的伴生技术之一，正在帮助人类梳理着各种纷繁杂乱的信息，让资源实现更精准的调配，让一切变得井然有序。

　　推荐系统：数字营销的重要引擎

　　当你到一座旅游城市，不知道当地有什么美食时，AI推荐系统在手机上的本地生活平台会为你列出当地所有美食;

　　当你在线上购物，不知道时下有哪些新款式衣服时，AI推荐系统在电商平台上又会为你列出应季又适合你的衣服。

　　对于企业而言，AI推荐系统更为重要，在浩渺的商业世界里，AI推荐系统就像一条秩序链，通过这条秩序链，数以千万计的企业得以找到分布在全球各地最需要他们产品的用户。

　　上海市人工智能行业协会秘书长钟俊浩指出：“随着人工智能技术的迅速发展及软硬件进步，我们正步入一个AI技术广泛应用并深刻影响各行各业的新时代，与此同时，如今电商、个性化广告等诸多商业场景背后都在以AI推荐系统作为依托，AI推荐系统已经是人工智能技术在商业领域最为成熟的应用之一。”

　　数字营销就是使用了AI推荐系统的一个主要场景， 作为国内领先的商业数字营销平台，阿里妈妈就在用AI推荐系统为企业提供全链路的营销解决方案。

　　阿里妈妈的使命是“让天下没有难做的营销”，通过自研的数字营销平台，阿里妈妈每年都在为各行各业的商家和品牌解决一系列营销和广告投放问题，通过精准营销帮助商家将产品推广到最需要他们的消费者面前，从而帮助企业实现他们应有的价值。

　　为了将海量商品与消费者进行更加精准的匹配，阿里妈妈的AI推荐算法和模型在过往几年里一直在不断升级迭代，与此同时，日益复杂的AI模型也使得AI推荐系统对硬件算力的需求越来越高。

　　“线上购物已经很普遍，实际上，每次用户在线上浏览商品都会涉及百亿量级的浮点运算”，阿里妈妈软件工程师刘征宇解释称。

　　由此带来的是日益增长的算力需求和有限算力供给之间的矛盾，这一矛盾也成了像阿里妈妈这样基于人工智能技术开展数字营销业务的企业的一大痛点。

　　要解决这一痛点，最直接的方法就是增加AI算力、优化AI算法。尤其是AI算力的提升，是数字营销业务不断升级迭代最重要的保障。

　　是挑战也是机遇，最适合的才是最好的

　　大模型的出现，让GPU呼声越来越高，似乎GPU在一夜之间成了人工智能技术在算力上的唯一选择。

　　其实不然，在数字营销这样实际商业应用场景中，GPU不仅不是唯一选择，甚至也可能不是最优解。

　　实际上，人工智能技术对于算力的强需求主要来自于AI训练和AI推理两方面。而要想将人工智能技术转化为各行各业的生产力，帮助各行各业提升生产效率，最关键的是AI推理。

　　钟俊浩也做过解析：“在大模型深入产业的这一年里，越来越多行业开始关注AI推理，而如何将CPU发挥到极致，加速AI推理，并推动其产业落地就成了关键问题。”

　　某些硬件厂商对于推荐系统、语音识别、图像识别、基因测序这样传统的AI应用，在CPU上已经做了大量的优化。特别是在执行AI推理任务时，经过优化的大模型在CPU上已经可以实现高效执行。

　　英特尔数据中心和人工智能集团至强生态赋能事业部(中国)总经理李亚东就指出：“当模型很大，涉及到需要跨异构平台计算时，使用CPU速度反而更快，效率也更高。”

　　2023年12月，英特尔在国内正式发布了第五代至强®可扩展处理器，它从多方面提升了硬件算力，包括频率，功耗，LLC缓存，内存带宽和延迟都有明显的改进。

　　最关键的是它内置的英特尔®高级矩阵扩展(英特尔®AMX技术)，特别针对深度学习模型最常见的矩阵乘法运算优化，支持BF16(训练/推理)和INT8(推理)等常见数据类型。

　　英特尔®AMX位于每个CPU内核上并靠近系统内存，可减少数据传输延迟、提高数据传输带宽，并且同步降低实际使用上的复杂性。

　　实际上，在目前AI推荐系统面临的硬件算力挑战中，CPU已经成了解决AI推理计算需求的核心算力。

　　据刘征宇透露：“阿里妈妈在选择以第五代英特尔®至强®可扩展处理器作为算力平台，使用英特尔®AMX和AVX-512优化后，针对广告推荐模型，性能相比第四代至强®可扩展处理器有了明显提升，在满足SLA的前提下，吞吐量提升(达)1.52倍。”

　　基于此，阿里妈妈通过不断提升算力和优化算法，使得整个营销链条更加丝滑，也更加智能高效。

　　除了硬件创新，英特尔在软件方面也在持续发力，以确保现有的AI框架和应用能够充分发挥出硬件潜力。

　　英特尔不仅持续为主流开源框架PyTorch、TensorFlow等贡献力量，还提供了多种针对CPU平台的优化插件，如IPEX(Intel®Extension for PyTorch)、ITEX(Intel®Extension for TensorFlow)等，同时提供了诸如xFT(xFasterTransformer)、OpenVINO™ 工具套件等多种优化工具。

　　“最适合的，才是最好的，我们现在最需要的不是无限高的算力，而是拥有足够算力的超能战士。”刘征宇进一步解释称。

　　同样， CPU平台广泛部署、易于获取，便于应用和优化，能兼顾通用计算又能做推理加速，且不用为此导入异构带来的各种复杂性，自然就会收获高效的应用表现、落地速度和更强的成本竞争力。

　　以阿里妈妈所在的数字营销应用场景为例，无论是矩阵乘法这样计算密集型的AI运算，还是数据查询这样访存密集型的AI运算，都离不开CPU的参与。

　　即便是在CPU-GPU协同应用场景中，GPU这样协处理器的算力发挥作用，也非常依赖CPU的处理速度。

　　用CPU加速AI落地，未来可期，大有可为

　　如果说2023年是大模型技术爆发的一年，那么，2024年就是大模型深入产业应用的关键年。不论是大模型还是传统的AI技术，要想得到落地，做到“快、好、省”才是关键。

　　CPU能确保整个系统的稳定运行、各组件的高效通信协作，并最终推进任务的顺利执行。

　　除了热门的AI推理和训练，一条AI流水线中还包括数据预处理、后处理等可能需要CPU通用处理能力的环节。在这些环节中，CPU具备的通用性和灵活性，能够适应各种不同的计算场景，适应广泛的应用需求。

　　第五代至强®可扩展处理器充分考虑到这些需求，内置了诸如英特尔®数据流加速器(英特尔®DSA)来主攻数据存储与传输;英特尔®存内分析加速器 (英特尔®IAA)来针对数据库和数据分析加速;英特尔®数据保护与压缩加速技术(英特尔®QAT)来加速数据压缩、对称和非对称数据加密解密，提高CPU效率和整体系统性能。

　　李亚东还指出：“从企业长远发展来看，CPU在稳定性、安全性等方面的表现值得信赖，这对于保护企业数据和客户隐私至关重要。第五代至强®可扩展处理器内置的英特尔®SGX和TDX，可以为企业分别提供更强、更易用的应用隔离能力和虚拟机层面的隔离和保密性，为现有应用提供了一条更简便的向可信执行环境迁移的路径。”

　　未来英特尔数据中心产品组合，预计可以覆盖通用计算与AI加速，实现从数据预处理、到模型训练与优化，再到部署与推理的AI“全管线”加速。

　　CPU不仅是老伙伴，还是新变量，随着新一代CPU在各方面性能的不断提升，CPU也正在成为为千行万业企业智能化转型提供源源不断动力的心脏。

　　正如钟俊浩所说：“持续创新和进化的CPU，在全新技术周期下，成为一代又一代科学家留给新时代最好的礼物。”