从芯片构成来看，AI服务器主要是CPU+加速芯片，通常搭载GPU、FPGA、ASIC等加速芯片，利用CPU与加速芯片的组合可以满足高吞吐量互联的需求。

1.CPU

作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元。其优势在于有大量的缓存和复杂的逻辑控制单元，擅长逻辑控制、串行的运算;劣势在于计算量较小，且不擅长复杂算法运算和处理并行重复的操作。因此，CPU在深度学习中可用于推理/预测。

目前，服务器CPU向多核心发展，满足处理能力和速度提升需要，比如AMD EPYC 9004核心数量最多可达96个。不过，系统性能优劣不能只考虑CPU核心数量，还要考虑操作系统、调度算法、应用和驱动程序等。

2.GPU

GPU高度适配AI模型构建，由于具备并行计算能力，可兼容训练和推理，目前GPU被广泛应用于加速芯片。以英伟达A100为例，在训练过程中，GPU帮助高速解决问题：2048个A100 GPU可在一分钟内成规模地处理 BERT之类的训练工作负载。在推理过程中，多实例GPU (MIG)技术允许多个网络同时基于单个A100运行，从而优化计算资源的利用率。

在A100其他推理性能增益的基础之上，仅结构稀疏支持一项就能带来高达两倍的性能提升。在BERT等先进的对话式AI模型上，A100可将推理吞吐量提升到高达CPU的249倍。

目前，ChatGPT引发了GPU应用热潮。其中，百度即将推出文心一言(ERNIE Bot)。苹果则引入AI加速器设计的M2系列芯片(M2 pro和M2 max)将被搭载于新款电脑。随着ChatGPT的使用量激增，OpenAI需要更强的计算能力来响应百万级别的用户需求，因此增加了对英伟达GPU的需求。

AMD计划推出与苹果M2系列芯片竞争的台积电4nm工艺“Phoenix”系列芯片，以及使用Chiplet工艺设计的“Alveo V70”AI芯片。这两款芯片均计划在今年推向市场，分别面向消费电子市场以及AI推理领域。

3.FPGA

FPGA具有可编程灵活性高、开发周期短、现场可重编功能、低延时、方便并行计算等特点，可通过深度学习+分布集群数据传输赋能大模型。

4.ASIC

ASIC在批量生产时与通用集成电路相比具有体积更小、功耗更低、可靠性提高、性能提高、保密性增强、成本降低等优点，可进一步优化性能与功耗。随着机器学习、边缘计算、自动驾驶的发展，大量数据处理任务的产生，对于芯片计算效率、计算能力和计能耗比的要求也越来越高，ASIC通过与CPU结合的方式被广泛关注，国内外龙头厂商纷纷布局迎战AI时代的到来。

其中，谷歌最新的TPU v4集群被称为Pod，包含4096个v4芯片，可提供超过1 exaflops的浮点性能。英伟达GPU+CUDA主要面向大型数据密集型HPC和AI应用;基于Grace的系统与NVIDIAGPU紧密结合，性能比NVIDIADGX系统高出10倍。百度昆仑2代AI芯片采用全球领先的7nm 制程，搭载自研的第二代 XPU 架构，相比一代性能提升2-3倍;昆仑芯3代将于2024年初量产。

5.光模块

当前，AI时代模型算力需求已经远超摩尔定律的速度增长，特别是在深度学习、大模型时代之后，预计5-6个月翻倍。然而，数据传输速率成为容易被忽略的算力瓶颈。伴随数据传输量的增长，光模块作为数据中心内设备互联的载体，需求量随之增长。