在人工智能快速发展的今天，大语言模型的应用日益广泛，然而工程师们常常面临一个令人困惑的现象：即便使用顶级GPU，模型生成文本的速度依然缓慢。这一现象背后隐藏着硬件设计与模型运行之间的深刻矛盾，而理解这种矛盾的关键在于重新认识GPU的工作原理。
现代GPU的设计哲学与CPU截然不同。CPU追求单线程的高效执行，通过大容量缓存和复杂控制逻辑来减少延迟；而GPU则通过集成数千个简单算术单元，以并行处理的方式应对海量数据。这种设计源于图形处理和神经网络计算的共同需求：对大量数据执行相同操作。在GPU中，32个线程组成一个线程束，共享指令流，这种结构使得单个线程的性能较弱，但整体吞吐量极高。
性能瓶颈的核心在于数据传输而非计算能力。算术运算的成本极低，而从内存获取数据的成本却高得惊人。以车间作比喻：算术单元如同工作台，内存则如同连接仓库的走廊。工作台的处理速度远超走廊的输送能力，即使增加工作台数量，也无法突破走廊的带宽限制。这种不对称性在最新一代加速器中愈发明显——算术能力增长数倍，而内存带宽仅略有提升。
内存层级结构决定了数据访问效率。GPU内存分为四个层级：寄存器文件、共享内存、L2缓存和主内存。寄存器文件位于算术单元旁，访问速度最快；共享内存由单个流式多处理器（SM）独享，容量几百KB；L2缓存为整个芯片共享，容量几十MB；主内存（VRAM）则位于芯片外，容量可达数十GB。数据从主内存到算术单元的传输过程中，每经过一层都会产生显著延迟，尤其是主内存访问成本比寄存器访问高出数百倍。
语言模型推理中的性能矛盾尤为突出。以700亿参数模型为例，生成单个词元需要读取140GB权重数据（16位精度），而高端GPU每秒仅能读取约3.3TB主内存数据。这意味着生成一个词元至少需要42毫秒，理论最大吞吐量约为每秒24个词元。这一限制源于算术强度过低——每个字节仅支持约1次运算，远低于盈亏平衡点的300次/字节。相比之下，预填充阶段同时处理多个词元，算术强度显著提升，性能表现完全不同。
优化技术均围绕提升算术强度展开。批处理通过同时处理多个请求，将每个字节的工作量提升数十倍；运算融合减少中间数据写入主内存的次数；量化通过降低精度直接减少每个权重的字节数；FlashAttention等算法则通过分块计算，将中间数据保留在片上内存。这些方法的核心目标一致：在给定内存带宽下，最大化数据复用率。
硬件发展趋势进一步强化了这种优化逻辑。新一代GPU如H200通过提升内存带宽（4.8TB/s），将盈亏平衡点降至206次/字节，使得更多工作负载能够突破内存瓶颈。然而，算术能力增长速度仍快于带宽，这意味着未来优化将更依赖减少数据移动的技术，而非单纯提升算力。
理解这些原理对实践具有指导意义。当模型吞吐量受限时，首先应检查批处理大小、精度设置和内存布局，而非盲目升级硬件。测量实际内存带宽利用率和算术单元利用率，可以快速定位瓶颈所在。这种基于算术强度的分析框架，为性能优化提供了超越经验主义的理性工具。
