GPU的理论算力与实际表现之间存在一个关键因素：kernel。SemiAnalysis在最近的推文中深入探讨了这一概念——它不仅是爆米花的玉米粒，更是执行大型语言模型（LLM）数学运算和关注算子所需的几百行GPU代码。实现算力的关键在于：只有当kernel持续有效地利用tensor core时，GPU才能达到其宣称的FLOPS。如果内存访问效率低下，即使是再昂贵的显卡也无法发挥作用。
真正的影响在于规模效应。SemiAnalysis指出，像OpenAI这样的大型服务中，即使kernel的效率提升只有几个百分点，所带来的算力成本差异则可能达到数亿美元。这也就解释了为什么顶级AI实验室愿意投入重金组建底层优化团队。推文标记为系列的第一部分，后续内容将更具关注价值。
留言框-
