Session 00 | 从 HPC 到 AI Infra: 并行计算与并行编程 | Infra Seminars

为什么超算和 AI Infra 息息相关？为什么随着算力增强，人工智能才能越来越强？

为什么大模型在 GPU 上才能运行和训练？

这都归功于大模型的计算和传统的科学计算、气候模拟等问题一样，能够高度并行

为什么能并行？
什么地方并行？
如何做并行计算？
为什么大模型 Infra 要写 Kernel？为什么普通 CPU 编程不叫写 Kernel？

这次课将给你建立一些直觉上的感受。

课前阅读和参考资料

Introduction to Parallel Computing Tutorial
Parallel Computing on Wikipedia