大模型算法实战教程 / LLM Algorithm Practice Lab 学习笔记

这篇记录用来整理我学习「大模型算法实战教程 / LLM Algorithm Practice Lab」时的笔记、代码理解、实验过程和复盘。

学习目标

在 2026.06.14-2026.07.14 这一个月内，系统学完「大模型算法实战教程 / LLM Algorithm Practice Lab」的第零部分到第三部分。
阶段目标：在 2026.07.01 前学到第二部分结束，即完成前置知识、硬件系统理论与 PyTorch 算法实战。

部分	简介	组别	状态
第零部分	前置知识与环境准备。	0A Python 基础 / 0B PyTorch 基础 / 0C 深度学习基础 / 0D 工具与调试	🚧 主线完成，待后续补充
第一部分	硬件、算力推导与系统级理论。	1A 数值基础与算力估算 / 1B 单卡硬件与访存优化 / 1C 多卡通信与显存共享 / 1D 异构调度与算子编程 / 1E 编译优化与算力生态	🚧 主体完成，扩展部分完成
第二部分	PyTorch 算法实战。	2.1 基础算子 / 2.2 模型架构 / 2.3 微调与训练技术 / 2.4 对齐技术 / 2.5 反向传播与显存优化 / 2.6 核心推理优化 / 2.7 高级推理优化 / 2.8 分布式与扩展	✅ 基本完成，后续会扩展
第三部分	CUDA C++ 与 Triton 算子开发。	3.1 Triton 基础 / 3.2 Triton 进阶 / 3.3 Triton 项目 / 3.4 CUDA 内核与显存优化 / 3.5 CUDA 系统扩展	✅ 基本完成，后续会扩展

计划

完成

笔记

问题

明日安排

计划

完成

笔记

问题

明日安排

###