大模型原理游戏课：模型工坊 16 关

用子词词表理解 token 边界、序列长度与多语言成本。

把查表、向量空间、相似性和上下文激活区分开。

亲手走过 Q、K、V、因果遮罩与加权汇总。

理解多头子空间、拼接投影和分组查询注意力的缓存收益。

从二维旋转走到相对位置点积，理解长上下文外推风险。

理解均方根归一化、可学习缩放与 pre-norm 残差结构。

理解扩展维度、SiLU 门控、逐元素乘法与残差回流。

沿数据流组合归一化、注意力、MLP、残差与深层堆叠。

理解最终归一化、线性投影、权重共享与 logit 排名。

操作 temperature、top-k、top-p 与重复惩罚，建立任务型解码策略。

拆分 prefill 与 decode，计算缓存增长，并理解混合注意力的取舍。

从移位标签、并行预测到反向传播，理解权重怎样被数据塑造。

把训练稳定技巧放回优化动态，避免把旋钮当成魔法。

区分基础能力与行为对齐，理解角色 token 和偏好目标。

把数据形状、计算阶段、速度瓶颈和可靠性风险连接成一张系统图。