专题课程 针对AI领域几个专业方向的深度课程
-
RAG 原理与架构:从稀疏检索、稠密检索到重排与生成
大模型参数记忆存在时效滞后、溯源困难及幻觉风险。RAG 通过引入非参数记忆,将知识外置于文档库,实现动态更新与证据可追溯。本文深入解析 RAG 的数学形式化定义,涵盖从 BM25 稀疏检索、稠密双塔到重排与生成的全链路架构,探讨切分策略、分数融合及 HyDE 等高级范式,助您掌握构建高可靠检索增强系统的底层逻辑与工程权衡。
-
创业及变现第4课:把痛点写成可检验假设
能用自己的话解释定义频率、代价与可观察证据,并完成一个可核查的小练习。
-
学生入门第4课:先把数据分好:训练集与测试集
能用自己的话解释考试不能提前看答案,并完成一个可核查的小练习。
-
创业及变现第3课:客户访谈不问你会不会买
能用自己的话解释用过去真实行为代替诱导式许愿,并完成一个可核查的小练习。
-
学生入门第3课:特征:挑哪些线索才有用
能用自己的话解释区分相关线索与无关线索,并完成一个可核查的小练习。
-
IO 感知的注意力:FlashAttention 原理与在线 Softmax
自注意力虽算力密集,却常因中间矩阵频繁读写 HBM 而陷入内存瓶颈。本文解析 FlashAttention 如何利用屋顶线模型识别这一痛点,并通过分块策略将计算留在片上 SRAM。重点推导在线 Softmax 的精确递推公式,对比 v1 与 v2 在并行调度上的差异,揭示如何通过减少 I/O 开销突破带宽限制,实现比近似方法更高效且精确的注意力加速。
-
混合专家模型(MoE):稀疏激活、路由与负载均衡
混合专家模型(MoE)通过稀疏激活打破参数规模与计算量的线性绑定,实现“参数多、计算少”的条件计算。本文深入剖析其核心机制:从门控路由的数学形式,到负载均衡损失的稳定性设计,再到专家并行中的通信优化。我们将梳理从 Switch 到 DeepSeekMoE 的架构演进,解析路由坍塌成因及工程落地陷阱,助你理解 MoE 如何在大模型中高效扩展表达能力并突破算力瓶颈。
-
创业及变现第2课:选一个足够具体的客户群
能用自己的话解释区分使用者、付款者与决策者,并完成一个可核查的小练习。
-
学生入门第2课:给数据起名字:样本与标签
能用自己的话解释认识一条数据与希望预测的答案,并完成一个可核查的小练习。
-
创业及变现第1课:从技术点子到真实需求
能用自己的话解释先验证问题,不从模型名字倒推生意,并完成一个可核查的小练习。
-
学生入门第1课:机器怎样从例子中学习
能用自己的话解释区分人写规则与从样本学习,并完成一个可核查的小练习。
-
推理优化(三):投机解码的数学原理与工程实现
大模型解码常受限于显存带宽,串行生成导致权重反复读取,耗时远超计算本身。投机解码利用这一特性,通过轻量草稿模型快速“猜”出多个候选 token,再由大模型一次性并行“验”证。该机制将多次串行前向压缩为单次并行验证,在严格保证输出分布不变的前提下,显著降低延迟并提升吞吐,是无需重训即可落地的关键推理加速技术。
-
推理优化(二):大模型量化原理——INT8、GPTQ、AWQ 与 SmoothQuant
量化并非简单的精度压缩,而是对显存、带宽与计算资源的重新分配。本教程深入解析 INT8、GPTQ、AWQ 及 SmoothQuant 的核心原理,从均匀量化数学基础出发,剖析激活离群值这一关键难点。通过对比仅权重量化与权重加激活量化的工程路径,揭示二阶误差补偿与通道缩放机制,帮助工程师在精度与吞吐间找到最优平衡,实现大模型推理的高效部署。
-
推理优化(一):KV Cache、MQA/GQA 与显存带宽瓶颈
大模型推理与训练瓶颈迥异:训练重算力,推理重延迟。本文聚焦解码阶段的访存密集特性,深入解析 KV Cache 显存占用公式,探讨 MQA/GQA 如何通过共享 KV 头降低带宽压力,并介绍 PagedAttention 解决显存碎片问题。旨在建立“突破显存带宽瓶颈”的核心认知,为掌握高效推理优化奠定基础。
-
对齐技术深度剖析:RLHF、PPO、DPO 与 GRPO
预训练赋予大模型强大的语言生成能力,却难以直接对齐人类意图。本文深入剖析 RLHF、PPO、DPO 与 GRPO 等核心对齐技术,从 Bradley-Terry 偏好建模到 KL 约束优化,再到隐式奖励推导与组相对策略优化,系统梳理各方法的数学本质与工程权衡。旨在帮助读者理解从“会续写”到“会帮忙”的技术演进,为构建安全、可控且高性能的大模型提供坚实的理论依据与选型参考。
-
参数高效微调原理:LoRA、QLoRA 与低秩假设
全参微调虽适应性强,但显存与存储成本高昂,难以满足多任务部署需求。本文深入解析参数高效微调(PEFT)原理,从低秩假设切入,详解 LoRA 的结构、初始化及推理合并机制,并进阶探讨 QLoRA 在 4-bit 量化底座上的显存优化策略。通过横向对比 Adapter 等主流方法,提供从理论到工程落地的完整知识链,助你根据显存预算与业务场景,灵活选择最优微调方案,实现低成本、高灵活性的模型适配。
-
大模型预训练工程:数据管线、优化器与分布式并行(DP/TP/PP/ZeRO)
预训练是决定大模型基座能力上限的核心工程,涉及数据清洗、优化器配置及分布式系统协同。本文深入解析数据去重与打包策略,推导 AdamW 更新机制,拆解混合精度下的显存占用账本,并系统对比 DP、TP、PP 及 ZeRO 并行策略。旨在帮助工程师平衡显存效率与通信开销,突破单卡限制,构建高效、稳定的大规模训练管线。
-
分词器原理:BPE、WordPiece、Unigram 与字节级分词
分词是连接连续文本与离散模型输入的关键桥梁,直接决定序列长度、词表规模及参数效率。本文深入剖析 BPE、WordPiece、Unigram 及字节级分词的原理,从直觉到算法推导,解析其如何平衡未登录词处理与计算开销。通过对比不同算法在中文、代码等场景下的压缩率差异,揭示词表设计对嵌入矩阵与推理性能的深层影响,助你构建高效的大模型数据预处理体系。
-
Scaling Law 全解:从 Kaplan 幂律到 Chinchilla 计算最优
大模型训练正从盲目试错转向可预测的工程科学。本文解析 Kaplan 幂律与 Chinchilla 计算最优法则,推导固定预算下参数与数据的最优配比,并探讨推理成本权衡及涌现能力的评测误区,助你掌握从理论到资源分配的全链路逻辑。
-
位置编码深度解析:正弦、可学习、RoPE 与 ALiBi
自注意力机制天然具备置换等变性,无法区分语序,因此位置编码是 Transformer 处理序列的基石。本文深入剖析正弦、可学习、RoPE 与 ALiBi 四种主流方案,从绝对与相对位置的数学本质出发,推导 RoPE 的旋转几何原理及 ALiBi 的线性偏置机制。同时,结合位置插值与 YaRN 等上下文扩展技术,解析长序列推理中的外推挑战与“中间丢失”现象,帮助读者在公式推导与工程实践中精准选型。