公开学习

有很多东西需要学习，而且你永远学不完，尤其是人工智能，因为每周都会发布新的革命性论文和想法。

你可能犯的最大错误就是私下学习。如果你这样做，你不会为自己创造任何机会。除了可以说你完成了某件事之外，你没有任何可以证明的东西。更重要的是你如何利用这些信息，如何将其转化为知识与公众分享，以及从这些信息中产生了哪些新颖的想法和解决方案。

所以，你应该公开学习。

数学

達爾·E

机器学习在很大程度上依赖于数学的三大支柱：线性代数、微积分、概率和统计学。每个支柱在使算法有效发挥作用方面都发挥着独特的作用。

• 线性代数：用于数据表示和操作的数学工具包，其中矩阵和向量构成算法解释和处理信息的语言
• 微积分：机器学习中的优化引擎，使算法能够通过理解梯度和变化率来学习和改进。
• 概率和统计：不确定性条件下决策的基础，允许算法通过随机性和可变性模型预测结果并从数据中学习。

这是从程序员的角度介绍机器学习数学的一系列精彩文章：通过权重和偏差进行机器学习的数学（代码）

如果您想要一种代码优先的线性代数方法，请学习fast.ai 创建者的计算线性代数（视频、代码）。

同时阅读课程中的《使用 Python 应用机器学习的线性代数简介》 。

如果您想要更传统的东西，请看看伦敦帝国理工学院的讲座——线性代数和多元微积分。

观看 3Blue1Brown 的线性代数的本质和微积分的本质。

观看StatQuest 的《统计基础知识》以了解统计数据

补充

• 书籍：机器学习的数学
• 论文：深度学习所需的矩阵微积分

工具

達爾·E

Python

初学者从这里开始：实用 Python 编程。

如果你已经熟悉 Python，可以学习高级 Python 精通课程

这两门课程都是 Python Cookbook 作者 David Beazley 编写的精彩课程。

之后，观看詹姆斯·鲍威尔的一些讲话

阅读Python 设计模式。

补充

• 书籍：《Fluent Python》第二版（代码）
• 播客：Real Python和Talk Python

PyTorch

观看Aladdin Persson的PyTorch 教程

PyTorch 网站是一个很棒的地方。

• PyTorch 示例
• 官方 PyTorch 教程
• 常见问题解答页面

用一些谜题测试你的知识

• srush/Tensor-Puzzles：解决难题。改进你的 PyTorch

补充

• 书籍：PyTorch 深度学习编程

机器学习

達爾·E

阅读这本 100 页的 ML书。

从头开始编写

阅读时，从头开始编写算法。

查看下面的存储库

• eriklindernoren/ML-From-Scratch
• JeremyNixon/甲骨文
• trekhleb/自制机器学习

如果您想要挑战，请按照本课程从头开始编写 PyTorch。

• MiniTorch：机器学习工程 DIY 课程（视频、代码）

竞争

在比赛中运用所学的知识。

• 加入bitgrit和Kaggle等平台上的 ML 竞赛；更多信息请参阅本文。
• 回顾过去成功的解决方案并进行研究

做一些副业

阅读Vicki Boykis 撰写的《将机器学习投入生产》

她还写下了她在开发图书语义搜索工具Viberary时所学到的知识。

获取数据集并建立模型（即使用earthaccess获取NASA地球数据）。

使用streamlit创建 UI并在 Twitter 上分享。

部署它们

将模型投入生产。跟踪您的实验。了解如何监控模型。亲身体验数据和模型漂移。

以下是一些优秀的资源

• 使用机器学习制作
• DataTalksClub/mlops-zoomcamp：免费 MLOps 课程
• chiphuyen/机器学习系统设计
• 显然，AI——机器学习系统设计：300 个案例研究
• stas00/ml-engineering：机器学习工程在线书籍

补充

• 使用 PyTorch 和 Scikit-Learn 进行机器学习（代码）
• [1811.12808] 机器学习中的模型评估、模型选择和算法选择
• 机器学习面试入门书 · MLIB

深度学习

如果您想要自上而下，请从 fast.ai 开始。

Fast.ai

• fast.ai（第 1 部分，第 2 部分）+ W&B 学习小组

喜欢 fast.ai？查看全栈深度学习。

如果您想要更全面、更传统的课程，请查看François Fleuret的UNIGE 14×050 — 深度学习。

如果您在某个时候需要了解理论，这些都是很棒的书。

• 深入学习深度学习（在 PyTorch、NumPy/MXNet、JAX 和 TensorFlow 中有代码示例）
• 《深度学习》（作者：Ian Goodfellow、Yoshua Bengio 和 Aaron Courville）
• 神经网络和深度学习
• 理解深度学习（附实践笔记本）

在手机上阅读《深度学习小册子》，而不是浏览推特。

在你的神经网络融合时阅读这些内容。

• 训练神经网络的秘诀
• 深度神经网络：33 年前和 33 年后

参加更多比赛

• PlantTraits2024 – FGVC11 | Kaggle（计算机视觉）

实施文件

查看labml.ai 注释的 PyTorch 论文实现

Papers with Code 是一个很好的资源；这是他们网站上对BERT 的解释。

以下是深度学习专业的一些资源

计算机视觉

很多人推荐CS231n：计算机视觉深度学习。这很有挑战性，但如果你能通过，那就值得了。

强化学习

对于 RL 来说，这两个非常棒：

• OpenAI 的深度强化学习中的 Spinning Up
• 🤗 深度强化学习课程 – Hugging Face

自然语言处理

斯坦福的另一门优秀课程，CS 224N | 自然语言处理与深度学习

学习拥抱脸：拥抱脸 NLP 课程

查看这个Super Duper NLP Repo

好的文章和分析

• BERT 研究 — 第 1 集 — 关键概念和来源 · Chris McCormick
• 图解 Word2vec — Jay Alammar
• 图解 BERT、ELMo 等（NLP 如何破解迁移学习
• 理解 LSTM 网络 — colah 的博客
• 从 Scratch 开始的 PyTorch RNN — Jake Tae

补充

• 使用 Transformer 进行自然语言处理

大型语言模型

首先，观看 Andrej 的 [ 1 小时讲座] 大型语言模型简介。

然后是五种公式中的大型语言模型，作者：Alexander Rush — 康奈尔科技

观看神经网络：从零到英雄

它从从头开始解释和编码反向传播开始，到从头开始编写 GPT 结束。

神经网络：从零到英雄（作者：Andrej Karpathy）

他刚刚发布了一个新视频 →让我们构建 GPT Tokenizer

您还可以查看60 行 NumPy | Jay Mody 中的 GPT。

免费 LLM 训练营

Full Stack Deep Learning 免费发布的付费LLM Bootcamp 。

它教授快速工程、LLMOps、LLM 的 UX 以及如何在一小时内启动 LLM 应用程序。

既然你在这个训练营结束后迫不及待地想要建造，

还有中国区免费的AI训练营 2img.ai ,上面也有很多的资讯。

凭借(LLM 构建

想要利用大模型 (LLM) 来开发应用程序吗？

观看Andrew Ng 的《使用大型语言模型进行应用程序开发》

阅读Huyen Chip 撰写的《构建用于生产的 LLM 应用程序》

以及Eugene Yan 撰写的《基于 LLM 的系统和产品构建模式》

请参阅OpenAI Cookbook了解菜谱。

使用Vercel AI 模板开始。

参加黑客马拉松

lablab.ai每周都会举办新的 AI 黑客马拉松。如果你想组队参加，请告诉我！

如果你想更深入地了解理论并理解一切是如何运作的：

阅读论文

Sebastian Raschka写了一篇关于理解大型语言模型的很棒的文章，其中列出了一些你应该阅读的论文。

他最近还发表了另一篇文章，其中包含您应该在 2024 年 1 月阅读的论文，介绍了米斯特拉尔模型。

关注他的子堆栈Ahead of AI。

从头开始编写 Transformers。

阅读Transformer 系列版本 2.0 | Lil’Log了解概述。

选择最适合您的格式并从头开始实施。

论文

• 你只需要注意力
• 图解变压器
• 哈佛注释版 Transformer
• 像 Transformer 一样思考

博客

• 从头开始创建 Transformer — 第一部分：注意力机制（第二部分）（代码）
• 从头理解和编码大型语言模型的自注意力机制，作者：Sebastian Raschka 博士
• 从零开始的 Transformer

视频

• 在 PyTorch 上从头编写 Transformer，并提供完整的解释、训练和推理
• NLP：从头开始实现 BERT 和 Transformers

现在您可以从头开始编写变压器代码。但还有更多。

观看这些斯坦福 CS25 — Transformers United视频。

一些不错的博客

• 梯度下降到疯狂——从零开始攻读大模型
• 图解变压器 — Jay Alammar
• Eugene Yan对 Attention 和 Transformer 的一些直觉
• 加速 GPT — KV 缓存 | 成为不可战胜的
• 超越自我注意力：小型语言模型如何预测下一个标记
• 从零开始的骆驼（或者如何不哭就实现一篇论文）| Brian Kitano
• 改进 LoRA：从头开始实现权重分解低秩自适应 (DoRA)

有些精彩的深入视频来解释论文。他还会向你展示代码。

• LoRA：大型语言模型的低秩适应——从头开始的视觉解释 + PyTorch 代码
• Mistral / Mixtral 解释：滑动窗口注意力、稀疏专家混合、滚动缓冲区
• 你所需要的就是注意力（Transformer）——模型解释（包括数学）、推理和训练
• LLaMA 解释：KV-Cache、旋转位置嵌入、RMS 范数、分组查询注意、SwiGLU
• 检索增强生成 (RAG) 解释：嵌入、句子 BERT、向量数据库 (HNSW)

还有一些与 LLM 相关的链接，但并不详尽。请参阅LLM 教学大纲，获取更全面的 LLM 教学大纲。

了解如何运行开源模型。

使用ollama：在本地启动并运行 Llama 2、Mistral 和其他大型语言模型

他们最近发布了Python 和 JavaScript 库

提示词工程

阅读《Propt Engineering》| Lil’Log

Ise Fulford (OpenAI) 和 Andrew Ng为开发人员提供的 ChatGPT Prompt Engineering

DeepLearning.ai 还有其他可以免费报名的短期课程。

微调LLM

阅读Hugging Face 微调指南。

一本好的指南：微调——GenAI 指南

看看墨西哥钝口螈。

这是一篇好文章：使用直接偏好优化对 Mistral-7b 模型进行微调 | 作者：Maxime Labonne

RAG

Anyscale 的一篇好文章：构建基于 RAG 的 LLM 生产应用程序

Aman Chadha对检索增强生成的全面概述

您可能会发现其他课程/清单很有用。

我的清单并非详尽无遗，但如果您仍想找到更多，以下是一些。

• openai/教学大纲.md
• 人工智能佳能 | 安德森·霍洛维茨
• AI 学习策划 — LLM Utils
• 迈向人工智能多元宇宙的门槛 | Open DeepLearning
• louisfb01/start-llms：2023 年开始和提高 LLM 技能的完整指南

我已经花了足够多的时间来编写和组织这篇文章，但收益却越来越少。现在是时候学习和构建了。

我希望这对你的 AI 之旅有所帮助！