本文回顾了五本探讨大型语言模型 (LLM) 和生成式人工智能等快速发展领域的关键书籍，为这些变革性技术提供了重要见解。

《NLP with Transformers》向读者介绍了用于自然语言处理的 Transformer 架构，并提供了使用 Hugging Face 进行文本分类等任务的实用指导。Sebastian Raschka 的《从头开始构建大型语言模型》提供了构建 LLM 的全面指南，从数据准备到微调。

Jay Alammar 和 Maarten Grootendorst 撰写的《动手操作大型语言模型》为 Python 开发人员提供了实用工具，重点关注语义搜索和快速工程等应用程序。Chris Fregly 及其团队撰写的《AWS 上的生成式 AI》揭开了生成式 AI 与业务集成的神秘面纱，强调了在 AWS 上进行模型选择和部署。

Christopher Brousseau 和 Matthew Sharp 合著的《LLMs in Production》提供了在现实场景中部署 LLM 的策略，强调了扩展 AI 系统的挑战。这些书籍共同为从业者提供了在当今数字环境中发挥 LLM 和生成式 AI 潜力所需的知识和工具。

1. 使用 Transformer 进行 NLP

第一本书是非常重要的书《NLP with Transformers》。自 2017 年推出以来，Transformers 已迅速成为在各种自然语言处理任务中实现最先进成果的主导架构。

如果您是数据科学家或程序员，这本实用的书（现已全彩色修订）将向您展示如何使用基于 Python 的深度学习库 Hugging Face Transformers 来训练和扩展这些大型模型。

Transformers 已被用来撰写逼真的新闻报道、改进 Google 搜索查询，甚至创建讲老套笑话的聊天机器人。在本指南中，Hugging Face Transformers 的创建者 Lewis Tunstall、Leandro von Werra 和 Thomas Wolf 等人以实践的方式教您 Transformers 的工作原理以及如何将其集成到您的应用程序中。您将很快了解它们可以帮助您解决的各种任务。

• 为核心 NLP 任务（例如文本分类、命名实体识别和问答）构建、调试和优化 Transformer 模型
• 了解如何使用 transformer 进行跨语言迁移学习
• 在标记数据稀缺的现实场景中应用 transformer
• 使用提炼、修剪和量化等技术使变压器模型高效部署
• 从头开始训练 transformer 并学习如何扩展到多个 GPU 和分布式环境

目录：

1. 你好，Transformers
2. 文本分类
3. 变压器解剖
4. 多语言命名实体识别
5. 文本生成
6. 总结
7. 问答
8. 提高变压器生产效率
9. 处理少量或没有标签
10. 从头开始训练 Transformer
11. 未来方向

2. 构建大型语言模型（从头开始）

第二本书是机器学习专家兼作家 Sebastian Raschka 撰写的《从头开始构建大型语言模型》。该书采用 MEAP 风格撰写，截至撰写本文时，已发布八章中的八章。

这本书是一本独一无二的指南，可帮助您获得法学硕士学位。在这本书中，机器学习专家兼作家 Sebastian Raschka 揭示了法学硕士学位的工作原理，揭开了生成式人工智能黑匣子的盖子。

本书充满了构建 LLM 的实用见解，包括构建数据加载管道、组装其内部构建块和微调技术。随着您的学习，您将逐渐将基础模型转变为文本分类器工具和遵循您的对话指令的聊天机器人。

构建大型语言模型（从头开始）教你如何：

• 规划并编码法学硕士 (LLM) 的所有部分
• 准备适合 LLM 培训的数据集
• 使用您的数据对 LLM 进行文本分类微调
• 使用人工反馈确保您的 LLM 遵循说明
• 将预训练权重加载到 LLM 中

目录：

1. 理解大型语言模型
2. 处理文本数据
3. 编码注意力机制
4. 从头开始实现 GPT 模型来生成文本
5. 对未标记数据进行预训练
6. 分类微调
7. 微调以遵循指令

附录

• 附录 A：PyTorch 简介
• 附录 B：参考文献和进一步阅读
• 附录 C：练习解答
• 附录 D：在训练循环中添加花哨的东西
• 附录 E：使用 LoRA 进行参数高效微调

3. 实践大型语言模型

第三本书是Jay Alammar和Maarten Grootendorst合著的《Hands-On Large Language Models》。人工智能在过去几年中获得了令人吃惊的新语言能力。

在深度学习快速发展的推动下，语言 AI ​​系统能够比以往更好地编写和理解文本。这一趋势推动了新功能、新产品和整个行业的兴起。通过本书，Python 开发人员将学习他们今天使用这些功能所需的实用工具和概念。

您将学习如何将预先训练的大型语言模型的强大功能用于文案写作和摘要等用例；创建超越关键字匹配的语义搜索系统；构建对文本进行分类和聚类的系统，以实现对大量文本文档的可扩展理解；并使用现有库和预先训练的模型进行文本分类、搜索和聚类。

本书还向您展示如何：

• 构建高级 LLM 管道来对文本文档进行聚类并探索其所属的主题
• 使用密集检索和重新排序等方法构建超越关键字搜索的语义搜索引擎
• 了解这些模型可以提供价值的各种用例
• 了解 BERT 和 GPT 等底层 Transformer 模型的架构
• 深入了解法学硕士 (LLM) 的培养方式
• 了解不同的微调方法如何针对特定应用优化 LLM（生成模型微调、对比微调、上下文学习等）
• 使用生成模型微调、对比微调和上下文学习等方法针对特定应用优化 LLM。

目录：

1. 大型语言模型简介
2. 标记和嵌入
3. 探究大型语言模型
4. 文本分类
5. 文本聚类和主题建模
6. 及时工程
7. 高级文本生成技术和工具
8. 语义搜索和检索增强生成 (RAG)
9. 多模态大型语言模型
10. 创建文本嵌入模型
11. 用于分类的微调表示模型
12. 微调生成模型

4. AWS 上的生成式人工智能

第四本书是《AWS 上的生成式人工智能》。如今，各家公司正在迅速将生成式人工智能融入其产品和服务中。但人们对这项技术的影响和前景大肆炒作（和误解）。

通过这本书，AWS 的 Chris Fregly、Antje Barth 和 Shelbee Eigenbrode 帮助 CTO、ML 从业者、应用程序开发人员、业务分析师、数据工程师和数据科学家找到使用这项激动人心的新技术的实用方法。

您将了解生成式 AI 项目生命周期，包括用例定义、模型选择、模型微调、检索增强生成、从人类反馈中进行强化学习以及模型量化、优化和部署。

您将探索不同类型的模型，包括大型语言模型 (LLM) 和多模式模型，例如用于生成图像的稳定扩散和用于回答有关图像的问题的 Flamingo/IDEFICS。

本书还向您展示如何：

• 将生成式人工智能应用于您的业务用例
• 确定哪些生成式 AI 模型最适合你的任务
• 执行提示工程和情境学习
• 使用低秩自适应 (LoRA) 对数据集上的生成式 AI 模型进行微调
• 通过人类反馈强化学习 (RLHF) 将生成式 AI 模型与人类价值观相结合
• 使用检索增强生成 (RAG) 来增强你​​的模型
• 探索 LangChain 和 ReAct 等库来开发代理和动作
• 使用 Amazon Bedrock 构建生成式 AI 应用程序

目录：

1. 生成式人工智能用例、基础知识和项目生命周期
2. 及时工程和情境学习
3. 大型语言基础模型
4. 内存和计算优化
5. 微调和评估
6. 参数高效微调
7. 通过人类反馈进行强化学习微调
8. 模型部署优化
9. 使用 RAG 和代理的情境感知推理应用程序
10. 多模式基础模型
11. 控制生成和稳定扩散的微调

5. 生产方向的大语言模型

第四本书是Christopher Brousseau和Matthew Sharp合著的《LLMs in Production》。本书采用 MEAP 风格撰写，截至撰写本文时，已发布 11 章，共 11 章。

大型语言模型 (LLM) 是 ChatGPT、LLAMA 和 Bard 等 AI 工具的基础。这本实用的书提供了清晰、示例丰富的解释，说明了 LLM 的工作原理、如何与它们交互以及如何将 LLM 集成到您的应用程序中。在《LLM 在生产中》中，您将：

• 掌握法学硕士的基础知识及其背后的技术
• 评估何时使用预制的 LLM 以及何时建立自己的 LLM
• 有效扩展 ML 平台以满足 LLM 的需求
• 训练 LLM 基础模型并微调现有的 LLM
• 使用 RLHF 等复杂架构将 LLM 部署到云端和边缘设备
• 构建应用程序以充分利用法学硕士的优势，同时弥补其弱点

目录：

1. Word 的觉醒：大型语言模型为何具有建模能力
2. 大型语言模型：深入研究语言
3. 大型语言模型操作：构建成功的平台
4. 大型语言模型的数据工程：设置生成器
5. 训练大型语言模型：如何生成
6. 生产中的大型语言模型：实用指南
7. 快速工程：成为 LLM 密语者
8. 大型语言模型应用：构建交互式体验
9. 创建 LLM 项目：重新实现 LLAMA 2
10. 创建编码副驾驶项目：这会对你有所帮助
11. 在 Raspberry Pi 上部署 LLM：你能做到多低？
12. 生产不断变化的格局：事物只是一天！面向开发人员的椭圆曲线加密