本课程参考了 OpenAI 和 Azure OpenAI 的多个核心资源，涵盖术语和教程。以下是一个非详尽的列表，供您自学参考。
1. 主要资源
| 标题/链接 | 说明 |
|---|---|
| 使用 OpenAI 模型进行微调 | 微调通过在比提示中能容纳的示例更多的示例上训练，改进了少样本学习，从而节省成本、提升响应质量并实现更低延迟请求。了解 OpenAI 微调概述。 |
| 什么是 Azure OpenAI 微调？ | 了解什么是微调（概念），为什么要关注它（动机问题），使用什么样的数据（训练）以及如何衡量质量 |
| 使用微调自定义模型 | Azure OpenAI 服务允许您使用微调根据个人数据集定制我们的模型。了解如何微调（流程）选定模型，使用 Microsoft Foundry 门户、Python SDK 或 REST API。 |
| LLM 微调建议 | 大语言模型在特定领域、任务或数据集上可能表现欠佳，或生成不准确或误导性的输出。何时应考虑微调作为潜在解决方案？ |
| 持续微调 | 持续微调是选择已微调模型作为基础模型，并在新的训练示例集上进一步微调的迭代过程。 |
| 微调和函数调用 | 使用带函数调用示例的微调可以通过获得更准确、一致且格式类似的响应，提升模型输出质量并降低成本。 |
| 微调模型：Azure OpenAI 指南 | 查看此表格以了解在 Azure OpenAI 中哪些模型可微调，以及它们在那些区域可用。必要时查询它们的令牌限制和训练数据过期日期。 |
| 微调还是不微调？这是个问题 | 这期 2023 年 10 月的 AI Show 30 分钟节目讨论了微调的优缺点及实用见解，帮助您做出决定。 |
| 开始进行 LLM 微调 | 该AI 助学册资源引导您了解数据需求、格式、超参数微调及相关挑战与限制。 |
| 教程: Azure OpenAI GPT3.5 Turbo 微调 | 学习如何创建示例微调数据集、准备微调、创建微调作业及在 Azure 上部署微调模型。 |
| 教程: 在 Azure AI Studio 微调 Llama 2 模型 | Microsoft Foundry 允许您通过适合低代码开发者的 UI 工作流，根据个人数据集定制大型语言模型。参见该示例。 |
| 教程:在 Azure 上为单个 GPU 微调 Hugging Face 模型 | 本文介绍如何使用 Hugging Face transformers 库、Azure DataBricks 和 Hugging Face Trainer 库在单个 GPU 上微调 Hugging Face 模型。 |
| 训练: 使用 Azure 机器学习微调基础模型 | Azure 机器学习的模型目录提供许多开源模型，您可以针对特定任务进行微调。尝试此模块，来自 AzureML 生成式 AI 学习路径 |
| 教程: Azure OpenAI 微调 | 在 Microsoft Azure 上使用 W&B 微调 GPT-3.5 或 GPT-4 模型，可详细追踪并分析模型性能。本指南扩展了 OpenAI 微调指南的概念，增加了针对 Azure OpenAI 的具体步骤和功能。 |
2. 次要资源
本节收录了值得探索的额外资源，但本课程未能涵盖。它们可能未来会作为课程或后续作业选项涉及。现在，您可以利用它们构建该主题的专长和知识。
| 标题/链接 | 说明 |
|---|---|
| OpenAI Cookbook: 聊天模型微调数据准备和分析 | 此笔记本用于预处理和分析用于微调聊天模型的聊天数据集。它检查格式错误，提供基本统计数据，并估算微调成本所需的令牌数。参见：gpt-3.5-turbo 的微调方法。 |
| OpenAI Cookbook: 用于检索增强生成（RAG）的微调，结合 Qdrant | 本笔记本全面演示如何微调 OpenAI 模型以实现检索增强生成（RAG）。我们还将结合 Qdrant 和少样本学习提升模型性能并减少虚假内容。 |
| OpenAI Cookbook: 使用 Weights & Biases 微调 GPT | Weights & Biases (W&B) 是 AI 开发者平台，提供模型训练、微调及基础模型应用的工具。首先阅读他们的 OpenAI 微调 指南，再尝试 Cookbook 示例。 |
| 社区教程 Phinetuning 2.0 - 小型语言模型的微调 | 认识微软的新型小模型 Phi-2，强大而紧凑。本教程指导您如何微调 Phi-2，展示如何构建独特数据集并用 QLoRA 微调模型。 |
| Hugging Face 教程 2024 年如何使用 Hugging Face 微调 LLM | 这篇博客介绍如何用 2024 年的 Hugging Face TRL、Transformers 和数据集微调开源 LLM。您将定义用例、搭建开发环境、准备数据集、微调模型、测试评估并部署到生产环境。 |
| Hugging Face: AutoTrain Advanced | 提供更快更简便的最先进机器学习模型训练与部署。仓库含有适合 Colab 的教程及 YouTube 视频指导，用于微调。反映最近的本地优先更新。请阅读 AutoTrain 文档。 |
免责声明： 本文件由 AI 翻译服务 Co-op Translator 翻译完成。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始语言版文件应视为权威来源。对于重要信息，建议使用专业人工翻译。我们对因使用本翻译而产生的任何误解或误释不承担责任。