提示工程指南介绍了大语言模型相关的论文研究、学习指南、模型、讲座、参考资料、大语言模型能力以及与其他与提示工程相关的工具

这里是《code秘密花园》发布的 AI 教程合集，致力于打造一个普通人也能学会的 AI 教程

本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这本书开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。

本书更关注为大模型初学者提供整体的技术讲解，为此我们在内容上进行了大范围的更新与重组，力图展现一个系统的大模型技术框架和路线图。本书适用于具有深度学习基础的读者阅读，可以作为一本基础的大模型参考书籍。在准备中文书的过程中，我们广泛阅读了现有的经典论文、相关代码和学术教材，从中提炼出核心概念、算法与模型，并进行了系统性的组织与讲解。我们对于每个章节的内容初稿都进行了多次修正，力求表达的清晰性与准确性。

大语言模型（Large Language Models，LLM）是一种由包含数百亿以上权重的深度神经网络构建的语言模型，使用自监督学习方法通过大量无标记文本进行训练。自2018年以来，包含Google、OpenAI、Meta、百度、华为等公司和研究机构都纷纷发布了包括BERT， GPT等在内多种模型，并在几乎所有自然语言处理任务中都表现出色。2021年开始大模型呈现爆发式的增长，特别是2022年11月ChatGPT发布后，更是引起了全世界的广泛关注。用户可以使用自然语言与系统交互，从而实现包括问答、分类、摘要、翻译、聊天等从理解到生成的各种任务。大型语言模型展现出了强大的对世界知识掌握和对语言的理解。本书将介绍大语言模型的基础理论包括语言模型、分布式模型训练以及强化学习，并以Deepspeed-Chat框架为例介绍实现大语言模型和类ChatGPT系统的实践。

Ollama 是一个开源的本地部署工具，专为简化大型语言模型（LLM）的运行和管理而设计。它允许用户在本地机器上运行多种预训练模型，如 Llama 3、Mistral、Code Llama、Gemma 等，从而避免将敏感数据上传到云端，提高隐私和安全性 。Ollama 的核心功能包括模型下载、运行、管理和定制，用户可以通过命令行或图形界面与模型进行交互

SiliconCloud是一站式大模型云服务平台，基于自研推理引擎，实现大模型高效推理加速，让用户无需关注模型层面的底层技术细节，无需担心研发阶段与产品大规模推广所带来的高昂算力成本，助力开发者和企业聚焦产品创新。

LlamaFactory是一个统一框架，集成了一系列前沿的高效训练方法。通过内置的 Web 界面 LlamaBoard，用户无需编码即可灵活定制 100 多个 LLM 的微调过程。我们在语言建模和文本生成任务上通过实验验证了该框架的效率和有效性。

Hugging Face 是一个专注于自然语言处理（NLP）和人工智能（AI）的开源机器学习平台，自2016年成立以来，已成为全球机器学习社区合作开发模型、数据集和应用程序的主要集合地。该平台不仅提供丰富的预训练模型和数据集，还提供了一系列工具和库，帮助开发者快速构建、训练和部署 AI 模型

Anaconda AI 平台是唯一的开源统一平台，它将可信的软件发行、简化的工作流程、实时洞察和治理控制相结合，以提高从业者的生产力，并为组织节省时间、资金和降低风险。

Unsloth 可使微调 Llama-3、Mistral、Phi-4 和 Gemma 等大型语言模型的速度提升 2 倍，内存占用减少 70%，且不会降低准确性

国家法律法规数据库目前提供中华人民共和国现行有效的宪法（含修正案）、法律、行政法规、监察法规、地方性法规、自治条例和单行条例、经济特区法规、司法解释电子文本。国家法律法规数据库提供的电子文本与法律规定的标准文本不一致的，使用时请引用标准文本。国家法律法规数据库由全国人大常委会办公厅维护。

国家规章库包含现行有效部门规章和地方政府规章，中国政府网与中国政府法制信息网（司法部官网）同步公布，动态更新。部门规章数据来源于国务院各部、委员会、中国人民银行、审计署和具有行政管理职能的直属机构网站和国务院公报，地方政府规章数据来源于省、自治区、直辖市和设区的市、自治州的人民政府网站和地方政府公报。国家规章库的规章文本，是各规章制定单位根据《法规汇编编辑出版管理规定》、按照统一体例格式汇编的国家正式版本。

本库收录文件的范围为已经公开发布的行政法规、规章和行政规范性文件。部门文件来源于国务院部门网站。

裁判文书网是最大、最重要的司法案例库的官方数据源，自然成为各家数据公司爬取的对象，裁判文书网反爬措施非常多，爬全全部案例需要大量人力物力，第三方数据平台虽然使用方便，但数据可能不够完整，必要时还是要到官网

人民法院案例库是最高人民法院推出的“公共法律服务产品”，：收录经最高人民法院审核认为对类案具有参考示范价值的权威案例，包括指导性案例和参考案例，基本实现对常见罪名、多发案由的“全覆盖”。

中国政府高度重视缔约工作。根据《中华人民共和国缔结条约程序法...