跳到主要内容
项目档案文档型项目

开源大模型食用指南:基于 Linux 的环境配置、50+ 模型部署与 LoRA 微调完整教程

本教程集合专为中国初学者设计,提供基于 Linux 的开源大模型全流程指导,涵盖环境配置、50+ 主流模型部署、LoRA/全量微调、LangChain 集成等,包含 Chat-嬛嬛、AMchat 等端到端示例,帮助快速掌握大模型应用开发。

32,256Jupyter NotebookStar 于 2026年3月28日2026年9月19日 更新

AI 总结

面向国内初学者的开源大模型全流程教程,提供基于 Linux 的环境配置、模型部署、高效微调及应用集成指导,降低开源大模型使用门槛。

中文项目介绍

本项目(datawhalechina/self-llm)是专为中国初学者设计的开源大模型教程集合,基于 Linux 平台提供从环境配置、模型部署到高效微调和应用集成的全流程指导。项目旨在解决开源大模型部署使用技术门槛高、流程复杂的问题,通过系统化教程帮助普通学生和研究者快速掌握本地部署、私域微调和应用开发,让开源大模型更易融入学习和工作场景。教程覆盖 50+ 主流模型,包括 LLaMA、ChatGLM、InternLM、Qwen 等,支持多种硬件后端(如 AMD、Ascend、MLX),并采用 xtuner 框架实现 LoRA、QLoRA 等参数高效微调。项目包含多个端到端示例,如 Chat-嬛嬛(角色扮演)、AMchat(数学问答)、天机(社交情商)、数字生命(个性化数字人),每个示例详细讲解数据准备、环境配置、微调执行和部署应用。适用场景包括:无条件使用 API 的 LLM 体验者、需要长期低成本应用 LLM 的用户、开源 LLM 爱好者与 NLP 学习者、希望打造私域领域模型的研究者,以及最普通的学生群体。

详细信息与使用说明

1. 项目定位与用途

本项目定位为面向国内初学者的开源大模型实践教程集合,核心用途是提供基于 Linux 平台的全流程指导,涵盖环境配置、模型部署、高效微调及应用集成。项目通过简化开源大模型的部署、使用和应用流程,帮助普通学生、研究者快速掌握本地部署、私域微调和应用开发技能。主要内容包括:通用环境配置指南、国内外主流开源 LLM(如 LLaMA、ChatGLM、InternLM 等)的部署教程、命令行调用与 WebDemo 部署、LangChain 框架集成,以及全量微调与 LoRA、ptuning 等高效微调方法。项目强调社区共建,鼓励用户提交 issue 或 PR 共同维护。

2. 解决的问题

项目主要解决开源大模型部署与使用的高技术门槛问题。当前开源 LLM 层出不穷,但普通学生和用户需具备较强技术能力才能完成部署和使用,掌握某一模型的应用方法挑战较大。本项目通过核心贡献者的经验总结,为国内外主流开源 LLM 提供标准化的部署、使用与微调教程,并聚集社区共创者持续丰富教程内容,从而降低学习成本,让开源大模型更快融入普通学习者的生活与工作。

3. 适用场景

项目适合以下学习者:希望体验 LLM 但无条件获得或使用相关 API 的用户;需要长期、低成本、大量应用 LLM 的用户;对开源 LLM 感兴趣并希望亲手上手的爱好者;正在学习 NLP 并希望进一步深入 LLM 的学生;希望结合开源 LLM 打造领域特色私域模型的研究者;以及最广大、最普通的学生群体。项目提供从基础到进阶的路径,初学者可优先选择 Qwen1.5、InternLM2、MiniCPM 等模型入手。

4. 安装方式

项目未提供统一的全局安装脚本,安装方式因目标模型和硬件后端而异。一般步骤为:1) 准备 Linux 环境(如 Ubuntu 22.04),安装 Python 3.10+;2) 根据模型要求安装 CUDA 和 PyTorch(例如 CUDA 12.1 + PyTorch 2.3.0);3) 参考对应模型目录(如 models/、models_amd/、models_ascend/、models_mlx/)下的环境准备文档安装特定依赖;4) 使用 pip 或 conda 安装框架,如 xtuner、vLLM、sglang、modelscope、transformers 等(具体版本见各模型教程)。例如 Chat-嬛嬛 示例中给出 pip install modelscope==1.16.1 等命令,AMchat 示例中使用 conda 创建环境。

5. 使用方式

学习建议遵循先环境配置、再模型部署使用、后微调的进阶路径。具体使用方式:1) 阅读 examples/readme.md 了解精选案例;2) 选择模型(推荐 Qwen1.5、InternLM2 等)进入对应教程目录,参考 support_model.md 的快速开始链接;3) 遵循示例项目(如 examples/Chat-嬛嬛、examples/AMchat-高等数学)的完整流程:数据准备 → 环境配置 → 模型微调 → 部署应用;4) 微调后可通过命令行调用、部署 WebDemo(如 Gradio)或集成到 LangChain 等框架中使用。每个示例提供详细步骤和代码(如 train.py),支持复现。

6. 实现特点

项目实现具有以下特点:1) 多硬件后端支持:提供 models_amd(AMD GPU)、models_ascend(华为昇腾 NPU)、models_mlx(Apple Silicon)等目录,适配不同推理后端如 vLLM、sglang、MindIE、MLX-LM;2) 微调框架统一:主要使用 xtuner 框架实现 LoRA、QLoRA 等参数高效微调,降低训练成本;3) 数据格式标准化:训练数据采用对话式 JSON 格式,包含 input 和 output 字段;4) 端到端示例丰富:涵盖数学(AMchat)、角色扮演(Chat-嬛嬛)、社交(天机)、个性化数字人(数字生命)等垂直领域,展示从数据到应用的全流程;5) 社区驱动:鼓励贡献,星火汇聚,共同构建维护。

思维导图

开源大模型食用指南
环境配置
Linux 系统
Python 3.10+
CUDA / PyTorch
依赖包安装
模型部署
推理后端
vLLM
sglang
MLX
MindIE
WebDemo
微调方法
全量微调
LoRA
QLoRA
ptuning
应用集成
LangChain
Gradio
FastAPI
示例项目
Chat-嬛嬛
AMchat
天机
数字生命
硬件后端
NVIDIA GPU
AMD GPU
Ascend NPU
Apple Silicon

常见问题

本项目的主要目标用户是谁?

主要面向国内初学者,包括学生、研究者、开源 LLM 爱好者,以及希望低成本长期应用 LLM 或打造私域模型的用户。项目提供从基础到进阶的路径,推荐从 Qwen1.5、InternLM2 等模型入手。

项目支持哪些开源大模型?

已支持 50+ 主流大语言模型,如 LLaMA、ChatGLM、InternLM、Qwen 系列、Gemma、MiniCPM 等,具体列表和对应教程见 support_model.md 文件。

如何开始学习本教程?

建议先学习通用环境配置,再选择模型进入对应教程目录;遵循示例项目的完整流程:数据准备 → 环境配置 → 模型微调 → 部署应用。示例项目(如 examples/Chat-嬛嬛)提供详细步骤和代码,支持复现。

微调模型需要什么硬件配置?

硬件需求因模型和微调方式而异。例如 AMchat 示例中建议 24GB 显存(如 RTX 3090)进行 QLoRA 微调;全量微调需要更高配置。具体见各模型教程中的环境准备部分。

如何贡献本项目?

任何人都可提交 issue 或 PR 来丰富教程内容;深度参与者可联系项目维护者加入团队。项目欢迎社区共建,以自由、平等的开源精神共同维护。