0

AI大模型微调训练营(视频+源码+PPT)

资源课
23天前 99

获课:shanxueit.com/5792/


视频讲解:从理论到实战的阶梯

视频课程是整个训练营的主线,通常分阶段带你上手:

  • 认知与总览:开营直播会帮你理清“什么时候该微调,什么时候该用RAG”,以及Full Fine-tuning、SFT、LoRA、RLHF等不同技术路线的区别。这部分更多是帮你做技术选型,少走弯路。

  • 理论与工具准备:先从Transformer架构、Attention机制讲起,补上理论基础。然后重点讲解LoRA、QLoRA、Adapter等参数高效微调(PEFT) 技术,搞懂它们是怎么通过只训练极少参数,来达到接近全量微调效果的。最后会教你搭建环境,熟悉Hugging Face的Transformers、PEFT、Datasets这些核心工具库

  • 手敲代码实战:这是最硬核的部分。视频里会带着你一行行跑通代码:从制作指令微调数据集(构建“问题-答案”对),到用LoRA/QLoRA技术微调ChatGLM、LLaMA等开源模型,再到用LangChain结合私有数据做知识库微调

  • 进阶与部署:一些更深入的课程还会涉及RLHF(基于人类反馈的强化学习)、模型量化(GPTQ/AWQ)加速、DeepSpeed分布式训练,以及如何把微调好的模型部署成高并发的API服务

⚙️ 可运行源码:消化知识的关键

只看视频不动手,知识很难变成自己的。源码和配套的数据集才是训练营的灵魂

这类源码一般会教你三个关键步骤:

  1. 数据工程:如何清洗企业里的原始对话记录、研报,转化成高质量的指令数据集。数据质量直接决定了微调效果的上限

  2. 参数配置:像LoRA的rankalpha这些超参数怎么调,配置文件怎么写。这部分代码的核心是用更低的硬件门槛(比如单张消费级显卡)撬动大模型的潜力

  3. 训练与评估:跑通完整的训练闭环(加载基座模型→注入LoRA参数→喂数据→保存Adapter)。同时教你用固定的测试Prompt,对比微调前后模型输出的准确率和格式规范性

本站不存储任何实质资源,该帖为网盘用户发布的网盘链接介绍帖,本文内所有链接指向的云盘网盘资源,其版权归版权方所有!其实际管理权为帖子发布者所有,本站无法操作相关资源。如您认为本站任何介绍帖侵犯了您的合法版权,请发送邮件 [email protected] 进行投诉,我们将在确认本文链接指向的资源存在侵权后,立即删除相关介绍帖子!

最新回复 (0)

    暂无评论

请先登录后发表评论!

返回
请先登录后发表评论!