从0到1训练自己的大模型揭密ChatGPT背后的技能与应用（8章）

2023年11月6日 193条评论 6,245次阅读

资源简介

文章目录

结合ChatGPT实现智能助手只是第一步？企业真正急迫需求是构建符合自己业务需求的AI智能助手，核心技能训练和微调私有的大模型？本课深入企业需求，从ChatGPT背后原理、技术、不同大模型知识开始，带你从0到1训练出一个大模型，运用PEFT技巧微调大模型解决场景需求，最后用LangChain+训练的大模型搭建知识库问答。让你掌握大模型LLM构建的原理、技术、流程与实战，超越大多数竞争者，抢占先机，脱颖而出。

从核心原理、技术+ PEFT微调大模型+ LangChain构建知识库问答，你也能打造属于自己的大模型ChatGPT

资源目录

——————\计算机教程BTDLG\01MOOC\239-709-从0到1训练私有大模型 ，企业急迫需求，抢占市场先机（8章）
├─{1}--课程
│   ├─{1}--第1章 课程介绍
│   │   ├─[1.1]--1-1 【导航】课程导学&让你快速了解课程.mp4            37.45MB
│   │   ├─[1.2]--1-2 【内容安排】课程安排和学习建议.mp4            12.94MB
│   │   ├─[1.3]--1-3 【行业发展】ChatGPT对行业、社会有什么影响，我们要.mp4            34.14MB
│   │   ├─[1.4]--1-4 【发展史】ChatGPT的简要历史.mp4            15.56MB
│   │   ├─[1.5]--1-5 【学习须知】本课程为什么使用gpt2而不是gpt3.mp4            5.37MB
│   ├─{2}--第2章 训练模型与开发平台环境
│   │   ├─[2.1]--2-1 【认知】为什么要引入paddle？平时使用torch，学.mp4            7.26MB
│   │   ├─[2.2]--2-2 【框架】paddle和torch与tensorflow对.mp4            10.62MB
│   │   ├─[2.3]--2-3 【NLP工具和预训练模型】paddleNLP和huggi.mp4            5.37MB
│   │   ├─[2.4]--2-4 【平台】介绍aistudio.mp4            24.62MB
│   │   └─[2.5]--2-5 【工具】介绍基于gpt4的IDE cursor.mp4            16.35MB
│   ├─{3}--第3章 chatGPT初始技术词向量原理剖析与实战
│   │   ├─[3.10]--3-10 【激活函数】常见七种激活函数对比.mp4            20.66MB
│   │   ├─[3.11]--3-11 【预训练语言模型】RNN-LSTM-ELMO.mp4            36.02MB
│   │   ├─[3.12]--3-12 本章梳理小结.mp4            5.24MB
│   │   ├─[3.1]--3-1 【认知】词向量，词向量与gpt的关系.mp4            8MB
│   │   ├─[3.2]--3-2 【语言模型】语言模型和评估指标PPL.mp4            22.19MB
│   │   ├─[3.3]--3-3 【词向量模型】word2vec-cbow和skipgra.mp4            14.23MB
│   │   ├─[3.4]--3-4 【softmax加速】是softmax 树型优化.mp4            23.99MB
│   │   ├─[3.5]--3-5 【softmax加速】softmax负采样优化.mp4            20.23MB
│   │   ├─[3.6]--3-6 【数据准备与预处理】word2vec实战（1）.mp4            55.92MB
│   │   ├─[3.7]--3-7 【数据准备与预处理】word2vec实战（2）.mp4            30.74MB
│   │   ├─[3.8]--3-8 【模型训练】word2vec实战-模型开发和训练（1）.mp4            22.09MB
│   │   └─[3.9]--3-9 【模型训练】word2vec实战-模型开发和训练（2）.mp4            33.52MB
│   ├─{4}--第4章 chatGPT基石模型——基于T
│   │   ├─[4.10]--4-10 transformer-xl解决长序列的问题（2）.mp4            25.93MB
│   │   ├─[4.11]--4-11 本章梳理总结.mp4            6.31MB
│   │   ├─[4.1]--4-1 本章介绍.mp4            2.05MB
│   │   ├─[4.2]--4-2 seq2seq结构和注意力.mp4            21.71MB
│   │   ├─[4.3]--4-3 seq2seq-attention的一个案例.mp4            10.33MB
│   │   ├─[4.4]--4-4 transformer的multi-head atten.mp4            37.44MB
│   │   ├─[4.5]--4-5 transformer的残差链接-解决梯度消失问题.mp4            12.24MB
│   │   ├─[4.6]--4-6 transformer的layernorm-归一化提升训.mp4            10.2MB
│   │   ├─[4.7]--4-7 transformer的decoder 解码器.mp4            14.02MB
│   │   ├─[4.8]--4-8 sparse-transformer 稀疏模型.mp4            10.66MB
│   │   └─[4.9]--4-9 transformer-xl 解决长序列的问题（1）.mp4            25.67MB
│   ├─{5}--第5章 基于Transformer另一分支Bert系列分析与实战
│   │   ├─[5.10]--5-10 bert(transformer encoder)主要.mp4            40.59MB
│   │   ├─[5.11]--5-11 bert(transformer encoder)的完.mp4            79.77MB
│   │   ├─[5.12]--5-12 Ernie文心一言基础模型（1）.mp4            24.86MB
│   │   ├─[5.13]--5-13 Ernie文心一言基础模型（2）.mp4            12.77MB
│   │   ├─[5.14]--5-14 plato百度对话模型（1）.mp4            26.03MB
│   │   ├─[5.15]--5-15 plato 百度对话模型（2）.mp4            28.33MB
│   │   ├─[5.16]--5-16 本章总结.mp4            12.36MB
│   │   ├─[5.1]--5-1 本章介绍.mp4            1.78MB
│   │   ├─[5.2]--5-2 metric-评估指标(BLUE-rouge-L-MET.mp4            32.78MB
│   │   ├─[5.3]--5-3 常见 subword 算法（BPE-wordpiece）.mp4            9.8MB
│   │   ├─[5.4]--5-4 常见的NLP任务.mp4            9.93MB
│   │   ├─[5.5]--5-5 bert 预训练模型.mp4            38.97MB
│   │   ├─[5.6]--5-6 bert情感分析实战----paddle（1）.mp4            42.87MB
│   │   ├─[5.7]--5-7 bert情感分析实战----paddle（2）.mp4            49.98MB
│   │   ├─[5.8]--5-8 evaluate和predict方法----paddle.mp4            27.23MB
│   │   └─[5.9]--5-9 bert(transformer encoder)主要源.mp4            40.85MB
│   ├─{6}--第6章 chatGPT的核心技术——强化
│   │   ├─[6.10]--6-10 actor-critic（2）.mp4            11.25MB
│   │   ├─[6.11]--6-11 TRPO+PPO（1）.mp4            39.37MB
│   │   ├─[6.12]--6-12 TRPO+PPO（2）.mp4            27.95MB
│   │   ├─[6.13]--6-13 DQN代码实践--torch-1.mp4            41.11MB
│   │   ├─[6.14]--6-14 DQN代码实践--torch-2.mp4            46.69MB
│   │   ├─[6.15]--6-15 DoubleDQN+DuelingDQ代码--torc.mp4            48.83MB
│   │   ├─[6.16]--6-16 REINFORCE代码--torch.mp4            45.86MB
│   │   ├─[6.17]--6-17 PPO代码实践--torch.mp4            61.06MB
│   │   ├─[6.18]--6-18 强化学习-本章总结.mp4            16.52MB
│   │   ├─[6.1]--6-1 RL是什么＆为什么要学习RL.mp4            20.49MB
│   │   ├─[6.2]--6-2 强化学习章介绍.mp4            4.24MB
│   │   ├─[6.3]--6-3 RL基础概念.mp4            11.45MB
│   │   ├─[6.4]--6-4 RL马尔可夫过程.mp4            27.44MB
│   │   ├─[6.5]--6-5 RL三种方法（1）.mp4            28.39MB
│   │   ├─[6.6]--6-6 RL三种方法（2）.mp4            10.08MB
│   │   ├─[6.7]--6-7 DQN和DQN的2种改进算法（1）.mp4            17.85MB
│   │   ├─[6.8]--6-8 DQN和DQN的2种改进算法（2）.mp4            23.57MB
│   │   └─[6.9]--6-9 actor-critic（1）.mp4            36.07MB
│   ├─{7}--第7章 chatGPT技术演变——从GP
│   │   ├─[7.10]--7-10 Antropic LLM大型语言模型.mp4            39.07MB
│   │   ├─[7.11]--7-11 GPT-本章总结.mp4            12.68MB
│   │   ├─[7.1]--7-1 GPT1 模型.mp4            24.11MB
│   │   ├─[7.2]--7-2 GPT2 模型.mp4            24.79MB
│   │   ├─[7.3]--7-3 GPT3 模型-1.mp4            29.1MB
│   │   ├─[7.4]--7-4 GPT3 模型-2.mp4            25.83MB
│   │   ├─[7.5]--7-5 gpt-codex 基于GPT技术开发的模型.mp4            22.57MB
│   │   ├─[7.6]--7-6 alphaCode基于GPT技术开发的模型-1.mp4            27.74MB
│   │   ├─[7.7]--7-7 alphaCode基于GPT技术开发的模型-2.mp4            16.09MB
│   │   ├─[7.8]--7-8 instruct-gpt 基于GPT技术开发的模型-1.mp4            21.3MB
│   │   └─[7.9]--7-9 instruct-gpt 基于GPT技术开发的模型-2.mp4            24.96MB
│   └─{8}--第8章 RLHF训练类ChatGPT模型代码实战 i class
│         ├─[8.10]--8-10 RLHF强化学习人类反馈的训练-model-base.mp4            23.3MB
│         ├─[8.11]--8-11 RLHF强化学习人类反馈的训练-model-opt.mp4            12.4MB
│         ├─[8.13]--8-13 RLHF强化学习人类反馈的训练-generation（.mp4            46.63MB
│         ├─[8.14]--8-14 RLHF强化学习人类反馈的训练-exp_maker（1.mp4            30.23MB
│         ├─[8.15]--8-15 RLHF强化学习人类反馈的训练-exp_maker（2.mp4            41.16MB
│         ├─[8.16]--8-16 RLHF强化学习人类反馈的训练-buffer-util.mp4            53.57MB
│         ├─[8.17]--8-17 RLHF强化学习人类反馈的训练-buffer-loss.mp4            43.34MB
│         ├─[8.19]--8-19 RLHF强化学习人类反馈的训练-main.mp4            66.87MB
│         ├─[8.1]--8-1 chatGPT训练实战.mp4            12.73MB
│         ├─[8.2]--8-2 SFT有监督的训练-数据处理.mp4            58.5MB
│         ├─[8.3]--8-3 SFT有监督训练-trainer.mp4            36.27MB
│         ├─[8.4]--8-4 SFT有监督训练-train.mp4            59.5MB
│         ├─[8.5]--8-5 RM训练-model+dataset（1）.mp4            26.43MB
│         ├─[8.6]--8-6 RM训练-model+dataset（2）.mp4            24.84MB
│         ├─[8.7]--8-7 RM训练-trainer.mp4            29.42MB
│         ├─[8.8]--8-8 RM训练-train-rm.mp4            33.74MB
│         └─[8.9]--8-9 RLHF强化学习人类反馈的训练-dataset.mp4            13.82MB
└─目录3.txt            -1.#INDB