（多模态模型、AIGC及大模型）

第1章 多模态模型

1.1  多模态模型的发展趋势

1.2  大模型数据集与小模型数据集的区别

1.3  Transformer基本结构

1.4  ViT(Vision Transformer)模型结构

1.5  Swin Transformer模型结构

1.6  DETR模型结构与Deformable DETR模型结构

1.7  MoE结构介绍

1.8  大模型的主要类别架构:Encoder only、Decoder only.Encoder Decoder 等

1.9  LLaMA、ChatGLM、BLOOM 等主流开源大模型的架构、原理及评价指标

1.10 多模态和零样本学习：Clip、Blip1.0 与 Blip2.0

1.11 常用的开源模型选择方法（ChatGLM、Qwen 和 YI 开源模型、LLaMA等）

1.12 行业模型选型时的迁移适配、精度调试 、性能调优及算子开发

第2章 AIGC

2.1  AIGC内容生成基本概念及模型方式

2.2  text-to-image图像生成技术及方式

2.3  image-to-text文本生成技术及方式

2.4  text-to-text 文本生成技术及方式

2.5  text-to-video 视频生成技术及方式

2.6  基于GAN系列的生成算法模型及应用

2.7  基于Diffusion系列的生成算法模型及应用

2.8  基于Transformer系列的生成算法模型及应用

2.9  基于 AIGC进行通用数字人的设计

2.10 精准提示词的应用及高效指令的编辑

2.11 通过大模型进行自动化编程及 Debug修复

第3章 大语言模型基础

3.1  CharGPT基本原理

3.2  大语言模型的预训练及微调

3.3  基于LangChain的知识问答系统搭建

3.4  大语言模型的最新研究进展

3.5  大语言模型的工具软件使用

3.6  基于大语言模型的对话系统、文本生成等自然语言处理

3.7  讯飞星火大模型+星火微调平台应用

3.8  文心一言& 百度千帆大模型平台

3.9  AI论文导读与论文撰写

第4章大模型开发与应用

4.1  掌握面向大模型的 Prompt-Tuning 微调方法及SFT简介

4.2  In-Context learning、instruction-Tuning、Chain-of-Thought、PEFT(AdapterTuning、LoRA、Prehx_Tuning、Flash Attention、Kahneman-Tversky)

4.3  基于 zero-shot 方式实现 ChatGLM 模型进行多任务应用

4.4  ⼤模型应⽤开发框架 LangChain 核心组件构成及编程实践

4.5  Function Calling、LangChain 与 Retrieval 组件 n

4.6  Hugging Face 应用：Models, Datasets, Spaces, Docs n

4.7  基于 ChatGLM3 的⼤模型应⽤开发：GLM 基座模型的选择、ChatGLM3- 6B 模型微调，界面设计及私有化部署

4.8  QLoRA 算法与模型量化技术原理

第5章 指令微调及优化方法

5.1  GPT 模型家族及其技术演进路线 n

5.2  大模型应用落地与数据隐私 n

5.3  指令微调基础与 LoRA 算法剖析 n

5.4  指令数据搜集、生成及自动化质量评估 n

5.5  AdaLoRA 算法剖析：AdaLoRA 与 LoRa 的比较、动态改变矩阵权重、SVD 与 AdaLoRA n

5.6  模型压缩与裁剪蒸馏技术 n

5.7  SmoothQuant 算法与 ZeroQuant 算法 n

5.8  模型对齐与 RLHF 算法、PPO 算法与策略优化 n

5.9  DPO 算法及其在推荐系统中的应用 n

5.10 大模型的增量学习及灾难性遗忘 n n

5.11 RAG 基础与架构：文档切分常见方法与向量数据库算法 n

5.12 模型在智能设备上的部署方案、智能设备上的模型优化技术、边缘计算 中的大模型应用 n

第6章行业应用及解决方案

6.1  基于大模型的各行业应用实践方案（电商、金融、医疗等）

6.2  基于不同业务场景的大模型解决方案

6.3  大模型并行计算、CANN 、MindX 、MindStudio 、算力运营

6.4  昇腾分布式加速库 MindSpeed 详解

6.5  大模型智算中心解决方案（数据中心基础设施系统和常用的指标介绍、智算中心存储解决方案、智算中心网络解决方案）