课节 | 主要内容 | 学习收获 | ||
模块一:初阶应用 | | | ||
01 大模型应用开发基础 | 1. AGI 时代的个人发展 a. 个人定位 b. 知识地图 2. 大模型 AI 能干什么? a. 靠谱大模型介绍 b. 典型使用场景 c. 如何落地大模型 3. 大模型落地情况综述 a. Killer App 没有影 b. AI 原生待证明 c. 手握场景不着急 d. 内部提效暗暗行 4. 怎样寻找落地方向 a. 成功落地大模型五要素 b. 如何找到落地场景 c. 工作机会在哪里 5. 大模型是怎样获得「智能」的? a. 生成式 b. 机器学习和神经网络 c. Token d. Transformer、RWKV 和 Mamba 6. 用好 AI 的核心心法 7. 大模型应用产品架构 a. Copilot - 多 Agent 架构 b. 纯 Agent 架构 8. 大模型应用技术架构 a. 纯 Prompt b. Agent + Function Calling c. RAG = Embeddings + 向量数据库 d. Fine-tuning e. 如何选择技术路线 f. 如何选择基础模型 9. 代码示例:向 GPT-3.5 灌入新知识 | 最前沿的认知,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解 | ||
02 Prompt Engineering | 1. 提示工程的价值和发展趋势 2. Prompt 典型构成 3. 指令调优方法论 a. 角色定义的原理 b. 限制输出格式 c. NLU 和 NLG d. Few-shot 4. 思维链和思维树 5. Prompt 攻击和防范 6. OpenAI API 总结 7. 用 prompt 调优 prompt a. GPTs b. Coze c. Prompt tune 案例 1: 客服对话机器人 案例 2: 客服对话质检 案例 3: 指标解读+项目推荐 | 别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接 | ||
03 结构化输出 | 1. 看 AI 巨变带来的 UI、API 终极演变 2. NLI 塑造未来软件世界 3. 大模型连接真实世界的方法 a. 用 GPTs Actions 对接高德地图 b. 原理解析 c. GPTs 的平替:Coze、Dify 4. 大模型结构化输出技术 a. Function Calling i. 机制原理 ii. 调用本地函数 iii. 多 Function 轮流调用和同时调用 iv. 从自然语言生成 SQL 语句(NL2SQL) v. 流式调用 vi. 注意事项 vii. 国产大模型的 Function Calling 能力仍不足 viii. 对 Function Calling 的批评 ix. Function Calling 带来的产品想象空间 b. 用 json_schema 控制回复格式 | 综合运用传统编程和大模型能力,降低幻觉和成本,提升系统智能性 | ||
04 从 AI 编程认知 AI | 1. 做个天天用 AI 的人 2. 编程能力是大模型天花板 3. GitHub Copilot a. 商业成功 b. 补全代码的技巧和原理 c. Copilot Chat d. 命令行 Copilot e. 生成 git commit message f. GitHub Copilot Extensions g. 其他使用技巧 h. 故事线 4. Copilot 原理 5. Cursor 功能和原理 6. 有效性度量 7. 开源平替 a. 架构 b. Ollama + Continue c. 可本机部署的 Tabby d. 开源编程大模型 i. Code Llama ii. DeepSeek-Coder iii. Google CodeGemma 8. 编程 Agents a. v0 b. MetaGPT c. GPT Engineer d. Devin e. Melty f. GitHub Copilot Workspace g. Agent 的落地难题 9. AI 能力定律和提效定律 10. AI编程领域趋势 a. 技术:搜索 + 训练 b. 案例 i. 用 AI 学 Python ii. AI代码阅读 iii. AI代码审校 11. AI认知讨论 | 了解 AI 落地的天花板级表现,养成和 AI 共处的习惯,日常体会 AI 如何提效、如何惊喜,及如何不靠谱。 编程能力不够强的,可以获得修炼技术、提升编程效率的神器。 | ||
模块二:高阶应用 | | | ||
05 RAG 和 Embeddings | 1. 为什么要做 RAG 2. 搭建一个简单的 ChatPDF 3. 检索的基础概念 4. 什么是向量表示(Embeddings) 5. 向量数据库与向量检索 6. 基于向量检索的 RAG 7. 搭建 RAG 系统的扩展知识 8. 混合检索与 RAG-Fusion 简介 9. 向量模型本地加载 10. PDF 表格处理 | 学会构造私有知识库,扩展 AI 的能力 | ||
06 Assistants API | 1. GPTs & Assistants API 简介 2. 如何在 GPT Store 创建/发布自己的 GPT 3. Assistants API 的主要能力 4. 基于 Assistants API 开发 a. 创建 assistant b. 管理 thread c. 添加 message d. 开始 run e. 中控调度 5. 在 Assistant 中调用工具 a. Function Calling b. Code Interpreter c. RAG 6. 用 Assistants API 实现多角色隔离与协作 7. 原生 OpenAI API、GPTs、Assistants API、国产/开源大模型选型参考 | 快速开发一个完整的基于 agent 对话机器人 | ||
07 LlamaIndex | 1. 什么是SDK a. 使用SDK三行代码实现RAG 2. LlamaIndex介绍 a. 核心模块总览 b. 安装 3. 数据加载 a. 加载本地数据 b. Data Connectors 丰富的数据类型加载 4. 文本切分与解析 a. TextSpitters 文本切分 b. NodeParsers 解析文档结构 5. 索引与检索 a. 向量检索 b. 使用自定义的向量数据库 c. 文本加工、灌库: Ingestion Pipeline d. 检索后排序 6. 生成回复 a. 单轮问答 b. 多轮对话 7. 底层接口 a. Prompt b. LLM c. Embedding 8. 基于 LlamaIndex 实现一个功能较完整的 RAG a. 自定义文件加载与切分 b. 实现 RAG-Fusion c. 实现 ChromaDB 本地持久化 d. 实现检索后排序 e. 支持多轮对话 f. 实现关键字+向量混合检索(作业) | 借力强大框架,开发更强的定制 RAG 应用 | ||
08 LangChain | 1. 模型 I/O 封装 a. 模型的封装 | |||