当前位置:首页 » 《随便一记》 » 正文

AI大模型开发架构设计(3)——如何打造自己的大模型

7 人参与  2024年04月19日 11:18  分类 : 《随便一记》  评论

点击全文阅读


文章目录

如何打造自己的大模型1 新时代职场人应用AIGC的5重境界2 人人需要掌握的大模型原理职场人都能听懂的大语音模型的训练过程职场人都能听得懂的大语言模型的Transformer推理过程 3 如何构建自己的大模型需要具备三个方面的能力LangChain是什么?LangChain主要功能LangChain核心组成

如何打造自己的大模型

1 新时代职场人应用AIGC的5重境界

第一、简单对话 + Ctrl-C/V 结果:人人都行第二、Prompt Engineering:系统掌握 Prompt 提示词技能,赋能工作真正提效第三、把AIGC融入业务流程,指挥AIGC做复杂任务:掌握好 AIGC 技能、真正懂业务领域知识第四、拥有自己的大模型:懂大模型原理、基于开源大模型微调(Fine-tune)、有行业数据壁垒第五、参与设计训练大模型:OpenAI等大模型公司

思考:自己处于哪种境界?

2 人人需要掌握的大模型原理

职场人都能听懂的大语音模型的训练过程

image.png

第一阶段:传统的有监督训练第二阶段:奖励模型第三阶段:运用奖励模型,一问一回答一打分,不断进行反馈迭代强化学习
职场人都能听得懂的大语言模型的Transformer推理过程
Transformer:在 Transformer 之前,最大的问题就是遗忘(记不住上下文信息)

image.png

Transformer:通过**注意力机制(Attention)**解决遗忘问题 The:第一个,前面没有关联FBI:前面会关联 Theis:前面会关联 FBIchasing:前面会关联 FBI、is…

image.png

Transformer:整个流程设计(大模型的核心)——2017年提出

image.png

Transformer:Encoder 将输入“序列”中的信息提取出来

image.png

Transformer:Encoder-Attention 将重要信息提取出来

image.png

Transformer:Encoder-Attention 将重要信息提取出来,会有一些更复杂的计算细节

image.png

3 如何构建自己的大模型

需要具备三个方面的能力
Prompt Engineer(提示词工程)LangChain(一个框架的名字)Fine-tuning(微调)
LangChain是什么?
面向大模型的开发框架简单实现复杂功能的 AIGC 应用多组件封装

image.png

LangChain 推荐资料:https://wx.zsxq.com/dweb2/index/topic_detail/211842521158511
LangChain主要功能

image.png

LangChain核心组成
组件封装模块

image.png

LangChain 核心组成:I/O模块 Prompts:主要管理、协助构建送入 Model 的输入Language Modes:用何种 ModelOutput parsers:解析输出结果

image.png

LangChain 核心组成:I/O模块流程 Prompts:归一化Language Modes:预测Output parsers:归一化

image.png

LangChain 核心组成:数据链路(Data Connection)模块 Source:支持各种异构数据源Load:加载Transform:变换Embed:向量化Store:存储向量数据库Retrieve:检索

image.png

LangChain 核心组成:数据链路(Data Connection)模块——Load

image.png

LangChain 核心组成:数据链路(Data Connection)模块——Transform

image.png

LangChain 核心组成:数据链路(Data Connection)模块——Embed

image.png

LangChain 核心组成:数据链路(Data Connection)模块——Embed-相识度核心原理(“向量”距离)

image.png

LangChain 核心组成:数据链路(Data Connection)模块——Vector Store

image.png

image.png

LangChain 核心组成:记忆(Memory)模块,针对多轮对话强相关

image.png

image.png

image.png

image.png


点击全文阅读


本文链接:http://zhangshiyu.com/post/97478.html

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于我们 | 我要投稿 | 免责申明

Copyright © 2020-2022 ZhangShiYu.com Rights Reserved.豫ICP备2022013469号-1