第 7 节 / 共 7 节

记忆与思考模式、微调收尾

🎯 为 Agent 添加记忆与思考模式；微调数据准备。

📎 资料

day10 导图

🧠 前情回顾.xmind · 大纲

前情回顾

langgraph高阶

1.config

invoke时候加上配置

thread_id

2.添加记忆

1.checkpoint的inMemory

compile时候添加

2.thread_id这个配置

invoke时候添加

3.记忆的内容,State中的状态

3.人工介入

前提:得有记忆

2.引入interrupt

打断的

3.Command

输入命令进行恢复

thread_id 打断前后必须一致

4.设置并行

基础并行

graph_builder.add_edge["节点A", "节点B"], "节点C")

前节点可以设置成列表[]

并行共享list节点

设置reducer

5.设置子图

为什么要设置子图

便于复用

子图，就是由多个节点组成的一个大节点

普通子图

子图就是主图的一个节点

传递参数的子图

子图的状态是主图状态的属性

6、流式输出

使用stream

使用for 循环，进行返回

7、异步操作

非流式输出的异步

ainvoke

流式输出的异步

astream

文生图api的使用

即梦文生图

字节

百炼文生图

阿里

知乎自动发布

文案生成

图片生成

图文校验

校验图文是否为空,以及文字是否有敏感词

自动化发布

playwright

web测试的一种自动化工具

模拟人类点击浏览器

llamafactory_lora微调

微调原因

推理速度慢

部署成本高

可能有幻觉

微调的目标

更快的推理速度

资源消耗少，便于本地部署

降低幻觉

基座模型

Qwen/Qwen2.5-1.5B-Instruct

微调解决啥问题?

解决了小模型抽取实体和关系效果不好的问题

准备工作

llamafactory的安装

torch的安装,一定要安装gpu版本的

数据集的准备,aipaca格式数据集

基座模型:qwen2.5-1.5b

fp16:3G显存

int8 :1.5G显存

int4:0.75G显存

模型训练的参数设置

batch_size设置小了,导致显存利用率不够

加大batch_size大小

lora微调的参数

R:秩:秩越大,训练的参数越多,消耗的显存越大

一般选8 16 32

作用模块:q_proj,v_proj--也可以不填

模型导出时候

选择基座模型

选择lora微调的权重

模型部署(服务端)--合并后的权重

vllm加速库

选择记忆

sglang加速库

lmdeploy加速库

模型调用(客户端)

openai的风格来调用私有化部署的模型模型

模型部署方式

vllm部署

指定基座模型

指定lora微调后的权重

好处:基座模型只占用一次显存

client端