第 3 节 / 共 7 节

信息抽取

🎯 从非结构化文本抽取中药/方剂结构化信息。

📎 资料

day03-04 导图与笔记图

🧠 中医知识图谱前期知识复习.xmind · 大纲

day02复习

Neo4j

图数据库

概念

- 节点

- 关系

方向性的

- 属性

标签

一组节点

安装

安装jdk

解压安装包

配置环境变量

neo4j consle

cypher语句

cypher是我们和neo4j的交互语言

create命令

节点

关系

match命令

做匹配的，相当于mysql中的select

merge命令

merge是有就不创建，没有就创建

where命令

delete命令

如果两个节点有关系，要删除，必须节点和关系一块删除，如果只删除节点，会报错

sort命令

排序， order by |order by desc

字符串函数

toUpper()函数

字符串变大写

toLower()函数

substring()函数

截取一段字符串

replace()函数

字符串替换

聚合函数

count()函数

max()函数

min()函数

sum()函数

avg()函数

index

CREATE INDEX person_name_index FOR (e:Employee) ON (e.name)

DROP INDEX person_name_index;

Neo4j python操作

导入实体和关系

导出元数据

有哪些标签，有哪些关系，有哪些【标签1 关系标签2】组成的三元组。。。

描述neo4j数据库中

🧠 中医知识图谱第三天.xmind · 大纲

中医知识图谱第三天

知识图谱构建模块

中医知识图谱业务知识

实体

关系

实体和关系的抽取

方剂抽取

药材抽取

微调语料的沉淀

aipaca微调语料的沉淀

这个是用来微调大模型的

Neo4j的讲解

知识图谱的构建

使用Faiss向量数据库存储实体信息

embedding模型的选取

beg系列

向量数据库的选取

Faiss

faiss向量数据库构建的流程

01.构建数据集

02.加载中文向量数据模型

3.数据集向量化处理

4.构建索引

索引的维度是根据embedding模型生成的维度来的

5.保存索引

两个文件

index.faiss,存储向量和索引

index.pkl：pickle 文件，ID 映射表

6.构建query

7.query向量化

必须和faiss存入的向量使用同一个embedding模型

配置数据（路径不能有中文）

index文件路径

id2text文件路径

Neo4j元数据的抽取

langgraph

langgraph的概念

状态

节点

边

langgraph实现中医知识问答（部分）

1.用户意图判断节点

2.用户输入实体抽取节点

3.实体标准化节点

4.利用用户提问+标准化实体+neo4j元数据，生成cypher语句

🧠 昨日回顾.xmind · 大纲

中医知识图谱day02

数据采集模块的实现

数据源

中医方剂:https://zhongyibaike.com/wiki/%E4%B8%AD%E5%8C%BB%E6%96%B9%E5%89%82

中医药材:https://zhongyibaike.com/wiki/%E4%B8%AD%E8%8D%AF%E5%A4%A7%E5%85%A8

技能点

BeautifulSoup

对响应的内容进行解析

requests

访问网站,获取响应内容

实现思路:

1.先爬取列表

爬取方剂和中药的名称和url 列表

2.根据列表遍历爬取详情

将详情写到名称.txt文档中

3.优化点

断点续爬

多线程爬取(容易被封)