You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
|
|
|
|
|
# Stark FPGA
|
|
|
|
|
|
基于向量数据库与ollama的自然语言转换指令集的方案示例
|
|
|
|
|
|
|
|
|
|
|
|
## 流程
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
整个流程非常简单，也没有复杂的地方，相信关注GPT领域的都会看到过如上的流程。
|
|
|
|
|
|
|
|
|
|
|
|
具体步骤：
|
|
|
|
|
|
- 将基础指令数据集，转为向量存储到向量数据
|
|
|
|
|
|
- 当用户输入查询的问题时，把问题转为向量，然后从向量数据库中查询相近的答案topK
|
|
|
|
|
|
- topK概率大于阈值走词向量数据库，小于等于阈值走大模型对话
|
|
|
|
|
|
- 走词向量数据库，将topK进行去重合并，生成指令集
|
|
|
|
|
|
- 走大模型对话，直接输出对话
|
|
|
|
|
|
|
|
|
|
|
|
## 使用范围
|
|
|
|
|
|
请参考 Ollama 的使用政策
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 关于Qdrant向量数据库
|
|
|
|
|
|
你可以查看Qdrant的官方文档：https://qdrant.tech/documentation/
|
|
|
|
|
|
使用docker启动Qdrant
|
|
|
|
|
|
|
|
|
|
|
|
`docker run -p 6333:6333
|
|
|
|
|
|
-v D:\qdrant_storage:/qdrant/storage
|
|
|
|
|
|
qdrant/qdrant
|
|
|
|
|
|
`
|
|
|
|
|
|
|
|
|
|
|
|
## 具体操作流程
|
|
|
|
|
|
### Ollama查找中文词嵌入模型qwen2，并进行安装：ollama pull qwen2:1.5b
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### 安装依赖
|
|
|
|
|
|
`pip install -r requirements.txt`
|
|
|
|
|
|
**如果安装不成功，可以使用豆瓣镜像加速**
|
|
|
|
|
|
`python -m pip install -r requirements.txt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com`
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### 数据集入库[importData.py]
|
|
|
|
|
|
`python src/import_data.py`
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### 启动查询服务[server.py]
|
|
|
|
|
|
`python src/server.py`
|
|
|
|
|
|
**后台持久化运行**
|
|
|
|
|
|
`nohup python src/server.py > output.log 2>&1 &`
|
|
|
|
|
|
|
|
|
|
|
|
|
