agi_fpga/software/nlp_fpga/README.md

# Stark FPGA
基于向量数据库与ollama的自然语言转换指令集的方案示例

## 流程

![](./docs/flow.png)

整个流程非常简单，也没有复杂的地方，相信关注GPT领域的都会看到过如上的流程。

具体步骤：
- 将基础指令数据集，转为向量存储到向量数据
- 当用户输入查询的问题时，把问题转为向量，然后从向量数据库中查询相近的答案topK
- topK概率大于阈值走词向量数据库，小于等于阈值走大模型对话
- 走词向量数据库，将topK进行去重合并，生成指令集
- 走大模型对话，直接输出对话

## 使用范围
请参考 Ollama 的使用政策


## 关于Qdrant向量数据库
你可以查看Qdrant的官方文档：https://qdrant.tech/documentation/
使用docker启动Qdrant

`docker run -p 6333:6333 
-v D:\qdrant_storage:/qdrant/storage 
qdrant/qdrant
`

## 具体操作流程
### Ollama查找中文词嵌入模型qwen2，并进行安装：ollama pull qwen2:1.5b


### 安装依赖
`pip install -r requirements.txt`
**如果安装不成功，可以使用豆瓣镜像加速**
`python -m pip install -r requirements.txt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com`


### 数据集入库[importData.py] 
`python src/import_data.py`


### 启动查询服务[server.py] 
`python src/server.py`
**后台持久化运行**
`nohup python src/server.py > output.log 2>&1 &`