agi_fpga/software/nlp_fpga

Stark FPGA

基于向量数据库与ollama的自然语言转换指令集的方案示例

流程

整个流程非常简单，也没有复杂的地方，相信关注GPT领域的都会看到过如上的流程。

具体步骤：

• 将基础指令数据集，转为向量存储到向量数据
• 当用户输入查询的问题时，把问题转为向量，然后从向量数据库中查询相近的答案topK
• topK概率大于阈值走词向量数据库，小于等于阈值走大模型对话
• 走词向量数据库，将topK进行去重合并，生成指令集
• 走大模型对话，直接输出对话

使用范围

请参考 Ollama 的使用政策

关于Qdrant向量数据库

你可以查看Qdrant的官方文档：https://qdrant.tech/documentation/ 使用docker启动Qdrant

docker run -p 6333:6333 -v D:\qdrant_storage:/qdrant/storage qdrant/qdrant

具体操作流程

Ollama查找中文词嵌入模型qwen2，并进行安装：ollama pull qwen2:1.5b

安装依赖

pip install -r requirements.txt 如果安装不成功，可以使用豆瓣镜像加速 python -m pip install -r requirements.txt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

数据集入库[importData.py]

python src/import_data.py

启动查询服务[server.py]

python src/server.py 后台持久化运行 nohup python src/server.py > output.log 2>&1 &