You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

1.4 KiB

Raw Permalink Blame History Unescape Escape

Stark FPGA

基于向量数据库与ollama的自然语言转换指令集的方案示例

流程

整个流程非常简单，也没有复杂的地方，相信关注GPT领域的都会看到过如上的流程。

具体步骤：

将基础指令数据集，转为向量存储到向量数据
当用户输入查询的问题时，把问题转为向量，然后从向量数据库中查询相近的答案topK
topK概率大于阈值走词向量数据库，小于等于阈值走大模型对话
走词向量数据库，将topK进行去重合并，生成指令集
走大模型对话，直接输出对话

使用范围

请参考 Ollama 的使用政策

关于Qdrant向量数据库

你可以查看Qdrant的官方文档：https://qdrant.tech/documentation/ 使用docker启动Qdrant

docker run -p 6333:6333 -v D:\qdrant_storage:/qdrant/storage qdrant/qdrant

具体操作流程

Ollama查找中文词嵌入模型qwen2，并进行安装：ollama pull qwen2:1.5b

安装依赖

pip install -r requirements.txt 如果安装不成功，可以使用豆瓣镜像加速 python -m pip install -r requirements.txt -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

数据集入库[importData.py]

python src/import_data.py

启动查询服务[server.py]

python src/server.py 后台持久化运行 nohup python src/server.py > output.log 2>&1 &

1.4 KiB Raw Permalink Blame History Unescape Escape