大模型投喂私有化的数据
1.部署大模型
https://blog.csdn.net/YXWik/article/details/143871588
下载安装软件:anythingllm
下载地址:https://anythingllm.com/desktop
一般通用大模型无法满足企业实际业务需求,涉及到知识局限性、信息安全等问题,企业不能将私域数据上传到第三方平台训练,而 AnythingLLM 就是为解决这个问题而生的框架。它能在本地轻松构建基于 LLM 的 AI 应用,集成 RAG、向量数据库和强大的 Agent 功能,是高效、可定制、开源的企业级文档聊天机器人解决方案
下载:ollama pull nomic-embed-text
anythingllm
配置关联Ollama
指定 Ollama Base URL
为 http://host.docker.internal:11434
指定 Chat Model Selection
为 llama3.1:8b
指定 Token context window
为 4096 (这里的 token 数量视情况而定,一般来说越大会越准确但解析等待时间越长)
投喂私有化数据