Support on-premise deployment and connect to self-hosted AI model #94

Activity

1. tianzhou

   changed the title [-]我想部署在离线内网服务器上，所以能支持其他离线ai模型吗？GPT需要联网，支持自定义AI模型吗[/-] [+]Support on-premise deployment and connect to self-hosted AI model[/+] on May 18, 2023
2. tianzhou

   added

   enhancementNew feature or requestNew feature or request

   on Jun 17, 2023
3. 502647092 commented on Jul 4, 2024

   

   502647092

   on Jul 4, 2024

   More actions

   可以自己本地部署 Ollama
   通过 ollama cp 模型名称 gpt-4 复制一个模型
4. 502647092 commented on Jul 17, 2024

   

   502647092

   on Jul 17, 2024

   More actions

   可以自己本地部署Ollama 通过 ollama cp 模型名称 gpt-4 复制一个模型

   有具体文档可以参考吗

   直接 docker compose 起一个 ollama

   version: "3.3"
   services:
     ollama:
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all
                 capabilities:
                   - gpu
       image: ollama/ollama
       volumes:
         - ./ollama:/root/.ollama
       environment:
         - OLLAMA_ORIGINS=*
         - OLLAMA_MAX_QUEUE=256
         - OLLAMA_KEEP_ALIVE=-1
         - OLLAMA_NUM_PARALLEL=16
         - OLLAMA_MAX_LOADED_MODELS=4
       restart: always
       container_name: ollama
       ports:
         - 11434:11434
   networks: {}
   

   然后 docker exec -it ollama bash 终端
   拉取 glm4 或者 qwen2 模型

   ollama pull glm4
   

   然后复制模型到 gpt4

   ollama cp glm4 gpt4
   

   之后就可以用了
5. unstoppbale9527 commented on Aug 21, 2025

   

   unstoppbale9527

   on Aug 21, 2025

   More actions

   可以自己本地部署 Ollama 通过 ollama cp 模型名称 gpt-4 复制一个模型

   ollama启动模型成功后需要 sqlcaht怎么连接ollama
   docker run --name sqlchat --platform linux/amd64 --env NEXTAUTH_SECRET="$(openssl rand -hex 5)" -p 3000:3000 --hostname 0.0.0.0 sqlchat/sqlchat:latest