在本地运行大模型

Ollama

Ollama

ollama/ollama: (github.com)

xinference

https://inference.readthedocs.io/zh-cn/latest/index.html

https://github.com/xorbitsai/inference/tree/main

模拟Open AI 的接口

LM Studio

LM Studio - Discover, download, and run local LLMs

直接带有聊天窗口，可以模拟Open AI 的接口

替换为huggingface镜像站

进入安装目录

使用vsCode等IDE打开目录，然后把里面的huggingface.co链接替换为hf-mirror.com

# windows 默认位置
C:\Users\user\AppData\Local\LM-Studio\app-x.x.x