返回首页
本地部署指南

我帮你部署AI

主流开源 AI 框架和模型的本地部署指南,从入门到精通, 让你在本地轻松运行大语言模型、图像生成等 AI 应用

🦞

OpenClaw 龙虾

热门新品
中级

开源AI助手平台,支持多种大模型接入,提供完整对话、知识库、插件扩展能力。适合企业级AI应用部署。

多模型支持(OpenAI/Claude/国产)知识库RAG插件扩展系统
4核+
8GB+
Linux/macOS

支持模型

GPT-4Claude文心一言通义千问Kimi
📚

LangChain-Chatchat

热门
中级

基于 LangChain 和 ChatGLM 等开源模型的本地知识库问答系统,支持多种文件格式,适合企业文档问答场景。

多格式文档解析(PDF/Word/Excel)多种向量库支持多模型接入
8核+
16GB+
RTX 3060+
Linux

支持模型

ChatGLM3QwenLlama2BaiChuan2
🔄

Flowise

新品
入门

拖拽式AI工作流构建工具,基于LangChain,无需编码即可构建复杂的AI应用流程。适合业务人员快速搭建AI应用。

可视化流程编排100+预置组件API快速发布
2核+
4GB+
Linux/macOS/Windows

支持模型

OpenAIAzureHuggingFaceLocalAI

FastGPT

热门
中级

基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力,适合快速构建企业知识库。

可视化知识库构建工作流编排多模型支持
4核+
8GB+
Linux

支持模型

GPT-4Claude文心一言通义千问Kimi
🔌

One API

中级

OpenAI 接口管理 & 分发系统,支持多种渠道管理,统一API接口,适合企业内部AI服务管理和计费。

多渠道管理令牌管理用量统计
2核+
4GB+
Linux/Windows

支持模型

OpenAIAzureAnthropicGoogle国产大模型
💬

ChatGPT Next Web

热门
入门

一键拥有你自己的跨平台 ChatGPT 应用,支持 Web/Windows/Mac/Linux,界面美观,功能丰富。

精美UI界面PWA支持Markdown/LaTeX
1核+
2GB+
Linux/Windows/macOS

支持模型

GPT-4GPT-3.5ClaudeGemini
🦞

OpenClaw 龙虾

热门新品
中级

开源的AI助手平台,支持多种大模型接入,提供完整的对话、知识库、插件扩展能力。适合企业级AI应用部署。

多模型支持(OpenAI/Claude/国产模型)知识库RAG插件系统
4核+
8GB+
Linux/macOS

支持模型

GPT-4Claude文心一言通义千问
🦙

Ollama

热门
入门

在本地运行 Llama 3.2、Mistral、Qwen 等大语言模型,一键部署,简单易用。支持 macOS、Linux 和 Windows。

一键运行开源大模型本地隐私保护REST API 接口
4核+
8GB+
可选
macOS/Linux/Windows

支持模型

Llama 3.2MistralQwen 2.5Gemma 2Phi-3
🎨

ComfyUI

热门
中级

最强大的 Stable Diffusion 节点式工作流界面,支持复杂的图像生成流程,可自由组合各种模型和插件。

节点式工作流支持 SD1.5/SDXL/Flux丰富的插件生态
4核+
16GB+
NVIDIA 8GB+ VRAM
Windows/Linux

支持模型

SDXLSD 1.5FluxControlNetIP-Adapter
🖼️

Stable Diffusion WebUI

中级

AUTOMATIC1111 开发的 Stable Diffusion 网页界面,功能丰富,插件众多,是最流行的本地图像生成工具。

文生图/图生图Inpainting/OutpaintingControlNet 控制
4核+
16GB+
NVIDIA 6GB+ VRAM
Windows/Linux/macOS

支持模型

SD 1.5SDXLSD 3Realistic VisionDreamShaper
🤖

Dify

热门
中级

开源 LLM 应用开发平台,支持工作流编排、RAG、Agent 等功能,可快速构建 AI 应用。

可视化工作流编排RAG 知识库多 Agent 协作
2核+
4GB+
Linux/macOS/Windows

支持模型

GPT-4ClaudeLlamaQwen文心一言
🦙

llama.cpp

高级

纯 C/C++ 实现的 LLaMA 模型推理,高性能、低内存占用,支持各种量化格式,可在消费级硬件上运行大模型。

纯 C++ 高性能多种量化支持CPU/GPU 混合推理
支持 AVX2
根据模型大小
可选
Linux/macOS/Windows

支持模型

LLaMAMistralMixtralQwenYi
💬

Open WebUI

新品
入门

友好的大语言模型 Web 界面,支持 Ollama 和 OpenAI API,提供类似 ChatGPT 的聊天体验。

类似 ChatGPT 界面支持多模型切换RAG 文档对话
2核+
4GB+
Linux/macOS/Windows

支持模型

Ollama 模型OpenAIAnthropicGroq

vLLM

高级

高吞吐量、内存高效的大语言模型推理和服务引擎,采用 PagedAttention 算法,适合生产环境部署。

PagedAttention 高效推理连续批处理张量并行
8核+
32GB+
NVIDIA A100/4090+
Linux

支持模型

LLaMA 2/3MistralMixtralQwenBaichuan
📝

Text Generation WebUI

中级

Gradio 编写的 LLM 文本生成 Web 界面,支持多种后端,包括 transformers、llama.cpp 等。

多种模型后端角色扮演模式语音合成
4核+
16GB+
NVIDIA 可选
Windows/Linux/macOS

支持模型

GPTQGGUFAWQExL2Transformers

部署建议

🚀

新手推荐

Ollama + Open WebUI,一键部署本地大模型,零门槛体验 AI 对话

🎨

图像生成

ComfyUI 功能最强大,Stable Diffusion WebUI 插件生态丰富

生产部署

vLLM 适合高并发场景,Dify 可快速构建 AI 应用平台