什麼是開源 AI 模型?▾
開源 AI 模型是指原始碼、模型權重或訓練資料公開發布的人工智慧模型,任何人都可以免費下載、修改和自行部署。常見的開源 AI 模型包括 Meta 的 Llama、Mistral AI 的 Mistral、阿里巴巴的 Qwen 等。
如何自行部署開源 AI 模型?▾
最常用的工具包括:Ollama(最簡單,適合本機部署)、LM Studio(圖形介面,適合初學者)、vLLM(高效能伺服器部署)、llama.cpp(輕量化 CPU/GPU 推理)。根據你的 GPU VRAM 選擇合適的量化版本即可。
我需要多少 VRAM 才能運行 AI 模型?▾
7B 模型(Q4 量化)約需 4-6 GB VRAM;13B 約需 8-10 GB;70B 約需 40-48 GB。OSAI Centre 為每個模型提供詳細的 VRAM 需求表。
OSAI Centre 收錄了哪些類型的 AI 模型?▾
OSAI Centre 收錄超過 160 個開源 AI 模型,涵蓋:語言模型(LLM)、圖像生成(Stable Diffusion、FLUX)、語音、程式碼生成、多模態、影片生成,以及 AI 工具和 Agent 框架。
什麼是量化(Quantization)?▾
量化通過降低模型權重精度(如 FP16 → Q4)來減少 VRAM 佔用和加快推理速度。常見格式:Q2、Q3、Q4、Q5、Q6、Q8,數字越大精度越高但 VRAM 需求也越大。
如何選擇適合我的開源 AI 模型?▾
建議考慮:1) GPU VRAM 大小;2) 使用場景(對話、程式碼、圖像生成等);3) 語言支援;4) 授權條款。使用 OSAI Centre 的 VRAM 篩選器和分類篩選快速找到合適的模型。
Llama 和 GPT-4 有什麼分別?▾
Llama(Meta)是開源免費的,可下載權重在本地自行部署,資料完全私密。GPT-4(OpenAI)是閉源商業模型,只能透過付費 API 呼叫。Llama 3.3 70B 在多項基準測試上接近 GPT-4 水準,且完全免費本地運行。
如何在 Windows 上安裝和使用 Ollama?▾
從 ollama.com 下載 Windows 安裝包,安裝後開啟 PowerShell 或命令提示字元,輸入:ollama run llama3.2(或其他模型名稱)。Ollama 會自動下載模型並啟動本地對話。如需圖形介面,可搭配 Open WebUI 或 LM Studio 使用。
可以在 Mac 上運行 AI 模型嗎?▾
可以!搭載 Apple Silicon(M1/M2/M3/M4)的 Mac 非常適合本地 AI 部署。Ollama 原生支援 macOS,使用統一記憶體(RAM)作為顯存。M2 Pro 16 GB 記憶體可流暢運行 7B–13B 模型。在終端機輸入:ollama run qwen2.5:7b 即可開始。
開源 AI 模型可以商業使用嗎?▾
取決於具體授權協議。Llama 3.3 允許大多數企業商業使用(月活用戶不超過 7 億);Qwen 2.5 採用 Apache 2.0(完全免費商用);Mistral 系列也是 Apache 2.0。商業部署前請務必在 Hugging Face 頁面確認該模型的具體授權條款。
2025 年最好的開源大語言模型是哪個?▾
2025 年頂級開源 LLM:Llama 3.3 70B(綜合品質最佳)、Qwen 2.5 72B(多語言和程式碼能力強)、Mistral Large(高效)、DeepSeek R1(推理能力強)、Phi-4(小模型中的佼佼者)。最佳選擇取決於你的顯存大小和使用場景。
沒有 GPU 可以運行 AI 模型嗎?▾
可以,使用 llama.cpp 或 Ollama 的純 CPU 推理模式。7B Q4 模型約需 8 GB 記憶體,在現代 CPU 上運行速度約 2–5 tokens/秒。即使是中階 GPU(如 RTX 3060 12 GB)也能大幅提升速度。Apple Silicon Mac 的統一記憶體利用效率也很高。
Ollama、LM Studio 和 vLLM 有什麼區別?▾
Ollama:命令行快速本地部署,支援大多數 GGUF 模型。LM Studio:圖形介面,適合 Windows/Mac 初學者,無需命令行。vLLM:高吐吐量生產伺服器,支援 OpenAI 相容 API,需要 Linux/GPU。個人使用選 Ollama 或 LM Studio;服务多用戶選 vLLM。
本地運行 AI 模型安全私密嗎?▾
是的!本地 AI 模型完全在你自己的硬體上運行,沒有任何資料傳送到外部伺服器。你的對話、文件和提示詞永遠不會離開你的機器。這使得本地 AI 非常適合處理敗感業務資料、個人隱私和離線場景。
最適合寫程式碼的開源 AI 模型是哪個?▾
頂級程式碼模型:Qwen 2.5 Coder 32B(綜合最佳)、DeepSeek Coder V2(推理能力強)、CodeLlama 70B(Meta)、Phi-4(高效)。VRAM 有限時,Qwen 2.5 Coder 7B 或 14B 是性價比最高的選擇。
最適合中文的開源 AI 模型是哪個?▾
最佳中文開源模型:Qwen 2.5(阿里巴巴,中英文最強)、DeepSeek V3(中文推理能力強)、Yi-1.5(01.AI)、Baichuan 2。Qwen 2.5 72B 被廣泛認為是中文 NLP 任務的首選。
如何在本地運行 Stable Diffusion?▾
使用 ComfyUI(最靈活,節點式工作流)或 AUTOMATIC1111 WebUI(初學者友好)。從 Hugging Face 或 CivitAI 下載模型檔案(如 SDXL、FLUX)。最低需求:SDXL 需 6 GB VRAM;FLUX 建議 8 GB+。支援 Windows、Mac(MPS)和 Linux。
如何在 Linux 上運行 AI 模型?▾
安裝 Ollama:curl -fsSL https://ollama.com/install.sh | sh,然後執行:ollama run llama3.2。GPU 加速需確保安裝 NVIDIA 驅動和 CUDA。vLLM 適合 Linux 伺服器部署:pip install vllm,然後 python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen2.5-7B-Instruct。
什麼是 RAG(檢索增強生成)?▾
RAG 將本地 AI 模型與文件檢索系統結合,讓模型基於你自己的檔案(PDF、文件、筆記)回答問題。常用工具:Ollama + Open WebUI(內建 RAG)、LlamaIndex、LangChain、AnythingLLM。這讓你能基於自己的知識庫建立私有 ChatGPT。