什麼是開源 AI 模型？▾
開源 AI 模型是指原始碼、模型權重或訓練資料公開發布的人工智慧模型，任何人都可以免費下載、修改和自行部署。常見的開源 AI 模型包括 Meta 的 Llama、Mistral AI 的 Mistral、阿里巴巴的 Qwen 等。
如何自行部署開源 AI 模型？▾
最常用的工具包括：Ollama（最簡單，適合本機部署）、LM Studio（圖形介面，適合初學者）、vLLM（高效能伺服器部署）、llama.cpp（輕量化 CPU/GPU 推理）。根據你的 GPU VRAM 選擇合適的量化版本即可。
我需要多少 VRAM 才能運行 AI 模型？▾
7B 模型（Q4 量化）約需 4-6 GB VRAM；13B 約需 8-10 GB；70B 約需 40-48 GB。OSAI Centre 為每個模型提供詳細的 VRAM 需求表。
OSAI Centre 收錄了哪些類型的 AI 模型？▾
OSAI Centre 收錄超過 160 個開源 AI 模型，涵蓋：語言模型（LLM）、圖像生成（Stable Diffusion、FLUX）、語音、程式碼生成、多模態、影片生成，以及 AI 工具和 Agent 框架。
什麼是量化（Quantization）？▾
量化通過降低模型權重精度（如 FP16 → Q4）來減少 VRAM 佔用和加快推理速度。常見格式：Q2、Q3、Q4、Q5、Q6、Q8，數字越大精度越高但 VRAM 需求也越大。
如何選擇適合我的開源 AI 模型？▾
建議考慮：1) GPU VRAM 大小；2) 使用場景（對話、程式碼、圖像生成等）；3) 語言支援；4) 授權條款。使用 OSAI Centre 的 VRAM 篩選器和分類篩選快速找到合適的模型。
Llama 和 GPT-4 有什麼分別？▾
Llama（Meta）是開源免費的，可下載權重在本地自行部署，資料完全私密。GPT-4（OpenAI）是閉源商業模型，只能透過付費 API 呼叫。Llama 3.3 70B 在多項基準測試上接近 GPT-4 水準，且完全免費本地運行。
如何在 Windows 上安裝和使用 Ollama？▾
從 ollama.com 下載 Windows 安裝包，安裝後開啟 PowerShell 或命令提示字元，輸入：ollama run llama3.2（或其他模型名稱）。Ollama 會自動下載模型並啟動本地對話。如需圖形介面，可搭配 Open WebUI 或 LM Studio 使用。
可以在 Mac 上運行 AI 模型嗎？▾
可以！搭載 Apple Silicon（M1/M2/M3/M4）的 Mac 非常適合本地 AI 部署。Ollama 原生支援 macOS，使用統一記憶體（RAM）作為顯存。M2 Pro 16 GB 記憶體可流暢運行 7B–13B 模型。在終端機輸入：ollama run qwen2.5:7b 即可開始。
開源 AI 模型可以商業使用嗎？▾
取決於具體授權協議。Llama 3.3 允許大多數企業商業使用（月活用戶不超過 7 億）；Qwen 2.5 採用 Apache 2.0（完全免費商用）；Mistral 系列也是 Apache 2.0。商業部署前請務必在 Hugging Face 頁面確認該模型的具體授權條款。
2025 年最好的開源大語言模型是哪個？▾
2025 年頂級開源 LLM：Llama 3.3 70B（綜合品質最佳）、Qwen 2.5 72B（多語言和程式碼能力強）、Mistral Large（高效）、DeepSeek R1（推理能力強）、Phi-4（小模型中的佼佼者）。最佳選擇取決於你的顯存大小和使用場景。
沒有 GPU 可以運行 AI 模型嗎？▾
可以，使用 llama.cpp 或 Ollama 的純 CPU 推理模式。7B Q4 模型約需 8 GB 記憶體，在現代 CPU 上運行速度約 2–5 tokens/秒。即使是中階 GPU（如 RTX 3060 12 GB）也能大幅提升速度。Apple Silicon Mac 的統一記憶體利用效率也很高。
Ollama、LM Studio 和 vLLM 有什麼區別？▾
Ollama：命令行快速本地部署，支援大多數 GGUF 模型。LM Studio：圖形介面，適合 Windows/Mac 初學者，無需命令行。vLLM：高吐吐量生產伺服器，支援 OpenAI 相容 API，需要 Linux/GPU。個人使用選 Ollama 或 LM Studio；服务多用戶選 vLLM。
本地運行 AI 模型安全私密嗎？▾
是的！本地 AI 模型完全在你自己的硬體上運行，沒有任何資料傳送到外部伺服器。你的對話、文件和提示詞永遠不會離開你的機器。這使得本地 AI 非常適合處理敗感業務資料、個人隱私和離線場景。
最適合寫程式碼的開源 AI 模型是哪個？▾
頂級程式碼模型：Qwen 2.5 Coder 32B（綜合最佳）、DeepSeek Coder V2（推理能力強）、CodeLlama 70B（Meta）、Phi-4（高效）。VRAM 有限時，Qwen 2.5 Coder 7B 或 14B 是性價比最高的選擇。
最適合中文的開源 AI 模型是哪個？▾
最佳中文開源模型：Qwen 2.5（阿里巴巴，中英文最強）、DeepSeek V3（中文推理能力強）、Yi-1.5（01.AI）、Baichuan 2。Qwen 2.5 72B 被廣泛認為是中文 NLP 任務的首選。
如何在本地運行 Stable Diffusion？▾
使用 ComfyUI（最靈活，節點式工作流）或 AUTOMATIC1111 WebUI（初學者友好）。從 Hugging Face 或 CivitAI 下載模型檔案（如 SDXL、FLUX）。最低需求：SDXL 需 6 GB VRAM；FLUX 建議 8 GB+。支援 Windows、Mac（MPS）和 Linux。
如何在 Linux 上運行 AI 模型？▾
安裝 Ollama：curl -fsSL https://ollama.com/install.sh | sh，然後執行：ollama run llama3.2。GPU 加速需確保安裝 NVIDIA 驅動和 CUDA。vLLM 適合 Linux 伺服器部署：pip install vllm，然後 python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen2.5-7B-Instruct。
什麼是 RAG（檢索增強生成）？▾
RAG 將本地 AI 模型與文件檢索系統結合，讓模型基於你自己的檔案（PDF、文件、筆記）回答問題。常用工具：Ollama + Open WebUI（內建 RAG）、LlamaIndex、LangChain、AnythingLLM。這讓你能基於自己的知識庫建立私有 ChatGPT。