localai.io

LocalAI 是一个开源的、自托管的 AI 推理引擎，旨在提供与 OpenAI API 兼容的本地替代方案。它允许用户在本地硬件上运行大型语言模型（LLM）、图像生成、音频转录等 AI 模型，无需依赖云服务。核心功能包括：支持多种模型格式（如 GGUF、GPTQ）、通过 REST API 提供文本生成、图像生成、语音转文字等能力，以及模型管理与热加载。特色亮点在于完全本地化运行，保障数据隐私；兼容 OpenAI API，可无缝替换现有应用；支持 CPU 和 GPU 推理，降低硬件门槛。适合注重数据隐私的开发者、需要离线 AI 能力的企业、以及希望降低 API 成本的个人用户。