IA local es una API REST de reemplazo directo que es compatible con las especificaciones de la API OpenAI para inferencia local. Le permite ejecutar LLM (y no solo) localmente o en las instalaciones con hardware de nivel de consumidor, admitiendo múltiples familias de modelos que son compatibles con el formato ggml. No requiere GPU.
Características
API REST alternativa local y OpenAI. Eres dueño de tus datos.
- NO se requiere GPU. NO se requiere acceso a Internet tampoco
- Opcional, la aceleración de GPU está disponible en
llama.cpp-LLM compatibles. Ver también el sección de construcción. - Soporta múltiples modelos:
- Generación de texto con GPT (
llama.cpp,gpt4all.cpp… y más) - Texto a audio
- Audio a texto (Transcripción de audio con
whisper.cpp) - Generación de imágenes con difusión estable.
- Funciones de OpenAI
- Una vez cargado por primera vez, mantiene los modelos cargados en la memoria para una inferencia más rápida
- No desembolsa, pero utiliza enlaces de C++ para una inferencia más rápida y un mejor rendimiento.
Licencia
- LocalAI es un proyecto impulsado por la comunidad creado por Ettore Di Giacinto.
- MIT
Recursos
Etiquetas
AI Inteligencia artificial Herramientas para desarrolladores desarrollo móvil desarrollo API rest de código abierto
