Ejecuta LLMs en Local

Qué incluye este pack

Estos siete runners cubren el espectro completo: desde "quiero una ventana de chat en mi laptop" hasta "voy a poner Llama 3 detrás de un load balancer a 10k QPS".

Por qué importa lo local en 2026

Tres fuerzas han eliminado la brecha de coste entre APIs cloud e inferencia self-hosted.

Primero, la calidad de los modelos. Pesos abiertos de Meta (Llama), Mistral, Qwen y DeepSeek igualan capacidades clase GPT-4 en la mayoría de tareas de razonamiento y código. Ya no hay penalización de calidad por no pagar a OpenAI.

Segundo, hardware. Una sola RTX 4090 ejecuta Llama 3 70B a velocidad usable vía cuantización GGUF Q4 de llama.cpp. Apple Silicon por fin tiene memoria unificada — un M3 Max corre 70B local sin thermal throttle. Incluso laptops gaming de gama media manejan modelos 8B en tiempo real.

Tercero, privacidad y compliance. Salud, legal, finanzas y empresas bajo GDPR de la UE no pueden enviar PII a una API de terceros. La inferencia local es el único camino legal. Lo mismo aplica a agentes de código — la mayoría de empresas prohíben que Cursor/Copilot toquen repositorios propietarios.

Instala en un comando

# Instala el pack completo
tokrepo install pack/local-llm-runners

# O elige el runner que realmente necesitas
tokrepo install ollama
tokrepo install open-webui
tokrepo install tgi

La página TokRepo de cada recurso incluye el comando de instalación, la configuración recomendada, y el comando model-pull para los pesos Llama / Qwen / DeepSeek más comunes.

Trampas comunes

• Contabilidad de VRAM: un modelo "7B" usa ~14 GB en FP16, ~4 GB en Q4. Revisa siempre el sufijo de cuantización antes de descargar.
• Ventana de contexto vs RAM: 32k de contexto en un 7B puede usar tanta VRAM como los pesos. Baja el contexto si ves OOM.
• Open WebUI sobre Ollama: Open WebUI habla protocolo OpenAI, así que debes activar el endpoint compatible OpenAI en Ollama (OLLAMA_HOST=0.0.0.0) — muchos tutoriales lo saltan.
• TGI vs vLLM: TGI brilla para modelos HuggingFace con pesos sharded; vLLM es más rápido para throughput puro. No elijas TGI solo por antigüedad.
• Licencias de modelo: Llama 3 es permisivo pero no MIT. Revisa la licencia antes del despliegue comercial, especialmente para fine-tunes.

Relación con otros packs

El pack local-llm-runners es la capa runtime. Para hacerlo útil end-to-end:

• Combínalo con Segundo Cerebro IA — Logseq + Khoj indexando tus notas contra un Ollama local
• Combínalo con Eval & Guardrails LLM para verificar que tu modelo local no regresiona vs la baseline cerrada
• Combínalo con Pipeline Documento → IA para alimentar PDFs a inferencia local en vez de mandarlos al vendor

Juntos los tres packs te dan un stack de conocimiento totalmente air-gapped que nunca llama a casa. La frontera es limpia: los runners hacen inferencia, el pack de eval puntúa la calidad, el segundo-cerebro maneja retrieval, y el pipeline de documentos convierte archivos en chunks. Mezcla según tus targets de privacidad y latencia, luego pon Ollama o TGI debajo como motor.

Cuándo elegir cada runner

• Laptop de un dev, sobre todo chat: Ollama más Jan como UI. Instalación de cinco minutos, pesos GGUF Q4, funciona offline en el avión.
• Equipo tras VPN, servidor GPU compartido: TGI o vLLM detrás de un load balancer, Open WebUI como front-end del equipo con SSO. Un modelo, muchos usuarios, cero factura OpenAI por asiento.
• Demo de app móvil o inferencia solo-navegador: MLC-LLM. Compila pesos a WebGPU/Metal/Vulkan y corre sin servidor — útil para prototipos móviles offline.
• Lab de investigación haciendo fine-tune en GPUs consumer: Text Generation WebUI. Entrenamiento LoRA integrado, backend ExLlama, loaders exóticos para los checkpoints medio-rotos que HuggingFace publica cada semana.