El desarrollador Fareed Khan (FareedKhan-dev) publicó en GitHub el motor kimi-k3-in-c, escrito en C99 portable. Ejecuta el modelo Kimi K3 de 2.78 billones de parámetros en una CPU con 8.24 GB de RAM, sin GPU ni frameworks. El repositorio está disponible para su revisión.

¿Qué es kimi-k3-in-c?

Es un motor de inferencia minimalista cuyo código pesa solo 176 KB. Se compila en un único binario a partir de seis archivos C con dependencias mínimas.

Su objetivo es demostrar que un modelo de lenguaje masivo puede ejecutarse en hardware de consumo, desafiando la necesidad de clústeres con GPUs.

El truco: streaming desde el disco

La clave es la arquitectura de expertos (MoE) de Kimi K3. Tiene 93 capas y 896 expertos, activando 16 por token: unos 104 mil millones de parámetros activos de los 2.78 billones.

El motor no carga los 1.56 TB de pesos en memoria. Mantiene una parte densa en RAM y transmite los expertos activos desde el SSD NVMe en cada paso, bajando el uso a 8.24 GB.

El requisito crítico: disco y velocidad

El requisito más crítico no es la RAM, sino el almacenamiento. Se necesita un SSD NVMe rápido con 1.56 TB libres. Un HDD lo haría imposible: hay que leer unos 135 GB por token.

Con 8 GB, la generación es de unos 32.7 segundos por token. Una respuesta corta puede tardar varios minutos. La velocidad es el principal obstáculo práctico.

Rendimiento según la RAM

El rendimiento mejora drásticamente con más memoria. Con 32 GB, el tiempo por token baja a 24.2 segundos. Con 64 GB, a 19.8 segundos.

Con 128 GB o más, el tiempo cae a 5.6 segundos y el modelo cabe en memoria. La salida es byte-idéntica; solo cambia la velocidad.

Disponibilidad y plataformas

El motor es de código abierto y está en GitHub. La plataforma de referencia es Linux x86-64; también compila en macOS/arm64.

El soporte nativo para Windows llegó en agosto de 2026 vía MinGW-w64/MSYS2, sin WSL. Antes de ejecutarlo hay que descargar unos 1.56 TB de pesos desde Hugging Face.

Un experimento, no una herramienta diaria

El proyecto es una demostración técnica de optimización de software. El autor lo presenta como prueba de concepto: funciona, pero las limitaciones lo hacen poco práctico.

El valor está en demostrar que, con suficiente ingeniería, incluso los modelos más grandes pueden ejecutarse en hardware modesto. No es una alternativa diaria, sino un experimento para entusiastas.