El desarrollador FareedKhan se propuso recientemente ejecutar el formidable modelo Kimi K3 en hardware de consumo. Normalmente, ejecutar un modelo de esta magnitud localmente resulta completamente imposible para dispositivos estándar. Sin embargo, el desarrollador diseñó un motor de inferencia C99 puro para lograr la ejecución local. En su máximo rendimiento, el sistema procesa la salida a 20 segundos por token. Por el contrario, con una memoria restringida de 8 GB, la velocidad se reduce a 33 segundos por token.
El pilar central de este proyecto consiste en ejecutar la inferencia para Kimi K3 en una sola CPU y 8 GB de RAM. Fundamentalmente, el sistema funciona sin depender de GPU, marcos de aprendizaje profundo ni bibliotecas BLAS. Si bien el proyecto no busca una implementación práctica de alta velocidad, cumple un propósito fundamental. Ilumina la arquitectura Mixture-of-Experts (MoE) de Kimi K3 y demuestra la viabilidad de ejecutar modelos masivos en dispositivos con memoria limitada.
La firma de investigación de seguridad LucidBit ha descubierto una vulnerabilidad crítica de uso de memoria liberada (UAF, por sus siglas en inglés) en el subsi...
Leer artículo →Investigadores de ciberseguridad han descubierto un conjunto de paquetes npm maliciosos diseñados para distribuir un troyano de acceso remoto (RAT) basado en Wi...
Leer artículo →Cada arma comienza como una extensión de la mano que la empuña. La lanza alargaba el alcance del brazo. El arco lanzaba la punta sin necesidad de un lanzamiento...
Leer artículo →