Aplicación de escritorio para Windows
La forma más completa de medir el rendimiento y la capacidad de tus LLMs locales
GpuLLM es una aplicación gratis para Windows con la que puedes evaluar a fondo LLMs locales, midiendo tanto la velocidad de inferencia (tokens/s, latencia) como la capacidad del modelo (precisión MMLU, C-Eval). Todo es 100 % sin conexión: chat, benchmarks, monitorización de GPU y gestión de modelos; lo único que toca internet es la descarga de los modelos. Encuentra en minutos, no en horas, la combinación ideal de modelo y hardware. Sin dependencia de la nube, sin claves de API y sin que tus datos salgan del equipo.
💻Windows 10 / 11🔒100% Offline🌐11 Languages⚡CUDA / Vulkan / CPU