Windows-Desktop-Anwendung
GpuLLM ist eine kostenlose Windows-Anwendung, mit der Sie lokale LLMs umfassend bewerten können — Sie messen sowohl die Inferenzgeschwindigkeit (Tokens/s, Latenz) als auch die Modellfähigkeiten (MMLU, C-Eval-Genauigkeit). Alles läuft 100% offline — Chat, Benchmark, GPU-Überwachung, Modellverwaltung — das Einzige, das das Internet berührt, ist das Herunterladen von Modellen. Finden Sie in Minuten statt Stunden Ihr ideales Modell-Hardware-Paar. Keine Cloud-Abhängigkeit, keine API-Schlüssel, keine Daten verlassen jemals Ihre Maschine.
GpuLLM ist die umfassendste kostenlose Windows-Suite für lokale LLM-Evaluation. Hier ist, was Sie bekommen — keine Abonnements, keine Paywalls.
Führen Sie GGUF-formatierte große Sprachmodelle direkt auf Ihrer GPU mit LLamaSharp und llama.cpp-Backend aus. Unterstützt CUDA, Vulkan und CPU-Fallback — wählt automatisch das beste verfügbare Backend.
Importieren Sie neben dem kurierten Katalog jedes GGUF-Formatmodell von Ihrer lokalen Festplatte. Verweisen Sie GpuLLM auf Ihre eigenen GGUF-Dateien und beginnen Sie sofort mit benutzerdefinierten oder Community-Modellen zu chatten — kein Cloud-Upload erforderlich.
Verfolgen Sie GPU-Auslastung, VRAM-Nutzung, Temperatur und Stromverbrauch in Echtzeit. Enthält 60-Sekunden-Sparkline-Historiendiagramme und Multi-GPU-Unterstützung mit automatischer Geräteerkennung.
Chatten Sie mit jedem Modell und messen Sie sofort die Tokenerstellungsgeschwindigkeit (Tokens/s), Time-to-First-Token und Gesamtlatenz Ihrer GPU. Der eingebaute Kostenschätzvergleich zeigt Ihre lokale Inferenz gegenüber Cloud-API-Preisen — und genau, wie viel Geld Sie durch lokales Ausführen sparen.
Durchsuchen Sie 13 kuratierte Modelle einschließlich Qwen2.5-Coder, DeepSeek-R1, Llama 3.2, Gemma 3 und Mistral. Filtern Sie nach Kategorie — Coding, Chat oder Reasoning — und prüfen Sie die VRAM-Kompatibilität mit einem Klick.
Laden Sie Modelle direkt vom HuggingFace Hub oder ModelScope herunter. Unterstützt fortsetzbare Downloads mit SHA-256-Überprüfung, Multi-Source-Fallback und Lizenz-Zustimmungsverwaltung.
Einen neuen Interaktionsmodus erfinden — Weisen Sie in einem einzigen Chat zwei LLMRollen zu: einen Antwortgeber, der Ihre Fragen beantwortet, und einen Gutachter, der die Antwort kritisch bewertet und verbert. Dieses LLM-as-a-Judge/Agentic-Debate-Muster aus der KI-Forschung ermöglicht es Ihnen, die Stärken zweier verschiedener Modelle gleichzeitig für hochwertigere, selbstkorrigierende Gespräche zu nutzen.
Prism Cat — ein lebendiger animierter Maskottchen, der auf Ihre GPU-Auslastungsgrade reagiert. Beobachten Sie den emotionalen Zustand und die Farbveränderung der Katze in Echtzeit, während Inferenz-Workloads zunehmen.
Benchmarking Ihrer Modelle mit umfassenden Fragesätzen: 100 englische Fragen (MMLU, aus 77 Fächern) und 100 chinesische Fragen (C-Eval), die 10+ Dimensionen abdecken: Mathematik, Physik, Chemie, Biologie, Informatik, Geschichte, Literatur, Wirtschaft, Philosophie und Geographie. Erhalten Sie Genauigkeit pro Kategorie, Schwierigkeitsanalyse und exportierbare Markdown-Berichte.
Jede Inferenz erzeugt einen detaillierten Bericht mit Backend-Kette, GPU-Spitzenmetriken und Tokendaten. Exportieren Sie vollständige Chat-Gespräche und Berichte als A4-PDF-Dokumente.
Die meisten Alternativen lassen Sie zwar mit Modellen chatten, messen aber nicht die Leistung, bewerten nicht die Genauigkeit und verfolgen nicht die GPU-Metriken. Sie raten nur, welches Modell am besten auf Ihrer Hardware funktioniert — und ob Sie im Vergleich zu Cloud-APIs tatsächlich Geld sparen.
Jeder Eintrag enthält das richtige HuggingFace-Repositorium, Quantisierung und Dateigröße — mit einem Klick herunterladen.
| Anzeigename | Entwickler | Kategorie | Größe | VRAM |
|---|---|---|---|---|
| Qwen2.5-Coder 3B | Alibaba | Coding | 1.9 GB | 8 GB |
| Qwen2.5-Coder 7B | Alibaba | Coding | 4.2 GB | 16 GB |
| DeepSeek-Coder V2 Lite | DeepSeek | Coding | 9.0 GB | 24 GB |
| Llama 3.2 1B Instruct | Meta | Chat | 0.7 GB | 4 GB |
| Llama 3.2 3B Instruct | Meta | Chat | 2.0 GB | 8 GB |
| Gemma 3 4B Instruct | Chat | 2.5 GB | 8 GB | |
| Mistral 7B Instruct | Mistral AI | Chat | 4.1 GB | 16 GB |
| Qwen2.5 7B Instruct | Alibaba | Chat | 4.7 GB | 8 GB |
| Qwen2.5 14B Instruct | Alibaba | Chat | 8.9 GB | 24 GB |
| DeepSeek-R1-Distill 1.5B | DeepSeek | Reasoning | 1.0 GB | 4 GB |
| DeepSeek-R1-Distill 7B | DeepSeek | Reasoning | 4.2 GB | 16 GB |
| DeepSeek-R1-Distill 14B | DeepSeek | Reasoning | 8.5 GB | 16 GB |
| DeepSeek-R1-Distill 32B | DeepSeek | Reasoning | 20 GB | 32 GB |
Hochleistungs-C++-Inferienzmotor mit verwalteten .NET-Bindungen — dieselbe Backend-Technologie, die zahllose lokale KI-Anwendungen weltweit antreibt.
Moderne Windows-Desktop-UI mit Fluent Design System-Komponenten. Dunkle/helle Theme-Unterstützung mit Glaseffekt-Materialien und flüssigen Animationen.
CUDA 12 → Vulkan → CPU automatische Fallback-Kette. Die App erkennt verfügbare Hardware und wählt das schnellste Backend ohne manuelle Konfiguration.
Alle Modellefernendendaten, Datenverarbeitung und Dateioperationen finden ausschließlich auf Ihrem lokalen Gerät statt. Keine Telemetrie, keine Cloud-Abhängigkeit, nach dem Herunterladen der Modelle keine Netzwerkverbindung erforderlich.
Tokens pro Sekunde misst, wie schnell ein Sprachmodell Text erzeugt. Höhere Tokens/s bedeutet responsivere Konversationen. GpuLLM misst sowohl Spitzen- als auch Durchsatzwerte, um ein vollständiges Bild Ihrer GPU-LLM-Leistung zu geben.
Time To First Token (TTFT) misst die Latenz zwischen dem Senden einer Eingabe und dem Empfang des ersten Wortes der Antwort. Niedrigere TTFT bedeutet schnellere Interaktionen. GpuLLM verfolgt TTFT, um die Reaktionsfähigkeit von Modellen zu vergleichen.
Massive Multitask Language Understanding (MMLU) ist ein Standardbenchmark, der Wissen in 57 Fächern testet. GpuLLM enthält 100 gesampelte Fragen, um das Wissensspektrum und die logischen Fähigkeiten Ihres Modells zu bewerten.
C-Eval ist eine chinesische Evaluierungssuite mit 52 Fachgebieten und vier Schwierigkeitsgraden. GpuLLM enthält 100 Fragen, um das chinesische Sprachverständnis und Fachwissen Ihres Modells zu testen.
GpuLLM ist eine Windows-Desktop-Anwendung. Alle Inferenz-, Benchmark- und Auswertungsarbeiten lokal auf Ihrem Gerät. Keine Modelldaten oder Chat-Inhalte werden jemals auf einen Server hochgeladen. Der Download-Link öffnet den Microsoft Store Ihres Standardbrowsers.
All tools on fastool.io run entirely in your browser — zero data leaves your device. No personal data is collected, stored, or transmitted to any server. Solar calculations use SunCalc.js; lunar data uses JPL DE440 ephemeris; coordinate transforms use publicly documented EPSG/OGC standards. This site requires no signup, no account, and no cloud processing.