ZurĂĽck zu allen Ausgaben
Tutorials
Lokale LLMs: So betreiben Sie KI ohne Cloud
Datenschutz-sensible Projekte erfordern lokale KI. Wir zeigen, welche Modelle auf Consumer-Hardware laufen und wie Sie starten.
Nicht jede KI-Anwendung kann Daten in die Cloud schicken. Für sensible Anwendungen gibt es leistungsfähige lokale Alternativen.
Empfohlene Modelle
- Llama 3.1 8B: Metas Flaggschiff fĂĽr Consumer-Hardware
- Mistral 7B: Kompakt und schnell, ideal fĂĽr Coding
- Phi-3: Microsofts kleines Wunder (3.8B Parameter)
- Qwen2: Starkes multilinguales Modell aus China
Hardware-Anforderungen
Für 7B-Modelle reichen 16GB RAM und eine GPU mit 8GB VRAM. Quantisierte Versionen (4-bit) laufen sogar auf älteren MacBooks mit 8GB RAM.
Software-Tools
- Ollama: Der einfachste Einstieg – ein Befehl, fertig
- LM Studio: GUI fĂĽr Windows/Mac mit Chat-Interface
- Text Generation WebUI: Mächtig, aber komplex
Performance-Tipps
Nutzen Sie GGUF-quantisierte Modelle fĂĽr CPU/Apple Silicon. Mit Metal oder CUDA kann die Inferenz 10x schneller sein als auf der CPU.
Gefällt dir dieser Artikel?
Abonniere KI Weekly und erhalte jeden Montag die wichtigsten KI-News.
