Local-First AI: LLM-Inference auf Proxmox mit AMD ROCm und 24 GB VRAM

Wed, 20 May 2026 01:04:00 +0200

Die Zeiten, in denen performante Inferenz von Large Language Models (LLMs) exklusiv in den gigantischen Cloud-Rechenzentren von OpenAI oder Google stattfand, sind vorbei. Mit dem rasanten Einzug von hochoptimierten Open-Weights-Modellen wie Codestral (22B) oder Llama 3 verschiebt sich das Paradigma unaufhaltsam in Richtung Local-First AI.

Die Motivation dahinter ist klar: Absolute Datensicherheit, null Latenz durch externe API-Abfragen und die vollständige Kontrolle über den eigenen Tech-Stack.

In diesem Architektur-Review betrachten wir den Aufbau meines lokalen AI-Sovereignty-Nodes auf Basis von Proxmox VE und moderner AMD-Hardware.

Der ultimative CLI-Workflow: tmux, Zsh und die Kunst der Automatisierung

Wed, 20 May 2026 00:45:00 +0200

Ein gut eingerichtetes Terminal ist kein Relikt aus den 80ern, sondern das schärfste Werkzeug eines modernen Entwicklers und Systemadministrators. Wenn Effizienz und Geschwindigkeit zählen, führt kein Weg an der Kommandozeile vorbei.

Das Dreigestirn: macOS, tmux und Zsh
#

Viele sehen in macOS nur das schicke Aqua-Interface. Für mich ist es vor allem ein zertifiziertes Unix-System. Gepaart mit tmux entfaltet sich die wahre Magie:

Posts on macdet.de

Local-First AI: LLM-Inference auf Proxmox mit AMD ROCm und 24 GB VRAM

Der ultimative CLI-Workflow: tmux, Zsh und die Kunst der Automatisierung

Das Dreigestirn: macOS, tmux und Zsh #

Das Dreigestirn: macOS, tmux und Zsh
#