Wissen · KI

Modell, Werkzeug, Betriebsort.

Drei Fragen helfen beim Einstieg: Was rechnet? Womit läuft es? Und wohin gehen die Daten?

Wo und mit wem eine KI rechnet

Dieser Beitrag wurde mit künstlicher Intelligenz erstellt.

Ein Downloadlink allein sagt nicht, wo eine KI später rechnet. Bei lokaler Inferenz läuft die Modellberechnung auf dem eigenen Gerät. Bei einem eigenen Server spricht eine Anwendung einen selbst verwalteten Rechner an. Ein Cloudangebot führt die Berechnung beim Anbieter aus. Auch eine lokal installierte Bedienoberfläche kann dafür einen entfernten Dienst verwenden. Zusätzliche Werkzeuge haben eigene Datenwege: LM Studio unterstützt beispielsweise lokale und entfernte MCP-Erweiterungen, die Dateien und Netzwerkverbindungen nutzen können. Lokal berechnete Modellantworten bedeuten deshalb nicht automatisch, dass auch alle angeschlossenen Werkzeuge ohne externe Verbindung arbeiten.

Auch regionale Cloudangebote brauchen eine genaue Abgrenzung: Mistral unterscheidet den Ort der Modellberechnung von Konto-, Abrechnungs- und Betriebsdaten, die außerhalb der gewählten Verarbeitungsregion liegen können. Die Region der Berechnung und die Aufbewahrung von Ein- und Ausgaben sind ebenfalls getrennte Einstellungen.

Davon getrennt ist die Frage, ob mehrere Geräte zusammenarbeiten. Ein Cluster im eigenen Netz verteilt Arbeit zwischen Rechnern; er ist dadurch noch kein öffentliches dezentrales Netz. Bei llama.cpp beschreibt der RPC-Ansatz beispielsweise einen Haupthost mit entfernten Rechengeräten. Die Projektdokumentation kennzeichnet diesen Ansatz ausdrücklich als empfindlichen Entwicklungsstand und warnt vor offenen Netzen und sensiblen Umgebungen.

Auch mehrere Grafikkarten bedeuten noch nicht mehrere Rechner: vLLM unterscheidet ausdrücklich zwischen mehreren GPUs in einem Rechner und einer Verteilung über mehrere Rechner. Für Letztere beschreibt das Projekt abgestimmte Softwareumgebungen und eine geschützte interne Kommunikation. Das ist ein selbst verwalteter Verbund, keine Zusage eines öffentlichen Netzes fremder Teilnehmer.

Noch eine Sprachfalle: Die Mistral-Audiodokumentation verwendet offline für eine bereits vollständig vorliegende Eingabe, die an eine API gesendet wird. Gemeint ist dort die Abgrenzung zur laufenden Echtzeiteingabe. Daraus folgt kein Betrieb ohne Internet.

Für die Auswahl helfen daher vier getrennte Angaben: Wo wird gerechnet? Wer betreibt die beteiligten Geräte? Welche Daten verlassen den eigenen Rechner? Welche Teile brauchen nach der Einrichtung weiterhin Netzverbindungen? Erst danach lassen sich Lizenz und Hardware sinnvoll vergleichen.

Quellen: Ollama Cloud, Mistral: Grenzen regionaler Verarbeitung, LMStudio ohne Internet, LMStudio: zusätzliche Werkzeuge, llama.cpp RPC-Dokumentation, Mistral: offline und realtime, vLLM: Parallelisierung und mehrere Rechner.

Hintergrund · Betriebsort und Verteilung getrennt prüfen · Redaktioneller Prüfstand: 26. Oktober 2026.

Kontakt per E-Mail · Formular nicht aktiv

Modell und Laufzeit

Das Modell enthält unter anderem gelernte Parameter. Die Laufzeit lädt ein unterstütztes Modell und führt Berechnungen aus. Ollama, LM Studio und llama.cpp sind Werkzeuge, keine Bezeichnung für ein einziges Modell. Ein Originalmodell, eine nachtrainierte Variante und eine von Dritten quantisierte Datei haben unterschiedliche Herausgeber. Deshalb führen unsere Bezugslinks zum konkreten Projekt oder Originalmodell und nennen die jeweilige Lizenz.

Quellen: Modellkarten, llama.cpp.

RAM, Grafikspeicher und Kontext

RAM ist Arbeitsspeicher des Rechners, VRAM der Speicher einer Grafikkarte. Je nach Laufzeit und Konfiguration kann ein Modell auf CPU, GPU oder teilweise auf beiden liegen. Neben den Gewichten brauchen laufende Berechnungen und der Gesprächskontext Speicher. Deshalb beschreibt eine Downloadgröße allein nicht den gesamten Bedarf. Eine allgemeine Aussage wie „jede lokale KI benötigt dieselbe VRAMmenge“ wäre irreführend.

Quellen: Ollama FAQ, LM Studio Anforderungen.

Quantisierung und Dateiformat

Quantisierung stellt Modellwerte mit geringerer Genauigkeit dar. Das kann den Speicherbedarf senken, verändert aber die numerische Darstellung; Qualität und Geschwindigkeit müssen für den konkreten Einsatz geprüft werden. GGUF oder Safetensors bezeichnen Formate, keine Qualitätsstufe oder Nutzungserlaubnis. Prüfe Modellname, Herausgeber, Umwandlung, Laufzeitunterstützung und Lizenz zusammen.

Quelle: llama.cpp. Keine konkrete Quantisierung wurde hier getestet.

Ein Modellformat ersetzt keine Herkunftsprüfung

Dieser Beitrag wurde mit künstlicher Intelligenz erstellt.

Bei einem KI-Download gehören Modellgewichte, Konfiguration und gegebenenfalls zusätzlicher Programmcode zusammen. Das Dateiformat allein beantwortet deshalb nicht, was eine Anwendung später ausführt. Hugging Face beschreibt Safetensors als Format für Modellwerte, das eine wichtige Fehlerquelle des Pickle-Formats vermeidet. Daraus folgt keine Prüfung des ganzen Installationspakets.

Ein zusätzlicher Vertrauensschritt entsteht bei Modellen mit eigenem Pythoncode: Transformers beschreibt dafür die Option trust_remote_code. Wer sie aktiviert, ermöglicht damit das Laden und Ausführen zusätzlichen Modellcodes. Die Dokumentation empfiehlt, den Code auf eine vollständige Commitkennung festzulegen, damit nicht unbemerkt später geänderter Code geladen wird. Branch- und Tagnamen sind davon zu unterscheiden. Auch eine feste Commitkennung belegt noch nicht, dass der festgelegte Code geprüft oder ungefährlich ist. Ein unauffälliger Plattformscan ist ebenfalls keine vollständige Sicherheitsabnahme; der Plattformbetreiber nennt selbst Grenzen seiner Prüfungen.

Vor einem Download helfen deshalb fünf zusammengehörige Angaben: Hersteller beziehungsweise Herausgeber, genaue Variante, nachvollziehbarer Dateistand, Modelllizenz und benötigte Laufzeit. Ein automatisch eingeblendetes Startbeispiel ist noch kein Funktionsnachweis. Vor dem tatsächlichen Einsatz müssen die benötigte Software und ihre Berechtigungen zur eigenen Umgebung passen.

Das betrifft auch deutsche Nutzer, die eine KI nur für ihre eigenen Dokumente einsetzen möchten: Lokal beschreibt den Ort der Verarbeitung. Es sagt allein nichts über die Herkunft des geladenen Codes oder über zusätzliche Verbindungen einer Anwendung aus.

Quellen: Safetensors-Dokumentation, Transformers: Laden eigenen Modellcodes und Revisionsbindung, vollständige Commitkennung beim Bezug, Grenzen der Plattformprüfung. Allgemeiner Hintergrund, keine Prüfung einer konkreten heruntergeladenen Datei.

Hintergrund · Herkunft, Format und Revision · Redaktioneller Prüfstand: 26. Oktober 2026.

Kontakt per E-Mail · Formular nicht aktiv

Welche Lizenz gilt?

Offen verfügbare Gewichte sind nicht automatisch quelloffene Software. Kostenloser Bezug garantiert keine Erlaubnis für jede Weitergabe oder geschäftliche Nutzung. Werkzeug, Modell und Dienst können unterschiedliche Bedingungen haben. Unser kleines Register nennt deshalb die konkrete Lizenzseite je Eintrag. Ein MIT-lizenziertes Werkzeug macht ein damit geladenes Modell nicht MIT-lizenziert; Marken- und weitere Rechte bleiben zusätzlich zu prüfen.

Quellen: Ollama Lizenz, LM Studio Bedingungen, Qwen Modelllizenz.

Privatheit und verteilte Verarbeitung

Lokal ausgeführte Berechnung kann Daten auf dem Gerät halten. Ein verbundenes Cloudmodell, eine Erweiterung oder ein externer Dienst hat einen eigenen Datenweg. Bei verteilter Inferenz ist zu klären, wer die beteiligten Rechner betreibt und welche Daten sie erhalten. Der aktuelle llama.cpp-RPC-Hinweis warnt ausdrücklich vor seinem Prototypstatus und offenen Netzen. Das ist kein hier geprüfter sicherer Verbundbetrieb.

Quellen: LM Studio offline, RPC-Hinweis.

Gemeinsam rechnen heißt auch: gemeinsam vertrauen

Dieser Beitrag wurde mit künstlicher Intelligenz erstellt.

Petals beschreibt einen Ansatz, bei dem mehrere Teilnehmer unterschiedliche Schichten eines großen Sprachmodells bereitstellen. Das ist ein Beispiel für kollaborative Inferenz über Rechnergrenzen hinweg. Es unterscheidet sich sowohl von einem einzelnen lokalen Modell als auch von einem eigenen Cluster mit ausschließlich selbst verwalteten Rechnern.

Bei einem öffentlichen Swarm, also einer Gruppe gemeinsam rechnender Teilnehmer, helfen fremde Rechner bei der Verarbeitung. Das Projekt weist darauf hin, dass beteiligte Betreiber Eingaben oder Ausgaben unter Umständen rekonstruieren oder Ergebnisse beeinflussen können. Das Übertragen von Zwischenwerten statt lesbarem Text ist deshalb keine Vertraulichkeitsgarantie.

Eine eigene private Gruppe kann die beteiligten Betreiber begrenzen. Trotzdem müssen ausreichend Ressourcen für das vollständige Modell und seine laufende Verarbeitung vorhanden sein. Die Lizenz der Verteilsoftware ersetzt außerdem nicht die Bedingungen des verwendeten Modells.

Für deutsche Nutzer mit persönlichen Dokumenten ist vor allem diese Vertrauensfrage relevant. Die Forschungsarbeit in der Fassung vom März 2023 und die älteren Projektanleitungen erklären das Prinzip. Sie belegen keinen heute verfügbaren öffentlichen Dienst oder eine zugesicherte Geschwindigkeit.

Quellen: Petals-Projekt, Datenschutz und Grenzen, private Gruppe, Softwarelizenz, Forschungsarbeit, Fassung 2023. Die Wiki-Anleitungen stammen aus 2022/2023; ein aktueller Betrieb wurde nicht getestet.

Historischer Hintergrund · Forschungsarbeit März 2023, Wiki 2022/2023 · Redaktioneller Prüfstand: 26. Oktober 2026.

Kontakt per E-Mail · Formular nicht aktiv

Ein eigener KI-Server braucht eine klare Zugangsgrenze

Dieser Beitrag wurde mit künstlicher Intelligenz erstellt.

Eine KI auf dem eigenen Server kann die Verarbeitung unter eigene Kontrolle bringen. Die Bedienoberfläche, das Modell und die erreichbare Schnittstelle sind dabei getrennte Bestandteile. Ein Dienst, den nur Programme auf demselben Rechner erreichen, hat eine andere Zugangsgrenze als ein Dienst im Heimnetz oder im Internet.

Die Dokumentation von llama.cpp macht diesen Unterschied konkret: Der HTTP-Server lauscht standardmäßig an der lokalen Rechneradresse. Eine API-Schlüsselprüfung ist eine eigene Einstellung. Der dokumentierte Gesundheitsendpunkt bleibt ohne Schlüssel erreichbar. Ein gesetzter Schlüssel bedeutet daher nicht automatisch, dass jede Schnittstelle dieselbe Prüfung verwendet. CORS-Regeln steuern, ob eine Webseite im Browser Antworten eines anderen Ursprungs lesen darf. Sie verhindern nicht grundsätzlich, dass eine Anfrage den Server erreicht, und ersetzen keine Prüfung, wer den Dienst benutzen darf.

Auch bei LM Studio ist eine lokale Serverfunktion nicht automatisch eine Anmeldung: Die Dokumentation beschreibt API-Token ab Version 0.4.0 und nennt Anfragen ohne verpflichtende Authentifizierung als Standardeinstellung. Die Prüfung muss gesondert aktiviert sein. Die konkrete Umsetzung und die Ausnahmen einer anderen Laufzeit lassen sich daraus nicht ableiten.

Für private Dokumente und einen späteren Zugriff von mehreren Geräten sollte deshalb vorab geklärt sein, wer den Dienst erreichen darf, wo Daten und Protokolle bleiben und welche Zusatzfunktionen Werkzeuge aufrufen können. Das ist besonders bei Agenten relevant, die mehr als Textantworten liefern. Die llama.cpp-Dokumentation kennzeichnet entsprechende Werkzeugfunktionen als experimentell und ungeeignet für nicht vertrauenswürdige Umgebungen.

Quellen: llama.cpp: HTTP-Server und Zugriffsoptionen, MDN: Browserfreigabe und einfache Anfragen, LM Studio: API-Authentifizierung. Hintergrund zur Auswahl, keine Einrichtungsanleitung oder Betriebsabnahme.

Hintergrund · Dokumentationsstand 26. Oktober 2026 · Redaktioneller Prüfstand: 26. Oktober 2026.

Kontakt per E-Mail · Formular nicht aktiv

Die verlinkten Modelle sind eine kleine belegte Auswahl, keine Rangliste und keine Behauptung über die neuesten oder besten Modelle. Herstellerbenchmarks bleiben Herstellerangaben. Eigene Ergebnisse würden Datensatz, Modellrevision, Quantisierung, Laufzeit, Hardware und Messverfahren benötigen.

Lokal/eigener Betrieb und verteilt/dezentral sind getrennte Merkmale. Fehlende Belege bleiben unbekannt. Ein Modellartefakt bestimmt den Betriebsort nicht allein.

Zur Wissensübersicht