Latenz

Zeit zwischen Anfrage und Antwort. Bei einem Chatbot zählt jede Sekunde, bei einem nächtlichen Batch-Job ist sie egal. Modellwahl und Architektur richten sich danach.

Definition

Zeit zwischen Anfrage und Antwort. Bei einem Chatbot zählt jede Sekunde, bei einem nächtlichen Batch-Job ist sie egal. Modellwahl und Architektur richten sich danach.

Vom Begriff zur AnwendungSo setzen wir KI-Modelle produktiv ein

Kurz beantwortet

Was ist Latenz?

Zeit zwischen Anfrage und Antwort. Bei einem Chatbot zählt jede Sekunde, bei einem nächtlichen Batch-Job ist sie egal. Modellwahl und Architektur richten sich danach.

Verwandte Begriffe

MultimodalEin Modell das nicht nur Text, sondern auch Bilder, PDFs oder Audio versteht.QuantisierungKomprimierung eines Modells, damit es weniger Speicher braucht und schneller läuft, auf Kosten minimaler Genauigkeit.Reasoning-ModellModell-Typ der vor der Antwort eine interne Zwischenüberlegung durchläuft.

Fazit von Marcel

Hinter Latenz steckt Technik, die Sie nicht selbst beherrschen müssen. Wichtig ist, dass jemand die richtigen Entscheide trifft. Genau dafür sind wir da.

Marcel Kaschner · Gründer ZAVION

Alle Begriffe

Vom Begriff zur Anwendung

Wo zahlt sich das in Ihrem Unternehmen aus?

Im kostenlosen Analysegespräch prüfen wir, welche dieser Bausteine in Ihren Prozessen echte Stunden sparen. 30 Minuten, konkrete Antworten, keine Verbindlichkeit.

Analysegespräch buchenKostenlos und unverbindlich

Ehrliche Analyse auf AugenhöheKonkrete Handlungsempfehlung100% vertraulich