Die Transformer-Architektur ist die fundamentale Struktur moderner KI-Sprachmodelle. Sie wurde 2017 eingeführt und basiert auf einem Mechanismus namens „Attention“ (Aufmerksamkeit), der es dem Modell ermöglicht, verschiedene Teile eines Textes gleichzeitig zu analysieren und ihre Beziehungen zueinander zu verstehen.
Im Gegensatz zu älteren Ansätzen (wie rekurrenten neuronalen Netzen) verarbeitet ein Transformer alle Wörter eines Textes parallel statt sequenziell. Das macht ihn schneller und ermöglicht es ihm, lange Abhängigkeiten zwischen Wörtern zu erfassen – also zu verstehen, dass sich ein Pronomen auf ein Wort bezieht, das mehrere Sätze zuvor stand. Transformers bestehen aus mehreren Schichten, die den Text schrittweise abstrahieren und Bedeutung extrahieren.
Für Nutzer von KI-Systemen ist die Transformer-Architektur deshalb wichtig zu kennen, weil sie erklärt, warum moderne LLMs überraschend gute Ergebnisse liefern und wie ihre Stärken (Kontextverständnis) und Schwächen (gelegentliche Fehler bei Faktenchecks) entstehen. Wer KI strategisch nutzt, kann besser einschätzen, wofür diese Systeme geeignet sind.
