Neue Forschungsergebnisse zeigen, dass KI-Modelle durch das Training mit Inhalten aus sozialen Medien irreversible kognitive Schäden erleiden können. Dieser Effekt wird als „LLM Brain Rot“ bezeichnet und führt zu einem Abbau der Denkfähigkeit.
Wissenschaftler der University of Texas at Austin, Texas A&M University und Purdue University haben herausgefunden, dass Large Language Models (LLMs) einen messbaren kognitiven Verfall erleiden, wenn sie mit viralen Social-Media-Daten trainiert werden. Die Forscher nennen dies „LLM Brain Rot“.
Das Forschungsteam erstellte Datensätze aus Twitter-Daten, darunter virale Posts und längere, faktische Texte. Open-Source-Modelle wie LLaMA und Qwen wurden mit diesen Datensätzen neu trainiert.
Die Modelle, die mit viralen Daten trainiert wurden, zeigten einen deutlichen Rückgang der Genauigkeit beim logischen Denken. Im ARC-Challenge Benchmark fiel die Genauigkeit von 74,9 auf 57,2 Prozent.
Die betroffenen Modelle begannen, Zwischenschritte im logischen Denken auszulassen, ein Phänomen, das die Forscher „Thought Skipping“ nennen. Die Antworten wurden kürzer und enthielten mehr Fehler.
Selbst nachträgliches Fine-Tuning mit sauberen Daten konnte die ursprüngliche Leistungsfähigkeit nicht wiederherstellen. Die Forscher führen dies auf eine „representational drift“ zurück.
Soziale Medien verstärken diesen Effekt, da Algorithmen Inhalte priorisieren, die Aufmerksamkeit erregen, was oft zu einer Verbreitung von Fehlinformationen führt. KI-Systeme, die auf diesen Daten trainiert werden, übernehmen ungewollt diese Verzerrungen.
Soziale Netzwerke werden mit billig generierten Inhalten geflutet („AI Slop“), was sowohl für Nutzer als auch für Content Creators problematisch sein kann.
Die Ergebnisse deuten darauf hin, dass die Qualität der Trainingsdaten für KI-Modelle entscheidend ist. Unkontrollierte Daten aus sozialen Medien können zu einer Verschlechterung der kognitiven Fähigkeiten von KI-Systemen führen.
