Ein alter PC — überraschend leistungsfähig
Der eingesetzte Rechner ist ein echtes Relikt aus 1998 und lief mit Windows 98. Als Herzstück diente ein Pentium II mit nur 350 MHz Taktfrequenz. Man würde meinen, so eine Kiste sei längst überholt, doch das Experiment zeigt etwas anderes: Mit den vorhandenen 128 MB RAM lief ein Sprachmodell namens LLama2.c und lieferte erstaunliche Ergebnisse.
Die Maschine konnte 39,31 Tokens pro Sekunde erzeugen (Tokens sind kleine Textbausteine, die Sprachmodelle verarbeiten). Wenn man das Modell aber auf 1 Milliarde Parameter vergrößert (Parameter = die intern gelernten Zahlen des Modells), bricht die Geschwindigkeit auf nur noch 0,0093 Tokens pro Sekunde zusammen. Solche Einbußen machen den Betrieb sehr großer Modelle praktisch unmöglich. Trotzdem beweist der Versuch, dass durch clevere Softwareoptimierung viel erreicht werden kann.
Mehr Zugang, aber technische Hürden
Für EXO Labs liegt ein großer Vorteil darin, die Hardwareanforderungen zu senken: Das könnte KI für deutlich günstigere und weniger energiehungrige Geräte zugänglich machen. Die Organisation will durch Optimierungen sowohl das Modelltraining vereinfachen als auch die lokale Ausführung von Anfragen ermöglichen, ohne auf große Remote-Server angewiesen zu sein.
„Während die Qualität des generierten Textes keinen Literaturpreis gewinnen würde,“ merken die Forschenden an, „zeigt er doch eine gewisse syntaktische Kohärenz.“ Das öffnet die Tür dafür, smarte Funktionen in Alltagsgegenstände einzubauen, ohne dass die Kosten oder der Energieverbrauch stark steigen müssen.
Beispiele und wirtschaftliche Aspekte
Ein von der Maschine erzeugter Text zeigt, was das Modell kann: “Sleepy Joe sagte: ‘Hallo, Spot. Willst du mit mir Acht geben?'” Inhaltlich wirkt das Ergebnis teils absurd, technisch ist es aber interessant, gerade wenn man die begrenzten Ressourcen bedenkt.
Im Vergleich dazu steht die moderne Hardware großer Anbieter wie Nvidia. Produkte wie das Blackwell B200, das zwischen 27.600 und 36.800 EUR kostet, machen deutlich, wie ungleich die Verfügbarkeit von Technik sein kann.
Das Experiment macht klar, dass Innovation nicht zwingend von teurer High-End-Hardware abhängt. Mit durchdachter Softwareoptimierung lassen sich auch mit begrenzten Mitteln effiziente Lösungen bauen.
Fazit
Das ungewöhnliche Experiment von EXO Labs stellt unsere Annahmen über notwendige technische Voraussetzungen in Frage. Es zeigt, dass selbst einfache Hardware verblüffend brauchbare Ergebnisse liefern kann. Diese Erkenntnisse sind nicht nur technologisch spannend, sie betreffen auch die zukünftige Zugänglichkeit von Künstlicher Intelligenz. Angesichts der sich bietenden Möglichkeiten bleibt die Frage, wie diese Technologie künftig genutzt werden kann. Bis dahin bleibt das Experiment ein Ausdruck technischer Neugier und Kreativität.
