Zwei Tests adressieren unterschiedliche Problemstellungen
Der OpenAI-Bericht vom 19. Oktober trennt die Erstellung von Software von deren Migration. MultiLangBench verlangt von den Modellen die Implementierung einer SQLite-kompatiblen Datenbank-Engine in 20 Sprachen. Eine zweite Evaluierung migriert COBOL-Programme in andere Sprachen, während deren beobachtbares Verhalten beibehalten wird. Das Bestehen einer Aufgabenart garantiert keinen Erfolg bei der anderen.
Die berichteten Leistungssteigerungen
OpenAI berichtet von einer durchschnittlichen MultiLangBench-Bestehensquote von 87,4 % für GPT-6 Astra bei maximalem Reasoning-Aufwand. Die Ergebnisse variieren je nach Sprache: COBOL erreicht 72,1 %, während Fortran 83,5 % erreicht. In der separaten Migrations-Evaluierung erzielt GPT-6.1 Sol eine Genauigkeit von 86,6 % bei geringem Reasoning-Aufwand und 97,9 % bei höherem Aufwand.
Lauffähiger Code reicht nicht aus
OpenAI hebt die Behandlung von Nachkommastellen als Migrationsrisiko hervor: Eine Änderung der Art und Weise, wie COBOL überschüssige Dezimalstellen behandelt, kann Finanzdaten verändern, selbst wenn ein neu geschriebener Code erfolgreich ausgeführt wird. Der Migrations-Test setzt daher voraus, dass alle verborgenen Tests mit identischem beobachtbarem Ergebnis bestanden werden. Produktionsmigrationen erfordern weiterhin die Überprüfung durch Experten sowie Abgleiche mit den eigenen Geschäftsregeln und Abhängigkeiten.
Grenzen der Aussagekraft
Hierbei handelt es sich um vom Anbieter durchgeführte Evaluierungen, nicht um ein unabhängiges Audit einer Produktionsmigration. Sie belegen nicht, dass Altsysteme ohne fachkundige Aufsicht ersetzt werden können.