Der Trainingsprozess großer Modelle erscheint zunehmend im öffentlichen Blickfeld.
Zuvor hatte Luo Fuli, Leiterin von Xiaomi MiMo, die Trainingsfortschritte in der Verstärkungslernphase von MiMo-V2.6 veröffentlicht und der Außenwelt konkrete Details des Trainings großer Modelle gezeigt.
Nun gibt es auch im Bereich Physical AI einen ähnlichen Versuch.
Am 21. Oktober hat das Weltmodell-Team von Shengshu Technology offiziell einen öffentlichen Livestream zum gesamten Trainingsprozess von Motubrain 2.0 gestartet, der einen halben Monat dauern soll und der Öffentlichkeit den Trainingsprozess sowie die Forschungsfortschritte des Embodied-Modells zeigen wird.
Dieser Livestream widmet sich einer Frage: Wie lässt sich Physical AI tatsächlich verwirklichen?
Physical AI, also physische Künstliche Intelligenz, soll KI ermöglichen, die physische Umgebung zu verstehen und durch Roboter tatsächliche Aufgaben zu erledigen. Im Vergleich zu großen Sprachmodellen muss Physical AI zudem Probleme wie Aktionsentscheidungen, Aufgabenausführung und übergreifende Szenarien-Verallgemeinerung lösen.
Die Motubrain-Reihe ist ein von Shengshu Technology entwickeltes Embodied-Modell, das darauf abzielt, ein „Hirn“ mit allgemeinen Fähigkeiten für Roboter zu entwickeln und die Verallgemeinerung von Fähigkeiten über verschiedene Aufgaben, Szenarien und Roboterplattformen hinweg zu erforschen.
Motubrain 2.0 wird in Kürze als Open Source veröffentlicht. Vor der offiziellen Open-Source-Freigabe entschied sich das Team dafür, zunächst den gesamten Trainingsprozess öffentlich zu machen, um der Außenwelt den Weg dieses Modells vom Training über Tests bis zur Iteration der Fähigkeiten zu zeigen.
Diese öffentliche Trainingsveranstaltung umfasst vier Phasen:
1. Pre-Training: Beobachtung, wie sich die Trainingsgröße auf die Modellleistung und die Zero-Shot-Verallgemeinerungsfähigkeit auswirkt.
2. Post-Training: Weiteres Training auf bestimmte Aufgaben hin, um die Aufgabenausführungsfähigkeit zu verbessern.
3. Agent-Aufgabenausführung: Erforschung, ob das Modell vorhandene Erfahrungen auf andere Aufgaben übertragen kann.
4. RSI (Rekursive Selbstverbesserung)-Erforschung: Untersuchung, ob das Modell seine eigenen Handlungen anhand von Ausführungsfeedback bewerten und verbessern kann.
Das Besondere an diesem Livestream ist der Versuch, die „Blackbox“ des Trainings von Embodied-Modellen zu öffnen.
Bisher erfuhr die Öffentlichkeit von den technischen Fortschritten der Embodied Intelligence hauptsächlich durch Roboter-Demos, Bewertungsergebnisse und Publikationen. Welches Training ein Modell durchlaufen hat und wie sich die Fähigkeiten in den verschiedenen Phasen veränderten, war meist schwer direkt zu beobachten.
Motubrain 2.0 entschied sich, den gesamten Prozess vom Training über Tests bis zur Iteration der Fähigkeiten öffentlich zu machen, um der Außenwelt zu zeigen, wie das Modell schrittweise Fähigkeiten entwickelt – aber auch, um Fehler, Versuche und Anpassungen während des Trainings sichtbar zu machen.
Für die Branche der Embodied Intelligence macht ein solcher Ansatz den Entwicklungsprozess von Modellen transparenter. Forscher und Entwickler sehen nicht nur das Endergebnis, sondern können auch die konkreten Probleme während des Trainings nachvollziehen sowie wie das Team durch Experimente und Feedback das Modell kontinuierlich verbessert.
Gleichzeitig hofft das Team, im Rahmen dieses Livestreams Erfahrungen, Probleme und Überlegungen aus der Forschung mit Fachkollegen zu teilen und gemeinsam zentrale Fragen wie skalierbares Training, übergreifende Aufgaben-Verallgemeinerung und autonome Verbesserung zu erörtern, um mehr Referenzpunkte für die Erforschung von Umsetzungsparadigmen für Physical AI zu bieten.
Natürlich befindet sich die entsprechende Forschung noch in einem explorativen Stadium; die konkreten Ergebnisse müssen noch durch weitere Experimente und Bewertungen validiert werden. Im Vergleich dazu, nur zu zeigen, was der Roboter letztlich kann, hat die Offenlegung, wie das Modell trainiert und wie sich seine Fähigkeiten herausbilden, ebenfalls Forschungswert.
Livestream-Zugang: www.motubrain.com/motubrain2.0-live
Offizielle Website: www.motubrain.com