Quelle: Fraunhofer IPA/Foto: Rainer Bez
Künstliche Intelligenz (KI) kommt zunehmend in Produktion und Robotik an. Neue KI-Modelle und Simulationsmöglichkeiten, die die Firma Nvidia Anfang Januar in einer Keynote auf der CES vorstellte, könnten wichtige Impulse geben. Drei Forscher vom Fraunhofer IPA ordnen das Gesagte ein und sehen darin eine Chance für die deutsche Wirtschaft.
Nvidia, einer der zentralen Akteure rund um KI, unterstützt sowohl auf Software- als auch Hardwareseite mit seinen Architekturen rechen- und datenintensive KI-Arbeiten. Als einer der größten Anbieter von Rechenleistung sowie durch die Kooperationen mit den größten Forschungsinstituten, Universitäten und Unternehmen finden Nvidias Ankündigungen auch in weiten Teilen der Industrie viel Beachtung. CEO Jensen Huang stellte auf der Consumer Electronics Show CES neue Werkzeuge vor, mit denen intelligente Roboter gebaut, simuliert und eingesetzt werden können.
Gerade für den Robotik- und Hochlohnstandort Deutschland stellen sich folgende Fragen: Was bedeuten die Entwicklungen von Nvidia für die deutsche Industrie und Robotik? Was kann von diesen Ankündigungen erwartet werden und welche Potenziale für Industrieunternehmen lassen sich ableiten?
Was wurde vorgestellt?
In der im Internet verfügbaren Keynote zeigt Jensen Huang die drei aus Nvidia-Sicht wesentlichen Arten von Computersystemen für intelligente Robotik auf:
- DGX: Leistungsstarke Rechenzentren für umfangreiche KI-Trainings und Arbeitslasten;
- AGX: Computer, die direkt auf Robotern laufen;
- Omniverse + Cosmos und Isaac GR00T: Eine realistische virtuelle Weltsimulation, ein World Foundation Model für digitale Zwillinge sowie ein Robot Foundation Model.
Neben Neuigkeiten zu leistungsstarken Computern haben insbesondere die Kombination aus Omniverse und Cosmos in Verbindung mit dem ebenfalls vorgestellten Robot Foundation Model Isaac GR00T in der Robotik-Szene für Aufsehen gesorgt.
Nvidia Omniverse ist bereits seit einigen Jahren fester Bestandteil vieler Unternehmen, um 3D-Simulationen zu erstellen und diese beispielsweise für Maschinelles Lernen zu nutzen. Eine der Besonderheiten ist die integrierte Physik-Simulation. Sie ist für die Robotik sehr relevant, da sie die Interaktion von Gegenständen und deren physisches Verhalten simulieren kann. Neu hingegen ist die Vorstellung des World Foundation Models Cosmos. Es kann neben physikalischen Zusammenhängen auch Ursache-Wirkzusammenhänge verstehen. Laut eigenen Angaben wurde Cosmos dafür mit 20 Millionen Stunden Videomaterial trainiert. Ein Mensch hätte allein für das Konsumieren dieser Datenmenge seit etwa 250 vor Christus bis heute Videos schauen müssen.
Durch dieses immense Wissen ist es Cosmos möglich, Vorhersagen zu treffen oder verschiedene Ausprägungen aktueller Szenarien zu kennen. So »weiß« Cosmos beispielsweise, welche Auswirkungen Kollisionen zwischen sich bewegenden Robotern und Gegenständen haben können. Es versteht, wie Licht auf verschiedene Materialien und Oberflächen fällt oder wie die aktuelle Szene aussieht, wenn das Licht ausgeschaltet ist oder andere Wetterbedingungen wie Regen herrschen.
Eine weitere Ankündigung betraf zusätzliche Nvidia Blueprints, die im Kontext humanoider Roboter vorgestellt wurden. Das sind vorgefertigte Beispielanwendungen, die die Erstellung von digitalen Zwillingen, Datenerfassungspipelines, Videosuchwerkzeugen, Simulationsumgebungen und agentenbasierter KI optimieren. Dabei erregte insbesondere das Isaac GR00T-Framework Aufmerksamkeit für seine Teleoperations-, Steuerungs- und Trainingsfunktionen. Sie helfen vor allem bei der Entwicklung intelligenter Robotersteuerungen für die reale Welt. Jensen Huang wies auf eine Zusammenarbeit mit Kion und Accenture hin, bei der Roboter und Lieferketten in einem virtuellen Lager (Omniverse) simuliert werden. Damit unterstrich er die Tatsache, dass bereits ein großer Industriezweig aktiv in KI-gesteuerte Simulationen investiert.
Nvidia auf dem European Robotics Forum
Am 26. März 2025 um 10 Uhr wird Dieter Fox, Senior Director of Robotics Research bei Nvidia und Professor an der University of Washington, eine Keynote auf dem »European Robotics Forum« in der Stuttgarter Liederhalle halten. Alle Informationen zum Flaggschiff-Event der europäischen Robotik-Community, dem Programm und Anmeldemöglichkeiten finden Sie hier.
Was ist wirklich neu?
Bereits vor den angekündigten Software-Neuheiten von Nvidia auf der CES war die Wichtigkeit von Foundation Models für die Zukunft der Automatisierung und Robotik bekannt. Das zeigen unter anderem interne Studien des Fraunhofer IPA und bestehende Systeme (zum Beispiel das erwähnte GR00T von Nvidia, π0 von Physical Intelligence und RT-2 von Google). Robot Foundation Models konzentrieren sich auf die Aktionsgenerierung sowie das Verstehen von deren Folgen in realen Kontexten. Ähnlich wie große Sprachmodelle Texte generieren, vereinen Foundation Models Bildverarbeitung, Spracherkennung, Textverständnis und Steuerung in einem System. So wird es einfacher, dasselbe Modell an verschiedene Roboter anzupassen. Jedoch kann es kostspielig und aufwendig sein, reale Demonstrationsdaten in industriellen Kontexten zu erfassen. Deshalb setzen diese Modelle zunehmend auf Hybridsysteme, die reale Daten nutzen und sie mit Simulationsplattformen (zum Beispiel Nvidia Omniverse) kombinieren.
Weltmodelle wie Nvidias neu angekündigtes Cosmos gehen noch einen Schritt weiter. Durch die Möglichkeit, Ursache-Wirkzusammenhänge zu verstehen und mit physikalischen Zusammenhängen zu kombinieren, erweitern sich bestehende Möglichkeiten.
Völlig neu ist dies im Allgemeinen jedoch nicht. Es gab bereits viele frühe kommerzielle Anwender dieser Modelle. In den letzten Jahren hat beispielsweise Wayve sein Weltmodell GAIA für autonome Fahrzeuge vorgestellt. Es ist in der Lage, Fahrvideos zu erstellen. Gleiches gilt für das Waymo Foundation Model, das Trajektorien und zukünftige Zustände generieren, Fragen beantworten und Szenen interpretieren kann. Ein weiteres Beispiel ist das KI-Modell RFM-1 von Covariant, das die Folgen der Aktionen und Interaktionen von Industrieroboterarmen vorhersagt. Es ist zu erwarten, dass Anwender dieser Modelle bald auch in Bereichen wie Haushaltsanwendungen und Montage zunehmen werden.
Welche Potenziale bieten sich für die (deutsche) Industrie?
Die vorgestellten Nvidia-Neuigkeiten als Kombination von Foundation Models, die intelligente Aktionen generieren, mit Weltmodellen, die Konsequenzen vorhersehen, eröffnen der Industrie neue Wege. Beispielsweise im Kontext Automatisierung und Robotik sind positive Auswirkungen auf die Fertigung, Logistik und Montage absehbar: Roboter können tausende von Zukunftsszenarien vorhersagen, um zum Beispiel verschiedene Teile optimal zu greifen oder durch komplexe Produktionslinien mit minimalen Kollisionen zu navigieren. Die von Nvidia angekündigten Large Language Models (LLMs) namens Llama Nemotron nano, super und ultra erleichtern es dem Personal außerdem, Industriemaschinen Befehle in einfacher Sprache zu erteilen. Dies ermöglicht eine leichtere Einführung und damit Demokratisierung der Robotik ohne vertiefte Robotik-Kompetenzen, was insbesondere auch kleinen und mittleren Unternehmen in Deutschland effiziente Automatisierung ermöglichen kann. Außerdem können die Modelle besser verdeutlichen, warum sie einen Roboter so steuern, wie sie es tun. So wird die KI für das Personal nachvollziehbarer als bisher, was auch rechtlich, beispielsweise im Kontext des EU AI Acts, wichtig sein kann.
Obwohl diese Lösungen allmählich auf den Markt kommen, gibt es nach wie vor erhebliche Lücken bei der Bewältigung realer Gegebenheiten – insbesondere Reibung, Verschleiß und unerwartete Abweichungen sind als Herausforderungen zu nennen. Daher werden nach wie vor anwendungs- bzw. domänenspezifische Daten benötigt, die vielfach nicht frei über das Internet verfügbar oder schlicht nicht vorhanden sind. Deshalb ist es sehr wahrscheinlich, dass verstärkt auf Simulationsplattformen wie Omniverse und Cosmos sowie Ansätze zur Erfassung von Demonstrationsdaten (zum Beispiel Gello) zurückgegriffen wird, um diese »physische Lücke« zu schließen. Die Einrichtung dieser fortschrittlichen Tools erfordert zwar qualifiziertes Personal in Robotik, Simulation und KI. Doch die Kosten können für Unternehmen, die komplexe Logistik- oder Fertigungsaufgaben bewältigen, gerechtfertigt sein – insbesondere im Kontext von Robotik, Einzelhandel, Automobilindustrie und Lagerhaltung. In diesen Zusammenhang passt auch die deutsche Firma Wandelbots, die Entwicklungsteams in verschiedenen Phasen der Automatisierung mit ihrer Nova-Plattform unterstützt. Ihre Integration in Nvidia Omniverse/Isaac Sim erleichtert es, den digitalen Zwilling von Anwendungen in der virtuellen Welt zu simulieren, zu testen und zu optimieren sowie die reale Anwendung in der physischen Umgebung einzusetzen.
Auch wenn einige Unternehmen zögern, diese neuen Technologien sofort einzuführen, ist jetzt der ideale Zeitpunkt, um mit der Bewertung potenzieller Vorteile zu beginnen. Frühanwender können ihre Arbeitsabläufe und Datenpipelines optimieren und sich so einen erheblichen Wettbewerbsvorteil verschaffen. Für die deutsche Industrie, die mit hohen Arbeitskosten und dem Arbeitskräftemangel konfrontiert ist, bieten diese Innovationen die Chance, sich zu modernisieren und weltweit wettbewerbsfähig zu bleiben. Kurz gesagt: Während sich umfassende, physikbewusste KI-Lösungen noch in der Entwicklung befinden, erweisen sie sich in praktischen Szenarien bereits als wertvoll – die Frage ist also weniger, ob man sie implementieren sollte, sondern eher, wie schnell man mit dem Experimentieren beginnen sollte.
Fazit
Der große Vorteil der Ankündigungen von Nvidia für die deutsche Industrie und Robotik liegt im schnellen und einfacheren Erlernen und Optimieren von Fähigkeiten durch KI (durch 3D-Simulation in Kombination mit World und Robot Foundation Models), was Wettbewerbsvorteile bringt. Konkret lässt sich beispielsweise das Greifen von Bauteilen bei unterschiedlichsten Licht- und Umgebungsbedingungen mittels der vorgestellten Modelle erlernen und optimieren. Auch Fähigkeiten humanoider Roboter sind durch die neuen Werkzeuge sehr gut trainierbar, weil sich die physische Simulation und das Wissen des World Foundation Models kombinieren lassen. Obwohl diese Entwicklungen plötzlich und schnell erscheinen, sind sie das Ergebnis kumulativer Arbeiten. Auch die deutsche Forschung, beispielsweise durch das Fraunhofer IPA zu Foundation Models und Humanoiden, und Industrie leisten dazu einen wesentlichen Beitrag.
Es wird wichtig sein, die neuesten Möglichkeiten in Deutschland gezielt in die Praxis umzusetzen. Initiativen wie das neue Zentrum »KI-basierte Robotik« am Fraunhofer-Forschungs- und Innovationszentrum Heilbronn mit Unterstützung der Dieter Schwarz Stiftung sind notwendig und wichtige Anlaufstellen für Unternehmen. In diesem Zentrum konzentriert sich das Fraunhofer IPA darauf, die Bedürfnisse der Industrie durch leicht anpassbare, kostenoptimierte Robotik-Intelligenz zu erfüllen. In Zusammenarbeit von deutschen Unternehmen und Forschungseinrichtungen und mit den hier vorhandenen Möglichkeiten gilt es, die neuen Ankündigungen zu nutzen, um die Wettbewerbsfähigkeit Deutschlands als Wirtschaftsstandort wiederherzustellen. Dabei sollte das häufig in Deutschland vorhandene domänenspezifische Wissen als Alleinstellungsmerkmal eingesetzt und verwertet werden. Vor allem auch, um der immer noch vorhandenen Herausforderung sinnvoll zu begegnen, in Simulationen erlernte Fähigkeiten in die reale Welt zu übertragen.
Hinweis der Redaktion
Dieser Text ist in überarbeiteter Form zuerst am 17. Januar 2025 im »Handelsblatt« erschienen.
Ihre Ansprechpartner
Simon Schmidt
Geschäftsbereichsleiter Automatisierte Intralogistik-, Fertigungs- und Montagesysteme
Telefon: +49 172 5418428
Werner Kraus
Forschungsbereichsleiter Automatisierung und Robotik
Telefon: +49 711 970-1049
Cagatay Odabasi
Mitarbeiter des Forschungsteams Robotersicherheit und Cobots
Telefon: +49 711 970-1566