Benchmark bietet Entscheiderwissen rund um Humanoide Roboter. (Quelle: Fraunhofer IPA/Foto: Rainer Bez)
Humanoide Roboter: Standardisierte Analysen für anwendungsrelevante Kriterien
Um Humanoide Roboter in industriellen Anwendungen einsetzen zu können, müssen sie anwendungsrelevante Kriterien erfüllen. Das Fraunhofer IPA hat hierfür einen Benchmark entwickelt. Damit können Hersteller und Endanwender Humanoide hinsichtlich Fähigkeiten, Reinraumtauglichkeit, Datensicherheit und mehr von neutraler Stelle analysieren lassen.
In den letzten Jahren sind Humanoide Roboter in den Medien omnipräsent und sie faszinieren uns Menschen. Auf Social Media wie auch im öffentlichen Raum sind sie ein Garant für Aufmerksamkeit. Die Technologie schickt sich an, dort Aufgaben zu übernehmen, wo aufgrund des demografischen Wandels zukünftig keine menschlichen Arbeitskräfte mehr zur Verfügung stehen. Doch zwischen medialer Inszenierung und tatsächlichen Fähigkeiten besteht noch eine große Informationslücke. Während die Roboter in einzelnen, öffentlich nicht zugänglichen Pilotanwendungen getestet werden, bleiben für einen Großteil der potenziellen Anwender die Fragen bestehen, über welche Fähigkeiten die Roboter tatsächlich verfügen, wie zuverlässig diese arbeiten und inwieweit wir Menschen Humanoiden trauen können.
»Für Endanwender sowie Hersteller ist deshalb ein Blick hinter die mitunter von Marketingagenturen aufgebaute Fassade essenziell«, erklärt Simon Schmidt, Geschäftsbereichsleiter Automatisierte Systeme. »Der Markt ist zu volatil und intransparent, um Humanoide für eigene Anwendungen oder im Vergleich zu anderen Modellen fundiert einschätzen und verlässlich bewerten zu können.« Genau hierfür hat das Fraunhofer IPA einen Benchmark erarbeitet. Dabei führen Forschungsteams aus dem Automatisierungsbereich des Instituts Humanoide Roboter durch unterschiedliche Challenges und werten die Ergebnisse aus. Die Dienstleistung ist modular aufgebaut, sodass Hersteller, Endanwender oder Softwareanbieter sich die Bereiche aussuchen können, die für ihre Anwendung relevant sind.
Die Arbeiten rund um den Benchmark wurden dank Fördermitteln des Ministeriums für Wirtschaft, Arbeit und Tourismus Baden-Württemberg im Rahmen des KI-Fortschrittszentrums »Lernende Systeme und Kognitive Robotik« ermöglicht.
Benchmark folgt industriellen Standards
Die Frage nach den Fähigkeiten und der Vertrauenswürdigkeit wird hierbei in sechs applikationsrelevante Kriterien heruntergebrochen: Technologien und Basisfähigkeiten, komplexe Fähigkeiten, Reinheit, funktionale Sicherheit, Cybersicherheit, Energieeffizienz. Der Benchmark stützt sich auf vorhandene Expertise der Forschungsteams und folgt, wenn möglich, etablierten und seit Jahrzehnten international anerkannten Industriestandards. Im Bereich der Reinheit wurden durch das Fraunhofer IPA in den vergangenen Jahren beispielsweise schon über 3000 Automatisierungskomponenten nach ISO 14644 getestet und qualifiziert.
Die Messung von Kollisionskräften und anderen sicherheitsrelevanten Eigenschaften erfolgt anhand gängiger Sicherheitsnormen für kollaborative Roboter wie ISO 10218 und ISO TS 15066.
Grundlage für den Benchmark sind Stammdaten wie Größe, Gewicht und Greifreichweite der Roboter. Den Forschungsteams war es zudem wichtig, reproduzierbare Tests zu definieren, die sich standardisieren lassen und auch für zukünftige Generationen von Humanoiden noch aussagekräftig bleiben. Denn weitere Humanoide werden folgen. »Mit diesem Angebot werden Humanoide nicht nur untereinander, sondern auch mit bekannten Automatisierungskomponenten vergleichbar«, ergänzt Forschungsbereichsleiter Werner Kraus. »Anwender können die Ergebnisse direkt interpretieren und so den richtigen Humanoiden für die richtige Anwendung finden.« Am Beispiel des Unitree G1 hat das Fraunhofer IPA selbst einen Humanoiden auf Herz und Nieren im Hinblick auf seine Einsetzbarkeit in der Produktion analysiert und dabei auch vieles über die derzeit noch vorhandenen Grenzen der Technologie gelernt. Technische Grundlage war ein im Mai 2025 ausgelieferter Unitree G1 EDU-4 mit Dex3-1 3-Fingerhänden und Firmwareversion 1.04.
Sechs Kriterien für die Bewertung Humanoider Roboter
1. Technologien und Basisfähigkeiten
Die in einem Humanoiden Roboter eingesetzten Technologien, beispielsweise verwendete Sensoren oder KI-Modelle, lassen direkte Rückschlüsse auf Präzision und Zuverlässigkeit zu. Die Untersuchung weiterer Basisfähigkeiten erlaubt detaillierte Aussagen über die technologischen Möglichkeiten und Fähigkeiten des Humanoiden. Untersucht werden unter anderem die Sensorik (z.B. Vision, Audio, Texterkennung, Spracherkennung, Erkennung von Menschen), die Mittel zur Handhabung (z.B. Greifertyp, Anzahl und Beweglichkeit von Fingern) sowie Kraft (handhabbare Lasten, Greifkräfte) und Laufgeschwindigkeit.
Eine Untersuchung der Technologien erfolgt durch Identifikation verbauter Komponenten und den Abgleich mit Datenblättern. Tests ermöglichen, die Basisfähigkeiten zu ermitteln. Für die Bestimmung der Laufgeschwindigkeit kommt ein 3D-Tracking-System von Vicon zum Einsatz. Greifkräfte werden mithilfe eines Kraftsensors gemessen. Für die Bestimmung der maximal handhabbaren Last stehen verschieden schwere Hanteln zur Verfügung.
Am Beispiel des G1 zeigte sich unter anderem, dass er in Bezug auf Geschicklichkeit noch weit unter dem menschlichen Niveau liegt. Nach Auslieferung kann er lediglich ferngesteuert laufen. Weitere Basisfähigkeiten müssen Nutzer selbst implementieren. Auch kann ein horizontales Ausstrecken der Arme bereits ohne zusätzliche Traglast nach ein bis zwei Minuten zum Abschalten und damit Herunterfallen der Arme führen, weil die Aktoren überhitzen. Bei Messungen mit dem Vicon-Tracker wurden 0,49 m/s als langsame und 0,84 m/s als schnelle Gehgeschwindigkeit ermittelt. Eine bei einer Zuladung von 3 kg wird der Roboter nicht langsamer, benötigt aber einige Zehntelsekunden mehr Zeit für das Beschleunigen und Abbremsen.
Die Ergebnisse zeigen, dass der Humanoide viele Aufgaben, die der Mensch bewältigen kann, noch nicht ausführen kann. Allerdings ist durch zukünftige Software- und Hardwareupdates mit einer Zunahme von vorimplementierten Basisfähigkeiten zu rechnen.
2. Komplexe Fähigkeiten
Ausgehend von den Basisfähigkeiten geht es hier um die Bewältigung kleiner, generischer Aufgaben, die eine Kombination von Technologien und Fähigkeiten erfordern. Dabei wird ein Mittelweg gewählt: Während Basisfähigkeiten oft nur wenig Aussagekraft haben, wie der Roboter in konkreten Aufgaben abschneidet (das heißt, wie er mit seinen Limitierungen in der Praxis umgeht), kann bei sehr komplexen und speziellen Tests keine allgemeingültige Aussage mehr getroffen werden. Zudem würde für Hersteller der Anreiz steigen, ihre Roboter speziell für diese Tests zu optimieren. Als Kompromiss bietet der Benchmark mit praxisnahen Beispielen wie dem Bewältigen von Treppen direkte Anknüpfungspunkte für reale Anwendungen. Damit trägt der Benchmark entscheidend dazu bei, die Entwicklung und den sinnvollen Einsatz Humanoider Roboter in verschiedensten Lebens- und Arbeitsbereichen voranzutreiben.
Der Benchmark ermöglicht es, Humanoide in verschiedenen Aufgabenbereichen umfassend zu bewerten. Die Tests lassen sich einteilen nach Ganzkörperbewegungen (Laufen, Springen, Klettern, Überwinden von Rampen, Aufstehen), Manipulationsfähigkeiten (z.B. Öffnen von Türen), Navigation durch Hindernisparcours, sowie Genauigkeit und Kraftsteuerung, Auch der Einfluss von veränderten Umweltbedingungen und zusätzlicher Last auf die Roboterleistung lässt sich erfassen.
Viele der entworfenen Tests konnten mit dem G1 noch nicht durchgeführt werden. Beispielsweise ist der Roboter laut Herstellerangaben nicht dafür geeignet, Treppen zu steigen. Auch komplexe Parcours, bei denen sich der Roboter orientieren muss, sind mit Bordmitteln nicht durchführbar. Beim Laufen über Stufen (Kabelkanal) sowie auf einer Rampe mit 20 Prozent Steigung zeigte sich jedoch, dass der G1 über gute Fähigkeiten zur Selbststabilisierung verfügt. Während der Tests verlor er nie das Gleichgewicht. Das Aufstehen aus Rückenlage erfordert beim G1 Untergründe mit ausreichend hoher Reibung wie Teppichboden. Auf glatten Fliesen und Holzböden können die Arme durchrutschen, so dass das Aufstehen fehlschlägt.
Die Tests für komplexe Fähigkeiten sind absichtlich so gestaltet, dass sie aktuelle Humanoide überfordern. Erst zukünftige Modell werden die Benchmarks vollständig bewältigen können. Dies ermöglicht eine Vergleichbarkeit Humanoider über mehrere Modellgenerationen. Zudem zeigen die derzeit nicht durchführbaren Tätigkeiten potenziellen Anwendern deutlich die Grenzen der aktuellen Technologie auf.
3. Reinheit
Der Benchmark zur Reinraumtauglichkeit untersucht, ob Humanoide und andere Automatisierungskomponenten in sensiblen Produktionsumgebungen wie der Halbleiter-, Optik-, Elektroindustrie, Pharmazie, Biotechnologie und Lebensmittelbranche eingesetzt werden können, ohne kritische Kontaminationen zu verursachen.
Der Reinheits-Benchmark besteht aus drei Modulen: Es wird die Partikelfreisetzung an verschiedenen Punkten des bewegten Roboters gemäß ISO 14644-14, das Ausgasungsverhalten nach ISO 14644-15 sowie die Reinigbarkeit und das Hygienic Design nach gängigen Richtlinien bewertet. Ziel ist es, die Eignung des Roboters für den Reinraumeinsatz objektiv zu bestimmen und gegebenenfalls Optimierungsbedarf bei Konstruktion oder Materialauswahl aufzuzeigen.
Die Durchführung des Benchmarks ist durch die Komplexität Humanoider und deren vielfältige Bewegungsmöglichkeiten herausfordernd. Es müssen typische Betriebsparameter festgelegt und Worst-Case-Szenarien untersucht werden, um realistische Ergebnisse zu erhalten. Bei der Testdauer muss die begrenzte Akkulaufzeit beachtet werden. Nach Abschluss des Benchmarks erhalten die Kunden ein Qualifizierungspaket mit Bericht und Zertifikat, das als verlässliche Entscheidungsgrundlage für den Einsatz in Reinräumen dient und eine abgesicherte, industriegerechte Bewertung ermöglicht.
Bei den Untersuchungen zu Partikelemissionen und Ausgasung zeigte der G1 vielversprechende Ergebnisse. Demnach kann der Humanoide voraussichtlich in Reinräumen mit ISO-Klasse 5 nach ISO 14644-1 eingesetzt werden, wie sie beispielsweise in der Halbleiterindustrie genutzt werden. Bei den Tests zum Hygienic Design zeigte sich, dass die Reinigbarkeit des Geräts bei der Entwicklung des G1 offensichtlich nicht im Vordergrund stand. An den zahlreichen Gelenken finden sich Spalte und Bereiche, die für eine Wischreinigung nicht zugänglich sind. Dementsprechend ist ein Einsatz in Bereichen mit hohen Hygieneanforderungen ohne weitere Anpassungen nicht möglich.
Angesichts der Tatsache, dass Reinraumtauglichkeit und Hygienic Design bei Herstellern derzeit nicht im Fokus stehen, sind die Testergebnisse positiv zu bewerten. Sollten Hersteller in Zukunft Modelle entwickeln, die speziell auf Reinheit optimiert sind, stellen die entwickelten Tests eine wertvolle Grundlage dar. Hersteller können die aufwendigen Tests beim Fraunhofer IPA beauftragen und damit von der vorhandenen Reinrauminfrastruktur profitieren.
4. Funktionale Sicherheit (Safety)
Humanoide Roboter sollen kollaborativ mit Menschen zusammenarbeiten und sich gemeinsame Arbeitsräume teilen. Daher kommt der funktionalen Sicherheit eine hohe Bedeutung zu. Die Einflussfaktoren auf die Sicherheit sind bei Humanoiden vielfältig. Dazu gehört vor allem die Stabilität mit der Bewegung auf unterschiedlichen Untergründen, dem Verhalten auf Schrägen und beim Heben von Lasten. Hinzu kommen das Erkennen und Vermeiden von Hindernissen und eine Kraftbegrenzung bei Kollisionen. Ebenfalls relevant sind das Systemverhalten bei Kommunikationsausfällen und vollständiger Batterieentladung, Risiken durch das Hardwaredesign sowie die Erreichbarkeit von Not-Halt-Einrichtungen.
Zur Beurteilung der Stabilität wurden verschiedene Herausforderungen entwickelt. So muss ein Humanoider in einem Parcours verschiedene Untergründe wie Stufen oder Kabelkanäle aus verschiedenen Annäherungsrichtungen überwinden. Für die Stabilität auf Schrägen werden Rampen hinauf- und hinabgelaufen sowie Stopps und Änderungen der Bewegungsrichtung ausgeführt. Die Experimente können mit dem 3D-Trackingsstem aufgezeichnet werden. Für Kollisionstests kamen Kraftsensoren zum Einsatz, die auch für Kraftmessungen nach ISO TS 15066 für kollaborative Roboter genutzt werden. Mit diesen werden sowohl Kollisionsbewegungen der Arme als auch Kollisionen mit einem laufenden Roboter (z.B. Brust, Schulter) untersucht.
Dabei stellte sich beispielsweise heraus, dass der G1 bei Kollisionen mit dem ganzen Körper und bei schnellen Armbewegungen mit Kräften über 500 N auf Menschen einwirken kann.
Das übersteigt die nach Norm zulässigen Schmerzschwellen für einen Betrieb nahe dem Menschen deutlich, sodass Verletzungen nicht ausgeschlossen werden können. Umgekehrt ist der Roboter aber sehr stabil und lässt sich auch auf schwierigen Untergründen kaum aus der Balance bringen. Bei den Tests zeigte sich auch, dass der Verzicht auf einen Not-Halt-Knopf am Roboter zu Problemen führen kann, wenn dieser bei Experimenten instabil wird und schnell gestoppt werden muss. Beim G1 kann in diesem Fall nur der Akku herausgezogen werden, um die Stromzufuhr zu unterbrechen. Auch bei Klemmstellen im Bereich der Gelenke wurde Verbesserungspotenzial identifiziert.
Die Testergebnisse zeigen, dass es wichtig ist, Herstellern und Anwendern eine objektive, evidenzbasierte Grundlage zur Bewertung und Verbesserung der Sicherheit zu bieten, da bestehende Normen für die Mensch-Roboter-Kollaboration nur eingeschränkt anwendbar sind. Erst 2028 ist seitens der ISO mit Veröffentlichung der Norm ISO 25785-1 zu rechnen, die Sicherheitsanforderungen für Humanoide inkludiert. Bis dahin müssen Anwendungen mit Humanoiden individuell und mithilfe aufeinander aufbauender Maßnahmen sicher gemacht werden.
5. Cybersicherheit (Security)
Als komplexe Hard- und Softwareprodukte werden Humanoide Roboter regelmäßig mit Aktualisierungen versorgt und profitieren damit von einer Verbindung zum Internet. Der Benchmark reagiert auf die steigenden gesetzlichen Anforderungen und die zunehmende Bedeutung von Cybersicherheit in der Robotik. Er hilft, Schwachstellen und offene Angriffspunkte frühzeitig zu erkennen, die insbesondere durch vernachlässigte Sicherheitsarchitekturen entstehen. Die Ergebnisse bieten einen schnellen Überblick über die Resilienz des Roboters gegenüber typischen Angriffsmustern und liefern Herstellern Hinweise für Verbesserungen. So unterstützt der Benchmark dabei, die Akzeptanz und Sicherheit Humanoider Roboter im Markt nachhaltig zu stärken.
Der Cybersicherheits-Benchmark besteht aus vier unabhängig nutzbaren Modulen: Schwachstellenanalyse, Sicherer Lebenszyklus, Konnektivität und Stabilität. Jedes Modul prüft spezifische Aspekte wie das Management und Bestehen von Schwachstellen, den Umgang mit Updates und End-of-Life (Hardware/Software), die Sicherheit der Netzwerkschnittstellen sowie die Belastbarkeit und Penetrationsresistenz des Systems (wie gesichert ist es also gegen unerwünschte Zugriffe?). Ziel ist es, Herstellern eine objektive, wissenschaftlich fundierte Analyse ihrer Cybersicherheitsmaßnahmen bereitzustellen und aufzuzeigen, ob der sichere Betrieb ihrer Produkte gewährleistet ist.
Der G1 wies zum Zeitpunkt der Untersuchung eine dokumentierte Remote-Code-Execution-Schwachstelle innerhalb seines Bluetooth-Interfaces auf. Diese ermöglichte es Angreifern in Bluetooth-Reichweite, weitreichende Kontrolle über den Roboter zu erlangen. Die Schwachstelle persistierte über mehrere Firmware-Updates hinweg, auch nachdem ein Update-Changelog deren Behebung vermerkt hatte. Nach aktuellem Kenntnisstand wurde sie inzwischen durch ein neueres Update geschlossen.
Zusätzlich bietet der G1 keinerlei Informationen über End-of-Life Hardware und Software, regelmäßige Updateintervalle, Warnungen bei bekannten Cybersicherheitslücken und ebenso wenig über ein kontinuierliches Übertragen von Sensorwerten auf die Server des Herstellers (ohne Deaktivierungsmöglichkeit im Administrationsinterface). Bei Überlastungstests reagierte der G1 sehr stabil.
6. Energieeffizienz
Die Batterielaufzeit ist eine wichtige Auslegungsgröße für den Betrieb Humanoider Roboter. Dieser Benchmark adressiert Kriterien wie die Batteriekapazität, Ladezeiten oder die Reichweite der Ladung abhängig von der Betriebsart. Er bietet Roboterherstellern ein standardisiertes, reproduzierbares Verfahren zur Messung und Bewertung des Energieverbrauchs Humanoider unter definierten, praxisnahen Betriebsbedingungen.
Der Benchmark richtet sich primär an Roboterhersteller und liefert unabhängige Energiekennzahlen, die als Referenz für externe Kommunikation und die Einordnung im Wettbewerb dienen.
Er unterstützt aber auch Endanwender dabei, die Einsatzdauer und Ladezyklen ihrer Roboter besser zu planen und die Energieeffizienz gezielt zu optimieren.
Der Energiebedarf und die mittlere Leistungsaufnahme werden in verschiedenen Szenarien wie Stehen, Gehen auf ebener Strecke, Gehen mit Steigung und Gehen unter Last erfasst. Ergänzend werden Ein- und Ausschaltvorgänge sowie das Ladeverhalten des Akkus berücksichtigt. Die Ergebnisse werden zu einer aussagekräftigen Kennzahl zusammengeführt, die den Energiebedarf pro Stunde sowie die Akkulaufzeit unter standardisierten Bedingungen beschreibt und einen objektiven Vergleich verschiedener Robotermodelle ermöglicht. Dabei kann zwischen verschiedenen Nutzungsszenarien, beispielsweise stehendes Arbeiten an einer Arbeitsstation oder überwiegendes Laufen in Logistikaufgaben, unterschieden werden.
Beim Unitree G1 angewendet zeigen die Messungen eine mittlere Leistungsaufnahme von rund 154 W im Standbetrieb. Beim Gehen auf ebener Strecke liegt die Leistungsaufnahme bei etwa 272 W, während sie beim Gehen mit einer Steigung von 10 Prozent auf rund 283 W ansteigt. Für das definierte einstündige Standardszenario ergibt sich eine mittlere Leistungsaufnahme von etwa 239 W. Die Ergebnisse zeigen die erwarteten Unterschiede zwischen statischem Betrieb und Bewegung und bestätigen, dass der Benchmark diese Effekte konsistent abbildet. Hieraus ergeben sich maximale Betriebszeiten mit einer Akkuladung von 2:49h bei reinem Stehen und 1:49h bei einem typischen Szenario, das Stehen und Laufen beinhaltet.
Anwender und Hersteller können den Benchmark nutzen, um Energiekennzahlen systematisch in Auswahl und Einsatzplanung Humanoider Roboter einzubeziehen. Vor diesem Hintergrund ist zu erwarten, dass sich der Energiebedarf Humanoider künftig stärker an Größe, Systemarchitektur und den jeweiligen Einsatzprofilen orientiert und entsprechend differenziert.
Ausblick
Humanoide sollen ihren Mehrwert besonders dort ausspielen, wo Flexibilität gefragt ist und die Fähigkeit, in Umfeldern zu agieren, die für Menschen gemacht wurden. Insofern gibt es vielfältige potenzielle Einsatzszenarien. Diese erfordern oft sehr unterschiedliche Eigenschaften und Fähigkeiten von Humanoiden.
Die entwickelten Testmethoden und ersten Ergebnisse zeigen, dass eine unabhängige Evaluierung der Eigenschaften und Fähigkeiten sinnvoll und notwendig ist. Während bei Benchmarks zu Technologien und Fertigkeiten Transparenz und Vergleichbarkeit im Vordergrund steht, kann bei Themen wie funktionaler Sicherheit und Cybersicherheit eine unabhängige Prüfung dazu beitragen, Vertrauen in Humanoide Roboter aufzubauen. Ziel des Fraunhofer IPA ist daher, weitere Humanoide zu testen und so eine Vergleichsdatenbank zu erstellen. Hersteller und Anwender können sich bezüglich erster grundsätzlicher Fragen über das Interesse an einzelnen Benchmark-Modulen bis hin zum Wunsch nach vollumfänglichen Untersuchungen an das Fraunhofer IPA wenden.
Ihre Ansprechpartner
Simon Schmidt
Geschäftsbereichsleiter Automatisierte Systeme
Mobil: +49 172 5418428
Werner Kraus
Forschungsbereichsleiter Automatisierung und Robotik
Mobil: +49 151 54809986