Die KI-basierte Aktivitätserkennung erfasst Bewegungsabläufe des Menschen in der manuellen Montage, um diese Abläufe z. B. zu verbessern. (Quelle: AdobeStock/Fraunhofer IPA)
Strichmännchen für die Bewegungssimulation
Menschzentrierte Assistenzsysteme bieten viele Vorteile. Ein Beispiel dafür ist die kamerabasierte Aktivitätserkennung: Ein Arbeitsplatz mit Kamera, eine KI-gestützte Datenauswertung und die Ausgabe von daraus abgeleiteten Informationen verbessern in der Montage die Abläufe, reduzieren Fehler und vermeiden nicht ergonomische Tätigkeiten.
Auf einem Bildschirm bewegen sich allerlei »Strichmännchen«: Dünne Figuren zusammengebaut aus grauen Linien, die die Gliedmaßen andeuten, führen unterschiedliche Aktionen aus. Blaue Punkte markieren die Gelenke am Körper, gelbe Punkte die Gelenke am Kopf. Wenn man die Szenerie ein wenig beobachtet, wird schnell ersichtlich, was die Strichmännchen tun: Sie vollführen uns allen vertraute Aktionen wie Gehen, Sitzen, Hüpfen oder Winken und werden somit zum digitalen Spiegelbild von Menschen, indem sie deren Bewegungen nachmachen. Beim »Tag der offenen Tür« am 19. Oktober 2024 anlässlich des Stuttgarter Wissenschaftsfestivals können die Gäste am Fraunhofer IPA diese Demo selbst ausprobieren und erleben, wie genau und schnell die Strichmännchen ihr menschliches Gegenüber kopieren.
Den Menschen unterstützen
Was zunächst einfach Spaß macht und wie eine lustige Animation wirkt, hat mehr mit dem Produktionsumfeld zu tun, als man auf den ersten Blick meinen könnte. Die Demo ist Teil der Entwicklung von menschzentrierten Assistenzsystemen. Damit beschäftigt sich das Forschungsteam »Aktivitäts- und Szenenanalyse« am Fraunhofer IPA unter der Leitung von Christian Jauch. Im Fokus steht dabei die Frage, inwieweit sich manuelle Tätigkeiten – die es in der Produktion tatsächlich noch ziemlich häufig gibt – datenschutzkonform und zum Wohle des Menschen in Produktionsprozesse einbinden lassen.
»Das Ziel dahinter ist, Menschen bestmöglich in ihren Tätigkeiten zu unterstützen«, erklärt Jauch. »Das erreichen wir zum Beispiel dadurch, dass wir mit unserem Assistenzsystem das Personal produktiver machen, die Wertigkeit des Arbeitsplatzes erhöhen, Anlernzeiten verkürzen und für gesundheitliche Verbesserungen sorgen können«, beschreibt er mögliche Vorteile. Insgesamt geht es darum, dass Mensch, Maschine und Technologien der Künstlichen Intelligenz (KI) für die Bildverarbeitung eine sinnvolle Einheit bilden. In dieser Einheit können die Aufgaben entsprechend den unterschiedlichen Stärken ausgeführt werden. Unternehmen sollten gemeinsam mit ihrer Belegschaft die gewünschte und mögliche Art des Zusammenspiels in dieser Einheit erarbeiten, beispielsweise mithilfe einer Erfassung der individuellen Nutzerbedürfnisse (»User Needs Assessment«).
Aktivitäten automatisiert erkennen
Aber zurück zu den Strichmännchen und ihrer Rolle für menschzentrierte Assistenzsysteme in der Produktion. Um dieses digitale Spiegelbild von Fachkräften zu erhalten, braucht es Kameras am Arbeitsplatz, die den Arbeitsablauf und die Aktionen der Fachkraft zunächst aufnehmen. Auf einem Rechner mit einer KI-basierten Software werden diese Daten dann dem Datenschutz entsprechend anonym klassifiziert. Hierfür werden Verfahren des Maschinellen Lernens (ML), des aktuell am meisten genutzten KI-Verfahrens, eingesetzt.
Fraunhofer-Campus lädt zum Tag der offenen Tür
Anlässlich des dritten Stuttgarter Wissenschaftsfestivals lädt das Fraunhofer-Institutszentrum in Stuttgart-Vaihingen am 19. Oktober 2024 zum Tag der offenen Tür. Alle fünf ansässigen Institute haben dafür ein buntes Programm mit Exponaten, Info-Stationen, Mitmach-Aktionen, Führungen und Vorträgen vorbereitet. Los geht’s um 13 Uhr. Auch die beschriebene Aktivitätserkennung wird erlebbar sein.
Um den hohen Datenbedarf für das Training der Algorithmen zu decken, gibt es bereits zahlreiche öffentliche Datensätze, sodass die Klassifikation typischer menschlicher Tätigkeiten bereits sehr zuverlässig funktioniert. Nach der Verarbeitung der Daten kann ein Assistenzsystem Informationen ausgeben wie beispielsweise die erkannte Aktivität, ob diese korrekt ausgeführt wurde oder Hinweise zum weiteren Arbeitsablauf geben.
Die manuelle Montage verbessern
Der Demonstrator führt vor, wie die Aktivitätserkennung ein Assistenzsystem für die Montage möglich macht. Hierfür sind besonders die Hände der Fachkraft von Interesse, die auch mit dem bereits bekannten Strichmännchen-Prinzip abgebildet werden. Nachdem das System eine Pose, also die aktuelle Haltung der Fachkraft insgesamt oder auch nur ihrer Hand, erkannt und klassifiziert hat, kann es beurteilen, ob sie den Schritt richtig ausgeführt hat und ihr an einem Display anzeigen, welcher Schritt als nächstes kommt.
»Dadurch, dass das Assistenzsystem die typischen Arbeitsschritte einer Fachkraft erfasst, kann es einerseits den Prozess begleiten und unterstützen. Und andererseits erfahren zum Beispiel Produktionsplaner wichtige Dinge für eine vorteilhafte Gestaltung ihrer Arbeitsplätze«, führt Mitentwickler Jauch aus. Das können zum Beispiel Informationen sein wie: Von wo muss sich die Fachkraft zu montierende Bauteile holen und ist dies ergonomisch und effizient möglich? Liegen Bauteile, die direkt miteinander montiert werden, tatsächlich auch nahe beieinander? Und ist der Arbeitsplatz so gestaltet, dass die Fachkraft auch ähnlich aussehende Bauteile nicht leicht verwechseln kann?
Aktuelle Herausforderungen angehen
Obwohl die kamerabasierte Aktivitätserkennung viele Vorteile bietet, ist sie noch Gegenstand der angewandten Forschung. Die Entwicklung ist aber bereits so weit, dass sie prototypisch nutzbar ist. Einige Herausforderungen, die mit ihrem Einsatz einhergehen, sind bereits gemeistert oder werden vom Entwicklungsteam laufend adressiert. Dazu gehört, dass die Aktivitätserkennung robust und in Echtzeit funktionieren muss. Gibt es zu viele Lücken oder Fehler beim Erkennen oder dauert das Erkennen zu lange, ist kein stimmiges Feedback an die Fachkraft möglich. Dies lässt sich durch ein gutes Training des maschinellen Lernverfahrens gewährleisten.
Hinzu kommt, dass die Aktivitätserkennung flexibel und anpassungsfähig sein sollte. Denn denkt man beispielsweise an typische Prozessschritte nur in der Montage, zeigt sich, wie vielfältig diese sein können: Montieren ist eben ein Sammelbegriff für Prozesse wie Kleben, Schrauben, Klipsen, Einführen und vieles mehr. Jeder Prozess geht mit spezifischen Handbewegungen einher, die sich auch noch je nach Vorliebe und Gewohnheit der Fachkraft etwas unterscheiden können. Damit muss die Aktivitätserkennung zurechtkommen.
Und schließlich ist die Akzeptanz aufseiten der Fachkräfte ein entscheidendes Kriterium, um die Aktivitätserkennung für ein Assistenzsystem erfolgreich nutzen zu können. Hier schließt sich wieder der Kreis zur menschzentrierten Entwicklung und dem oben genannten User Needs Assessment: Wenn die künftigen Nutzerinnen und Nutzer ihre Bedarfe und auch Bedenken in die Entwicklung einbringen können und das Assistenzsystem einen Mehrwert bietet, sollte die Akzeptanz keine Hürde sein und die Strichmännchen können ihre Wirkung entfalten.
Ihr Ansprechpartner
Christian Jauch
Forschungsteamleiter Aktivitäts- und Szenenanalyse
Telefon: +49 711 970-1816