Automation of automation and bin picking

Robot picking components out of a bin

Source: Fraunhofer IPA/Foto: Rainer Bez

Automation of automation and bin picking

An example of pioneering technology is a separation process using robots known as bin picking. Its development exemplifies the path from research result to a purchasable product of Liebherr-Verzahntechnik GmbH. The technology is still being further developed today under the motto “Automation for Automation”.

Reading time approx. 8 minutes

A robot moves its arm over a lattice box containing the bulk material, pauses for barely a few seconds, reaches in, lifts out a part, puts it down, and immediately dips back again into the mass of different workpieces, separating cast, stamped or forged parts from the box and placing them in the correct position and facing the right way on a conveyor belt for further processing. This continues until the box is empty. Decades of research into bin picking systems has gone into this application, which now seems so easy and effortless.

Fraunhofer IPA has been developing technologies for this purpose for many years. In 2007, for example, the institute applied for a patent for its object recognition method. Just a year later, Fraunhofer IPA presented an application at Automatica that had already been implemented. While bin picking cells are now common exhibits and are also finding their way into production, the IPA robot cell was still a rarity then. At this time, the bin picking research team also first came into contact with the company Liebherr-Verzahntechnik GmbH.

When Werner Kraus, now Head of the Department of Robots and Assistive Systems, first encountered bin picking in 2009, the economic situation in Germany and the world looked bleak. The financial crisis had made a deep mark and the ifo business climate index had reached a low point. At that time, bin picking technologies, especially the efficient object recognition processes, were still in their infancy. Existing solutions such as vibrating bowl feeders were not flexible enough.

It meant that an employee was often responsible for separating tasks. This took place directly on the production line, and was a monotonous, dirty and physically demanding task because of the heavy weights of the workpieces and the non-ergonomic posture involved. A typical “3D task” can be neatly summarised by the three Ds: dull, dirty and dangerous. This burden for the employees and a regular amortisation of less than two years across a three-shift operation is all the motivation that both employees and management need to implement robot-based bin-picking solutions.

“The years of cooperation between Liebherr and Fraunhofer IPA have paid off – and that excites me”

Werner Kraus
Head of the Robots and Assistive Systems Department

Intensive collaboration leads to first industrial implementation

»Weil es eine wirtschaftlich schwierige Zeit war, plante Liebherr, sich strategisch neu auszurichten«, erklärt Kraus. »Sie wünschten, nicht mehr ›nur‹ Maschinenhersteller zu sein, sondern wollten sich zum Gesamtlösungsanbieter wandeln, nicht mehr ›nur‹ Verzahnmaschinen verkaufen, sondern eine gesamte Fertigungszelle.« Darin sollte ein Roboter die Bauteile der Maschine anreichen und sie nach der Bearbeitung dem nächsten Schritt im Prozess zuführen. »Die jahrelange Zusammenarbeit zwischen Liebherr und IPA hat sich ausgezahlt, und das begeistert mich«, blickt Kraus zurück. Gemeinsam gingen das IPA und Liebherr durch schwierigere und erfolgreichere Zeiten und erarbeiteten Meilensteine: 2010 gab es den ersten »Proof of Concept« einer Roboterzelle, die die Bauteile handhaben konnte. Ein Jahr später folgte die erste Realisierung für semichaotisch, 2013 für vollständig chaotisch gelagerte Bauteile.

Scaling challenge

At the time, everyone involved was euphoric, thinking that the technology transfer to industry had succeeded. The “handling” award initially confirmed this. However, it is not enough to rest on your laurels once the task at hand is completed. Kraus explains: “When it came to scaling the solution we had developed, we still had to overcome a few hurdles. We wanted to use the bin picking system in another project, where it would place connecting rods on the workpiece transporter for subsequent machining. But the speed was not right. We kept at it, fought for acceptance of the cell and ultimately succeeded”. The IPA researchers were able to use the knowledge gained for the Liebherr application and improve it further. They also developed a graphic user interface to make the software more user-friendly.

Simulation of bin picking
In the DeepPicking research project, a simulation environment is being created in which robots learn to pick up components virtually. (Source: Fraunhofer IPA)

Best of Industry Award

In 2017, Liebherr won the “Best of Industry” award for its overall solution based on Fraunhofer IPA’s bin picking technology. Last year, the technology in the Fraunhofer IPA product portfolio was also made available to other robot integrators in the form of the “LHRobotics.Vision” technology package. Both Fraunhofer IPA and Liebherr benefit equally from this knowledge transfer. “Developing customer-specific technologies, constantly improving and following up, systematically overcoming hurdles and working together to reach the goal”. This is how Kraus formulates his understanding of innovation.

Bin picking application falls short of expectations

Liebherr took the right step in times of crisis and set the course for the future. For some years, the IPA has also been working on the bin picking technology of the future: greater autonomy, improved cycle times, higher degree of robustness achieved by machine learning methods. Critically speaking, the spread of bin picking application is still far below expectations. Every year, more than 200,000 new robots are installed worldwide for workpiece handling. Of these, only a fraction in the per thousand range perform bin picking tasks. Conversely, the majority of robots grip blindly or at most, use 2D image processing at for semi-sorted deliveries such as depalletizing.

At the same time, there are numerous production stages that would be suitable for the application of bin picking, not to mention the potential applications in logistics. The user problem of the “3D tasks”, which has existed for decades, still looms very large and has not yet been resolved, despite good economic efficiency.

One reason for this is that cells with the bin picking facility are the first link in an interconnected production or assembly line. The line balancing of an interlinked line such as this is based on the fact that each station delivers a guaranteed output. There are two inherent uncertainties in a “typical” bin picking system: “At present, there is still no guarantee that a robot can remove all the parts from the bin. This means that the last remaining parts must then be separated by hand”, Kraus explains. In addition, the cycle time increases significantly as the bin empties. “The fluctuations in the cycle time can be compensated either via worst-case design or buffers. The entire line could possibly be adapted for high cycle times or bin picking could start earlier in order to gain a head start and to prevent downtimes”, Kraus adds. “These uncertainties currently prevent the widespread use of bin picking in practice”.

Vision Zero: complete bin emptying with constant cycle time

Fraunhofer IPA is tackling these central problems with its “Vision Zero”, which aims to completely empty a bin at the same cycle time. There are several reasons why this vision is not yet a reality: “It can be due to the image processing, unsuitable sensors or grippers, combined with objects that are difficult to grasp or other customer-specific challenges”, explains Kraus. “Overall, we have identified eight typical end-user problems that limit the use of bin picking solutions. We are developing solution approaches for these and in some cases, resorting to new technologies such as machine learning”.

Practical experience shows, for example, that the degree of emptying and the cycle times currently depends greatly on the expertise of the operator. IPA researchers are therefore working on algorithms for the self-configuration of a bin picking system, which will automatically set the parameters at the level that might be expected of an expert. Among other aspects, this concerns the hand-eye-calibration, defining algorithm parameters and determining gripping points.

Key component: the gripper

The gripper design is the basis for complete bin emptying. On the one hand, it determines the number of potential workpiece gripping points and therefore the flexibility of the application as well; on the other hand, its overall configuration contributes to the success – or otherwise – of the process, for example, through susceptibility to collisions. In practice, this important element is often selected according to ‘gut feeling’ and the performance only becomes apparent when the robot system is commissioned. “In order to arrive at a well-founded selection, we use a simulated environment to verify the gripper design”, Kraus emphasizes. In this environment, 3D point clouds of virtually filled boxes are generated and used to statistically evaluate aspects such as accessibility of the gripper to the workpiece avoiding collisions. Without hardware investment and tests on real production lines, which would have to come to a standstill for this, a variety of gripper designs can be examined and their performance demonstrated. In consultation with the IPA, Liebherr is further developing a simulation tool in line with industry requirements to enable simpler and more productive use.

New level achieved by machine learning

Another reason why cycle times increase when bins are almost empty or the robot cannot empty the bins completely is the challenge of object recognition to correctly identify the parts at the bottom of the bin. Kraus describes the difficulties with sheet metal parts, for example: “The parts are shiny, thin and difficult to recognize because they merge into bottom of the bin in the 3D point cloud”. To overcome this challenge and empty the bin, the researchers use a deep neural network for segmentation. To illustrate this, the neural network isolates the areas of the point cloud containing the workpieces, i.e. segments them, and passes these segments on for further image processing. Pre-processing ensures that even the last remaining parts are detected quickly and reliably.

Vacuum gripper
Robots are now able to detect and grip thin shiny sheet metal parts. (Source: Fraunhofer IPA/Photo: Rainer Bez)

Automatisierung der Automatisierung

Fraunhofer IPA puts this latest developments under the slogan “Automation of Automation”. This is intended to convey that in future the planning process for automation solutions should run on a more autonomous basis, for example, or that production means such as robots should be automatically reconfigured when a new product variant is being manufactured. The qualities of the IPA solutions for bin picking described above demonstrate how this kind of “Automation of Automation” can be made possible.

Businesses to test bin pickingsoftware

At the moment, interested companies can apply to become “first adopters” for these technologies that are developed as part of the initiative. “In this way, companies can be the first parties to test new technologies and help us to adapt the bin picking software in addition to six other industrial and service robot technologies in the field of cognitive robotics to market requirements and interests with their feedback”, Kraus explains.


Dr. Werner Kraus

Head of the Robots and Assistive Systems Department
Phone: +49 711 970-1049

Quelle: Fraunhofer IPA/Foto: Rainer Bez

Der Griff-in-die-Kiste

Ein Beispiel für eine taktgebende Technologie ist der Griff-in-die-Kiste. Seine Entwicklung zeigt exemplarisch den Weg vom Forschungsergebnis zum kaufbaren Produkt bei der Liebherr-Verzahntechnik GmbH. Die Technologie wird unter dem Motto »Automation for Automation« bis heute weiterentwickelt.

Lesezeit ca. 8 Minuten

Ein Roboter fährt seinen Arm über eine Gitterbox mit Schüttgut, verharrt kaum einen Moment, greift hinein, hebt ein Teil heraus, legt es ab, um gleich wieder in dem Haufen chaotisch gelagerter Werkstücke zu verschwinden, Guss-, Stanz- oder Schmiedeteile aus der Kiste zu vereinzeln und in korrekter Lage und Orientierung zur Weiterbearbeitung in einen Werkstückträger einzulegen – bis die Gitterbox leer ist. Hinter dieser so leicht und mühelos erscheinenden Anwendung steckt jahrzehntelange Forschungsarbeit: der Griff-in-die-Kiste.

Das Fraunhofer IPA erarbeitet hierfür bereits seit vielen Jahren Technologien. So meldete das Institut bereits 2007 seine Objekterkennungsverfahren zum Patent an und zeigte eine damit umgesetzte Anwendung ein Jahr später auf der Automatica. Während Griff-in-die-Kiste-Zellen heute verbreitete Exponate sind und auch in Produktionen Einzug halten, war die Roboterzelle des IPA zu dem Zeitpunkt noch eine Seltenheit. Zur gleichen Zeit hatte das Forscherteam um den Griff-in-die-Kiste erstmals Kontakt mit der Firma Liebherr-Verzahntechnik.

Als Werner Kraus, heutiger Leiter der Abteilung Roboter- und Assistenzsysteme, 2009 mit dem Griff-in-die-Kiste in Berührung kam, sah es wirtschaftlich in Deutschland und der Welt düster aus. Die Finanzkrise hatte deutliche Spuren hinterlassen und der ifo-Geschäftsklimaindex einen Tiefpunkt erreicht. Damals steckten die Technologien für den Griff-in-die-Kiste, vornehmlich effiziente Objekterkennungsverfahren, noch in den Kinderschuhen. Existierende Lösungen wie Vibrationswendelförderer waren nicht ausreichend flexibel.

Oft übernahm deshalb ein Mitarbeiter das Vereinzeln. Dies geschah unmittelbar an der Produktionslinie, war monoton, dreckig und körperlich belastend wegen der hohen Gewichte der Werkstücke und der nicht ergonomischen Haltung beim Greifen aus der Kiste. Eine typische »3D-Aufgabe«: dull, dirty, dangerous. Diese Belastung für die Mitarbeiter und eine übliche Amortisation von weniger als zwei Jahren im Dreischicht betrieb motiviert sowohl die Beschäftigten als auch das Manage-ment, einen roboterbasierten Griff-in-die-Kiste einzusetzen.

»Die jahrelange Zusammenarbeit zwischen Liebherr und IPA hat sich ausgezahlt, und das begeistert mich«
Werner Kraus
Leiter der Abteilung Roboter- und Assistenzsysteme

Intensive Zusammenarbeit führt zur ersten industriellen Umsetzung

»Weil es eine wirtschaftlich schwierige Zeit war, plante Liebherr, sich strategisch neu auszurichten«, erklärt Kraus. »Sie wünschten, nicht mehr ›nur‹ Maschinenhersteller zu sein, sondern wollten sich zum Gesamtlösungsanbieter wandeln, nicht mehr ›nur‹ Verzahnmaschinen verkaufen, sondern eine gesamte Fertigungszelle.« Darin sollte ein Roboter die Bauteile der Maschine anreichen und sie nach der Bearbeitung dem nächsten Schritt im Prozess zuführen. »Die jahrelange Zusammenarbeit zwischen Liebherr und IPA hat sich ausgezahlt, und das begeistert mich«, blickt Kraus zurück. Gemeinsam gingen das IPA und Liebherr durch schwierigere und erfolgreichere Zeiten und erarbeiteten Meilensteine: 2010 gab es den ersten »Proof of Concept« einer Roboterzelle, die die Bauteile handhaben konnte. Ein Jahr später folgte die erste Realisierung für semichaotisch, 2013 für vollständig chaotisch gelagerte Bauteile.


Zu dem Zeitpunkt waren alle Beteiligten euphorisch und glaubten, der Technologietransfer in die Industrie sei gelungen. Die Auszeichnung mit dem »handling«-Award bestätigte dies zunächst. Aber – einmal »gemacht« genügt nicht. Kraus: »Als es darum ging, die erarbeitete Lösung zu skalieren, mussten wir noch einige Hürden nehmen. Wir wollten den Griff-in-die-Kiste in einem anderen Projekt einsetzen, um Pleuel auf den Werkstückträger zur anschließenden spanenden Bearbeitung zu legen. Aber die Geschwindigkeit stimmte nicht. Wir sind drangeblieben, haben für die Abnahme der Zelle gekämpft und dies letztlich auch geschafft.« Die gewonnenen Kenntnisse konnten die IPA-Forscher für die Liebherr-Anwendung nutzen und diese weiter verbessern. Außerdem haben sie eine graphische Bedienoberfläche entwickelt, um die Software nutzerfreundlicher zu machen.

Simulation Griff-in-die-Kiste
Im Forschungsprojekt DeepPicking entsteht eine Simulationsumgebung, in der Roboter virtuell lernen Bauteile zu greifen. (Quelle: Fraunhofer IPA)


2017 gewann Liebherr mit seiner Gesamtlösung rund um die Griff-in-die-Kiste-Technologie des Fraunhofer IPA den »Best-of-Industry«-Award. Und seit vergangenem Jahr ist die Technologie in deren Produktportfolio auch für weitere Roboterintegratoren als Technologiepaket »LHRobotics.Vision« verfügbar. IPA und Liebherr profitieren gleichermaßen vom Wissenstransfer. »Technologien kundenspezifisch entwickeln, stets verbessern und nachfassen, Hürden systematisch überwinden und gemeinsam den Weg bis zum Ziel gehen.« So formuliert Kraus das Innovationsverständnis.

Griff-in-die-Kiste hinter den Erwartungen

Liebherr machte damals in Krisenzeiten den richtigen Schritt und stellte Weichen für die Zukunft. Und auch das IPA arbeitet schon seit ein paar Jahren am Griff-in-die-Kiste der Zukunft: mehr Autonomie, bessere Taktzeiten, größere Robustheit dank Verfahren des Maschinellen Lernens. Denn kritisch betrachtet, liegt die Verbreitung des Griff-in-die-Kiste noch weit hinter den Erwartungen zurück. Jährlich werden weltweit über 200.000 neue Roboter für die Handhabung installiert. Von diesen führt ein Anteil im Promillebereich den Griff-in-die-Kiste aus. Das Gros der Roboter dagegen greift blind oder nutzt maximal eine 2D-Bildverarbeitung für semichaotische Anlieferung wie beispielsweise beim Depalletieren. 

Gleichzeitig finden sich in Produktionen unzählige Vereinzelungsschritte, die per se für den Griff-in-die-Kiste geeignet wären, ganz zu schweigen von Anwendungspotenzialen in der Logistik. Das seit Jahrzehnten bestehende Anwenderproblem der eingangs genannten »3D-Aufgaben« ist trotz guter Wirtschaftlichkeit also auch heute noch sehr groß und nicht gelöst.

Ein Grund hierfür: Zellen mit dem Griff-in-die-Kiste sind das erste Glied einer verketteten Produktions- oder Montagelinie. Die Austaktung solch einer verketteten Linie basiert darauf, dass jede Station eine garantierte Leistung erbringt. Der »typische« Griff-in-die-Kiste bringt hier zwei Unsicherheiten mit: »Noch immer ist nicht garantiert, dass ein Roboter alle Teile aus der Kiste entnehmen kann. Die letzten verbleibenden Teile müssen dann händisch vereinzelt werden«, beschreibt Kraus das Problem. Weiterhin steigt mit zunehmender Kistenentleerung auch die Taktzeit deutlich an. »Die Schwankungen in der Taktzeit können entweder über Worst-Case-Auslegung oder Puffer ausgeglichen werden. Die ganze Linie passt sich also einer möglicherweise hohen Taktzeit an oder der Griff-in-die-Kiste startet früher und erarbeitet sich einen »Vorsprung«, um Stillstände zu verhindern«, so Kraus. »Diese Unsicherheiten verhindern aktuell den breiten Einsatz des Griff-in-die-Kiste in der Praxis.«

»Vision Zero«: vollständige Kistenleerung bei gleichbleibender Taktzeit

Diese zentralen Probleme geht das Fraunhofer IPA mit seiner »Vision Zero« an, dem Ziel, die Kiste bei gleicher Taktzeit vollständig zu leeren. Die Gründe, warum die Vision heute noch nicht Realität ist, sind vielfältig: »Es kann an der Bildverarbeitung liegen, an ungeeigneten Sensoren oder Greifern, verbunden mit schwierig zu greifenden Objekten oder sonstigen kundenspezifischen Herausforderungen«, erklärt Kraus. »In Summe haben wir acht typische Endanwenderprobleme identifiziert, die den Einsatz des Griff-in-die-Kiste limitieren. Hierfür entwickeln wir Lösungsansätze und greifen zum Teil auf neue Technologien wie das Maschinelle Lernen zurück.«

Die Praxis zeigt beispielsweise, dass der Entleerungsgrad und die Taktzeiten aktuell sehr stark von der Expertise des Einrichters abhängen. Die IPA-Forscher arbeiten daher an Algorithmen zur Selbstkonfiguration des Griff-in-die-Kiste-Systems, die automatisch die Parameter auf dem Niveau eines Experten einstellen. Das betrifft unter anderem die Hand-Kamera-Kalibrierung, die Parametrierung der Algorithmen oder die Greifpunktgenerierung.

Der Greifer als Schlüsselkomponente

Das Greiferdesign ist die Grundlage für eine vollständige Kistenentleerung. Denn einerseits bedingt es die Anzahl der möglichen Greifpunkte am Werkstück und somit die Flexibilität der Anwendung, andererseits trägt es mit seiner Kontur als Ganzes zum erfolgreichen Ablauf bei, beispielsweise durch seine Anfälligkeit für Kollisionen. In der Praxis wird dieses wichtige Element oft nach »Bauchgefühl« ausgewählt und die Leistung erst während der Inbetriebnahme des Robotersystems ersichtlich. »Um hier zu einer begründeten Auswahl zu gelangen, setzen wir eine Simulationsumgebung zur Verifikation des Greiferdesigns ein«, hebt Kraus hervor. Darin werden 3D-Punktewolken von virtuell gefüllten Kisten erzeugt und anhand derer Aspekte die Zugänglichkeit des Greifers zum Werkstück ohne Kollision statistisch evaluiert. Ohne Hardware-Investitionen und Tests an der realen Produktion, die dafür stillstehen müsste, können somit vielfältige Greiferdesigns durchgespielt und deren Leistungsfähigkeit nachgewiesen werden. Liebherr entwickelt das Simulationstool im Austausch mit dem IPA entsprechend den Industriebedarfen weiter, sodass es einfacher und produktiver verwendet werden kann.

Neues Niveau durch Maschinelles Lernen

Ein weiterer Grund, warum die Taktzeiten bei fast leeren Kisten steigen bzw. der Roboter die Kisten nicht vollständig leeren kann, ist die Herausforderung für die Objekterkennung, die Teile am Kistenboden korrekt zu erkennen. Kraus beschreibt die Schwierigkeiten zum Beispiel bei Blechteilen: »Die Teile sind glänzend, dünn und schlecht zu erkennen, weil sie in der 3D-Punktewolke mit dem Kistenboden verschmelzen.« Um die Kiste dennoch leer zu bekommen, nutzen die Forscher ein tiefes neuronales Netz zur Segmentierung. Anschaulich gesprochen, schneidet das neuronale Netz die Bereiche der Punktewolke mit Werkstücken aus, segmentiert diese also, und übergibt die Segmente an die weitere Bildverarbeitung. Durch die Vorverarbeitung werden auch die letzten Teile in der Kiste zügig und zuverlässig erkannt.

Roboter sind heute in der Lage, dünne glänzende Blechteile zu erkennen und zu greifen. (Quelle: Fraunhofer IPA/Foto: Rainer Bez)

Automatisierung der Automatisierung

Das Fraunhofer IPA fasst die neuesten Entwicklungen unter dem Motto »Automatisierung der Automatisierung« zusammen. Damit ist gemeint, dass künftig zum Beispiel die Planung von Automatisierungslösungen autonomer ablaufen soll oder dass sich Produktionsmittel wie Roboter automatisch rekonfigurieren, wenn eine neue Produktvariante gefertigt wird. Die oben beschriebenen Eigenschaften der IPA-Lösungen für den Griff-in-die-Kiste zeigen, wie eine solche »Automatisierung der Automatisierung« möglich wird.

Unternehmen können Griff-in-die-Kiste-Software erproben

Aktuell können sich interessierte Unternehmen als »First Adopter« für die Technologien bewerben, die in der Initiative entstehen. »Unternehmen können so als erste die neuen Technologien erproben und uns mit ihrer Rückmeldung helfen, die Griff-in-die-Kiste-Software sowie sechs weitere Industrie- und Serviceroboter-Technologien zur kognitiven Robotik auf die Marktbedürfnisse und -interessen zuzuschneiden«, erklärt Kraus.

Ihr Ansprechpartner

Dr. Werner Kraus

Leiter der Abteilung Roboter- und Assistenzsysteme
Telefon: +49 711 970-1049