FH Bielefeld
University of
Applied Sciences
11.07.2022

FH Bielefeld und Uni Bielefeld entwickeln audiovisuelles Assistenzsystem für die Industrie

Porträt Prof. Dr. Joachim Waßmuth
Prof. Dr. Joachim Waßmuth, Hochschullehrer für elektrotechnische Gebiete der Mechatronik an der FH, leitet das Teilvorhaben im Verbundprojekt. © P. Pollmeier/FH Bielefeld
Eine Datenbrille und Kopfhörer liegen auf einem Tisch.
Rund 800 Gramm Gesamtgewicht: Die Microsoft Hololens 2 wiegt 566 Gramm. Hinzu kommt das Gewicht des Kopfhörersystems, bestehend aus Kopfhörer und einem mobilen Endgerät, das je nach Modell rund 200 Gramm umfasst. © P. Pollmeier/FH Bielefeld
Porträt Lars Schalkwijk
Lars Schalkwijk entwickelt die Sprachassistenz multimodal weiter: Nutzende erhalten über AVIKOM Hilfshinweise. Gleichzeitig können sie das System aber auch über Sprachbefehle aktiv steuern, weitere Hinweise anfordern oder gar Rückfragen stellen. © P. Pollmeier/FH Bielefeld
Drei Projektmitarbeiter besprechen Forschungsergebnisse.
Arbeiten im Team an der auditiven Komponente des kognitiven, audiovisuellen Assistenzsystems (v.l.): Tobias Ehlentrup, Lars Schalkwijk und Prof. Dr. Joachim Waßmuth. © P. Pollmeier/FH Bielefeld
Porträt Tobias Ehlentrup
Tobias Ehlentrup, technischer Geschäftsführer des Instituts für Systemdynamik und Mechatronik (ISyM) an der FH Bielefeld, verantwortet das Projektmanagement im Verbundprojekt AVIKOM auf Fachhochschulseite. © P. Pollmeier/FH Bielefeld
Ein MItarbeiter arbeitet mit dem Assistenzsystem an einer Absperrklappe. Auf einem Bildschirm sind die Anweisungen des Assistenzsystems zu sehen.
Um Beschäftigte individuell zu unterstützen, ermittelt AVIKOM vor jeder neuen Tätigkeit den Assistenzbedarf. Teilschritte einer Aufgabe werden dabei präsentiert. Die Beschäftigten müssen entscheiden, ob diese zusammengehören oder nicht. © P. Pollmeier/FH Bielefeld
Das Assistenzsystem wird von den Projektmitarbeitern getestet.
Wird die eigentliche Tätigkeit später mehrmals erfolgreich abgeschlossen, reduziert AVIKOM schrittweise die Assistenz. Auch die Nutzenden können selbst das Assistenzlevel jederzeit aktiv erhöhen oder verringern. © P. Pollmeier/FH Bielefeld

AVIKOM soll Mitarbeitende in Montage- und Logistikprozessen bei ihrer Tätigkeit unterstützen, etwa mit Hologrammen in einer Augmented-Reality-Brille oder individuellen Sprachhinweisen. Entwickelt wurde das smarte System in einem gemeinsamen Forschungsprojekt von Fachhochschule und Universität Bielefeld.

Bielefeld (fhb). Wer kennt das nicht: Man hat ein Regal gekauft und möchte es zuhause sofort aufbauen. Doch das ist nicht so einfach wie gedacht. Die Bauanleitung ist umständlich formuliert, überall liegen Schrauben herum. Der Blick schweift zwischen der komplizierten Zeichnung, den Regalbrettern und den Dübeln hin und her, und man wünscht sich, man hätte drei Hände zur Verfügung.

Vor einem ähnlichen Problem stehen viele Mitarbeitende in der Montage- und Logistikindustrie. Abhilfe könnte hier ein kognitives, seh- und hörbares Assistenzsystem schaffen, das Forscherinnen und Forscher der Fachhochschule (FH) Bielefeld und der Universität Bielefeld gemeinsam in dem Forschungsprojekt „AVIKOM“ entwickeln. Über eine Datenbrille mit intelligenten Kopfhörern und Mikrofon erhalten die Mitarbeitenden individuell und vorausschauend Unterstützung. Ob akustisch, visuell oder beides – das lässt sich je nach Bedarf einstellen. Das Assistenzsystem sorgt so dafür, dass beide Hände frei sind. Es denkt mit, leitet motivierend an und macht die Beschäftigten dennoch nicht abhängig von dem System.

Beschäftige individuell und aufgabenbezogen unterstützen

Ein Projektmitarbeiter testet das Assistenzsystem aus.
Projektmitarbeiter Lars Schalkwijk (3.v.l.) montiert eine Absperrklappe. Anweisungen erhält er dabei auch über das Kopfhörersystem, das den Umgebungslärm durch ein integriertes Verfahren mit Störschallunterdrückung unterbindet.

„In modernen Montage- und Logistikprozessen werden bis heute wesentliche Arbeiten von Hand erledigt“, erklärt Prof. Dr. Joachim Waßmuth, Professor für elektrotechnische Gebiete der Mechatronik an der FH Bielefeld. „Außerdem werden immer mehr individuell angepasste Produkte in Auftrag gegeben.“ Beschäftigte in der Montage müssen darum von Produkt zu Produkt unterschiedliche Abläufe beherrschen. Als Anleitungen dafür erhalten sie häufig nur eine technische Zeichnung als Papierdokument, was das freie Arbeiten mit beiden Händen erschwert. Waßmuth: „Das ist umständlich und unproduktiv, da sie sich sowohl auf das Ablesen als auch auf die Montage konzentrieren müssen.“

Genau hier kommt nun AVIKOM ins Spiel: „Audiovisuelle Unterstützung durch ein kognitives und mobiles Assistenzsystem“. Es kann sich individuell und aufgabenbezogen an die Mitarbeiterinnen und Mitarbeiter und den entsprechenden Arbeitskontext anpassen. Mit visuellen und auditiven Handlungshinweisen soll es die Beschäftigten entlasten, die Produktivität steigern sowie langfristig digitalisierte Prozesse in kleinen und mittelständischen Unternehmen (KMU) fördern.

Intelligente Kombination von Headset und AR-Brille

Das Assistenzsystem AVIKOM
Das Assistenzsystem kann auch auf Dokumente zugreifen, die in den Prozessen der Unternehmen etabliert sind.

Ein Clou von AVIKOM ist die Kombination eines Headsets mit einer Daten-Brille, der Microsoft Hololens 2. AVIKOM „erweitert“ die Realität (Augmented Reality, kurz AR), indem es beispielsweise Hologramme in das reale Sichtfeld einblendet. Neben Texten, Grafiken, Bildern, Videos und Hologrammen kann AVIKOM auch auf Dokumente zugreifen, die in den Prozessen der Unternehmen etabliert sind.

Eine weitere Schnittstelle ist das intelligente Kopfhörer-System. „Es besteht aus einem mobilen Endgerät, Kopfhörern und Mikrofon“, so Lars Schalkwijk, Projektmitarbeiter im Institut für Systemdynamik und Mechatronik (ISyM) der FH Bielefeld. „So erhalten Nutzerinnen und Nutzer ihre Hilfshinweise über synthetisierte Sprache und Klänge. Mitarbeiterinnen und Mitarbeiter können das System über Sprachbefehle aktiv steuern, zusätzliche Hinweise anfordern und sogar in Lärmumgebungen Rückfragen stellen.“

Über Klang und Bild zum richtigen Produkt

Prof. Dr. Waßmuth hat das Kopfhörer-System in einem vorangegangenen Projekt namens „HEA2R“ entwickelt. In dem Verbundprojekt AVIKOM werden nun einzelne Komponenten aus dem Vorgängerprojekt verwendet und für industrielle Anwendungsszenarien adaptiert und erweitert. „Fehlermeldungen, deren Lokalisierungen und Navigation über Klänge und visuelle Einblendungen haben wir als neue Elemente hinzugefügt“, erklärt Schalkwijk. So navigiert das Assistenzsystem beispielsweise den Beschäftigten zum richtigen Regal und Produkt bei Kommissionier-Tätigkeiten.

Forschungskonsortium aus Fachhochschule und Universität

„Das Besondere an unserem Assistenzsystem ist, dass sich AVIKOM individuell an den Wissensstand und die Präferenzen der Nutzenden sowie an die Umgebungsfaktoren anpasst. Es liefert Informationen genau dann, wenn sie benötigt werden. Und genau so, wie sie benötigt werden.“

Lars Schalkwijk, wissenschaftlicher Mitarbeiter am ISyM der FH Bielefeld

Bei AVIKOM ist die FH Bielefeld für die Entwicklung der auditiven, die Forschungsgruppe „Neurokognition und Bewegung – Biomechanik“ der Universität Bielefeld um Prof. Dr. Thomas Schack für die Entwicklung der visuellen Komponente zuständig. Darüber hinaus ist die Forschungsgruppe mit der Diagnostik betraut. Mit einer softwarebasierten Analyse ermitteln sie Vorwissen und Fertigkeiten der Beschäftigten, das sogenannte Assistenzlevel, anhand dessen anschließend individualisierte Handlungshinweise erstellt werden. Unter der Leitung von Prof. Dr. Günter Maier kümmert sich die Arbeits- und Organisationspsychologie der Universität Bielefeld um die Bereiche Arbeitsgestaltung, Qualifizierungsbedarf und Change Management. Gemeinsam kreieren alle drei Forschungsgruppen die Schnittstellen zwischen den Systemkomponenten sowie zwischen dem System und dem Menschen, modellieren Anwendungsszenarien mit den KMU und testen das System vor Ort.

Wichtig ist dem Forschungsteam, dass AVIKOM die Beschäftigten bestmöglich dabei unterstützt, Arbeitsschritte eigenständig durchführen zu können. „Wir wollen keine Abhängigkeiten schaffen“, erläutert Lars Schalkwijk. „Deswegen erklärt das System auch, warum eine bestimmte Tätigkeit ausgeführt werden soll.“ Wurde eine Aufgabe mehrmals erfolgreich abgeschlossen, reduziert AVIKOM seine Assistenztätigkeit schrittweise. Und die Nutzenden können das Assistenzlevel für jeden Arbeitsschritt jederzeit selbst aktiv erhöhen oder verringern.

Einzigartiges System unter den AR-Brillen: es arbeitet interaktiv und modular

In der Unterhaltungsbranche, im OP-Saal und in der Automobilindustrie, aber auch immer mehr im verarbeitenden Gewerbe kommen AR-Brillen bereits zum Einsatz. „Das Besondere an unserem Assistenzsystem ist allerdings, dass sich AVIKOM individuell an den Wissensstand, die Präferenzen und Einschränkungen des Nutzenden ebenso wie an die Umgebungsfaktoren und Informationstypen anpasst“, erklärt Schalkwijk. „Es liefert Informationen genau dann, wenn sie benötigt werden. Und genau so, wie sie benötigt werden.“ Neu seien außerdem der modulare Aufbau des Systems sowie die multimodale und aufeinander abgestimmte Aus-und Eingabe von Informationen.

Positives Feedback von testenden Unternehmen

Praxistests haben gezeigt, wie hilfreich und richtungsweisend das System ist. „Die Unternehmen sind sehr interessiert und melden positives Feedback“, sagt Tobias Ehlentrup, der als technischer Geschäftsführer des ISyM verschiedene Forschungsprojekte unterstützt und verbindet, so auch das Teilvorhaben im Verbundprojekt. Langfristig wünscht sich das Forschungsteam, dass AVIKOM Teil unserer Arbeitswelt wird und insbesondere ältere Beschäftigte, Menschen mit Behinderungen oder mit Migrationshintergrund im Job unterstützt. Ende Mai präsentierte das Forschungskonsortium das AVIKOM-System auf Deutschlands größter Industrie-Messe, der Hannover Messe. Und wer weiß, vielleicht hilft es uns demnächst auch zuhause, wenn wir mal wieder „schnell“ ein Regal aufbauen möchten. (nsc)

Ein Mitarbeiter steht in der Experimentierhalle.
AVIKOM wird bereits in drei verschiedenen KMUs in der Region getestet. Ein Wunsch des Forschungsteams ist dabei, zukünftig auch ältere Beschäftigte, Menschen mit Behinderungen und mit Migrationshintergrund mit dem Assistenzsystem bei ihrer Arbeit zu unterstützen.

Wer steckt hinter AVIKOM?

Das Projekt AVIKOM startete im Mai 2019 und endet im Dezember 2022. Gefördert wird es vom Bundesministerium für Bildung und Forschung und dem Europäischen Sozialfonds (ESF) mit einem Fördervolumen von 2,4 Millionen Euro. AVIKOM ist eine Fortsetzung der Forschungsprojekte „HEA2R“ und „ADAMAAS“. Neben dem dreiköpfigen Forschungsteam des Instituts für Systemdynamik und Mechatronik (ISyM) der FH Bielefeld, das für die Entwicklung der auditiven Komponente zuständig ist, wirken Wissenschaftlerinnen und Wissenschaftler aus zwei Forschungsgruppen der Universität Bielefeld an dem anwendungsorientierten Projekt mit.

Beteiligt sind außerdem die regionalen Unternehmen Euscher, Fischer Panda und MIT Systemarmaturen, als assoziierter Partner das Maschinenbauunternehmen Dreckshage sowie als assoziierte Transferpartner die v. Bodelschwinghschen Stiftungen Bethel, die Industrie- und Handelskammer Ostwestfalen zu Bielefeld (IHK), das Bildungswerk der ostwestfälisch-lippischen Wirtschaft (BOW) und das Netzwerk OWL Maschinenbau.

Weitere Informationen über AVIKOM

Startseite Institut für Systemdynamik und Mechatronik (ISyM)
Projektseite "AVIKOM"


Projektvideo "AVIKOM"
Projekt "HEA2R"
Projekt "ADAMAAS"

Weitere Links

Pressemitteilung: "Hannover Messe 2022: Gemeinsamer Auftritt von Fachhochschule und Universität stärkt den Campus Bielefeld" 

Pressemitteilung: "Audiovisuelles Assistenzsystem für Montage und Logisitik"