Institut für Anthropomatik und Robotik (IAR) - Intelligente Prozessautomation und Robotik (IPR)

ImRoNet (Internetbasierte multimediale/multimodale Nutzerschnittstellen zur Teleoperation von Robotern)

Ziel des Vorhabens ImRoNet ist es, internetbasierte multimediale/multimodale Nutzerschnittstellen zur Teleoperation von Robotern zu erforschen und neue Verfahren und Komponenten zur Gestaltung der intuitiven Bedienung von Robotern in typischen Einsatzumgebungen zu konzipieren und experimentell zu validieren.

 

Bild ImRoNet Vision

 

Logo Bundesministerium für Wirtschaft und TechnologieLogo Deutsches Zentrum für Luft- und Raumfahrt

 

 

Diese Schnittstellen sollen neue Interaktionsformen mit Robotern ermöglichen und zu neuen Anwendungsfeldern für Roboter führen. Sie sollen gewährleisten, dass von jedem Ort aus zu jeder Zeit durch die Anwender auf einen Roboter zugegriffen werden kann. Die Anwendungen für solche teleoperativen Systeme sind die Überwachung und Steuerung von technischen Anlagen, Bauwerken, Gebäuden und Umgebungen. Damit die Teleoperation intuitiv und effektiv durchgeführt werden kann, sollen die Daten unterschiedlichster Sensorsysteme des Roboters multimedial so aufbereitet werden, dass der Bediener sie intuitiv interpretieren und darauf reagieren kann. Im Wesentlichen sollen drei Betriebsarten mit multimedialen Schnittstellen erforscht und entwickelt werden: Teleassistenz, Telepräsenz, autonomes Assistenz- und Informationssystem. 

Im ersten Szenario findet eine Interaktion via Internet zwischen einer entfernten Person (z.B. einem Experten) mit einem Nutzer vor Ort sowie und auch eine direkte Interaktion des Nutzers vor Ort mit dem Robotersystem statt.

 Im zweiten Szenario wird das Robotersystem ausschließlich durch einen entfernten Nutzer gesteuert, der jedoch durch die entwickelte Multimedialität besonders realitätsnah in das Service- bzw. Robotersystem vor Ort eingebunden wird.

 Im dritten Szenario werden einem Nutzer vor Ort multimediale Informationen zur Verfügung gestellt, die die Steuerung des Roboters und des Prozesses erheblich erleichtern und intuitiver gestalten.

Ergebnisse des Forschungsvorhabens sollen sein:

  1. Eine offene, webbasierte Hard- und Softwarearchitektur, die es ermöglicht, Daten zur multimedialen/multimodalen Mensch-Maschine-Interaktion über das Internet zu übertragen.
  2. Ein Sensor- und Aktorbaukasten, mit dem entsprechend den Nutzeranforderungen eine multimediale/multimodale Nutzerschnittstelle für unterschiedliche Anwendungen bzw. Roboterplattformen konzipiert und konfiguriert werden kann.
  3. Ein flexibles und adaptives Protokoll zur Übertragung multimedialer/multimodaler Daten
  4. Ein modular aufgebautes Multimedia-Nutzergerät zur Interaktion mit einem Robotersystem vor Ort oder via Internet.
  5. Verfahren zur Umsetzung von Multimediaeingaben in Aktionen (von Robotern) mit adäquater Systemrückmeldung
  6. Verfahren zur teilautomatischen Modellierung der Umgebung, Lernverfahren zur interaktiven Erweiterung der Modelldatenbank
  7. Eine modular aufgebaute Bibliothek von Greif- und Handhabungsfertigkeiten („Skills“), z.B. für komplizierte Teleoperationsaufgaben.
  8. Demonstratoren der Einzelfunktionalitäten und des Gesamtsystems in typischen Praxisumgebungen.

Um diese Ziele zu erreichen, hat sich ein Konsortium gebildet, bestehend aus führenden Forschungsinstituten (dem Fraunhofer-Institut für Produktionstechnik und Automatisierung und dem Institut für Prozessrechentechnik, Automation und Robotik der Universität Karlsruhe (TH)) zur Erforschung der grundlegenden Methoden und Verfahren sowie führenden Herstellern der Steuerungstechnik (Fa. Beckhoff), der Robotik und Greiftechnik (Neobotix, Schunk) und der Multimediatechnologie (metaio). Neben der gemeinsamen F&E verfolgen die Industriepartner die Umsetzung der in diesem Vorhaben erarbeiteten Verfahren und Komponenten in marktfähige Produkte und Dienstleistungen.