ByteBuddy

Über das Projekt

Deutsch: ByteBuddy ist ein mit Servo angesteuerter Roboter, dessen Körperteile mithilfe eines 3D-Druckers gedruckt werden können. Mit unserem Roboter haben wir eine Telepräsenz erstellt, welche es uns ermöglicht, den Roboter von einem anderen Raum aus zu steuern. Dies haben wir mithilfe einer VR-Brille und eines Kinect-Sensors realisiert. Zusätzlich bietet unser System Funktionen wie KI-gestütztes Bewegungs-Tracking, das sowohl die Interaktion als auch die Präzision der Bewegungen verbessert.

English: ByteBuddy is a servo-powered robot whose body parts can be created using a 3D printer. With our robot, we have developed a telepresence system that allows us to control the robot from another room. This was achieved using a VR headset and a Kinect sensor. Additionally, our system offers features such as AI-powered motion tracking, which enhances both interaction and the precision of movements.

Projektdetails

Strukturplan

Das Vorgehen beim ByteBuddy wird unterteil in Kopf und Körper. Das Videomaterial von der Kamera, im Auge des InMoovs, wird vom Raspberry Pi auf eine Webseite gestreamt. Die Oculus Quest 2 greift dann auf die diesen Livestream zu, gleichzeitig schickt die Oculus die Daten von dem 6DOF Sensor via MQTT zum Raspberry und dieser Leitet es weiter an die Servomotoren des Kopfes. Über die Kamera wird mit einer KI die Bewegungen eines Gegenübers getracked und über MQTT zu den Servomotoren des Körpers gesendet.

VR-Brille - Quest 2

Die Oculus Quest 2 ist ein fortschrittliches Virtual-Reality-Headset, das für beeindruckende immersive Erlebnisse entwickelt wurde. Mit 6DOF-Tracking ermöglicht es präzise Bewegungen und Interaktionen in virtuellen Umgebungen. Das Gerät arbeitet kabellos, was maximale Bewegungsfreiheit garantiert. Durch die Verbindung mit einem Raspberry Pi Zero 2 in unserem Projekt können Daten per MQTT übertragen und ein Livestream abgerufen werden. Die Oculus Quest 2 trägt somit entscheidend zur Steuerung und Interaktivität des ByteBuddy-Systems bei.

KI - Bewegungstracking

Beim Bewegungstracking geht es darum, dass die Bewegungen des Users über eine Kamera erfasst wird und durch eine KI verarbeitet wird. Die Daten, welche die KI ausgibt, nachdem diese Verarbeitet wurden, werden an den InMoov Roboter gesendet und diese Daten Steuern die jeweiligen Servos so an, das dieser die Bewegungen nachahmt.

Unser Team

Mihajlo Jovanović

Meister der Oculus

Emely Christin Münichsdorfer

InMoov-Spezialistin

Herwig Guggi

Projektbetreuer