Τηλεχειρισμός ανθρωπόμορφου ρομποτικού χεριού με χρήση οπτικών δεδομένων.

Abstract

Η παρούσα μεταπτυχιακή εργασία πραγματεύεται τον τηλεχειρισμό ενός ρομποτικού συστήματος με χρήση οπτικών δεδομένων, τα οποία εξάγονται από μια εξειδικευμένη εφαρμογή. Το τελικό ρομποτικό σύστημα αποτελείται από ένα βιομηχανικό βραχίονα και ένα ρομποτικό χέρι τοποθετημένο ως τελικό στοιχείο δράσης στο βραχίονα. Πιο αναλυτικά, για την υλοποίηση της εργασίας χρησιμοποιούνται τα παρακάτω συστήματα: • Η εφαρμογή "3D Hand Tracking", από την οποία εξάγονται τα οπτικά δεδομένα. Η εφαρμογή αυτή αποτελεί ένα σύστημα αναγνώρισης και παρακολούθησης του ανθρώπινου χεριού και έχει αναπτυχθεί στο εργαστήριο Υπολογιστικής Όρασης και Ρομποτικής, στο Ινστιτούτο Πληροφορικής του Ιδρύματος Τεχνολογίας και Έρευνας στο Ηράκλειο Κρήτης. • Το ρομποτικό χέρι Talos' Hand, το οποίο έχει αναπτυχθεί από φοιτητές στα πλαίσια πτυχιακών εργασιών στο εργαστήριο Συστημάτων Ελέγχου και Ρομποτικής του ΤΕΙ Κρήτης. • Ο βιομηχανικός βραχίονας RV2A της Mitsubishi. Η διασύνδεση των παραπάνω συστημάτων υλοποιείται μέσω ηλεκτρονικού υπολογιστή με εγκατεστημένο το λογισμικό MATLAB. Το ρομποτικό χέρι αναπαράγει την κίνηση των δαχτύλων του χρήστη και το τελικό στοιχείο δράσης του βραχίονα αναπαράγει την κίνηση της παλάμης του χρήστη. Ως αποτέλεσμα των παραπάνω το τελικό ρομποτικό σύστημα μιμείται την κίνηση του χεριού του χρήστη. Αυτό επιτυγχάνεται χωρίς ο χρήστης να φέρει οπτικά σημάδια στο χέρι του ή να φοράει ειδικά γάντια.

Remote control of complex mechatronic systems, in an intuitive way, is not an easy task especially when we refer to robot manipulators and anthropomorphic robotic hands. In this case, teleoperation is often performed through expensive motion tracking systems along with uncomfortable data gloves in order to capture the configuration of the palm and the motion of the fingers. For this reason, we propose a teleoperation system that is solely based on optical data for controlling the motion of a robotic hand with 22 degrees of freedom (DoFs). The proposed system does not require the user to wear any motion capture glove or other exoskeleton devices. The main task for the system is to imitate user’s hand configurations for grasping objects or doing human gestures. The system consists of the following subsystems: a. the 16 DoFs robot hand “Talos” that is developed by the Control Systems & Robotics Lab at the Technological Educational Institute of Crete b. the RV-2A six DoFs robot manipulator by Mitsubishi and c. the “3D Hand Tracking” software that is based on the RGB-D Kinect sensor and developed by the Computational Vision & Robotics Laboratory of the Institute of Computer Science /FORTH. The interaction between the systems accomplished using a desktop PC with MATLAB installed. The Talos’ hand is used as a griper at the end effector of RV-2A and reproduces the movement of the user’s fingers. The end effector of RV-2A reproduces the movement of the user’s palm. As a result, the system’s motion imitates that of the user’s hand in near real time, without requiring the user to wear any motion capture gloves or other invasive devices.