Δημιουργία 3D game σε περιβάλλον Unity Game Engine και χρήση του Kinect για την αλληλεπίδραση με τους χαρακτήρες.

Abstract

Στόχος της πτυχιακής εργασίας είναι η μελέτη των πιο πρόσφατων μεθόδων δημιουργίας ρεαλιστικών 3D μοντέλων, το εύρος των δυνατοτήτων που προσφέρει το Unity Game Engine και η σύνδεση του Microsoft Kinect με το engine αυτό, μέσω του MS-SDK του Kinect, με σκοπό τη δημιουργία ενός ρεαλιστικού 3D game με κίνηση του χαρακτήρα βάση ενστικτωδών κινήσεων του παίκτη. Στα πλαίσια της πτυχιακής αυτής, έγινε έρευνα πάνω στις νέες τεχνολογίες και σε μια πληθώρα σχεδιαστικών λογισμικών, από τα οποία όμως δόθηκε ιδιαίτερη βάση στο 3ds Max της Autodesk, το Photoshop της Adobe, το ZBrush της Pixologic και το Unity Game Engine της Unity Technologies. Κατά τη περίοδο συγγραφής της παρούσας πτυχιακής δεν υπήρχε κάποια προϋπάρχουσα εφαρμογή σύνδεσης του Kinect με το Unity μέσω του MS-SDK οπότε στοχεύσαμε στο να δημιουργήσουμε ακριβώς αυτό. Η ροή εργασίας που ακολουθήσαμε για να δημιουργήσουμε το τελικό αποτέλεσμα κάνει χρήση κυρίως τεσσάρων προγραμμάτων: Autodesk 3ds Max, ZBrush, Unity Game Engine και Adobe Photoshop. Για αρχή, δημιουργούμε ένα μοντέλο μικρού αριθμού πολυγώνων (low-poly) στο 3ds Max. Το μοντέλο αυτό εισάγεται έπειτα στο ZBrush όπου έχουμε την επιλογή να αυξήσουμε ελαφρώς τον αριθμό πολυγώνων του ώστε να έχουμε ένα πιο ομαλά αλλά ακόμα ελαφρύ low-πολύ. Στο σημείο αυτό μπορούμε να δουλέψουμε παράλληλα σε δύο διαφορετικά επίπεδα, δημιουργώντας υπο-αντικείμενα για το μοντέλο μας, όπως ρούχα, προσθέτοντας λεπτομέρειες υψηλής ευκρίνειας και χρωματισμό και εξάγοντας αυτά ως texture και normal maps αντίστοιχα, στο ZBrush, και ταυτόχρονα να επιστρέψουμε στο 3ds Max και να κάνουμε το UV Unwrap του μοντέλου μας, το σκελετό του και τις κινήσεις. Το τελικό μοντέλο, που απαρτίζεται από το μοντέλο του χαρακτήρα μας, με σκελετικό σύστημα, κινήσεις, ρούχα και texture και normal maps, εισάγεται σε αυτό τη σημείο μέσα στη Unity. Εκεί, επικεντρωνόμαστε σε τρείς διαδικασίες, τη δημιουργία του περιβάλλοντος, τον ορισμό των κινήσεων πάνω στο χαρακτήρα μας και το γράψιμο του κώδικα που θα το μετακινεί, που θα ελέγχει τη κάμερα κλπ. Σε οποιοδήποτε σημείο είτε στο ZBrush είτε στη Unity όπου ασχολούμαστε με maps, μπορεί να χρειαστεί να μεταβούμε στο Photoshop για να διορθώσουμε τυχόν ατέλειες. Στο στάδιο αυτό, το παιχνίδι είναι ολοκληρωμένο, αλλά χειρίζεται με είσοδο από το πληκτρολόγιο, οπότε χρησιμοποιούμε το Kinect για να εντοπίσουμε τα joints του παίκτη και να ελέγξουμε τη σχετική τους θέση, ώστε να προσδιορίσουμε το αν βρίσκονται μέσα σε ένα επιθυμητό εύρος. Αν συμβαίνει αυτό, καλούμε συναρτήσεις που επικοινωνούν με το χειριστή του χαρακτήρα και κάνουμε το μοντέλο μας να κινείται αναλόγως. Τέλος, παρουσιάζουμε τα προγράμματα που χρησιμοποιήθηκαν καθώς και τις δυνατότητες που προσφέρουν και γίνεται αναφορά σε τρόπους με τους οποίους μπορεί η εφαρμογή να εξελιχθεί και τι επιπλέον λειτουργίες μπορούν να αναπτυχθούν πάνω στο τελικό αποτέλεσμα.

The goal of this thesis is to study the most recent methods of creating realistic 3D models, the range of options given by Unity Game Engine and integrating Microsoft Kinect to that engine, utilizing MS-SDK, in order to develop a realistic 3D game, taking as input intuitive player movement. During this thesis, there was a research conducted on new technologies and a plethora of designing software, mostly Autodesk 3ds Max, Adobe Photoshop, Pixologic ZBrush and Unity Game Engine, developed by Unity Technologies. At the time of writing this thesis, there was no Unity implementation of Kinect using MS-SDK so we aimed to work on that. The workflow used to create the final result involves mainly 4 different programs: Autodesk 3ds Max, ZBrush, Unity Game Engine and Adobe Photoshop. To start with, we create a low-poly model on 3ds Max. This model is then imported into Zbrush where we have the option of slightly upping the poly-count to make a smoother but still light on resources low-poly model to use. At this point, our work can be split into two parallel paths, one, creating additional sub-objects for the model, like clothes, adding high fidelity geometry details and colorization and exporting them as a texture and normal map respectively, in ZBrush, and in the meanwhile going back to 3ds Max to UV Unwrap the model, rig it and create animations. The final model, comprising of a rigged, animated model with texture and normal maps is then imported into Unity. There, we focus on 3 different processes: creating the environment, setting up the animations for our character and scripting the character’s control, the camera behavior etc. At any point in ZBrush or Unity when we’re dealing with maps, we might have to go into Photoshop to fix any image errors. At this stage, the game is complete but controlled by keyboard input, so we use Kinect to map the player’s joints and check their relative position to determine if they’re in a desired range. If so, we call functions that communicate with the character controller and make our model move accordingly. Lastly, we go into details describing the programs used and their capability and we take a look into ways this application could be further developed and what more functions could be implemented to make it a complete game.