3D view generation and view synthesis based on 2D data.

Abstract

The simplification of view synthesis and complex geometry generation is a constantly evolving topic in computer science. The need to develop an efficient methodology to recreate real-world data based on a simple dataset, such as a sequence of images, has become even more crucial with the recent technological advances that allow higher-resolution graphics even on simple devices. Extraction of 3D data from a sequence of photos (photogrammetry) is a challenging, process-intensive, and extremely time-consuming procedure. Usually, photogrammetry requires taking a great number of sample photos to efficiently extract the geometry in the form of point clouds and then to be able to post-process the geometry to generate views. The main goal of this master's thesis is to understand and examine the state of the art in photogrammetry and novel view synthesis. The focus of this thesis is to examine the creation of images directly from voxel-based data representations, postponing the intermediate step of extracting geometries. This problem appears in the literature as the "Novel View Synthesis" problem. Additionally, this thesis aims to find out the limitations that currently exist in photogrammetry and novel view synthesis approaches. By identifying these limitations, it will be possible to improve future studies and develop new techniques to reduce the user intervention and computation power required for photogrammetry.

Η απλοποίηση της σύνθεσης όψεων και η δημιουργία σύνθετης γεωμετρίας είναι ένα συνεχώς εξελισσόμενο θέμα στην επιστήμη των υπολογιστών. Η ανάγκη ανάπτυξης μιας αποτελεσματικής μεθοδολογίας για την αναπαράσταση δεδομένων πραγματικού κόσμου με βάση ένα απλό σύνολο δεδομένων, όπως ένα σύνολο εικόνων, έχει γίνει ακόμη πιο κρίσιμη με τις πρόσφατες τεχνολογικές εξελίξεις που επιτρέπουν γραφικά υψηλότερης ανάλυσης ακόμη και σε απλές συσκευές. Η εξαγωγή τρισδιάστατων δεδομένων από μια ακολουθία φωτογραφιών (φωτογραμμετρία) είναι μια πολύπλοκη και εξαιρετικά χρονοβόρα διαδικασία. Συνήθως, η φωτογραμμετρία απαιτεί τη λήψη μεγάλου αριθμού φωτογραφιών για την αποτελεσματική εξαγωγή της γεωμετρίας με τη μορφή point clouds και στη συνέχεια για τη δυνατότητα μεταγενέστερης επεξεργασίας της γεωμετρίας για τη δημιουργία προβολών. Ο κύριος στόχος αυτής της διπλωματικής εργασίας είναι να κατανοήσει και να εξετάσει το state-of-the-art στη φωτογραμμετρία και το novel view synthesis. Το επίκεντρο αυτής της διατριβής είναι να εξετάσει τη δημιουργία εικόνων απευθείας από αναπαραστάσεις δεδομένων που βασίζονται σε voxel, αναβάλλοντας το ενδιάμεσο βήμα της εξαγωγής γεωμετριών. Αυτό το πρόβλημα εμφανίζεται στη βιβλιογραφία ως το πρόβλημα " novel view synthesis ". Επιπλέον, αυτή η διατριβή στοχεύει να ανακαλύψει τους περιορισμούς που υπάρχουν επί του παρόντος στη φωτογραμμετρία και στις νέες προσεγγίσεις σύνθεσης όψεων. Με τον εντοπισμό αυτών των περιορισμών, θα είναι δυνατό να βελτιωθούν οι μελλοντικές μελέτες και να αναπτυχθούν νέες τεχνικές για τη μείωση της παρέμβασης του χρήστη και της υπολογιστικής ισχύος που απαιτείται για τη φωτογραμμετρία.