Μελέτη και αξιολόγηση διαφορετικών τρόπων επικοινωνίας και συγχρονισμού σε παράλληλα και κατανεμημένα συστήματα.

Abstract

Το θεματικό αντικείμενο της παρούσας πτυχιακής εργασίας η μελέτη διαφορετικών παράλληλων και κατανεμημένων προγραμματιστικών μοντέλων, όπως pthread, multithreading με shared memory και network programming (διεργασίες κοινής μνήμης με νήματα) και message passing (επικοινωνία με μηνύματα). Η μελέτη δίνει τη δυνατότητα στον ενδιαφερόμενο να δει και να καταλάβει πως λειτουργούν σε βάθος τα μοντέλα αυτά. Η περιγραφή και η ανάλυση τους γίνεται με γνώμονα την κατανόηση των μοντέλων αυτών προκειμένου ο αναλυτής να μπορεί να μάθει και να χρησιμοποιεί με όσο το δυνατόν πιο απλό και κατανοητό τρόπο τα προγραμματιστικά μοντέλα αυτά. Για την επίτευξη του παραπάνω στόχου ακολουθήθηκαν επιμέρους βήματα τα οποία συνοψίζονται παρακάτω και τα οποία συνιστούν και τη μεθοδολογία που χρησιμοποιήθηκε στην παρούσα εργασία. Πρώτα από όλα, στο μεθοδολογικό σκέλος της πτυχιακής μελετήθηκαν θέματα που αφορούν τις απαραίτητες θεωρητικές έννοιες ώστε να μπορέσουμε να προγραμματίσουμε απλές εφαρμογές με μοντέλα ανταλαγής μηνυμάτων και προγραμματισμού κοινής μνήμης με βάση νήματα. Μετά έχοντας σα βάση σύγκρισης διάφορα υπολογιστικά προβλήματα που απαιτούν αρκετή επικοινωνία, όπως εσωτερικό γινόμενο, πολλαπλασιασμό πινάκων, πολλαπλασιασμό πίνακα με διάνυσμα και mergesort, κωδικοποιούμε αντίστοιχους αλγορίθμους με βάση διάφορες πρότυπες βιβλιοθήκες (MPI, pthreads standards) και εξετάζουμε σε περιβάλλον C/C++ και Linux πώς διάφορα μοντέλα επικοινωνίας και συγχρονισμού (και οι αντίστοιχες παράμετροι λειτουργίας τους) επηρεάζουν την απόδοση της εφαρμογής (application latency). Με βάση την μεθοδολογία αυτή, η πτυχιακή δίνει τη δυνατότητα να εξάγουμε σημαντικά συμπεράσματα ως τον πιο αποδοτικό τρόπο υλοποίησης αυτών των προβλημάτων.

The topic of this thesis is to study different parallel and distributed programming models, including message passing and shared memory multithreading. The study of parallel and distributed programming models at a theoretical level enables us to become familiar with these technologies. Moreover, our algorithm design and implementation for a set of scientific computation problems, including dot product, matrix multiplication, matrix-vector multiplication and mergesort has enabled understanding the underlying standard message passing and shared memory multithreading libraries.The analysis has provided a glimpse on the efficiency of Pthreads, Shared Memory multithreading and MPI libraries using C/C++ on a Linux platform, providing conclusions on performance benefits and limitations from these models for the above set of scientific computation problems.