Exploiting compressed sensing in distributed machine learning.

Abstract

A range of contemporary applications, such as remote monitoring of crucial measurements, mechanical fault recognition, remote detection of structural strain in constructions, and many others, have become possible today thanks to the Internet of Things (IoT). Due to the fog-based design of these systems, devices are placed at the extreme edge, requiring data transmission to a central node. At the same time, the performance of these devices is limited both by power requirements for wireless transmission via the network and by their limited computational capabilities and features. Ideally, there would be a way to compress the data to a great extent so that, upon receipt by the receiving node, it could be accurately reconstructed. This need is addressed by a new technique called compressive sensing. Its operation is based on the sparsity characteristic of most natural signals when represented in a specific basis. This technique allows reconstruction with far fewer points than traditional sampling techniques, such as Nyquist. The intersection of the compressive sensing (CS) and machine learning (ML) domains has garnered significant research interest, combining the fundamental principles from both areas, and is the focus of the present master's thesis. Through this study, the use of CS as a compression tool before transmission is explored, and the limits of its application in distributed ML systems are determined. More specifically, the impact of CS on the recognition capability of reconstructed signals by a trained ML model is examined. The study aims to achieve a high recognition rate for reconstructed signals at the network's edge and extreme edge.

Ένα σύνολο από σύγχρονες εφαρμογές όπως απομακρυσμένη παρακολούθηση σημαντικών μετρήσεων, αναγνώριση μηχανικών σφαλμάτων, απομακρυσμένη ανίχνευση μηχανικής καταπόνησης δομικών κατασκευών και πολλές άλλες κατέστησαν δυνατές σήμερα χάρη στο IoT. Λόγω του fog based σχεδιασμού τέτοιων συστημάτων οι συσκευές αυτές τοποθετούνται στο extreme edge και απαιτείται μετάδοση δεδομένων σε κάποιο κεντρικό κόμβο. Παράλληλα δε οι επιδόσεις αυτών των συσκευών, περιορίζονται τόσο από τις απαιτήσεις ισχύος για ασύρματη μετάδοσής μέσω του δικτύου όσο και από τις περιορισμένες υπολογιστικές δυνατότητες και χαρακτηριστικά τους. Θα ήταν ιδανικό να υπήρχε τρόπος συμπίεσης των δεδομένων σε μεγάλο βαθμό ώστε μετά την παραλαβή τους από τον κόμβο παραλήπτη, να μπορούσε να γίνει πιστή ανακατασκευή τους. Την ανάγκη αυτή έρχεται να καλύψει μια νέα τεχνική που ονομάζεται συμπιεστική δειγματοληψία. Η λειτουργία της στηρίζεται στο χαρακτηριστικό της αραιότητας των περισσότερων φυσικών σημάτων όταν αυτά αναπαρασταθούν σε μια συγκεκριμένη βάση. Η τεχνική αυτή επιτρέπει την ανακατασκευή με πολύ λιγότερα σημεία από ότι απαιτούν παραδοσιακές τεχνικές δειγματοληψίας όπως του Nyquist. Το σημείο τομής της περιοχής του CS και του ML συγκεντρώνει μεγάλο ερευνητικό ενδιαφέρον και συνδυάζει τις βασικές αρχές και από τις δύο περιοχές και σε αυτό εστιάζει η μελέτη της παρούσας διπλωματικής εργασίας. Μέσα από τη παρούσα μελέτη, διερευνάται η χρήση του CS ως εργαλείο συμπίεσης πριν τη μετάδοση και προσδιορίζονται τα όρια εφαρμογής του σε κατανεμημένα συστήματα μηχανικής μάθησης. Πιο συγκεκριμένα μελετάται η επίδραση της cs στην ικανότητα αναγνώρισης ανακατασκευασμένων σημάτων από ένα εκπαιδευμένο μοντέλο ML. Η μελέτη στοχεύει στην επίτευξη υψηλού ποσοστού αναγνωρίσεων ανακατασκευασμένων σημάτων στο edge και extreme edge του δικτύου.