Semantic segmentation of diabetic retinopathy lesions, using a UNET with pretrained encoder.

Abstract

With the emergence of Deep Learning nowadays, a lot of novel architectures have been devised to perform tasks such as classification, detection, segmentation etc. In Medical Imaging and especially in Ophthalmology, the robustness of Deep Learning is exploited in many studies. Most of the state of art papers nowadays use UNets or Fully Convolutional Networks (FCN) for segmentation tasks. UNets instantiate a modified version of the acknowledged Convolutional Neural Networks. In this study we focus on the segmentation of Diabetic retinopathy lesions. In the real world, this task is very difficult because a good algorithm is based on a robust dataset. The special annotated datasets for segmentation tasks are pretty rare and comprise fewer images compared to other larger datasets. Additionally, images dedicated to segmentation are imbalanced as far as the ratio of lesions and normal pixels are concerned. Those were the main reasons we chose not to train a model from scratch and confront possible difficulties. Instead we exploited transfer learning and utilized a pretrained network (MobileNetV2) as encoder of the Unet. We segmented four kinds of Diabetic Retinopathy lesions, surpassing the existing state of art models in the case of two lesions: Hemorrhages and Soft Exudates. More specifically, Sensitivity in Hemorrhages reached 0.89 whilst in Soft Exudates reached 0.97. One of the novelties of the thesis is that the algorithm could be further easily applied on mobile phones, something that MobileNetV2 is intended to.

Με την έκρηξη του Deep Learning στις μέρες μας, πολλές νέες αρχιτεκτονικές έχουν επινοηθεί για την εκτέλεση εργασιών όπως classification, detection, segmentation κ.λπ. Στην Ιατρική Απεικόνιση και ιδιαίτερα στην Οφθαλμολογία, η δυναμική του Deep Learning φαίνεται σε πολλές μελέτες. Τα περισσότερα από τα τελευταία papers σήμερα χρησιμοποιούν UNets ή Fully Convolutional Networks (FCN) για segmentation. Τα UNets αποτελούν μια παραλλαγή των αναγνωρισμένων Convolution Neural Networks (CNNs). Σε αυτή την εργασία εστιάζουμε στο segmentation των βλαβών της Διαβητικής αμφιβληστροειδοπάθειας (Diabetic Retinopathy). Σε πραγματικές συνθήκες αυτή η εργασία είναι πολύ δύσκολη επειδή ένας αλγόριθμος βασίζεται σε ένα ισχυρό dataset. Τα annotated dataset για segmentation είναι αρκετά σπάνια και περιλαμβάνουν λιγότερες εικόνες σε σύγκριση με άλλα μεγαλύτερα dataset. Επιπλέον, οι εικόνες για segmentation είναι σε δυσαναλογία όσον αφορά την αναλογία βλαβών και κανονικών pixel. Αυτοί ήταν οι κύριοι λόγοι που επιλέξαμε να μην εκπαιδεύσουμε ένα μοντέλο από την αρχή και να αντιμετωπίσουμε πιθανές δυσκολίες. Αντίθετα, εκμεταλλευτήκαμε το Τransfer Learning και χρησιμοποιήσαμε ένα pretrained δίκτυο (MobileNetV2) ως encoder του Unet. Διαχωρίσαμε τέσσερα είδη βλαβών Διαβητικής Αμφιβληστροειδοπάθειας, ξεπερνώντας τα υπάρχοντα μοντέλα τελευταίας τεχνολογίας στην περίπτωση δύο βλαβών: αιμορραγίες και Soft Exudates .Πιο συγκεκριμένα, η Sensitivity σαν metric στις αιμορραγίες έφτασε το 0,89 ενώ στα Soft Exudates το 0,97. Μία από τις καινοτομίες της εργασίας είναι ότι ο αλγόριθμος μπορεί να εφαρμοστεί περαιτέρω σε κινητά τηλέφωνα.