A set of mechanisms to collect, display and analyze quality metrics of research objects as a method to augment reproducibility and openness in bioinformatics research.

Abstract

Open and community-responsive tool repositories and Workflow Management Systems aid in the automation and repeatability of large-scale data analysis. However, such repositories do not include evaluation methods on those components, which could help scientists to determine which research object could satisfy their requirements. Furthermore, the problem of misattribution expands the gap of ignorance and misguided information, where users do not get acknowledged for their contributions in the scientific field. Moreover, the problem of profile building does not allow researchers to expand their contributions to different platforms and therefore, further assist with their knowledge. This thesis aimed to find solutions to some vital problems in the domain of bioinformatics. It contributes to a tool and workflow repository, the OpenBio platform, by adding a rich set of both automatically acquired and user-provided quality metrics. Those metrics are displayed in an intuitive user interface, allowing users to quickly explore them in order to make the most suitable and informed decision regarding the optimal component that suits best their analysis. Next, it tried to find a solution for the misattribution issue of bioinformatics tools, where tools were used without being properly cited in academic papers by connecting the OpenBio platform with ORCID. This acted as a counter incentive for authors when it came to submitting tools in open science repositories. Thus, it allowed users to be properly cited for the work that they could submit in open science environments that deviate from the typical “academic journal” setting such as tool repositories, and open Workflow Management Systems. Finally, it provided clear and objective indications of the expertise and the scientific activity of users, acting as an incentive for them to be more open and active by ranking them according to their quality and quantity of contributions. The User Experience Questionnaire was used in order to evaluate the implementation of those added components. The questionnaire was filled out by 8 participants after they had tested those components on the OpenBio platform. The overall results showed that the user experience regarding the added components produced positive results. The calculation of the confidence interval showed that more participants could be needed in order to express a more stable result. However, the Lambda-2 coefficient per scale showed that the answers that were given in the UEQ had high percentages to be true and valid.

Τα ανοιχτά και κοινωνικά αποθετήρια εργαλείων και τα Συστήματα Διαχείρισης Ροής Εργασίας βοηθούν στον αυτοματισμό και την επαναληψιμότητα της ανάλυσης δεδομένων μεγάλης κλίμακας. Ωστόσο, τέτοια αποθετήρια δεν περιλαμβάνουν μεθόδους αξιολόγησης αυτών των στοιχείων, οι οποίες θα μπορούσαν να βοηθήσουν τους επιστήμονες να προσδιορίσουν το ερευνητικό αντικείμενο που θα μπορούσε να ικανοποιήσει τις απαιτήσεις τους. Επιπλέον, το πρόβλημα της εσφαλμένης απόδοσης συνεισφοράς διευρύνει το χάσμα της άγνοιας και της λανθασμένης πληροφόρησης, όπου οι χρήστες δεν αναγνωρίζονται για τη συνεισφορά τους στον επιστημονικό τομέα. Επιπλέον, το πρόβλημα της δημιουργίας προφίλ δεν επιτρέπει στους ερευνητές να επεκτείνουν τις συνεισφορές τους σε διαφορετικές πλατφόρμες και συνεπώς να βοηθήσουν περαιτέρω με τις γνώσεις τους. Αυτή η διατριβή είχε ως στόχο να αντιμετωπίσει σημαντικά προβλήματα στον τομέα της βιοπληροφορικής. Συνεισφέρει σε ένα αποθετήριο εργαλείων, δεδομένων και ροών εργασίας, την πλατφόρμα OpenBio, προσθέτοντας ένα πλούσιο σύνολο μετρήσεων ποιότητας που μπορούν να αποκτηθούν αυτόματα ή και να παρέχονται από τον χρήστη. Αυτές οι μετρήσεις εμφανίζονται σε μια διαισθητική διεπαφή χρήστη, επιτρέποντας στους χρήστες να τις εξερευνήσουν γρήγορα προκειμένου να λάβουν την πιο κατάλληλη και ενημερωμένη απόφαση σχετικά με το βέλτιστο αντικείμενο που ταιριάζει καλύτερα στην ανάλυσή τους. Στη συνέχεια, προσπάθησε να βρει μια λύση για το ζήτημα της εσφαλμένης απόδοσης συνεισφοράς στα εργαλεία βιοπληροφορικής, όπου τα εργαλεία χρησιμοποιήθηκαν χωρίς να συνδέονται σωστά με την ακαδημαϊκή συνεισφορά του επιστήμονα, συνδέοντας την πλατφόρμα OpenBio με το ORCID. Αυτό λειτούργησε ως κίνητρο για τους συγγραφείς όταν επρόκειτο να υποβάλουν εργαλεία σε ανοιχτά αποθετήρια επιστήμης. Έτσι, επέτρεψε στους χρήστες να αναφέρονται σωστά για την εργασία που θα μπορούσαν να υποβάλουν σε περιβάλλοντα ανοιχτής επιστήμης που αποκλίνουν από την τυπική ρύθμιση του «ακαδημαϊκού περιοδικού», όπως τα αποθετήρια εργαλείων και τα ανοιχτά Συστήματα Διαχείρισης Ροής Εργασιών. Τέλος, παρείχε σαφείς και αντικειμενικές ενδείξεις για την τεχνογνωσία και την επιστημονική δραστηριότητα των χρηστών, λειτουργώντας ως κίνητρο για να είναι πιο ανοιχτοί και δραστήριοι, ταξινομώντας τους ανάλογα με την ποιότητα και την ποσότητα των συνεισφορών τους. Το User Experience Questionnaire χρησιμοποιήθηκε για να αξιολογηθεί η υλοποίηση αυτών των στοιχείων που προστέθηκαν. Το ερωτηματολόγιο συμπληρώθηκε από 8 συμμετέχοντες αφού είχαν δοκιμάσει αυτά τα στοιχεία στην πλατφόρμα του OpenBio. Τα συνολικά αποτελέσματα έδειξαν ότι η εμπειρία του χρήστη σχετικά με τα πρόσθετα στοιχεία παρήγαγε θετικά αποτελέσματα. Ο υπολογισμός του διαστήματος εμπιστοσύνης έδειξε ότι θα μπορούσαν να χρειαστούν περισσότεροι συμμετέχοντες για να εκφραστεί ένα πιο σταθερό αποτέλεσμα. Ωστόσο, ο συντελεστής lambda-2 ανά κλίμακα υπέδειξε ότι οι απαντήσεις που δόθηκαν στο UEQ είχαν υψηλά ποσοστά αλήθειας και εγκυρότητας.