Big data: η ανάγκη το πρόβλημα η τεχνολογία

Abstract

Καθώς ο κόσμος της πληροφορίας γίνεται κοινός τόπος για όλο και μεγαλύτερο μέρος του πληθυσμού παγκοσμίως, η ανάγκη για αποδοτική διαχείριση μεγάλου όγκου ετερογενών δεδομένων γίνεται επιτακτική. Τα δεδομένα που διακινούνται καθημερινά μέσω του διαδικτύου απαιτούν φιλτράρισμα ώστε στους τελικούς χρήστες να φθάσουν μόνο όσα είναι απαραίτητα, ενώ ταυτόχρονα κρίνεται αναγκαίος ο σχεδιασμός τεχνικών και μεθόδων που θα επιτρέψουν τη βέλτιστη αποθήκευση, διαχείριση, αναζήτηση και ανάκτηση των δεδομένων αυτών, με απώτερο σκοπό την εξόρυξη χρήσιμης πληροφορίας και γνώσης από αυτά. Η αύξηση των δεδομένων (μεγάλα δεδομένα) οδήγησε στην ανάγκη ύπαρξης συστημάτων κατάλληλων για τη διαχείρισή τους. Μία πλατφόρμα ανοιχτού κώδικα το Hadoop αναπτύχθηκε για την κάλυψη αυτών των αναγκών. Έτσι λοιπόν, τα κατανεμημένα συστήματα επέφεραν τη λύση με τη χρήση υπολογιστικών κόμβων χαμηλού κόστους, μοιράζοντας παράλληλα το φόρτο εργασίας και επιτυγχάνοντας γρήγορα αποτελέσματα.