Με αφορμή μια απάντηση του chat gpt (βλέπε εικόνα) για το θέμα της ελευθερίας των παλαιστινίων και των ισραηλινών που έγινε viral και προκάλεσε μια ολόκληρη συζήτηση για τη μεροληψία των «έξυπνων» αλγορίθμων, αναδημοσιεύουμε μια βιβλιοκριτική του Σταύρου Φωτεινόπουλου στο βιβλίο της Cathy O’ Neil κριτική «Όπλα Μαθημα(τ)ζικής Καταστροφής» (Εκδόσεις Ελληνικού Ανοικτού Πανεπιστημίου, 2021) που δημοσιεύτηκε στον 7ο τεύχος της πολιτικής επιθεώρησης Κοινωνικός Αναρχισμός.
Το βιβλίο της Cathy O’ Neil είναι μια αποκάλυψη. Διδάκτορας η ίδια μαθηματικών στο Χάρβαρντ, με πλούσια εμπειρία σε εταιρείες αιχμής που ηγούνται της σύγχρονης «επανάστασης» των big data, μας παρέχει μια ζοφερή εικόνα «εκ των έσω» για τη βαθύτερη λειτουργία ενός από τους πλέον αδιαφανείς πυλώνες της σύγχρονης οικονομίας: τους «έξυπνους αλγόριθμους». Η συγγραφέας καταφέρνει, μέσα από σειρά παραδειγμάτων, να κάνει κατανοητό για το μη εξειδικευμένο κοινό το πώς οι «έξυπνοι» αλγόριθμοι που χρησιμοποιούνται στις μέρες μας σε ένα πλήθος τομέων, από το ηλεκτρονικό εμπόριο, τις ασφάλειες και τα δάνεια, έως την πανεπιστημιακή αξιολόγηση, τη σωφρονιστική και αντεγκλητική πολιτική, αντί να κάνουν τον κόσμο μας πιο εξισωτικό και δίκαιο, αναπαράγουν κωδικοποιημένες προκαταλήψεις και μεροληψία, και έτσι, με την πολλαπλασιαστική δυναμική τους, τείνουν να τιμωρούν τους φτωχούς, πολλαπλασιάζοντας τις κοινωνικές ανισότητες και τους αποκλεισμούς. Οι αλγόριθμοι, έτσι, λειτουργούν σαν ένα υπόγειο εργαλείο ταξικού πολέμου, αφάνταστα αποτελεσματικότερο από τις πολιτικές αποφάσεις, αφού πίσω από τη «μηχανική» του λειτουργία συγκαλύπτονται οι ταξικές πολιτικές υπέρ των ισχυρών.
Στο πρώτο κεφάλαιο, η συγγραφέας μας εξηγεί τι είναι ένα «Όπλο Μαθημαζικής Καταστροφής» (ΟΜΚ από εδώ και στο εξής), παρέχοντάς μας κάποια χαρακτηριστικά παραδείγματα παραδοσιακών αλγορίθμων (που δεν είναι ΟΜΚ) και κωδικοποιώντας τα ποιοτικά χαρακτηριστικά ενός ΟΜΚ: η αδιαφάνεια, η κλίμακα και η βλάβη που προκαλούν. Τι είναι όμως μοντέλο; Είναι μια αφηρημένη αναπαράσταση μιας διαδικασίας, η οποία δημιουργεί συγκεκριμένες προσδοκίες και καθοδηγεί στη λήψη αποφάσεων. Ένα χαρακτηριστικό παράδειγμα ΟΜΚ είναι ένα από τα δημοφιλέστερα προγράμματα σωφρονιστικής υποτροπής, το LSI-R (Αναθεωρημένη απογραφή επιπέδου ποινών), που περιλαμβάνει ένα ερωτηματολόγιο που συμπληρώνει ο κρατούμενος. Το ερωτηματολόγιο όμως είναι γεμάτο από ερωτήσεις με συγκαλυμμένες ρατσιστικές και ταξικές προκαταλήψεις. Παράγει έναν αλγόριθμο που προσμετρά ως παράγοντες υποτροπής το ποινικό μητρώο των συγγενών ή των γειτόνων και τον αριθμό «εμπλοκών» του με την αστυνομία. Όλοι βέβαια ξέρουμε ότι αν μεγαλώνεις σε ένα γκέτο, η πιθανότητα να έχεις γνωστούς με ποινικό μητρώο είναι αυξημένη, όπως και το ότι η αστυνομία έχει πολύ πιο ενοχλητική παρουσία στις φτωχογειτονιές και πολύ πιο διακριτική στα πλούσια προάστια. Έτσι, το μοντέλο υποτροπής ενσπείρει ταξικά μεροληπτικούς παράγοντες στην αξιολόγηση του εγκλήματος, οι οποίοι, ως τέτοιοι, δεν θα μπορούσαν να σταθούν νομικά σε κανένα αστικό δικαστήριο.
Στο δεύτερο κεφάλαιο η συγγραφέας μοιράζεται την πολύ ενδιαφέρουσα εμπειρία της από την περίοδο που εργάστηκε ως αναλύτρια δεδομένων στα αμοιβαία κεφάλαια αντιστάθμισης κινδύνου. Παρομοιάζοντας, πολύ επιτυχημένα, τα αμοιβαία κεφάλαια αντιστάθμισης κινδύνου με τους τζογαδόρους που ποντάρουν σε έναν αγώνα μπέιζμπολ, όχι στο ποιος θα νικήσει ή θα χάσει αλλά στα ενδιάμεσα αποτελέσματα, στον αριθμό των επιτυχημένων και αποτυχημένων επιθέσεων κ.ο.κ. Η αχαλίνωτη απελευθέρωση του νομικού πλαισίου με την αλλαγή του νόμου Glass-Steagall[1] έδωσε στις τράπεζες τη δυνατότητα να τζογάρουν εναντίον των τίτλων που είχαν πουλήσει σε πελάτες τους. Μέσα από μια συστηματική παρουσίαση του πώς λειτουργούσαν οι τραπεζικοί μηχανισμοί και της διαπλοκής τους με τους οίκους αξιολόγησης, καταδεικνύεται το πώς ο συνδυασμός του τραπεζικού πλέγματος με τους αλγορίθμους ΟΜΚ, τα μοντέλα κινδύνου που συνόδευαν τους τίτλους εγγυήσεων ενυπόθηκων δανείων, οδήγησαν στην κατάρρευση της Lehman Brothers, στη μεγαλύτερη πιστωτική κρίση της εποχής μας και στην απώλεια εισοδήματος και περιουσίας εκατομμυρίων ανθρώπων. Μας λέει όμως και κάτι σημαντικότερο, ότι ακόμα και μετά την κατάρρευση και παρά τις νομοθετικές παρεμβάσεις που υποτίθεται πως θα θωράκιζαν την αξιοπιστία του τραπεζικού συστήματος, οι πρακτικές που ακολουθούνταν συνέχισαν ίδιες και απαράλλακτες, και ήταν ένας από τους βασικότερους λόγους που την οδήγησαν στην παραίτηση από την εργασία σε αυτόν τον τομέα.
Στο τρίτο κεφάλαιο γίνεται μια επέκταση της των αλγορίθμων ΟΜΚ στην αξιολόγηση και στην «αριστεία» των πανεπιστημίων. Η συγγραφέας μας εξηγεί πώς ο αλγόριθμος που ξεκίνησε το 1983 από το περιοδικό «US News & World Report», και είχε ως στόχο την κατάταξη ως προς την αριστεία 1800 κολεγίων και πανεπιστημίων των Ηνωμένων Πολιτειών, δημιούργησε εν τέλει, σε συνθήκες αγοράς, έναν φαύλο βρόχο ανατροφοδότησης, που καθιστούσε την κατάταξη «πεπρωμένο» και αυτοεκπληρούμενη προφητεία. Η συνειδητή επιλογή του μοντέλου να μη λάβει ως παράγοντα αξιολόγησης το ύψος των διδάκτρων, οδήγησε στην εκτόξευση των διδάκτρων των «καλών» πανεπιστημίων, αυξάνοντας ακόμα περισσότερο τις ανισότητες (αφού τα υψηλά στην κατάταξη είχαν πρόσβαση σε εκθετικά αυξανόμενους πόρους) αλλά και τους ταξικούς αποκλεισμούς, δημιουργώντας πανεπιστήμια μόνο για τις ελίτ. Δίπλα στον μηχανισμό κατάταξης στήθηκαν και άλλοι μικρότεροι αλγόριθμοι ΟΜΚ, με μοντέλα αποδοχής εισαγωγών των κολεγίων. Αυτό οδήγησε τις οικογένειες σε μια ξέφρενη κούρσα εξόδων, για να εξασφαλίσουν την εισαγωγή των παιδιών τους, με αποτέλεσμα την εμβάθυνση του κοινωνικού χάσματος με την περαιτέρω επέκταση των ταξικών αποκλεισμών.
Σαν επέκταση της κριτικής του προηγούμενου κεφαλαίου, στο τέταρτο κεφάλαιο, στη φαρέτρα της κριτικής της Cathy O’ Neil μπαίνουν οι διαφημιστικοί αλγόριθμοι ΟΜΚ. Εδώ γίνεται μια αναλυτική περιγραφή της βαθύτερης λειτουργίας των διαδικτυακών διαφημίσεων, με έμφαση σε αυτές των κερδοσκοπικών πανεπιστημίων.[2] Αναδεικνύεται πώς η βελτίωση της μηχανικής μάθησης (των αλγορίθμων) μέσω της επεξεργασίας της φυσικής γλώσσας και χρησιμοποιώντας τα δεδομένα που παράγουμε καθημερινά στο Διαδίκτυο, έχει δημιουργήσει δυνατότητες ανίχνευσης μοτίβων κυρίως των πιο ευάλωτων πληθυσμών, με αποτέλεσμα οι διαφημιστικοί αλγόριθμοι να ελέγχουν την καταναλωτική συμπεριφορά τους, να τους βυθίζουν βαθύτερα στα χρέη, πουλώντας τους λ.χ. υποσχέσεις κοινωνικής κινητικότητας μέσω «εκπαιδευτικών προγραμμάτων» με πενιχρό ή μηδενικό αντίκρισμα.
Στο πέμπτο κεφάλαιο αναλύεται ο ρόλος των ΟΜΚ αλγορίθμων στην «αντεγκληματική πολιτική», στη «δικαιοσύνη» και στους «σωφρονιστικούς» μηχανισμούς. Ένα πολύ χαρακτηριστικό παράδειγμα είναι η χρήση γεωγραφικών παραμέτρων σε προγνωστικά αντεγκληματικά μοντέλα. Έτσι, στις πόλεις που παράγουν γεωγραφικού αποκλεισμούς, που οι φτωχοί και οι μειονότητες χωρίζονται με γεωγραφικά κριτήρια (γκέτο), οι αλγόριθμοι λειτουργούν ουσιαστικά ως υποκατάστατο μιας παραμετροποιήμενης, έξυπνης και «καμουφλαρισμένης» φυλετικής και ταξικής πολιτικής. Από τα παραδείγματα αλγορίθμων που χρησιμοποιεί η αστυνομία, γίνεται ξεκάθαρο ότι αυτά υπηρετούν τις ιδεολογικές προθέσεις των χρηστών τους, δηλαδή τη στοχοποίηση των φτωχών και των μειονοτήτων. Η μηδενική ανοχή και η υπεραστυνόμευση στις φτωχογειτονιές οδηγεί σε υπερποινικοποίηση της μικροπαραβατικότητας, μιας μικροπαραβατικότητας που όταν συμβαίνει στις κλειστές φοιτητικές λέσχες των πλουσίων, κανείς δεν ασχολείται μαζί της.
Στο έκτο κεφάλαιο, με αφορμή ένα περιστατικό αποκλεισμού εργαζομένου από τη δυνατότητα για εργασία με βάση τα αποτελέσματα ενός «τεστ προσωπικότητας», παρουσιάζεται η αδιαφάνεια των αλγορίθμων ΟΜΚ στην αναζήτηση και εξεύρεση εργασίας, αφού τα εν λόγω αλγοριθμικά τεστ στοχεύουν μονοσήμαντα στην εξεύρεση φτηνού και ευέλικτου εργατικού δυναμικού, αδιαφορώντας για τους πολλαπλούς αποκλεισμούς, τον στιγματισμό και την πολλαπλή περιθωριοποίηση των υποψηφίων. Με τις συνέπειες στην εργασιακή ζωή καταπιάνεται και το έβδομο κεφάλαιο του βιβλίου. Η συγγραφέας μας αποκαλύπτει πως το λογισμικού σχεδιασμού των ωραρίων εργασίας έχει τις ρίζες του στο σύστημα κατασκευής των ιαπωνικών αυτοκινητοβιομηχανιών Toyota και Honda, γνωστό ως JIT (Just in Time)[3]. Όμως η «λογική» βελτιστοποίησης της αποδοτικότητας για την επιχείρηση έχει δραματικές συνέπειες στη ζωή των εργαζόμενων. Ένα παράδειγμα είναι η πρόνοια των αλγορίθμων να αναλαμβάνει ο ίδιος υπάλληλος το κλείσιμο ταμείου το ένα βράδυ και το άνοιγμα το επόμενο πρωί. Σε τέτοιες συνθήκες, οι εργαζόμενοι αδυνατούν να οργανώσουν τις εξω-εργασιακές τους υποχρεώσεις και επιθυμίες, ενώ πολλές φορές καλούνται να δουλέψουν εκτάκτως. Προκαλεί αυξημένο άγχος, έλλειψη ύπνου και ευθύνεται για ένα ποσοστό των αυτοκινητιστικών ατυχημάτων. Επίσης, ο αλγόριθμός καταδικάζει μεγάλο ποσοστό των παιδιών των φτωχών τάξεων να μεγαλώνουν χωρίς οργανωμένη καθημερινότητα, καθώς οι γονείς τους γίνονται λάστιχο για τις ανάγκες της δουλείας τους και δεν μπορούν να είναι παρόντες όσο χρειάζεται στη ζωή και στις ανάγκες των παιδιών τους, γεγονός που επιδεινώνει και τις δικές τους προοπτικές.
Στο ίδιο κεφάλαιο παρουσιάζεται επίσης αναλυτικά το μοντέλο αξιολόγησης εκπαιδευτικών με βάση τα αποτελέσματα των μαθητών τους. Το μοντέλο αυτό, αν εξεταστεί σοβαρά με όρους στατιστικής, παράγει μια τυχαία κατανομή που σε καμιά περίπτωση δεν θα έπρεπε ποτέ να χρησιμοποιηθεί στη λήψη οποιασδήποτε απόφασης. Όλη η βαθμολογία των καθηγητών βασίστηκε έτσι στο στατιστικό σφάλμα, δηλαδή στο «χάσμα μεταξύ αποτελεσμάτων και προσδοκιών». Το περιορισμένο δείγμα (η τάξη που διδάσκει ο εκπαιδευτικός) το οποίο κρίνει τη βαθμολογία του καθηγητή, δεν ήταν στατιστικά σημαντικό για να μπορούν να απορριφθούν οι ακραίες τιμές και οι εξαιρέσεις, όπως μπορεί να γίνει σε ένα δείγμα με μεγάλο πληθάριθμο. Αλλά για αυτούς που επέλεξαν τη χρήση αυτού του αλγορίθμου, αυτούς που διοικούν την εκπαίδευση, μικρή σημασία είχε η αξιοπιστία του. Αυτό που είχε σημασία ήταν να βρίσκουν πάντα έναν αποδιοπομπαίο τράγο, έναν συνεχή φόβο τιμωρίας και απόλυσης, για να ανασχέσουν το υποτιθέμενο «αυξημένο κύμα μετριότητας στα σχολεία»[4].
Η χρήση των ΟΜΚ από τα πιστωτικά ιδρύματα με ακραία ταξική μεροληψία είναι το αντικείμενο που εξετάζεται στο όγδοο κεφάλαιο. Αρχικά παρουσιάζεται το μοντέλο FICO[5], το οποίο αξιολογεί τον κίνδυνο κάποιου να μην εξυπηρετήσει το δάνειό του. Σε σύγκριση με παλαιότερα, περισσότερο διαφανή μοντέλα, οι σύγχρονοι αυτοματοποιημένοι αλγόριθμοι αναπαράγουν αδικίες, ξεφεύγοντας από κάθε έλεγχο. Οι πιστωτικές βαθμολογίες που προκύπτουν από τους αλγορίθμους αξιολογούν στοιχεία όπως «προσλήψεις και εργασιακές προαγωγές», γεγονός που δημιουργεί έναν «επικίνδυνο κύκλο φτώχειας», καθώς το ίδιο το πιστωτικό σου μητρώο σε εμποδίζει να βρεις δουλειά. Αυτό έχει ως αποτέλεσμα, εκείνοι που έχουν πραγματική ανάγκη για πίστωση και να την παίρνουν πιο δύσκολα και να την πληρώνουν πολύ ακριβότερα, μέσω υψηλότερων επιτοκίων, από αυτούς που δεν έχουν. Σε αντίθεση με τους πλουσίους, που έχουν τη δυνατότητας άμεσης επικοινωνίας με τραπεζικά στελέχη, παρακάμπτοντας τους αλγορίθμους, οι φτωχοί αξιολογούνται ως προς την πιστωτική τους ικανότητα μόνο από αυτούς. Το πόσο δυστοπικά για τους φτωχούς μπορεί να γίνουν τα πράγματα στο εγγύς μέλλον, αποδεικνύεται από την πρόσφατη καταχώρηση από το Facebook πατέντας για την «αξιολόγηση της πιστοληπτικής μας ικανότητας μέσα από τα κοινωνικά μας δίκτυα».
Με παρόμοιο τρόπο, στο ένατο κεφάλαιο, η συγγραφέας μας παρουσιάζει τις συνέπειες χρήσης αδιαφανών αλγοριθμικών μοντέλων από τις ασφαλιστικές εταιρείες. Μέσα από κάποια τρανταχτά παραδείγματα στην παροχή εξατομικευμένων ασφαλιστικών πακέτων, μέσω αξιοποίησης πληροφοριών που προέρχονται από την εκμετάλλευση των βιοϊατρικών δεδομένων μας, μας δείχνει την επέκταση της βιοπολιτικής στην υγεία. Όσο γενικεύεται η χρήση των μεγάλων δεδομένων, η προστασία της ιδιωτικότητας γίνεται ταξικό προνόμιο. Το επόμενο βήμα προς τη δυστοπία είναι οι αξιολογήσεις υγείας και η χρήση της ευεξίας ως μηχανισμού μείωσης του ασφαλιστικού κόστους για τα αφεντικά.
Όπως είδαμε πρόσφατα, οι δυνατότητες χειραγώγησης που προσφέρουν στους μηχανισμούς εξουσίας τα κοινωνικά δίκτυα δεν θα μπορούσαν να μείνουν απ’ έξω από τις εκλογικές αναμετρήσεις. Στο δέκατο κεφάλαιο του βιβλίου η συγγραφέας μας δίνει κάποια πολύ ενδιαφέροντα παραδείγματα για το πώς, μέσω της αξιοποίησης των κοινωνικών δικτύων, οι υποψήφιοι των αμερικανικών εκλογών στοχεύουν επιλεκτικά στο κρίσιμο κομμάτι των αναποφάσιστων ψηφοφόρων, που έχουν μεγαλύτερη βαρύτητα στη διαμόρφωση του τελικού αποτελέσματος. Οι πρακτικές που χρησιμοποιούνται είναι δανεισμένες από την παραδοσιακή βιομηχανία του μάρκετινγκ και ο κάθε υποψήφιος αντιμετωπίζεται ως ένα καταναλωτικό προϊόν. Η στοχευμένη πολιτική διαφήμιση είναι εδώ «εξατομικευμένη», στοχεύοντας με διαφορετικό μήνυμα, ανάλογο με το συμπεριφορικό προφίλ του ψηφοφόρου.
Συμπερασματικά, θα μπορούσαμε να πούμε πως το βιβλίο παρουσιάζει ιδιαίτερο ενδιαφέρον, καθώς αναδεικνύει τη λειτουργία των μοντέλων μεγάλων δεδομένων και των ξεκάθαρα ταξικό προσανατολισμό τους, την ίδια στιγμή που ευαγγελίζονται την αντικειμενικότητα και την προσήλωσή τους στη βελτίωση του συνολικού βιοτικού επιπέδου. Είναι εξαιρετικά ενδιαφέρον πως αυτή η ανάλυση παρουσιάζεται από έναν άνθρωπο που δεν διακρίνεται από τεχνοφοβική άγνοια, αλλά από βαθιά γνώση του σημερινού τεχνολογικού «state of the art».
Από το παρόν βιβλίο γίνεται σαφές πως οι απελευθερωτικές δυνατότητες που δυνητικά υπάρχουν στην τεχνολογία των αλγορίθμων, στο υπάρχον πλαίσιο της καπιταλιστικής αγοράς παραμένει αδύνατον να αναδυθούν. Παραμένουν έτσι στην υπηρεσία της διατήρησης του υπάρχοντος status quo, του κόσμου της αδικίας και της εκμετάλλευσης.
Η συγγραφέας, βέβαια, διατηρεί μια «σοσιαλδημοκρατική» αισιοδοξία, και εδώ είναι και η κύρια διαφωνία μας μαζί της. Κάνοντας μια αναλογία της παρούσας «επανάστασης των big data» με τη βιομηχανική, πιστεύει πως, όπως και οι «στρεβλώσεις» της πρώιμης βιομηχανικής περιόδου (12ωρη εργασία, παιδική εργασία κ.τ.λ.), έτσι και τα τεράστια ζητήματα ανισοτήτων που φέρνει η πληροφοριακή επανάσταση μπορούν να αμβλυνθούν με θεσμικά αντίβαρα, όπως για παράδειγμα η ενίσχυση των συνδικάτων ή κάποιες ομοσπονδιακές νομοθετικές πρωτοβουλίες. Βέβαια, οι μεγάλες εργατικές στο τέλος του 19ου και στις αρχές του 20ου αιώνα, δεν επιλύθηκαν με θεσμικές παρεμβάσεις αλλά με ανειρήνευτους ταξικούς αγώνες. Όπως φαίνεται ζοφερά και μέσα από το βιβλίο, στην αυγή του 21ου αιώνα, το κεφάλαιο καταφέρνει να εκτινάσσει την κερδοφορία του, διευρύνοντας τις ανισότητες με πιο αδιαφανή, αυτοματοποιημένο και έξυπνο τρόπο. Η ζοφερή εποχή των big data αναδύει έναν κόσμο λιγότερης ελευθερίας, περισσότερης φτώχειας και περισσότερων ανισοτήτων, αλλά ταυτόχρονα και έναν κόσμο πολύ μικρότερης κοινωνικής αντίληψης. Η υπερβολική συγκέντρωση πληροφορίας στα χέρια μονοπωλιακών οργανισμών και ομίλων, έρχεται σε προφανή αντίθεση με την εκπληκτική άγνοια της συντριπτικής πλειοψηφίας των φτωχών να κατανοήσουν τους τρόπους που λειτουργεί ο σύγχρονος αυτοματοποιημένος κόσμος της πληροφορίας. Ασχέτως λοιπόν αν συμφωνούμε ή όχι με τη ρεαλιστικότατα της αισιοδοξίας της, αυτό το βιβλίο της Cathy O’ Neil είναι ένα προμήνυμα κινδύνου.
———————-
[1] https://en.wikipedia.org/wiki/Glass%E2%80%93Steagall_legislation
[2] Για τους αναγνώστες που δεν έχουν άμεση γνώση για την κατάσταση των πανεπιστημίων των Ηνωμένων Πολιτειών της Αμερικής. Πολλοί έχουν την ψευδαίσθηση ότι τα ποιοτικά πανεπιστήμια στις ΗΠΑ είναι τα ιδιωτικά και αυτό γιατί γνωρίζουν μόνο το Harvard και το Princeton, αλλά αντίθετα, αυτά αποτελούν την εξαίρεση του κανόνα, καθώς τα περισσότερα ιδιωτικά κερδοσκοπικά πανεπιστήμια είναι απαξιωμένα σε σύγκριση με τα δημόσια.
[3] https://en.wikipedia.org/w/index.php?title=Just-in-time_manufacturing&redirect=no
[4] Η έκθεση του 1983, «Ένα Έθνος σε κίνδυνο»: https://edreform.com/wp-content/uploads/2013/02/A_Nation_At_Risk_1983.pdf
[5] https://www.myfico.com/credit-education/glossary#fico%C2%AE-scores
