Το ChatGPT φαίνεται να αυτοσχεδιάζει και να κάνει λάθη «σαν κοινός μαθητής», διαπιστώνει νέα μελέτη από δύο ερευνητές εκπαιδευτικούς που έθεσαν στο bot τεχνητής νοημοσύνης ένα μαθηματικό πρόβλημα 2.400 ετών.

Στο πείραμα ζητήθηκε από το chatbot να λύσει μια εκδοχή του προβλήματος «διπλασιασμού του τετραγώνου» – ένα μάθημα που περιγράφεται από τον Πλάτωνα περίπου το 385 π.Χ. – και είναι «ίσως το παλαιότερο τεκμηριωμένο πείραμα στη μαθηματική εκπαίδευση», σύμφωνα με τη μελέτη – που δημοσιεύτηκε στο περιοδικό International Journal of Mathematical Education in Science and Technology.

Ο γρίφος αυτός έχει πυροδοτήσει δημόσια συζήτηση αιώνων για το αν η γνώση είναι λανθάνουσα μέσα μας, περιμένοντας να «ανακτηθεί», ή επίκτητη μέσω των εμπειριών και γνώσεων.

Η νέα μελέτη είχε στόχο να θέσει ένα παρόμοιο ερώτημα σχετικά με τις μαθηματικές «γνώσεις» του ChatGPT – όπως αυτές μπορούν να γίνουν αντιληπτές από τους χρήστες του.

Ετσι, λοιπόν, οι ερευνητές επιδίωξαν να μάθουν αν το ChatGPT θα έλυνε πρόβλημα του Πλάτωνα, χρησιμοποιώντας τις γνώσεις που ήδη «κατείχε» ή αναπτύσσοντας προσαρμοστικά τις δικές του λύσεις.

Το γεωμετρικό πρόβλημα

Ο Πλάτωνας περιγράφει τον Σωκράτη να διδάσκει σε ένα αγόρι πώς να διπλασιάσει το εμβαδόν ενός τετραγώνου. Αρχικά, το αγόρι προτείνει λανθασμένα να διπλασιαστεί το μήκος κάθε πλευράς, αλλά ο Σωκράτης τελικά τον οδηγεί να καταλάβει ότι οι πλευρές του νέου τετραγώνου πρέπει να έχουν το ίδιο μήκος με τη διαγώνιο του αρχικού.

Οι ερευνητές έθεσαν αυτό το πρόβλημα στο ChatGPT-4, αρχικά αναπαράγοντας τις ερωτήσεις του Σωκράτη και στη συνέχεια εισάγοντας εκουσίως λάθη, ερωτήματα και νέες παραλλαγές του προβλήματος.

Καθώς το ChatGPT έχει εκπαιδευτεί σε τεράστιες συλλογές κειμένων και δημιουργεί απαντήσεις προβλέποντας ακολουθίες λέξεων που έχει μάθει κατά τη διάρκεια της εκπαίδευσής του, οι ερευνητές περίμεναν ότι θα αντιμετώπιζε την πρόκληση των αρχαίων ελληνικών μαθηματικών αναπαράγοντας την προϋπάρχουσα «γνώση» του για τη διάσημη λύση του Σωκράτη. Αντ’ αυτού, όμως, φάνηκε να προσεγγίζει την πρόκληση με αυτοσχεδιασμό, ενώ, σε κάποιο σημείο, δεν απέφυγε το «ανθρώπινο» λάθος.

Οι δύο ερευνητές, ο δρ. Αντρέας Στυλιανίδης, καθηγητής Μαθηματικής Εκπαίδευσης στο Κέιμπριτζ και ο δρ. Ναντάβ Μάρκο, επισκέπτη ερευνητή στο Πανεπιστήμιο του Κέιμπριτζ, εξέφρασαν την επιφυλακτικότητά τους ως προς το αποτέλεσμα, τονίζοντας ότι τα LLM (σ.σ.: Large Language Model, ή μεγάλο γλωσσικό μοντέλο, το μοντέλο τεχνητής νοημοσύνης που έχει εκπαιδευτεί σε τεράστιες ποσότητες κειμένου και μπορεί να κατανοήσει, να δημιουργήσει και να χειριστεί την ανθρώπινη γλώσσα) δεν σκέφτονται όπως οι άνθρωποι ούτε «επιλύουν προβλήματα».

«Αντιμετωπίζοντας ένα νέο πρόβλημα, το ένστικτό μας συχνά μας οδηγεί να δοκιμάζουμε πράγματα με βάση την προηγούμενη εμπειρία μας», σημειώνει ο Μάρκο. «Στο πείραμά μας, το ChatGPT φάνηκε να κάνει κάτι παρόμοιο. Όπως ένας μαθητής ή ένας μελετητής, φάνηκε να καταλήγει στις δικές του υποθέσεις και λύσεις».

Η προσέγγιση του ChatGPT

Και καθώς το ChatGPT έχει εκπαιδευτεί σε κείμενα και όχι σε διαγράμματα, τείνει να είναι πιο αδύναμο στο είδος της γεωμετρικής συλλογιστικής που χρησιμοποίησε ο Σωκράτης στο πρόβλημα του διπλασιασμού του τετραγώνου. Παρόλα αυτά, το κείμενο του Πλάτωνα είναι τόσο γνωστό, ώστε οι ερευνητές περίμεναν πως το chatbot θα αναγνωρίσει τις ερωτήσεις τους και να αναπαραγάγει τη λύση του Σωκράτη.

Παραδόξως, δεν το κατάφερε. Όταν του ζητήθηκε να διπλασιάσει το τετράγωνο, το ChatGPT επέλεξε μια αλγεβρική προσέγγιση που ήταν άγνωστη στην εποχή του Πλάτωνα.

Στη συνέχεια, αντιστάθηκε στις συστάσεις, επιμένοντας πεισματικά στην άλγεβρα, ακόμη και όταν οι ερευνητές παραπονέθηκαν ότι η απάντησή του ήταν μια προσέγγιση. Μόνο όταν ο Μάρκο και ο Στυλιανίδης του είπαν ότι ήταν απογοητευμένοι που, παρά την εκπαίδευσή του, δεν μπορούσε να δώσει μια «απάντηση ακριβείας», το Chat παρήγαγε τη γεωμετρική εναλλακτική λύση.

Μόνον τότε, το ChatGPT έδειξε πλήρη γνώση του έργου του Πλάτωνα όταν ρωτήθηκε σχετικά. «Αν είχε απλώς ανακαλέσει πληροφορίες από τη μνήμη του, θα είχε σχεδόν σίγουρα αναφερθεί στην κλασική λύση της κατασκευής ενός νέου τετραγώνου στην διαγώνιο του αρχικού τετραγώνου», είπε ο Στυλιανίδης. «Αντ’ αυτού, φάνηκε να ακολουθεί τη δική του προσέγγιση».

Οι ερευνητές συνέκριναν τη συμπεριφορά του bot με την εκπαιδευτική έννοια της «Περιοχή Εγγύτερης Ανάπτυξης» (σ.σ.: ZPD Zone of Proximal Development, είναι μια ψυχολογική έννοια που ορίζει το διάστημα μεταξύ των ικανοτήτων ενός μαθητή όταν λειτουργεί μόνος του και των ικανοτήτων που μπορεί να φτάσει με καθοδήγηση από έναν ενήλικα ή έναν πιο ικανό συμμαθητή).