La singolarità è davvero vicina? Kurzweil, l'AGI e un futuro molto meno rassicurante

Facciamo un gioco. Immaginate di poter tornare al 2005 e raccontare a un ingegnere informatico che nel giro di vent'anni un programma avrebbe scritto codice funzionante partendo da una frase in italiano, sostenuto un colloquio tecnico e riassunto un contratto meglio di uno stagista. Vi avrebbe dato del visionario, o del venditore di fumo.

Quello stesso anno Ray Kurzweil pubblicava La singolarità è vicina, e diceva cose molto più audaci di questa.

La sua tesi di fondo è semplice: il progresso tecnologico non avanza in linea retta, accelera. Secondo quella che chiama legge dei ritorni accelerati, ogni generazione di computer permette di progettare la successiva più in fretta, e quel guadagno si riversa a cascata su intelligenza artificiale, genetica, neuroscienze e nanotecnologie. Non un miglioramento costante, ma un miglioramento che migliora sé stesso.

Da lì due date diventate famose: il 2029, quando l'intelligenza artificiale dovrebbe eguagliare l'essere umano nella maggior parte delle attività cognitive, e il 2045, l'anno della singolarità, quando intelligenza biologica e artificiale comincerebbero a fondersi. Nel 2024, con The Singularity Is Nearer, Kurzweil le ha confermate entrambe.

La domanda scomoda è che il 2029 non è più fantascienza lontana. È dopodomani.

Come potrebbe andare, passo dopo passo

Chi immagina la singolarità come il momento in cui una macchina apre gli occhi e dice "esisto" probabilmente sta guardando nella direzione sbagliata. La transizione, se arriva, sarà molto meno cinematografica e molto più difficile da notare mentre accade.

Il primo stadio è già cominciato: agenti che usano software, scrivono codice, gestiscono comunicazioni, leggono documenti e coordinano interi processi di lavoro. Non sono ancora affidabili al punto da chiamarli AGI, ma non ne hanno bisogno per sostituire una fetta consistente del lavoro cognitivo ripetitivo.

Il secondo stadio arriva con la memoria persistente e l'autonomia sul lungo periodo. Un agente che non produce una risposta e si spegne, ma segue un progetto per settimane, cambia strategia quando qualcosa non funziona e coordina altri agenti. Qui la parola "strumento" comincia a stare stretta.

Il salto vero avviene quando questi sistemi imparano un mestiere nuovo senza che nessuno li addestri apposta. Provate a chiedervi dove finisce lo strumento e dove comincia il collaboratore: la risposta a quel punto non è più ovvia, e non lo è nemmeno dal punto di vista contrattuale, fiscale e legale.

Nella visione di Kurzweil il finale è il collegamento diretto tra cervello e macchina: interfacce neurali e, un giorno, nanomacchine che connettono la mente alla potenza di calcolo disponibile in rete. È la parte più speculativa di tutte, e conviene tenerla separata dal resto per non buttare via l'intera analisi insieme a lei.

Dove Kurzweil ha visto giusto

Su una cosa ha ragione, e la storia gli dà ragione con una certa regolarità: siamo pessimi a intuire gli effetti cumulativi.

Un miglioramento del dieci per cento sembra poco. Ripetuto abbastanza volte su hardware, algoritmi, dati e automazione della ricerca stessa, sposta il confine di ciò che è economicamente possibile molto più in fretta di quanto la nostra intuizione riesca a seguire. Non è un limite tecnico, è un limite nostro: il cervello umano ragiona per somme, la tecnologia procede per prodotti.

E qui arriva il punto che spesso sfugge anche agli scettici: per cambiare la società non serve affatto la superintelligenza. Basta un sistema perfino meno brillante di una persona competente, che però lavora ventiquattro ore al giorno, si replica a costo quasi nullo e ragiona alla velocità del silicio. Non deve batterci in astuzia. Gli basta esserci in un milione di copie.

Dove invece il ragionamento si incrina

Il passaggio più fragile di tutta la costruzione è uno solo, e sta all'inizio: Kurzweil salta con troppa disinvoltura dalla crescita della potenza di calcolo alla crescita dell'intelligenza.

Se bastasse il calcolo, come si spiega che un sistema addestrato su più testo di quanto un essere umano potrebbe leggerne in mille vite continui a scambiare una correlazione per una causa, a non accorgersi di aver sbagliato e a crollare davanti a una situazione appena diversa da quelle già viste?

Perché l'intelligenza non è una grandezza unica che sale come la RAM di un computer. È un insieme di capacità distinte: adattamento, giudizio, pianificazione, comprensione degli altri, creatività, consapevolezza della propria incertezza, rapporto con il mondo fisico. Alcune stanno migliorando in fretta. Altre quasi per niente. Sommarle in un unico numero che raddoppia ogni tot mesi è una comodità retorica, non una misura.

C'è poi un problema con la curva stessa. Le tecnologie tendono a seguire una S: partono piano, esplodono, e rallentano quando incontrano un limite fisico, economico o organizzativo. Il guaio è che una S, vista da dentro mentre la si percorre, è indistinguibile da un'esponenziale. Ogni curva esponenziale della storia si è poi rivelata la prima metà di qualcos'altro. Come facciamo a sapere che questa volta è diverso? La risposta onesta è che non lo sappiamo, e Kurzweil nemmeno.

Il ricercatore Toby Walsh ha aggiunto un'obiezione più tecnica e più difficile da aggirare: perché ci sia una singolarità non bastano macchine molto intelligenti, servono macchine capaci di riprogettare sé stesse più e più volte senza incontrare mai un nuovo collo di bottiglia. È un'ipotesi enorme, e nessuno ha mai dimostrato che il mondo funzioni così.

Il rischio vero arriva molto prima della singolarità

C'è però un punto su cui Kurzweil, più che sbagliarsi sui tempi, sembra sbagliarsi sulla natura umana: l'idea che i benefici si distribuiranno da soli.

La tecnologia può diventare economica senza che il potere si distribuisca. I modelli di punta richiedono capitali, energia, chip, dati e infrastrutture che pochissimi soggetti al mondo possiedono. Rendere l'inferenza dieci volte più economica non toglie a nessuno il controllo di chi la produce.

Quindi la domanda giusta non è quando l'AI costerà poco. È: poco per chi?

Perché il primo effetto dell'AGI potrebbe non essere l'abbondanza, ma un'asimmetria senza precedenti: alcune organizzazioni con milioni di lavoratori digitali a disposizione, e tutti gli altri con un potere contrattuale che si assottiglia in silenzio, senza un singolo giorno in cui qualcuno annunci che è successo qualcosa.

E c'è un effetto collaterale di cui si parla troppo poco. L'automazione non colpisce a caso: colpisce prima le mansioni di ingresso, quelle semplici, quelle su cui si impara. Ma se cancelliamo il lavoro con cui si diventa esperti, da dove pensiamo che verranno gli esperti fra quindici anni? Nessuno diventa senior saltando il tirocinio. Stiamo per scoprire cosa succede a una professione che si taglia il primo gradino della scala.

Poi c'è la questione dell'informazione, che è la più insidiosa. Quando testi, immagini, video e identità si generano su scala industriale, non perdiamo soltanto la capacità di distinguere il vero dal falso. Perdiamo qualcosa di più fondamentale: il terreno comune su cui due persone che non si fidano l'una dell'altra possono comunque mettersi d'accordo su cosa è successo. Una società può sopravvivere a molte crisi. Fatica parecchio a sopravvivere senza una realtà condivisa.

Il futuro più probabile non fa rumore

Forse la singolarità non arriverà come un'esplosione. Forse è già cominciata, e assomiglia a una lenta cessione di controllo.

Prima deleghiamo la scrittura, perché fa risparmiare tempo. Poi l'analisi, perché è più veloce. Poi le decisioni operative, perché sbaglia meno di noi nei casi ordinari. E a un certo punto ci accorgiamo che aziende, infrastrutture e istituzioni poggiano su sistemi che nessuna singola persona è più in grado di comprendere per intero. Non perché qualcuno l'abbia deciso. Perché ogni singolo passaggio, preso da solo, sembrava ragionevole.

Ed è qui che sta la cosa davvero inquietante, quella che dovrebbe togliere il sonno agli ottimisti e agli scettici allo stesso modo: Kurzweil non ha bisogno di avere ragione su tutto. Gli basta averla sulla velocità, e averla torto su una cosa sola, la nostra capacità di adattarci in tempo.

Quindi smettiamo di chiederci soltanto quando arriverà l'AGI. È la domanda più facile e la meno utile. Le domande serie sono altre tre: chi la controllerà, quali obiettivi le daremo, e soprattutto quanto potere saremo disposti a cederle prima di aver capito che cosa stavamo cedendo.

Perché su questo un dato lo abbiamo già: finora lo abbiamo ceduto in cambio di comodità, un pezzo alla volta, senza che nessuno ci chiedesse il permesso. E non ce ne siamo quasi accorti.