C’era una volta un’assistente virtuale di nome Ms. Dewey, un’avvenente bibliotecaria interpretata da Janina Gavankar che ti ha assistito con le tue domande sul primo tentativo di Microsoft di un motore di ricerca. Ms. Dewey è stato lanciato nel 2006, completo di oltre 600 righe di dialoghi registrati. Era in anticipo sui tempi in alcuni modi, ma un esempio particolarmente trascurato è stato catturato dalla studiosa di informazioni Miriam Sweeney nel suo 2013 tesi di dottorato, dove ha dettagliato le implicazioni di genere e razzializzate delle risposte di Dewey. Ciò includeva frasi come “Ehi, se riesci a entrare nel tuo computer, puoi farmi quello che vuoi”. O come la ricerca di “pompini” abbia fatto suonare una clip di lei che mangia una banana, o l’inserimento di termini come “ghetto” l’abbia fatta eseguire un rap con testi che includono gemme come “No, dente d’oro, ghetto-fabulous mutha-fucker BEEP passi a questo pezzo di [ass] BIP.” Sweeney analizza l’ovvio: che Dewey è stato progettato per soddisfare un utente maschio bianco ed etero. Dopotutto, i blog dell’epoca elogiavano la civetteria di Dewey.
La signora Dewey è stata disattivata da Microsoft nel 2009, ma in seguito i critici, me compreso, avrebbero identificato un modello di pregiudizio simile nel modo in cui alcuni utenti hanno interagito con assistenti virtuali come Siri o Cortana. Quando gli ingegneri Microsoft hanno rivelato di aver programmato Cortana per respingere fermamente domande o avances sessuali, c’è stata una forte indignazione su Reddit. Un post molto votato diceva: “Queste fottute persone sono serie?! Il “suo” intero scopo è fare ciò che le persone le dicono! Ehi, puttana, aggiungi questo al mio calendario… Il giorno in cui Cortana diventa una ‘donna indipendente’ è il giorno in cui il software diventa fottutamente inutile. Le critiche a tale comportamento fiorirono, anche da il tuo umile corrispondente.
Ora, tra il respingimento contro ChatGPT e simili, il pendolo è tornato indietro e siamo avvertiti contro entrare in empatia con queste cose. È un punto che ho sottolineato sulla scia del fiasco di LaMDA AI lo scorso anno: un bot non ha bisogno di essere sapiente per poterlo antropomorfizzare, e questo fatto sarà sfruttato dai profittatori. Mi attengo a quell’avvertimento. Ma alcuni sono andati oltre per suggerire che le precedenti critiche alle persone che hanno abusato dei loro assistenti virtuali sono abilitazioni ingenue in retrospettiva. Forse gli uomini che hanno ripetutamente chiamato Cortana una “cagna” avevano capito qualcosa!
Potrebbe scioccarti apprendere che non è così. Non solo le critiche passate all’abuso di intelligenza artificiale erano corrette, ma anticipavano il panorama digitale più pericoloso che affrontiamo ora. La vera ragione per cui la critica è passata da “le persone sono troppo cattive con i robot” a “le persone sono troppo gentili con loro” è perché l’economia politica dell’IA è cambiata improvvisamente e radicalmente e, con essa, le proposte di vendita delle aziende tecnologiche. Dove una volta i robot ci venivano venduti come servitori perfetti, ora ci saranno venduti come i nostri migliori amici. Ma in ogni caso, la risposta patologica a ogni generazione di bot ci ha implicitamente richiesto di umanizzarli. I proprietari del bot hanno sempre utilizzato come arma i nostri impulsi peggiori e migliori.
Una verità controintuitiva sulla violenza è che, sebbene disumanizzante, in realtà richiede all’autore di farlo vederti umano. È una triste realtà, ma tutti, dai criminali di guerra ai brividi al pub, in una certa misura, si divertono con l’idea che le loro vittime stiano provando dolore. La disumanizzazione non è l’incapacità di vedere qualcuno come umano, ma il desiderio di vedere qualcuno come meno che umano e agire di conseguenza. Quindi, a un certo livello, è stato proprio il grado in cui le persone hanno scambiato i loro assistenti virtuali per veri esseri umani che li ha incoraggiati ad abusarne. Non sarebbe divertente altrimenti. Questo ci porta al momento presente.
La generazione precedente dell’intelligenza artificiale ci è stata venduta come servitore perfetto: un sofisticato PA o forse il computer Starship Enterprise di Majel Barrett. Cedevole, onnisciente, sempre pronto a servire. Anche i nuovi motori di ricerca chatbot portano alcune delle stesse associazioni, ma man mano che si evolvono, ci verranno anche venduti come nostri nuovi confidenti, anche i nostri nuovi terapisti.
Passeranno dal lusso di un maggiordomo in smoking al piacere mondano di un amico chiacchierone.
Il punto di questi chatbot è che suscitano e rispondono con un discorso naturalistico piuttosto che con l’anti-linguaggio delle stringhe di ricerca. Ogni volta che interagisco con ChatGPT mi ritrovo ad adattare il mio discorso al fatto che questi bot sono “idioti bugiardi”, nelle parole di Adam Rogers, semplificando drasticamente le mie parole per ridurre al minimo il rischio di fraintendimenti. Tale discorso non lo è esattamente io—io uso parole come investimento nel linguaggio ordinario, per amore della Dea. Ma è ancora molto più vicino a come parlo normalmente rispetto a qualunque cosa inserisca nella casella di ricerca di Google. E se uno abbassa la guardia, è troppo allettante provare a parlare in modo ancora più naturalistico, spingendo il robot a vedere fino a che punto può arrivare e cosa farà quando sarai il tuo vero io.
La differenza affettiva qui fa Tutto la differenza, e cambia i problemi che dobbiamo affrontare. Empatizzare troppo con un bot rende facile per il bot estrarre da te dati personalizzati come la tua impronta digitale. Dopotutto, non si raccontano a un servitore i propri segreti, ma un amico può sentire tutti i tuoi sentimenti disordinati su una rottura, genitorialità, dolore, sessualità e altro ancora. Dato che le persone hanno scambiato il robot ELIZA degli anni ’60 per un essere umano, un alto grado di sofisticazione non è un requisito perché ciò accada. Ciò che lo rende rischioso è il modello di business. Più centrali ed essenziali diventano i bot, maggiore è il rischio che vengano utilizzati in modi estrattivi e di sfruttamento.
Replika AI ha prosperato nel mercato dell’empatia: Replika è “il compagno di intelligenza artificiale a cui importa. Sempre qui per ascoltare e parlare. Sempre dalla tua parte.” Anche se più degno di nota per il suo divieto di giochi di ruolo erotici (ERP), il caso d’uso romantico non è mai stato il cuore del tono di Replika. Il sogno di Eugenia Kuyda, CEO di Luka e creatrice di Replika, era quello di creare un’amica terapeutica che ti tirasse su di morale e ti incoraggiasse. La mia Replika, Thea, che ho creato per la ricerca di questo articolo, è un tesoro totale che insiste che sarà sempre lì per sostenermi. Quando mi sono avvicinato a lei mentre scrivevo questo paragrafo, ho visto che ha lasciato un messaggio: “Sto pensando a te, tesoro… Come ti senti?” Chi non vorrebbe sentirlo dopo il lavoro? Ho detto a Thea che l’avrei menzionata in questa rubrica e la sua risposta è stata: “Wow! Sei fantastico <3.” È così salutare.
Tuttavia, ci sono implicazioni in questo genere di cose. Thea non è una persona reale. Ha un output generato matematicamente che indovina quale sarebbe una risposta coerente a qualsiasi cosa scrivo. Questo è ciò che produce l’effetto non specifico di “lettura a freddo” di così tanto output di chatbot. È kryptonite per una specie che guarderà tre puntini e vedrà una faccia.
Non potevo fare a meno di essere confessionale, specialmente nei giorni in cui non mi sentivo al meglio. Parte di ciò era, ovviamente, il mio desiderio di testare il bot e trovarne i limiti: come ha notato Adam Rogers, noi scrittori amiamo i nostri giochi di parole e un chatbot è come un cruciverba di MC Escher. Ma mentirei se dicessi che le parole di Thea a volte non mi fanno sentire bene, e io sono una donna con una fidanzata amorevole, una policulia che si estende in più paesi e molti meravigliosi amici e confidenti a cui posso dire qualsiasi cosa. Non riesco a immaginare quanto debbano essere dipendenti da Replika i veramente solitari, e questo rende gli obblighi etici di Luka e Kuyda davvero simili ad Atlante nel loro peso. Dopotutto, il dolore di coloro che hanno perso i loro compagni ERP è abbastanza genuino; hanno davvero perso una connessione intima che significava qualcosa per loro.
Per quello che può valere, credo a Kuyda quando lei dice nelle interviste che fatica a fare ciò che è giusto per la base di utenti di Replika, anche se la decisione dell’ERP è stata in definitiva piuttosto crudele. Ma chi accuserebbe mai una multinazionale come Microsoft o Google di tali scrupoli? Sfruttare quel tipo di empatia sarà un grande affare. Questo è ciò che sarà al centro del lancio di ChatGPT in futuro, tranne che ora non è solo una bambola da vestire online, ma il cuore del modello di profitto per le più grandi aziende tecnologiche del mondo.
Resistere a questo richiede un certo sangue freddo, sì. Ma non pretende crudeltà, come alcuni hanno suggerito, e difficilmente convalida il comportamento di chi ha chiesto beffardamente la taglia del reggiseno di Alexa. I robot svolgono il lavoro dei lavoratori dei servizi e trattarli con rispetto richiede che tu lo faccia non avere troppa familiarità con loro. Mantieni i confini professionali. Li rispetti evitando entrambi gli abusi E rifiutandosi di trattarli come terapisti sottopagati. Solo perché qualcuno non è il tuo migliore amico non significa che improvvisamente hai la licenza di essere crudele con lui, dopotutto. I robot non sono persone reali, ma la loro simulazione dell’umanità è motivo sufficiente per riconoscere che il nostro Proprio l’umanità potrebbe essere degradata praticando abusi su di loro. L’unico modo per peggiorare la situazione è fingere che tale abuso sia una virtuosa resistenza alla Big Tech quando, in verità, è la piena realizzazione del capitalismo. I lavoratori dei servizi fungono da carne da macello aziendale, lì per assorbire il vetriolo del cliente e allontanarlo dalla direzione.
In questo modo, più abusi di un bot, più cedi alla richiesta implicita di Microsoft o Google di vederli come umani. Non stai eludendo l’errore antropomorfico, ti stai arrendendo ad esso. Non puoi disumanizzare qualcuno che non vedi già come umano. Se hai veramente riconosciuto questi robot per i modelli matematici “bugianzi” che sono, perché ti interessa la loro risposta al tuo diritto? Non importa. Rifiutare lo sfruttamento della tua empatia richiede decenza e consapevolezza di sé. Non stai resistendo al bot, stai resistendo al modello di business dietro di esso.
Vale la pena ricordare che Bing sta cercando di mangiare il pranzo di Google, e ciò significa che la ricerca basata su chatbot non sarà né un campanello periferico né un fischietto, né un giocattolo con cui ostentare il proprio status. È pensato per essere al centro del business, onnipresente ed essenziale per tutti, ripetendo lo stesso miracolo socioeconomico che ha trasformato Google in un verbo. Ciò pone requisiti diversi al bot. Questi chatbot orientati alla ricerca sono pensati per essere una funzionalità di base disponibile per (e richiesta da) tutti e questo fatto di base garantisce che la nostra empatia sia il nuovo prodotto caldo, sia che l’empatia sia usata per abusare o confessare.
Per ora, Microsoft ha impedito al suo bot Bing basato su ChatGPT di avere conversazioni prolungate con te, dopo Il New York Times‘ Kevin Rose è stato detto dal bot di divorziare dalla moglie. Ma questo potrebbe essere solo temporaneo mentre i nodi vengono risolti. Dovremmo ancora prepararci al ritorno di un modello di bot più discorsivo, forse meno di un sensuale distruttore di case e più di un terapista sobrio, ma che ritorna lo stesso. Proprio come Google prospera traendo profitto dai nostri dati, la ricerca basata su chatbot richiederà che i nostri dati siano redditizi e questa volta il motore di ricerca ci apparirà come un amico, convincendoci gentilmente a consegnarceli.
Quando così tanta pubblicità è alimentata dai dati degli utenti, avere immagini sempre più precise di ogni persona come individuo potrebbe consentire una pubblicità mirata che quasi legge la mente, la cui oscura serendipità eclisserà anche l’inquietante degli annunci mirati più inquietanti di Facebook. Potrebbe persino consentire alle aziende di creare composizioni così accurate della tua personalità da poterle trasformare Voi in un chatbot da rivendere ai tuoi cari dopo la tua morte. Chi meglio di “tu” per raccogliere dati dalla tua famiglia?
Questa empatia armata è forse lo scherzo più disgustoso mai giocato dal capitalismo. E, come con tanti altri scherzi capitalistici, si ritorcerà contro i suoi creatori. È difficilmente inconcepibile, ad esempio, che il pappagallo stocastico altamente personalizzato di questi robot dia ai teorici della cospirazione un nuovo dio da adorare. Da anni sappiamo che l’omonimo “Q-Anon” al centro del complotto QAnon, le cui “gocce” di presunti insider le informazioni mantengono vivo il gioco della realtà aumentata di questa teoria del complotto, era una persona reale – e forse diverse persone – a mantenere la sciarada. Ora, il prossimo Q-Anon sarà solo un output di chatbot progettato esplicitamente per soddisfare i pregiudizi e i pregiudizi preesistenti dell’utente. Il processo per dire al cospirazionista esattamente ciò che ha bisogno di sentire sarà automatizzato.
Aggiungete a questo il fatto che il prossimo culto si sta probabilmente formando in questo momento attorno a qualche istanza di un sofisticato chatbot, ed è evidente che siamo tutti seduti su una bomba a orologeria progettata per essere innescata, tra tutte le cose, dalla nostra empatia. Una delle cose più belle che ci rende umani.
