The Possibility of Explanation | Finale Doshi-Velez | TEDxBoston

Trascorro la maggior parte della mia giornata davanti
computer quindi tendo a prendere il fucile
ogni volta che prendo un giro condiviso questo
tempo mi capita di dire che sono sul mio
modo di fare un discorso sull’artificiale
l’intelligenza le sopracciglia del guidatore salgono
voi tutti costruite robot abbiamo abbastanza guai
Ovviamente senza robot non lo so
il modello esatto di elettromagnetica
segnali passare attraverso il suo cervello in quel
momento ma posso indovinare Skynet Terminator
assistenza sanitaria dico che lavoro in sanità noi
abbinare i pazienti ai trattamenti ah voi
decidere chi ottiene cosa e all’improvviso
nonostante sia generalmente un piccolo
femmina senza pretese, sono diventato l’uomo
cosa possiamo fare la cosa è anche se cosa
è lui sottolinea un molto legittimo
preoccupa gli occhi mentre è estremamente potente
sono anche estremamente letterali ed estremamente
letterale problem-solving combinato con un
definizione del problema imprecisa che era a
motivo dietro il nostro mutuo più recente
la verità della crisi è stata detta
un compito di intelligenza artificiale per trovare il massimo costo
sarebbero efficaci trattamenti per il cancro
probabilmente scegli di terminare le vite piuttosto che
salvali dicendo che vedo grandi
il potenziale per a è migliorare le nostre vite
nel settore sanitario abbiamo troppi dati
cartelle cliniche elettroniche social media
tutta la letteratura pubblicata è lontana
troppo per noi esseri umani per essere in grado di
consumare nel mio laboratorio ne facciamo uso
enormi dati così via
Stan come possiamo personalizzare il trattamento
per l’HIV e la depressione per capire il
traiettorie di bambini con autismo tutti
di questo sarebbe impossibile senza AI
ma se stiamo per raccogliere i benefici
di ciò che gli occhi hanno da offrire, dobbiamo
trovare modi per tenere conto dei suoi oggi
Ti dirò da una parte
spiegazione ma prima lasciami fare il
sfida un po ‘più chiaro dove io
lavoro dalla maggior parte dei miei dati
la salute elettronica registra questi record
contiene solo visualizzazioni del paziente quando
sono molto malati sono entrati da
condizioni sovraccariche che vedono no
beneficio per il loro lavoro e come risultato
i valori spesso scompaiono o addirittura peggiorano
sono lasciati a valori di default errati e
questo è solo l’inizio di un paio d’anni fa
i miei colleghi e io abbiamo progettato un sistema per
identificare chi era ad alto rischio di morte
in terapia intensiva e abbiamo alimentato tutti i volumi
di dati che avevamo a disposizione dal
monitor fisiologici a tutti i
i medici note tutto e abbiamo ottenuto
un po ‘di Rock fantastico au C che stavamo facendo
ottimo per predire quando erano i pazienti
probabilmente morire i nostri medici erano come
com’è incredibile, così abbiamo iniziato
scavando e quello che abbiamo scoperto è quello
spesso la nostra intelligenza artificiale non è in realtà
usando i volumi di dati che eravamo
mettendo a loro disposizione invece il nostro
l’ intelligenza artificiale super aveva scoperto che quando
il clinico scrive la parola
cappellano in clinica nota che spesso è a
brutto segno sì, conosci i nostri pazienti
soffrivano di sepsi e della nostra intelligenza artificiale
ha avuto un caso veramente grave di causalità
perdita vedi che cosa è successo è
che il clinico capì che il
situazione sembrava triste chiesto il
cappellano
e poi si è verificato un evento sfortunato
nel frattempo il nostro a noto l’azione che
il clinico ci aveva assunto usando quello
azione per fare previsioni eccellenti
su ciò che il clinico già sapeva
erano situazioni come queste
mi ha portato a realizzare il valore di AI
sistemi che possono fornire spiegazioni
le loro decisioni perché mentre
la spiegazione da sola non può garantire
causalità o imparzialità o sicurezza o altro
altro difficile da spiegare a un letterale
obiettivo del computer con alcune intuizioni
in una logica AIS può aiutarci a identificare
quando le sue raccomandazioni sono sensate
e quando non lo sono
sfortunatamente, gli occhi sono sorprendenti
gli occhi moderni e complessi hanno milioni su
milioni di parametri operativi su decine
di migliaia di terabyte di nodi di calcolo
di memoria petabyte di dati e noi
umani sette più o meno due sette
idee o pensieri discreti che riguardano
tutto ciò che i nostri ricordi possono reggere ad uno
tempo così bene, credo che vada il
spiegare il piano di abilità se volessimo un occhio
erano spiegabili che dovevamo fare
sono così semplici da sconfiggere il
scopo di uno strumento che potremmo dare
grandi quantità di dati in primo luogo
e anche se potessimo magicamente
capire tutti quei bit e tutti quelli
registri che costringono le aziende a rivelare
tali informazioni dettagliate distruggerebbero
segreti commerciali e ostacolare l’innovazione così
di fronte a queste realtà dobbiamo noi
scegliere tra responsabilità e
progredire bene non ho lavorato con
fagiolo Kim Sam Gershman e colleghi di
il Berkman Kline Center per capire
come possiamo avere entrambi e il punto chiave
questa spiegazione è distinta da
trasparenza quando chiedo a un altro umano
per spiegazione NON sto cercando il
flusso di elettricità attraverso il loro
neuroni e allo stesso modo quando chiedo un’IA
per spiegazione NON sto cercando il
flusso di bit attraverso i suoi registri che sono
cercando qualcosa che posso
capisco e utilizziamo parliamo un po ‘
per quello che sembra così per ora
Mi concentrerò sul caso chiamato
spiegazione locale
quindi questa è una spiegazione per uno specifico
decisione nel mio mondo in sanità questo
corrisponde al motivo per cui questo paziente ha ottenuto questo
droga piuttosto che cercare di spiegare tutto
il processo pelosa di come droga vengono
raccomandato nel complesso questa nozione di
il contesto è estremamente cognitivo
la ricerca scientifica mostra che gli umani
naturalmente dare spiegazioni su misura per
il contesto a portata di mano di un clinico
dare una ragione per cui un paziente anziano
è stato dato un farmaco e questa spiegazione
potrebbe essere completamente diverso per il motivo a
la droga diversa è stata data a un più giovane
paziente con forse qualche genetica sfortunata
come esseri umani non ci aspettiamo questi
le spiegazioni devono essere uguali o uniformi
coerente quello che ci aspettiamo è che il
spiegazione attesa per simili
circostanze qualcosa che sto andando
chiamare controfattuale locale
per esempio la fedeltà lo suppone
ti è stato negato da solo e ti è stato detto
era perché non avevi pagato l’ultimo
3 ma poi si scopre che c’è un
errore di contabilità , va tutto bene
hai effettivamente pagato i tuoi ultimi tre
prestiti bene ti aspetteresti di ottenere il
prestito, ma poi supponiamo che tu fossi stato
negato il tuo prestito a causa di insufficiente
reddito quindi non ti aspetteresti nessuno
in questa stanza ci si aspetterebbe
che se la tua storia di pagamento precedente
cambiato la decisione della decisione di prestito
cambierebbe proprio così ecco come abbiamo
aspettative in cui ci si aspetta solo
produrre risultati per simili correlati
circostanze queste nozioni questi umani
le nozioni di ciò che vogliamo dai sistemi sono
buono per i progettisti di a è spiegabile
in particolare idee come locale
spiegazione e controfattuale locale
la fedeltà significa solo che dobbiamo
spiegare una piccola parte di un io
logica decisionale la parte che è
rilevante anche per il contesto in questione
i migliori confini locali semplici i tipi
che sono più facili da spiegare sono spesso
anche i migliori predittori sapendo cosa noi
desiderare da spiegazione però anche
evidenzia cosa sarà difficile come
gli umani abbiamo modi per convertire tutti i
spari dei nostri neuroni nelle verruche ma a
gli occhi non parlano attualmente la nostra lingua
si occupano di pixel e spettri di potenza
e i modelli dei personaggi attraverso a
spiegazione della pagina in termini di quelli
gli input sarebbero incomprensibili
umani ma questi pixel spesso lo fanno
corrispondono alle cose che gli umani hanno
nomi per concetti di livello superiore per
esempio una raccolta di pixel potrebbe
corrispondono a ippopotamo o gatto a
raccolta di misure lidar potrebbe
corrisponde ad un albero il fatto che a
il paziente sta assumendo litio e ha avuto
anestesia per terapia elettroconvulsiva
potrebbe suggerire che il paziente ha
disturbo bipolare ciò che manca è a
vocabolario comune per questi livelli superiori
concetti che creano questo livello superiore
il vocabolario però richiederà un
sforzo congiunto
sul lato computazionale c’è
ricerche in corso per creare ia occhi che
condividere una lingua con gli umani e nella mia
laboratorio abbiamo usato ontology zuv come le malattie
sono collegati tra loro al fine di
fornire sommari succinti della malattia
e progressione la domanda più difficile in
questo caso è come farci sistemi
fedele sotto ragionamento controfattuale
per esempio se voglio sapere se il mio
il sistema avrebbe raccomandato lo stesso
la droga ha avuto il paziente non è stato obeso esso
sarebbe privo di senso per me cambiare
l’input di peso senza anche cambiare
il BMI sul lato della politica creando a
il linguaggio comune richiederà
etichette ed esempi anche quando quelli
le etichette sono sensibili alla nostra nozione corrente
è che la giustizia è cieca se c’è
informazioni che non dovrebbero essere usate in a
decisione che non dovremmo mai raccogliere
il problema con questa nozione è che AIS
sono molto bravi a ricostruire le cose
che non hanno mai visto prima per
esempio dato la tua posizione il tuo
cronologia di navigazione la cronologia degli acquisti
tutte cose che le aziende possono molto
facilmente comprerei un a potrei probabilmente
ricostruisci molto il tuo sesso e la tua razza
con precisione e se non avessimo mai raccolto
quella informazione sulla razza o sul genere
non sapremmo mai che il nostro sistema è stato
discriminando inavvertitamente è per questo
ora dobbiamo pensare all’IA con la nostra
occhi aperti in dobbiamo dare gli occhi al
senso di potenzialmente sensibile
informazioni in modo che non è così
ricostruire inavvertitamente le informazioni
che non dovrebbe essere questo
crea una serie di domande sfumate come
come manteniamo gli umani che sono
programmare l’AIS con un sensibile
informazioni da un uso improprio anche mentre
il nostro AIS no e, infine, la creazione di a
il linguaggio comune richiederà tutto
di noi pronti a imparare nuovi concetti
presentato a noi dai nostri occhi
concetti finiscono per essere altamente
predittivo o utile per compiti ma noi
non ho nomi per ora
prima che finisca ho iniziato con il
domanda su come possiamo tenere gli occhi
responsabile e voglio solo fare
chiarire che la spiegazione è solo uno strumento
è meglio per le situazioni in cui il
il problema è incompleto e dobbiamo
controlla la logica del sistema in altro
situazioni possiamo contare su prove o
garantisce i nostri sistemi di crittografia
provabilmente sicuro e non c’è oltre
spiegazione richiesta o su cui possiamo fare affidamento
prova statistica se un nuovo prodotto
il sistema di raccomandazione aumenta le vendite
forse siamo felici che con quello e no
ulteriori spiegazioni sono necessarie o il
il punto è che abbiamo gli strumenti per creare
AIS benefico e dobbiamo un po ‘di tempo
fa ho visitato mio zio in ospedale
ha appena subito un pericoloso calo in
la pressione del sangue non è dovuta al cuore
condizione che lo ha portato in ma
perché qualcuno aveva perso alcuni dati e
forse gli ha prescritto troppo diuretico
gli umani possono trattare solo in sette slot ma
tali errori sono inconcepibili quando noi
avere macchine in grado di gestire a tutti
non usare i nostri strumenti per sintetizzare e
gestire tutta la nostra assistenza sanitaria
l’informazione è accettare tutta la nostra corrente
danneggia a causa della nostra attuale incapacità umana
l’inazione è una scelta ed è una scelta
con le conseguenze che dicono che gli occhi sono
estremamente letterale e possono agire e
errato in modi inaspettati e quindi noi
avere l’imperativo morale
usare saggiamente questi sistemi, lo sono
convinto possiamo essere convinto che noi
può sfruttare tutto il potenziale
per il bene che gli occhi hanno da offrire mentre
anche tenerli responsabili sono gli occhi
non è così impossibile da capire e noi
può e qualche volta dovrebbe richiedere
spiegazione da parte loro e se tu
continua a dubitare di dare un’occhiata al
bel sistema informatico seduto a
la tua destra e qui sinistra con miliardi
dei neuroni a sparare e modelli che
sono troppo complessi per te da seguire
eppure tu li capisci a volte
Prende attenzione e lavora ma lo è
possibile e così è anche con il nostro
macchine grazie
[Applausi]