[Applausi]
siete stati quasi tutti soggetti a un
algoritmo predittivo computerizzato del
seguendo la forma se ti piace X puoi farlo
come i servizi di streaming di film musicali Y.
servizi di shopping online di routine guardano
al tuo modello di comportamento confronta
quello ai clienti precedenti e ci prova
fare previsioni per te a volte
funziona e a volte non funziona ora
potresti essere meno consapevole di ciò che hai anche tu
potrebbe essere stato sottoposto a un predittivo
algoritmo del modulo se sei come X
potremmo non darti un prestito bancario
le istituzioni finanziarie usano abitualmente
i tuoi attributi personali li confrontano
ai clienti precedenti per valutare il rischio
all’istituzione in termini di dare
hai un prestito o un’ipoteca che potresti avere anche tu
stato recentemente sottoposto a un predittivo
algoritmo del modulo se sei come ax
potremmo non darti un lavoro datori di lavoro e
in alcuni casi sono ammissioni universitarie
usando algoritmi predittivi per fare
assunzioni e decisioni di ammissione e se
di recente hai avuto uno scontro con il
sistema di giustizia penale
bene mi dispiace prima di tutto e secondo
di tutto ciò che potrebbe essere stato sottoposto a un
algoritmo predittivo di seguito
forma se sei come X, allora puoi andare
i tribunali della prigione ora stanno abitualmente usando
algoritmi predittivi per prendere decisioni
in aula in particolare
l’ algoritmo popolare e ora diffuso
usato al punto di arresto per fare cauzione
le decisioni e concettualmente è una bella
semplice idea di un imputato che è stato
accusato di un crimine è l’ informazione è
estratto da loro ed è alimentato in a
algoritmo del computer e quel computer
l’algoritmo genera un fattore di rischio e questo
fattore di rischio è destinato a quantificare il
probabilità che la persona commetterà un
il crimine nel futuro pensa davvero a
versione semplice del rapporto di minoranza
senza le persone inquietanti in piscina
e se sei valutato come ad alto rischio
bene allora il giudice può negare la cauzione e
sarai tenuto in prigione in attesa
prova e se sei valutato per essere
a basso rischio, potresti essere rilasciato
in attesa di giudizio ora nel 2016 investigativo
i giornalisti di ProPublica hanno pubblicato a
relazione preoccupante su uno in particolare
predittivo popolare e diffuso
algoritmo utilizzato nei tribunali
in giro per questo paese e cosa hanno trovato
è che questo particolare algoritmo è stato
significativamente svantaggioso per il nero
gli imputati hanno scoperto che se
sei stato un imputato nero che sei
quasi il doppio delle probabilità di essere previsto
come recidiva quando non hai fatto che
è successo il 44% delle volte, se tu
erano neri e solo il 23% del
tempo se sei bianco che è un
differenza sbalorditiva e allo stesso
tempo che eri quasi il doppio delle probabilità
essere previsto come non offendere quando in
Infatti l’hai fatto se eri bianco come
rispetto al nero che è successo 47
per cento del tempo contro il 28 percento di
tempo quindi, in altre parole, l’algoritmo è
prevenuto a neri imputati contro il nero
imputati in altre parole, se lo sei
nero e tu sei un soggetto a questo
algoritmo sei più probabile che tu sia
valutato come ad alto rischio e incarcerato
che se sei bianco così poco dopo
questo articolo è stato pubblicato da uno studente di
la mia Julia Dressel è venuta da me e lei
ha detto come è possibile
siamo scienziati informatici come siamo
permettendo che ciò accada come siamo
permettendo al software di cambiare la vita
decisioni sulle persone quando ne hanno
tipi di disuguaglianze ed è stato il
giusta domanda da fare e ci ha preso
spendere circa un anno e mezzo di viaggio
cercando di capire cosa stava succedendo
qui e come e se possiamo fare di meglio e
Voglio parlarti un po ‘di
quel viaggio e un po ‘di cosa
abbiamo imparato lungo la strada
quindi prima di tuffarsi in algoritmico
dettagli e sorta di capire dove
questo pregiudizio proviene da quando abbiamo iniziato
una domanda davvero semplice
abbiamo iniziato con la domanda di sono
questi algoritmi effettivamente meglio di
tu rispetto alla persona media perché
dopotutto presumibilmente li usiamo
algoritmi perché sono più accurati
più obiettivi e più giusti e loro
rimuovere eventuali distorsioni che possono esistere nel
mente umana e questa è una buona idea ma noi
non so se sia effettivamente vero o no
così abbiamo deciso di stabilire che così
ecco cosa abbiamo fatto abbiamo reclutato quattro
cento partecipanti da un online
piattaforma di crowdsourcing e gli abbiamo chiesto
una domanda molto semplice
abbiamo dato loro un breve paragrafo su un
vero imputato questo era un con 8.000
persone per le quali avevamo demografico
informazioni di cui avevamo informazioni
il loro passato storia criminale eventuale um
e poi abbiamo conosciuto il punteggio di rischio
secondo il software che è in corso
usato in tribunale e poi lo erano
monitorato per due anni quindi in realtà
sapere se hanno recidivo o meno e così via
i nostri partecipanti leggono un breve paragrafo
Erano sette pezzi di informazione dell’età
e il sesso della persona e poi cinque
pezzi di dati che hanno riassunto la loro
storia criminale giovanile e adulta loro
non conoscevo la razza della persona
importante okay e poi semplicemente
chiesto loro di leggere questo breve
paragrafo è un sondaggio online e giusto
diteci se pensate che questa persona lo farà
la recidiva
in una finestra di due anni dopo la loro
ultimo arresto si no si no si no ecco
quello che abbiamo imparato informatizzato
il software aveva un’accuratezza del 65%
gli esseri umani hanno una precisione del 67% questi sono
persone casuali su Internet che rispondono
a un sondaggio per un dollaro e hanno speso
circa 10 secondi leggendo quel poco
breve paragrafo e facendo un
determinazione sono buoni come il
software commerciale utilizzato nel
i tribunali oggi stranamente hanno fatto lo stesso
errori come un software erano di più
propensi a dire che un imputato nera
un tasso del 37% sarebbe stato recidivo
–nt rispetto al 27 percento per il bianco
imputati e sono più propensi a
dire che un imputato bianco non lo farebbe
reinserito ad un tasso di 40 contro 29
per cento come è possibile che non lo facciano
conoscere la razza della persona e dal
così neanche il software è così sia
gli umani e il software hanno un
pregiudizi razziali e loro
no, la gara è strana, va bene così prima
di tutto è un po ‘preoccupante che
le persone a caso su internet sono come
preciso come un software che è stato
schierato nei nostri tribunali e lo faremo
ne parliamo un altro in un minuto
ma ci sono due domande che sono venute fuori
di questo è come è che gli umani e
il software ha un pregiudizio razziale quando
loro non conoscono la razza della persona
e il numero due è come è possibile che casuale
le persone su Internet vengono pagate un dollaro
per rispondere alla nostra domanda del sondaggio sono come
buono come software commerciale che è
essere schierato nel nostro corso e noi
necessario per rispondere a queste due domande ora
in questa fase cosa avremmo dovuto fare
è raggiunto in questo software commerciale
questo algoritmo predittivo e ha chiesto come
Funziona cosa sta succedendo qui
cos’è che informazione usa?
come sta matematicamente e
capisco davvero come sia l’algoritmo
fare gli errori e perché non lo è
più accurato
sfortunatamente il software è
proprietario purtroppo il software
è un segreto aziendale molto strettamente tenuto
che è stato protetto dalla compagnia
e non abbiamo accesso ad esso e
nemmeno i tribunali, così
ecco cosa abbiamo fatto abbiamo invertito
lo abbiamo progettato dicendoci bene
non voglio dirci la risposta che faremo
scoprilo da solo e quindi lasciami
raccontaci un po ‘di come abbiamo fatto
così ecco cosa faremo io sono
assumendo che sto andando a solo
prova a fare una previsione di una persona
recidiva da due fattori che potevano
si tratti di fattori che si desidera siano quanti anni
sei quante convinzioni giovanili
hai quanti anni eri
disoccupato qualunque sia il numero che voi
posso quantificare e immaginare di averne solo due
di questi fattori per ora solo per mantenere
le cose sono semplici e quando lo facciamo io sono
raggiungerò quel database che io
usare per i miei partecipanti umani dove io
conoscere le informazioni demografiche che conosco
se sono stati o meno reimpiegati e io sono
tesserò in questo fattore spaziale un fattore
B tutte le persone che hanno recidivo
punto dati qui ogni punto qui
corrisponde a un individuo e al suo
valore corrispondente del fattore a e
fattore B e ora raggiungo il mio
database e faccio la stessa cosa per il
persone che non hanno recidivo al fattore B
e così ora popolo questo spazio di
questi due fattori e so chi ha fatto e
chi non ha rifinito e il mio lavoro è quello di
costruire un classificatore e il
la cosa più semplice che puoi fare in
questo spazio il tipo di cosa che insegniamo
i nostri studenti del Dartmouth College
è disegnare una linea attraverso lo spazio
è tutto ciò che serve e tutto ciò che abbiamo
ora dire è bene chiunque sia al
a sinistra di quella linea è a rischio di
recidivo perché è lì che il
la maggior parte dei trasgressori è e
chiunque sia alla destra di quello spazio
non è a rischio ora ho un classificatore
e notare che ho addestrato il
classificatore su dati che conosco il
rispondere a ma ora qualsiasi individuo quello
arriva in chiunque nel pubblico che posso
calcola il tuo fattore un tuo calcolo
la trama del fattore B nello spazio sei tu
la sinistra o la destra e io ho un
previsione per te va bene così ora il
domanda è quali sono i fattori che cosa
sono i fattori che mi permettono di prevedere
se commetterai un crimine nel
futuro se nessuno ora ricorda che l’ho detto
i nostri partecipanti umani hanno avuto sette fattori
sesso dell’età e poi cinque fattori
quantificato il loro precedente criminale
storia e, soprattutto, non gara così
ecco cosa abbiamo fatto abbiamo fatto centinaia e
centinaia di classificatori su tutti i possibili
sottoinsiemi di quei sette fattori che non abbiamo
sapere quali erano i più importanti
quelli ma volevamo iniziare da lì e noi
costruisci centinaia e centinaia di
classificatori con tutti i possibili sottoinsiemi
se fosse cinque o due o uno o tutti
sette e poi abbiamo solo chiesto quale
classificatore è il più preciso che
uno ci dà la migliore previsione
precisione e abbiamo imparato qualcosa davvero
sorprendente da solo due fattori quanti anni
tu sei e il numero totale di crimini
se tale era minorenne uno sciocco è
abbastanza per ottenere la stessa accuratezza del
software commerciale così commerciale
il software è un’accuratezza di sessantacinque
per cento il nostro classificatore più semplice possibile
con due fattori e solo due fattori
è il 66 per cento e il nostro classificatore dal
la via aveva ancora lo stesso pregiudizio razziale
neri errati di classificazione a tassi più alti
che i bianchi quindi come ci aiuta?
rispondi a questa domanda su cosa sta succedendo
qui a destra come ci aiuta?
determinare perché c’è pregiudizi razziali e
come è che questo software commerciale
è buono come persone a caso sul
Internet viene pagato un dollaro per fare un
esaminare uno dei due più importanti
cose
il classificatore è il numero di precedenti crimini
credo che possiamo essere tutti d’accordo su quell’età
è probabilmente da gara cieco ma parliamo
sul numero di crimini precedenti, ecco cosa
sappiamo che sappiamo che in questo paese se
si sta nero si è molto più probabile
essere arrestato, accusato e condannato
un crimine che il New York Times ha appena durato
per esempio la settimana aveva un rapporto che diceva
a New York le persone di colore hanno 15 anni
volte più probabilità di essere richiesto in
accuse di marijuana di basso livello rispetto alle loro
controparti bianche numero di crimini è a
proxy per gara a causa di questo sociale
ingiustizia a causa di questa iniquità nel
sistema di giustizia criminale e così era la gara
scivolando nel classificatore sconosciuto a
noi e non abbiamo invertito la progettazione del
classificatore non avevamo capito cosa
sono i due fattori più importanti
non sarebbe stato tutto chiaro come correre
stava scivolando qui e quindi la gara
il pregiudizio sta arrivando perché stiamo alimentando
dati in questa cosa che ti dice il
razza della persona inavvertitamente numero
due come è il software commerciale
non è quello che sta cambiando la vita
le decisioni sulle persone sono le stesse di
persone a caso su internet con
poca o nessuna esperienza di giustizia penale
così come risulta che ciò che abbiamo imparato è
in realtà è un classificatore davvero semplice
ecco cosa fai tu prendi due pezzi
di informazioni quanti anni ha qualcuno
il numero totale di crimini che hanno
commesso ed ecco di cosa si tratta
si riduce a ciò che è il classificatore
facendo e ciò che pensiamo siano gli umani
fare inconsciamente è il seguente se
sei giovane e hai commesso tanto
di crimini sei ad alto rischio e se
sei vecchio e hai commesso pochissimi
crimini sei a basso rischio, ecco cos’è
viene giù a destra è piuttosto semplice
ora potresti discutere di quella semplicità
non male, non è male essere semplici
classificatore ma sostengo che si nasconde
dietro la grande analisi dei dati di dati
apprendimento automatico di intelligenza artificiale
dai l’aspetto che il tuo
gli algoritmi predittivi possono fare di più
inferenze sofisticate di loro
in realtà può quando la società ci dice
usa le ultime e le analisi dei dati che usiamo
il ritardo
e l’intelligenza artificiale appare
come se potessero rendere molto sofisticati
inferenze circa il futuro di penale
imputati quando in realtà lo sono
effettivamente facendo qualcosa incredibilmente
semplice e perché questo importa
conta per la seguente ragione
immagina il seguente scenario che eri
un giudice in un’aula di tribunale e c’è un
imputato prima di te e te l’hanno detto
che un software proprietario costruito sul
più recenti progressi nella analisi dei dati e
intelligenza artificiale e macchina
l’apprendimento prevede che questa persona sia
alto rischio di offendere si potrebbe immaginare
che quel giudice lo avrebbe preso
raccomandazione relativamente seriamente
sembra convincente ora immagina che il
giudice viene detto che una persona a caso su
Internet ha twittato che pensano
quella persona è ad alto rischio
immagineresti che il giudice non avrebbe dato un
dannazione e giustamente, ma ecco il
problema che apparentemente sofisticato
software e quella persona a caso tweeting
su Internet aveva esattamente la stessa cosa
accuratezza e quindi importa
importa quanto sia semplice e importante
che non è migliore degli umani perché
ci dice quanta credibilità è
ci dice quanto peso mettere dentro
queste previsioni e lo sostengo
i pesi dovrebbero essere dati molto poco
quello che abbiamo imparato così in questo studio noi
ho imparato due cose importanti e se ne vanno
al di là di queste previsioni nel criminale
sistema di giustizia un grande dato di dati
analytics AI ml non sono intrinsecamente più
accurato più giusto meno prevenuto di
gli umani si nascondono semplicemente dietro la tecnologia
non ti rende migliore e questo è
particolarmente vero quando i dati sono
essere alimentato in questi mirror di algoritmi
disuguaglianze sociali esistenti e sociali
il pericolo qui è che ti nascondi dietro
giusto hai dimenticato che lo sei
alimentare i dati nel sistema che è
cosa sta succedendo nel mondo intorno a noi
questi algoritmi predittivi sono pensati per
superare i limiti e sono
semplicemente rispecchiandole e questo è molto
pericoloso
numero due
è pericoloso ed è imprudente
scatenare algoritmi predittivi come questo
senza capire a fondo come
lavorano senza completamente
capendo la loro accuratezza e senza
comprendendo a fondo la loro correttezza
e questo è vero nella giustizia criminale
sistema è vero per i datori di lavoro e
università che fanno ammissioni e
assumere decisioni è vero in finanziaria
istituti di credito e mutui
le decisioni di queste tre cose sono alcune
le cose più grandi che facciamo nel nostro
vive le nostre libertà civili la nostra finanziaria
benessere e il nostro impiego e lo siamo
trasformare le decisioni in computerizzato
algoritmi e questo è molto preoccupante
persone come me come tecnologi lo farò
menzione dal modo in cui il
il nostro molto discusso PIL in cui è andato
effetto in Europa di recente ha dato
I cittadini europei hanno il diritto di controllare il
dati e gli algoritmi che vengono utilizzati
contro di loro o su di loro o contro di loro se
credono di essere errata che è
un’idea molto ponderata e molto buona e
è qualcosa che siamo in questo paese
dovrebbe iniziare a pensare che c’era un
lezione più grande qui negli anni ’80 che eravamo
facendo con problemi molto complessi
abbiamo a che fare con la medicina e la biologia
incredibili progressi e siamo stati davvero
lottando con come riconciliarlo
con le nostre norme sociali con etica con
moralità e con la religione e noi eravamo
davvero in lotta nella società per venire a
prese di quello negli Stati Uniti appoggiati a
pannello di bioetica e pannello di bioetica
è stato popolato con incredibilmente intelligente
persone di ogni ceto sociale dal
parte religiosa dalla scientifica di
l’etica dal legale e dal
politica e dal lato economico e
erano loro erano il loro compito era quello di
aiutaci a gestire questi altamente complessi
problemi con cui abbiamo a che fare e noi
non aveva una tabella di marcia su come andare
in avanti, sostengo la creazione di un
cyber nazionale o internazionale
l’etica pannello un pannello per aiutarci a sostenere
con quello che sta diventando incredibilmente
complesso panorama cyber se lo è
i tipi di algoritmi predittivi che
Sto parlando di qui che sono in corso
sign-u è il pubblico se è come il
internet è stato armato dall’odio
gruppi, estremisti e terroristi
se sono i problemi di privacy che
abbiamo lottato con l’ultimo
pochi anni
se si tratta di problemi di sicurezza che si tratti
è come internet viene utilizzato per
traffico di bambini nel commercio del sesso tutti
i problemi che stiamo vedendo online
dobbiamo iniziare a prendere confidenza
la tecnologia può essere una forza tremenda
progresso e buonissimo ma come noi
hanno visto negli ultimi anni sinistra
deselezionata può anche immergerci
in una distopia digitale grazie
[Applausi]
siete stati quasi tutti soggetti a un
algoritmo predittivo computerizzato del
seguendo la forma se ti piace X puoi farlo
come i servizi di streaming di film musicali Y.
servizi di shopping online di routine guardano
al tuo modello di comportamento confronta
quello ai clienti precedenti e ci prova
fare previsioni per te a volte
funziona e a volte non funziona ora
potresti essere meno consapevole di ciò che hai anche tu
potrebbe essere stato sottoposto a un predittivo
algoritmo del modulo se sei come X
potremmo non darti un prestito bancario
le istituzioni finanziarie usano abitualmente
i tuoi attributi personali li confrontano
ai clienti precedenti per valutare il rischio
all’istituzione in termini di dare
hai un prestito o un’ipoteca che potresti avere anche tu
stato recentemente sottoposto a un predittivo
algoritmo del modulo se sei come ax
potremmo non darti un lavoro datori di lavoro e
in alcuni casi sono ammissioni universitarie
usando algoritmi predittivi per fare
assunzioni e decisioni di ammissione e se
di recente hai avuto uno scontro con il
sistema di giustizia penale
bene mi dispiace prima di tutto e secondo
di tutto ciò che potrebbe essere stato sottoposto a un
algoritmo predittivo di seguito
forma se sei come X, allora puoi andare
i tribunali della prigione ora stanno abitualmente usando
algoritmi predittivi per prendere decisioni
in aula in particolare
l’ algoritmo popolare e ora diffuso
usato al punto di arresto per fare cauzione
le decisioni e concettualmente è una bella
semplice idea di un imputato che è stato
accusato di un crimine è l’ informazione è
estratto da loro ed è alimentato in a
algoritmo del computer e quel computer
l’algoritmo genera un fattore di rischio e questo
fattore di rischio è destinato a quantificare il
probabilità che la persona commetterà un
il crimine nel futuro pensa davvero a
versione semplice del rapporto di minoranza
senza le persone inquietanti in piscina
e se sei valutato come ad alto rischio
bene allora il giudice può negare la cauzione e
sarai tenuto in prigione in attesa
prova e se sei valutato per essere
a basso rischio, potresti essere rilasciato
in attesa di giudizio ora nel 2016 investigativo
i giornalisti di ProPublica hanno pubblicato a
relazione preoccupante su uno in particolare
predittivo popolare e diffuso
algoritmo utilizzato nei tribunali
in giro per questo paese e cosa hanno trovato
è che questo particolare algoritmo è stato
significativamente svantaggioso per il nero
gli imputati hanno scoperto che se
sei stato un imputato nero che sei
quasi il doppio delle probabilità di essere previsto
come recidiva quando non hai fatto che
è successo il 44% delle volte, se tu
erano neri e solo il 23% del
tempo se sei bianco che è un
differenza sbalorditiva e allo stesso
tempo che eri quasi il doppio delle probabilità
essere previsto come non offendere quando in
Infatti l’hai fatto se eri bianco come
rispetto al nero che è successo 47
per cento del tempo contro il 28 percento di
tempo quindi, in altre parole, l’algoritmo è
prevenuto a neri imputati contro il nero
imputati in altre parole, se lo sei
nero e tu sei un soggetto a questo
algoritmo sei più probabile che tu sia
valutato come ad alto rischio e incarcerato
che se sei bianco così poco dopo
questo articolo è stato pubblicato da uno studente di
la mia Julia Dressel è venuta da me e lei
ha detto come è possibile
siamo scienziati informatici come siamo
permettendo che ciò accada come siamo
permettendo al software di cambiare la vita
decisioni sulle persone quando ne hanno
tipi di disuguaglianze ed è stato il
giusta domanda da fare e ci ha preso
spendere circa un anno e mezzo di viaggio
cercando di capire cosa stava succedendo
qui e come e se possiamo fare di meglio e
Voglio parlarti un po ‘di
quel viaggio e un po ‘di cosa
abbiamo imparato lungo la strada
quindi prima di tuffarsi in algoritmico
dettagli e sorta di capire dove
questo pregiudizio proviene da quando abbiamo iniziato
una domanda davvero semplice
abbiamo iniziato con la domanda di sono
questi algoritmi effettivamente meglio di
tu rispetto alla persona media perché
dopotutto presumibilmente li usiamo
algoritmi perché sono più accurati
più obiettivi e più giusti e loro
rimuovere eventuali distorsioni che possono esistere nel
mente umana e questa è una buona idea ma noi
non so se sia effettivamente vero o no
così abbiamo deciso di stabilire che così
ecco cosa abbiamo fatto abbiamo reclutato quattro
cento partecipanti da un online
piattaforma di crowdsourcing e gli abbiamo chiesto
una domanda molto semplice
abbiamo dato loro un breve paragrafo su un
vero imputato questo era un con 8.000
persone per le quali avevamo demografico
informazioni di cui avevamo informazioni
il loro passato storia criminale eventuale um
e poi abbiamo conosciuto il punteggio di rischio
secondo il software che è in corso
usato in tribunale e poi lo erano
monitorato per due anni quindi in realtà
sapere se hanno recidivo o meno e così via
i nostri partecipanti leggono un breve paragrafo
Erano sette pezzi di informazione dell’età
e il sesso della persona e poi cinque
pezzi di dati che hanno riassunto la loro
storia criminale giovanile e adulta loro
non conoscevo la razza della persona
importante okay e poi semplicemente
chiesto loro di leggere questo breve
paragrafo è un sondaggio online e giusto
diteci se pensate che questa persona lo farà
la recidiva
in una finestra di due anni dopo la loro
ultimo arresto si no si no si no ecco
quello che abbiamo imparato informatizzato
il software aveva un’accuratezza del 65%
gli esseri umani hanno una precisione del 67% questi sono
persone casuali su Internet che rispondono
a un sondaggio per un dollaro e hanno speso
circa 10 secondi leggendo quel poco
breve paragrafo e facendo un
determinazione sono buoni come il
software commerciale utilizzato nel
i tribunali oggi stranamente hanno fatto lo stesso
errori come un software erano di più
propensi a dire che un imputato nera
un tasso del 37% sarebbe stato recidivo
–nt rispetto al 27 percento per il bianco
imputati e sono più propensi a
dire che un imputato bianco non lo farebbe
reinserito ad un tasso di 40 contro 29
per cento come è possibile che non lo facciano
conoscere la razza della persona e dal
così neanche il software è così sia
gli umani e il software hanno un
pregiudizi razziali e loro
no, la gara è strana, va bene così prima
di tutto è un po ‘preoccupante che
le persone a caso su internet sono come
preciso come un software che è stato
schierato nei nostri tribunali e lo faremo
ne parliamo un altro in un minuto
ma ci sono due domande che sono venute fuori
di questo è come è che gli umani e
il software ha un pregiudizio razziale quando
loro non conoscono la razza della persona
e il numero due è come è possibile che casuale
le persone su Internet vengono pagate un dollaro
per rispondere alla nostra domanda del sondaggio sono come
buono come software commerciale che è
essere schierato nel nostro corso e noi
necessario per rispondere a queste due domande ora
in questa fase cosa avremmo dovuto fare
è raggiunto in questo software commerciale
questo algoritmo predittivo e ha chiesto come
Funziona cosa sta succedendo qui
cos’è che informazione usa?
come sta matematicamente e
capisco davvero come sia l’algoritmo
fare gli errori e perché non lo è
più accurato
sfortunatamente il software è
proprietario purtroppo il software
è un segreto aziendale molto strettamente tenuto
che è stato protetto dalla compagnia
e non abbiamo accesso ad esso e
nemmeno i tribunali, così
ecco cosa abbiamo fatto abbiamo invertito
lo abbiamo progettato dicendoci bene
non voglio dirci la risposta che faremo
scoprilo da solo e quindi lasciami
raccontaci un po ‘di come abbiamo fatto
così ecco cosa faremo io sono
assumendo che sto andando a solo
prova a fare una previsione di una persona
recidiva da due fattori che potevano
si tratti di fattori che si desidera siano quanti anni
sei quante convinzioni giovanili
hai quanti anni eri
disoccupato qualunque sia il numero che voi
posso quantificare e immaginare di averne solo due
di questi fattori per ora solo per mantenere
le cose sono semplici e quando lo facciamo io sono
raggiungerò quel database che io
usare per i miei partecipanti umani dove io
conoscere le informazioni demografiche che conosco
se sono stati o meno reimpiegati e io sono
tesserò in questo fattore spaziale un fattore
B tutte le persone che hanno recidivo
punto dati qui ogni punto qui
corrisponde a un individuo e al suo
valore corrispondente del fattore a e
fattore B e ora raggiungo il mio
database e faccio la stessa cosa per il
persone che non hanno recidivo al fattore B
e così ora popolo questo spazio di
questi due fattori e so chi ha fatto e
chi non ha rifinito e il mio lavoro è quello di
costruire un classificatore e il
la cosa più semplice che puoi fare in
questo spazio il tipo di cosa che insegniamo
i nostri studenti del Dartmouth College
è disegnare una linea attraverso lo spazio
è tutto ciò che serve e tutto ciò che abbiamo
ora dire è bene chiunque sia al
a sinistra di quella linea è a rischio di
recidivo perché è lì che il
la maggior parte dei trasgressori è e
chiunque sia alla destra di quello spazio
non è a rischio ora ho un classificatore
e notare che ho addestrato il
classificatore su dati che conosco il
rispondere a ma ora qualsiasi individuo quello
arriva in chiunque nel pubblico che posso
calcola il tuo fattore un tuo calcolo
la trama del fattore B nello spazio sei tu
la sinistra o la destra e io ho un
previsione per te va bene così ora il
domanda è quali sono i fattori che cosa
sono i fattori che mi permettono di prevedere
se commetterai un crimine nel
futuro se nessuno ora ricorda che l’ho detto
i nostri partecipanti umani hanno avuto sette fattori
sesso dell’età e poi cinque fattori
quantificato il loro precedente criminale
storia e, soprattutto, non gara così
ecco cosa abbiamo fatto abbiamo fatto centinaia e
centinaia di classificatori su tutti i possibili
sottoinsiemi di quei sette fattori che non abbiamo
sapere quali erano i più importanti
quelli ma volevamo iniziare da lì e noi
costruisci centinaia e centinaia di
classificatori con tutti i possibili sottoinsiemi
se fosse cinque o due o uno o tutti
sette e poi abbiamo solo chiesto quale
classificatore è il più preciso che
uno ci dà la migliore previsione
precisione e abbiamo imparato qualcosa davvero
sorprendente da solo due fattori quanti anni
tu sei e il numero totale di crimini
se tale era minorenne uno sciocco è
abbastanza per ottenere la stessa accuratezza del
software commerciale così commerciale
il software è un’accuratezza di sessantacinque
per cento il nostro classificatore più semplice possibile
con due fattori e solo due fattori
è il 66 per cento e il nostro classificatore dal
la via aveva ancora lo stesso pregiudizio razziale
neri errati di classificazione a tassi più alti
che i bianchi quindi come ci aiuta?
rispondi a questa domanda su cosa sta succedendo
qui a destra come ci aiuta?
determinare perché c’è pregiudizi razziali e
come è che questo software commerciale
è buono come persone a caso sul
Internet viene pagato un dollaro per fare un
esaminare uno dei due più importanti
cose
il classificatore è il numero di precedenti crimini
credo che possiamo essere tutti d’accordo su quell’età
è probabilmente da gara cieco ma parliamo
sul numero di crimini precedenti, ecco cosa
sappiamo che sappiamo che in questo paese se
si sta nero si è molto più probabile
essere arrestato, accusato e condannato
un crimine che il New York Times ha appena durato
per esempio la settimana aveva un rapporto che diceva
a New York le persone di colore hanno 15 anni
volte più probabilità di essere richiesto in
accuse di marijuana di basso livello rispetto alle loro
controparti bianche numero di crimini è a
proxy per gara a causa di questo sociale
ingiustizia a causa di questa iniquità nel
sistema di giustizia criminale e così era la gara
scivolando nel classificatore sconosciuto a
noi e non abbiamo invertito la progettazione del
classificatore non avevamo capito cosa
sono i due fattori più importanti
non sarebbe stato tutto chiaro come correre
stava scivolando qui e quindi la gara
il pregiudizio sta arrivando perché stiamo alimentando
dati in questa cosa che ti dice il
razza della persona inavvertitamente numero
due come è il software commerciale
non è quello che sta cambiando la vita
le decisioni sulle persone sono le stesse di
persone a caso su internet con
poca o nessuna esperienza di giustizia penale
così come risulta che ciò che abbiamo imparato è
in realtà è un classificatore davvero semplice
ecco cosa fai tu prendi due pezzi
di informazioni quanti anni ha qualcuno
il numero totale di crimini che hanno
commesso ed ecco di cosa si tratta
si riduce a ciò che è il classificatore
facendo e ciò che pensiamo siano gli umani
fare inconsciamente è il seguente se
sei giovane e hai commesso tanto
di crimini sei ad alto rischio e se
sei vecchio e hai commesso pochissimi
crimini sei a basso rischio, ecco cos’è
viene giù a destra è piuttosto semplice
ora potresti discutere di quella semplicità
non male, non è male essere semplici
classificatore ma sostengo che si nasconde
dietro la grande analisi dei dati di dati
apprendimento automatico di intelligenza artificiale
dai l’aspetto che il tuo
gli algoritmi predittivi possono fare di più
inferenze sofisticate di loro
in realtà può quando la società ci dice
usa le ultime e le analisi dei dati che usiamo
il ritardo
e l’intelligenza artificiale appare
come se potessero rendere molto sofisticati
inferenze circa il futuro di penale
imputati quando in realtà lo sono
effettivamente facendo qualcosa incredibilmente
semplice e perché questo importa
conta per la seguente ragione
immagina il seguente scenario che eri
un giudice in un’aula di tribunale e c’è un
imputato prima di te e te l’hanno detto
che un software proprietario costruito sul
più recenti progressi nella analisi dei dati e
intelligenza artificiale e macchina
l’apprendimento prevede che questa persona sia
alto rischio di offendere si potrebbe immaginare
che quel giudice lo avrebbe preso
raccomandazione relativamente seriamente
sembra convincente ora immagina che il
giudice viene detto che una persona a caso su
Internet ha twittato che pensano
quella persona è ad alto rischio
immagineresti che il giudice non avrebbe dato un
dannazione e giustamente, ma ecco il
problema che apparentemente sofisticato
software e quella persona a caso tweeting
su Internet aveva esattamente la stessa cosa
accuratezza e quindi importa
importa quanto sia semplice e importante
che non è migliore degli umani perché
ci dice quanta credibilità è
ci dice quanto peso mettere dentro
queste previsioni e lo sostengo
i pesi dovrebbero essere dati molto poco
quello che abbiamo imparato così in questo studio noi
ho imparato due cose importanti e se ne vanno
al di là di queste previsioni nel criminale
sistema di giustizia un grande dato di dati
analytics AI ml non sono intrinsecamente più
accurato più giusto meno prevenuto di
gli umani si nascondono semplicemente dietro la tecnologia
non ti rende migliore e questo è
particolarmente vero quando i dati sono
essere alimentato in questi mirror di algoritmi
disuguaglianze sociali esistenti e sociali
il pericolo qui è che ti nascondi dietro
giusto hai dimenticato che lo sei
alimentare i dati nel sistema che è
cosa sta succedendo nel mondo intorno a noi
questi algoritmi predittivi sono pensati per
superare i limiti e sono
semplicemente rispecchiandole e questo è molto
pericoloso
numero due
è pericoloso ed è imprudente
scatenare algoritmi predittivi come questo
senza capire a fondo come
lavorano senza completamente
capendo la loro accuratezza e senza
comprendendo a fondo la loro correttezza
e questo è vero nella giustizia criminale
sistema è vero per i datori di lavoro e
università che fanno ammissioni e
assumere decisioni è vero in finanziaria
istituti di credito e mutui
le decisioni di queste tre cose sono alcune
le cose più grandi che facciamo nel nostro
vive le nostre libertà civili la nostra finanziaria
benessere e il nostro impiego e lo siamo
trasformare le decisioni in computerizzato
algoritmi e questo è molto preoccupante
persone come me come tecnologi lo farò
menzione dal modo in cui il
il nostro molto discusso PIL in cui è andato
effetto in Europa di recente ha dato
I cittadini europei hanno il diritto di controllare il
dati e gli algoritmi che vengono utilizzati
contro di loro o su di loro o contro di loro se
credono di essere errata che è
un’idea molto ponderata e molto buona e
è qualcosa che siamo in questo paese
dovrebbe iniziare a pensare che c’era un
lezione più grande qui negli anni ’80 che eravamo
facendo con problemi molto complessi
abbiamo a che fare con la medicina e la biologia
incredibili progressi e siamo stati davvero
lottando con come riconciliarlo
con le nostre norme sociali con etica con
moralità e con la religione e noi eravamo
davvero in lotta nella società per venire a
prese di quello negli Stati Uniti appoggiati a
pannello di bioetica e pannello di bioetica
è stato popolato con incredibilmente intelligente
persone di ogni ceto sociale dal
parte religiosa dalla scientifica di
l’etica dal legale e dal
politica e dal lato economico e
erano loro erano il loro compito era quello di
aiutaci a gestire questi altamente complessi
problemi con cui abbiamo a che fare e noi
non aveva una tabella di marcia su come andare
in avanti, sostengo la creazione di un
cyber nazionale o internazionale
l’etica pannello un pannello per aiutarci a sostenere
con quello che sta diventando incredibilmente
complesso panorama cyber se lo è
i tipi di algoritmi predittivi che
Sto parlando di qui che sono in corso
sign-u è il pubblico se è come il
internet è stato armato dall’odio
gruppi, estremisti e terroristi
se sono i problemi di privacy che
abbiamo lottato con l’ultimo
pochi anni
se si tratta di problemi di sicurezza che si tratti
è come internet viene utilizzato per
traffico di bambini nel commercio del sesso tutti
i problemi che stiamo vedendo online
dobbiamo iniziare a prendere confidenza
la tecnologia può essere una forza tremenda
progresso e buonissimo ma come noi
hanno visto negli ultimi anni sinistra
deselezionata può anche immergerci
in una distopia digitale grazie
[Applausi]
Please follow and like us: