Press "Enter" to skip to content

GOTO 2018 • Computers are Stupid: Protecting “AI” from Itself • Katharine Jarmul


[Musica]
va bene
Julie mi ha invitato qui dopo il mio 34
c3 parlare così ho parlato al computer del caos
Congresso l’anno scorso e ho parlato
l’apprendimento delle macchine ingannatrici oggi siamo
andando a tipo di espandere su quel tema
perché penso ci sia molto di più a
Diciamo che forse ha a che fare di più
non solo apprendimento automatico ma tempi
dove pensiamo che i computer possano fare
qualcosa ma non possono perché
i computer sono stupidi, quindi come possiamo
proteggere l’intelligenza artificiale oi sistemi informatici da
se stesso e davvero da noi stessi così
[Musica]
perfetto quindi per prima cosa leggo questo titolo
l’anno scorso e ho dovuto leggerlo due volte e
non è solo perché vivo a Berlino
e così anche le mie gioie specialmente lo è
perché non potevo crederci
qualcuno adorerebbe l’ intelligenza artificiale proprio quando io
leggere questo titolo ho detto che devono essere
parlando di un diverso un’intelligenza artificiale rispetto alla
uno su cui lavoro come l’apprendimento automatico
devono parlare di qualcosa
altrimenti vale davvero la pena di adorare
perché questo non è proprio l’IA che io
conoscere e lavorare regolarmente
ma va oltre, diciamo la gavetta
i titoli sono persone che assumono o
pensa che l’intelligenza artificiale possa fare molto più di quello
può farlo anche a persone che lo sono
membri venerati del nostro apprendimento automatico
diritto della comunità come Andrew Inc e
Andrew n ha tenuto una serie di discorsi
l’anno chiamato AI è la nuova elettricità
e anche quando ho visto quel titolo ero
un po ‘divertito vuol dire che AI
sta per essere consegnato dalla città
nelle mie mura questo significa che pagherò
tasse sull’IA significa che ogni
la macchina di casa mia avrà probabilmente bisogno
qualche forma di intelligenza artificiale per operare questo non lo è
quello che voglio almeno sicuramente no
volendo la mia lavatrice e la mia
tostapane per bisogno di AI per correttamente
funzione e così anche se il suo discorso è stato
molto più sfumato se tu guardassi il
l’intera cosa il problema che ho avuto
con titoli come questi sono messi a
sacco di significato e un sacco di valore su
qualcosa che ancora dalla maggior parte dei casi è
altamente sperimentale e ancora da alcuni
casi non funziona per un sacco di
problemi generalizzati destra e in
apprendimento automatico e cosiddetto AI noi
risolvere un sacco di compiti specifici ma
la generalizzazione è ancora molto grande
problema e questo è principalmente perché
i computer sono stupidi e quindi loro
solo sapere come fare le cose che abbiamo
programmati o specificamente addestrati
per fare un esempio a così qui abbiamo
Google Translate Google Translate utilizza
alcuni dei migliori e più recenti
ricerca quando pensiamo alla macchina
traduzione di solito usando la sequenza a
sequenza di reti neurali che possono più
codifica e decodifica attivamente le lingue
tra di loro questo è come
ricerca all’avanguardia top-of-the-line in
termini dell’elaborazione del linguaggio naturale e
ma anche per quelli di noi che non lo sono
fluente in tedesco nella stanza che puoi vedere
che proprio la prima frase ha
un sacco di parole diverse che sono
parole diverse e lo vediamo
Google ci dice molto utile che il
economia di economia è una parte di
economia con numerosi riferimenti a
economia in mezzo e questo è
diritto problematico che probabilmente hai
visto l’altro google traduttore fallisce
sono abbastanza comuni su Internet
ridi e penso che sia fantastico noi
dovrebbe ridere ma mi sento un po ‘
un po ‘male per i ricercatori del cervello e
ingegneri che lavorano su questo perché questo
è davvero in realtà un bel disco
problema a destra questo è un problema difficile da
risolvere ed è difficile da mappare in particolare
lingue molto disparate
i vocabolari tedesco inglese ne hanno alcuni
sovrapposizione giusta ma molto disparata
vocabolari e quantità disparate di
parole in uso regolare e per mappare correttamente
loro tra loro questo è un
cosa tremendamente difficile da fare e
di nuovo i computer sono piuttosto stupidi
a meno che non siamo in grado di dire esattamente come si
risolvere il problema o mostrarlo esattamente come
per risolvere il problema è molto improbabile
che sarà imparare a recuperare da
un errore come questo
e continuare su questo quante persone
qui sono gli utenti del telefono e puoi tenerlo
la tua mano se usi Siri se lo hai
Siri si è acceso e puoi tenere il tuo
consegnare se si consiglia Siri a
altri e ti piace usare Siri okay
eccellente
e quindi c’è un sacco di Siri fallire barzellette
su internet ci sono interi siti web
Ho trovato questo sito perché Siri perché dove
alle persone piace pubblicare le loro battute Siri e
stiamo chiedendo a Siri che non vogliamo
nota e stiamo chiedendo a Siri di cancellare il
nota e Siri non capisce bene
e anche in questo caso pensiamo spesso a Siri
come quasi un diritto umano abbiamo parlato
serio se avessimo un altro umano ma
Siri è solo un programma per computer o un
serie di programmi per computer e una serie
di modelli di apprendimento automatico e può
davvero non fare alcun tipo di umano
deduce questi semplici comandi
non li capisce e ci prova
approssimativo nel miglior modo possibile
il duro problema è la disambiguazione così dentro
elaborazione della lingua naturale che chiameremo
questo problema disambiguazione e questo
significa che due cose sono la stessa cosa
ma la teoria non lo sa e non lo ha fatto
imparato questo ancora e quindi diciamo inviare un
e-mail a mia moglie che moglie ha ragione e
abbiamo visto questo problema di disambiguazione
probabilmente attraverso molte altre app e
cose in cui hai numerosi contatti
salvato in modi diversi e questo diventa
problematico per l’intelligenza artificiale di nuovo
intelligenza artificiale per capire
e questo è principalmente dovuto al fatto che i computer lo sono
stupido bene ed è divertente e lo è
ottimo per fare battute su Siri ed è così
fantastico ridere degli errori di traduzione
e così via, ma la mia preoccupazione è questa
c’è sempre più apprendimento automatico
a volte sta toccando le nostre vite
modi ovvi come auto a guida autonoma e
modi a volte non ovvi come solo
usando i nostri prestiti bancari e la nostra carta di credito
applicazioni e le nostre applicazioni scolastiche
e rivedere le cose per noi in questo modo un
un esempio ovvio sono le auto a guida automatica
tutti
Mi piace prendere su auto a guida autonoma , quindi io
si unirebbero al divertimento e a ciò che abbiamo
ecco una pagina da un documento di ricerca
che è stato rilasciato credo per un anno
e mezzo fa e stava testando il
giorno di due piattaforma auto-guida è
su test e anticipando errori
che le auto a guida autonoma possono vedere dentro
nel mondo reale possiamo vedere l’input
la sinistra dove l’immagine è tranquilla
luminoso e stiamo guidando senza intoppi
in fondo alla strada e vediamo l’immagine
il diritto che è stato modificato solo da
il buio l’oscurità quindi la luminosità
dell’immagine e parte del contrasto
elementi e moriremo di fuoco
la morte quindi in questi casi abbiamo davvero bisogno
iniziare a pensare a come possiamo
anticipare il fatto che i computer sono
stupido e un apprendimento automatico può solo
sai cosa abbiamo dimostrato che non è così
continua a non generalizzare così bene e
ancora non può sempre interpretare l’input
che non ha visto e per questo motivo
abbiamo bisogno di fare a pensare per i computer
e dico che i computer sono stupidi ma
Io davvero non credo che i computer
sono stupidi giusto che significherebbe che
i computer hanno cervello e intelligenza
e tutte queste cose penso che
i computer sono davvero bravi in ​​pochi
cose come calcolare
numeri che gestiscono i programmi proprio bene
a volte parallelizzazione e c’è
a volte ok a inviare messaggi a ciascuno
altro non tutto il tempo ma a volte noi
ottenere un messaggio ricevuto correttamente e il
motivo per cui possiamo fare cose incredibili come
apprendimento automatico e come molti di
gli altri programmi che gestiamo i nostri
i sistemi che costruiamo è perché gli umani
sono davvero intelligenti Gli umani sono abbastanza intelligenti
Io sono a volte pericolosamente intelligente
certo per la maggior parte delle persone in questa stanza
che hai scritto programmi per computer
e ci sono stati momenti in cui sei
pensando di essere davvero intelligente, giusto
ora e alcune di quelle volte è arrivato
torna a tormentarti , scrivi il tuo
l’intelligenza è venuta a perseguitarti così io
sento che questo a volte può essere un po ‘
una combinazione pericolosa quindi esploriamo
questa combinazione pericolosa in un modo
che gli umani intelligenti possono
ingannare i computer stupidi è contraddittorio
esempi che hanno esempi contraddittori
fiorito diciamo nei pochi precedenti
anni ma il primo esempio di contraddittorio
viene utilizzato con il riconoscimento automatico della macchina
fino al 2005 quindi non è affatto una novità
area di ricerca e quale contraddittorio
gli esempi sono ci sono essenzialmente
modi in cui possiamo realizzare reti neurali complete
nel vedere o notare che qualcosa è
nello spazio di input che non è in realtà
ecco quindi ecco una tartaruga contraddittoria
e potresti chiederti cos’è davvero
tartaruga contraddittorio, questa è una tartaruga
quello che è stato stampato è stampato in 3d in un laboratorio
e ha ciò che gli autori chiamano
trame contraddittorie e quindi le trame
lungo la schiena, i fianchi e il ventre così
parlare tutti hanno questi contraddittorio
trame e noi umani vediamo solo forse
alcuni modelli divertenti proprio alcuni divertenti
luminosità e spazi diversi ma che cosa
la rete di computer vision vede è a
fucile è la rete di visione artificiale
molto convinto più del 90% che è
abbastanza raro nei compiti di computer vision più
del 90% convinti che questa tartaruga sia un
fucile quindi abbiamo completamente ingannato il
rete giusta e noi umani vediamo ancora
la tartaruga e questo è un tipo di divertimento giusto
e si potrebbe pensare come fa questo
lavoro quindi descriviamo un po ‘ come
Funziona come addestriamo questi computer
modelli di visione e la maggior parte dell’apprendimento automatico
modelli soprattutto reti neurali siamo noi
itera su epoche e proviamo a ridurre
errore quindi stiamo andando da un posto
forse di alto errore in un luogo di
errore inferiore e maggiore sicurezza e
come siamo in grado di ingannare allora questi è che
essenzialmente si muovono nell’opposto
direzione cerchiamo di aumentare l’incertezza
nel modello e aumentando
incertezza verso diciamo il
direzione della classe del fucile possiamo allora
fallo classificare erroneamente questa tartaruga come a
fucile e essenzialmente vedere qualcosa
ricorda che non ha gli occhi, quindi non può
vedi ma vedi qualcosa che non c’è
e questa intelligenza continua nel
che possiamo anche ingannare i sistemi biometrici
e davvero qualsiasi tipo di sistema che ha
apprendimento automatico regolare o cosa noi
potrebbe chiamare apprendimento attivo così ripetitivo
imparando attraverso una serie di tempo attraverso
in fondo abbiamo una serie di immagini
che rappresentano il volto della persona e
questa è la faccia della persona vista dal
modello di apprendimento automatico questo è ciò che noi
chiama il centroide o possiamo pensarci
come massima attivazione o massima
Probabilità che sia questa persona e
ciò che vediamo nella parte superiore è l’attacco
sequenza e in questa sequenza di attacco
molto simile agli esempi contraddittorio
stavano essenzialmente cercando di spingere il
classe verso una zona diversa o a
diversa regione di possibile spazio di input
e in questo caso questo è funzionato da
Batista Biggio ha fatto parecchio
lavorare sull’apprendimento del contraddittorio e
esempi di avvelenamento e in questo caso il
obiettivo era quello di rendere il riconoscimento facciale
sistema mostra la persona con gli occhiali e
questo potrebbe essere in un attacco del mondo reale
questo potrebbe essere che vogliamo attaccare
loro computer vogliamo mettere su un paio
di occhiali o occhiali da sole in qualche modo
caratteristiche facciali simili e quindi possiamo
o sblocca il computer e entra
il sistema e entrare nella loro banca
conto qualunque cosa stiamo cercando di
fai bene e tramite questo attacco di avvelenamento
questo attacco di avvelenamento iterativo così di nuovo
deve essere qualcosa che impara su a
base regolare questo iterativo di un avvelenamento
attacco possiamo avvelenare i dati e possiamo
ingannare la rete neurale o il computer
visione o SVM o qualunque modello
stiamo cercando di ingannare nel vedere
qualcosa o credere a qualcosa
i dati che non sono lì ora questi
gli attacchi di avvelenamento sono abbastanza frequenti
contro spam o phishing ma possiamo anche
usali contro altri tipi di
modelli quindi potrei essenzialmente fare a
attacco di avvelenamento contro la visione artificiale
che legge assegni e potrei riscrivere
il tuo assegno da 1.000 euro a 10.000
euro e così via, quindi questi sono
cose di cui dobbiamo preoccuparci
il modo in cui distribuiamo i sistemi e il
modo in cui pensiamo di allenare i nostri
dati perché in questo momento abbiamo tipo di afferrare
quanti più dati possibili e ci riqualifichiamo
tanto
il più possibile e va oltre
ingannare i computer stupidi per dire vedere
cose che non ci sono o che fanno
errori possiamo anche usare i computer per ingannare
altri umani e quando usiamo i computer
per imbrogliare gli altri umani quello che probabilmente abbiamo
in mente è una sorta di intento malevolo
o interesse e se possiamo usare la macchina
apprendimento o data mining alcuni di questi
cose a cui i computer sono abbastanza bravi
che noi umani ci porteremmo piuttosto a
molto tempo da fare a mano o da soli
allora possiamo creare problemi non solo
all’interno della nostra società ma all’interno diciamo
il tessuto sociale del nostro mondo è tale
esempio, naturalmente, è l’analitica di Cambridge
ah che è abbastanza preveggente ora con
prossime nuove elezioni tra molti
luoghi è questa epidemia di essere in grado di
prendere di mira altre persone usando la macchina
imparare o usare una sorta di dati
modellando intorno a se una persona può o
potrebbe non essere suscettibile a questo tipo di
pubblicità negativa ed ecco a
Cattura schermo da una pagina che
una delle pagine che ha acquistato da
Cambridge analitico e cosa Cambridge
l’analitico è stato ovviamente utilizzare il
API di Facebook per estrarre le informazioni
ha affermato che hanno usato Facebook con dentro
termini Facebook dice non con in termini I
non so quando i termini sono stati aggiornati I
non so perché hanno avuto accesso se è così
contro i termini ma né qui né qui
lì giusto sono stati in grado di ottenere questo
informazioni da Facebook e fare
modelli su persone che pensavano potessero
essere sensibili a questo tipo di
pubblicità e con quei modelli
combinato con anche la posizione di quello
persona e se fossero in una votazione chiave
distretto per sia il voto di permesso del Regno Unito che
per la Clinton contro Trump votano
sono stati forse in grado di aiutare a influenzare il
l’elezione ora è molto difficile per noi
sapere se quelle persone avrebbero
votato o non votato come hanno fatto
dopo aver visto questi annunci ma
quello che sappiamo è che questo tipo di
pubblicità maliziosa che sta ottenendo
più facile da fare che non sta ottenendo
più difficile che stiamo facendo sempre di più
software che ci consente di elaborare
dati su larga scala abbiamo abbastanza a
molta macchina open source utile
librerie di apprendimento e se si dovesse
prova a farlo oggi contro dire nel
Anni ’90 o le prime migliaia che avrebbe
sicuramente sarà più facile farlo e quindi noi
ho bisogno di pensare ai modi in cui prendiamo in giro
altri umani che usano la nostra intelligenza
e macchine in quello che sono bravi in ​​questo modo
chiamato elaborazione parallela e
matematica e quindi se i computer sono
stupidi e gli esseri umani sono intelligenti che altro come
a questa equazione, purtroppo,
gli umani sono anche inclini a pregiudizi e noi
tendono a nascondere i nostri stessi pregiudizi
preferenze giuste , non intendo
pregiudizio statistico intendo un pregiudizio umano a
pregiudizi personali e alcuni di questi sono
informato forse dal nostro personale
esperienze e altre di queste sono
informato dalla nostra società e loro sono
informato dal razzismo del sessismo omofobia
transfobia paura spaventato di diverso
religioni diverse culture diverse
lingue giusto questo è qualcosa che
succede in tutto il mondo e ha
è successo nel corso della storia e così noi
Sappiamo che gli umani sono di parte che tendiamo a provare
più vicino a persone simili a noi e noi
tendono a sentirsi più lontano dalla gente che
sono diversi da noi e sfortunatamente
questo si svolge in modi molto pericolosi
quando permettiamo a questo di interagire per il
il fatto che i computer siano stupidi ma
gli umani sono intelligenti e uno dei modi
che questo può interagire è stato un grande
area di ricerca e di studio in particolare
concentrarsi sull’apprendimento automatico
comunità negli ultimi anni che
sono questioni etiche o di equità all’interno
apprendimento automatico e questo non è affatto
una nuova operazione di ricerca perché Latanya
Sweeney stava scrivendo su questo più di
10 anni fa e Latanya Sweeney era
dare un’occhiata a questo perché questo era
un’era alla fine degli anni 2000, ci credo
era dove tutti stavano dicendo oh te
ho un Google te stesso e ottieni un
Google te stesso devi fare un marchio
hai come
il tuo mojo SEO e roba ci sono tutti
questo hype su google e su Google
capire cosa le persone avrebbero scoperto
su di te e questo è perchè quando sei andato
per colloqui di lavoro e quando eri in piedi
per nel suo caso professore assistente
navi ad Harvard e ora lei è a
professore di ruolo lì, ma quando sei
salendo per queste cose che vuoi
sanno quello che gli altri troveranno quando
cercano in internet su di te e
quello che Latanya Sweeney ha trovato è che il
il primo posto che, naturalmente, è sempre
riservato per gli annunci pubblicitari in alto
il posto aveva un annuncio che chiedeva se lei
era stato arrestato vuoi controllare
fuori da Latanya Sweeney “è il record di arresti
pensava di sapere che non ho mai
stato arrestato e sento che il mio nome è
piuttosto unica in cui ha uno sfondo
statistica matematica e computer
la scienza e così lei lo ha effettivamente assunto
se stessa per eseguire alcuni esperimenti quando lei
ha corso questi esperimenti l’unico
la correlazione che poteva trovare è quella
aveva un nome dal suono nero e quello
perché il suo nome aveva una rappresentazione
o una maggiore rappresentazione all’interno del
comunità afro-americana questi neri
nomi che suonano e altri neri
nomi che suonavano erano massicciamente
sovrarappresentato negli annunci pubblicitari
mostravano i record di arresto e lo erano
massicciamente sovrarappresentato da un casuale
campione di nomi e erano molto di più
ampiamente sovrarappresentato di bianco o
nomi dal suono bianco europeo e
Ovviamente non credo che Google ha detto
hmm come possiamo guadagnare più soldi
venderò registri di arresto contro il nero
suono nomi questo è quello che faremo
no, questo è un problema di pregiudizio
dalla società che è quattro gobbe dal
dati che raccogliamo e forse alcuni di
le caratteristiche che estraiamo e forse
anche da alcuni di questi inserzionisti
facendo il proprio data mining e il loro
apprendere la propria macchina su quali termini
vorrei mirare a destra e questo allora
si insinua nei nostri modelli e
rimane lì fino a quando qualcuno non vuole
di sedersi lì e fare la ricerca e fare
il lavoro per trovarlo e se Latanya
Sweeney non ha fatto questo lavoro
Sono abbastanza sicuro che questo legno
sarebbe passato inosservato per molto
più tempo e quindi una delle cose che abbiamo
ho bisogno di pensare a se per quelli di voi
che fanno l’apprendimento automatico nella stanza e
anche per quelli di voi che lavorano con
i sistemi che utilizzano l’apprendimento automatico sono come
possiamo aiutare a testare meglio queste cose
come possiamo trovare un test del ciclo e
standard etici che possiamo usare prima
abbiamo raggiunto la distribuzione e prima di iniziare
che colpisce le persone con pregiudizi all’interno del nostro
i set di dati dobbiamo capire i buoni modi
di fare questo prima di influenzare e
potenzialmente rovinare la vita di altre persone
ora un altro problema quando pensiamo a questi
i pregiudizi sono problemi di privacy e privacy
all’interno di apprendimento automatico non sono nuovi per
qualsiasi mezzo, ma stanno diventando più grandi
e il pregiudizio di cui sto parlando è qui
bias di conferma essenzialmente o
fatto che quando tutto funziona
correttamente non facciamo molte domande
di solito nei sistemi di apprendimento automatico
sono focalizzati sulla diciamo esattezza o
precisione e richiamo su cui ci stiamo concentrando
alcuni parametri che vorremmo
ottimizzare forse abbiamo anche la velocità
vincoli o vincoli di implementazione
ma stiamo pensando di ottimizzare
di solito per una sorta di metrica di precisione
o approssimazione della precisione metrica che
ci piacerebbe incontrare e ho avuto
numerose conversazioni con i miei simili
professionisti dell’apprendimento automatico dove
dicono bene lo sai più privato
dati che nutro nel mio modello, meglio è
diventa così perché non intendo che ho bisogno di quello
ultimo punto percentuale quindi se la borsa è
codice di avviamento postale e sono l’età e l’ultimo
tre caratteri del loro nome se questo
finisce per essere davvero informativo allora
facciamolo e non parleremo di noi
parlato dei problemi etici ma tu
può iniziare a pensare forse all’etica
problemi all’interno di ciò non entreremo in questo
ma ci sono anche problemi di privacy quando noi
feed tutti questi dati privati ​​ai modelli
abbiamo bisogno di pensare dei modelli come
forse proprio come pensiamo agli altri
cose forse il modo in cui pensiamo di aprire
database che stanno toccando il pubblico
Internet possono essere utilizzati per interrogare
dati privati e quindi eccoci di nuovo a
sistema di riconoscimento facciale a destra
qui abbiamo
immagine di allenamento che è degli anni ’80
affronta il set di dati che consiglio vivamente
per guardare acconciature davvero fantastiche
e occhiali come alla fine degli anni ’70 presto
Anni ’80 è super fantastico
comunque in modo ATT facce set di dati e abbiamo
addestrato il modello ora per riconoscere i volti
e in sostanza utilizziamo ciò a cui puoi pensare
è molto simile agli altri attacchi
abbiamo descritto ma in questo caso lo vogliamo
massimizzare la fiducia, quindi stiamo cercando
la massima attivazione di nuovo per il
spazio di input che raggiunge il massimo
fiducia per questo particolare nome così
in questo caso l’aggressore è stato dato solo
il nome della persona e della scatola nera
accesso all’API, quindi questo non significa
accesso al modello stesso ma solo API
domande che possono essere eseguite e che erano
in grado di realizzare l’immagine che vediamo
la sinistra quindi senza sapere come
la persona guardata era solo il loro nome
e accesso al riconoscimento facciale
modello sono stati in grado di estrarre un equo
buona approssimazione ovviamente piuttosto sfocata
ma possiamo vedere la forma del viso che possiamo vedere
i peli sul viso possiamo vedere gli occhiali
e così via e questi attacchi possono anche essere
usato per dedurre altri dati che non lo sono
dati facciali ovviamente altri biometrici
dati come pure, ma questi attacchi possono anche
rivelare l’appartenenza a un set di allenamento così
professore Reza chakra che è al
L’università di Singapore ha vinto un premio
quest’anno sulla privacy e sulla macchina
apprendimento e questo è perché ha modellato
un nuovo attacco chiamato membership
attacco di inferenza con la sua appartenenza
attacco di inferenza che ha mostrato di nuovo con
accesso limitato al modello API limitata
domande e con informazioni limitate
sulla persona nel set di dati che lui
potrebbe estrarre con tra 70 a 90
percentuale di fiducia se fossero a
parte del set di dati di addestramento in questo modo
potrebbe non sembrare così spaventoso ma se tu
lavoro in machine learning lo sai
stiamo creando sempre e sempre di più
modelli specializzati che ora si uniscono
i modelli diventano piuttosto popolari e noi
metti le persone attraverso una serie di diciamo
i test possono essere una classificazione iniziale
e poi creiamo raggruppamenti e
in particolare all’interno della pubblicità che possiamo
creare raggruppamenti come
o donna o persona con una fondazione nera
nome e potremmo quindi nasconderci
attributi essenzialmente privati ​​nel
fatto che costruiamo questi supplementari
modelli che ci aiutano a migliorare
decisione alla fine e se quelli
i modelli supplementari sono esposti in qualsiasi
modo e posso capire se o non
fai parte del set di dati di addestramento ora
Conosco con precisione dal 70 % al 90%
la tua variabile privata se hai un
nome dal suono nero in caso di malattia
se sei HIV positivo o negativo
in caso di altre cose che posso
impara più informazioni che tu sei
specificamente scelto per essere raggruppato da o
da campionare e questo è ovviamente
molto pericoloso per la privacy e
continuando con diciamo l’intelligenza
ma il pregiudizio incline è che non abbiamo ancora
capito un ottimo modo di spiegare
come la maggior parte dei modelli di apprendimento automatico
che distribuiamo lavoro e spesso il
i metodi che usiamo aggirano i nostri
capacità di spiegarli in un umano
puoi capire facilmente
tipo di pensare a questo non so come
molti vecchi hacker che abbiamo nella stanza
ma qualcuno ha cercato di farlo in passato
come dire hackerare un’API non documentata come
la win32 o qualcosa da o altro
quelli così e lo sappiamo con
questi problemi quello che succede è che hai
questa API non documentata non lo fai abbastanza
sapere come funziona e un buon modo di
capire come funziona è solo mettere
alcune cose a caso e vedere cosa
succede bene e tu fai un esperimento
e tu itera su quel pozzo che è
in realtà un bel modo carino
modo ingegnoso direi intelligente intelligente
gli esseri umani essendo modo intelligente di cercare di
discernere come funzionano questi modelli e così via
quello che abbiamo qui è Marco Rubio, mi dispiace
il suo lavoro online che si chiama locale
spiegazioni di modelli interpretabili e
quello che ha fatto con lime ha anche rilasciato un
Pacchetto Python per poterlo installare e
uso
per i modelli di apprendimento automatico che tu
operare con anche modelli di scatola nera così
anche quelli o a cui non hai accesso
il modello infatti è esattamente come
lavori
e quello che abbiamo qui è un esempio e
all’estrema sinistra abbiamo l’immagine di input
e quell’immagine in ingresso aveva tre classi
chitarra acustica chitarra elettrica e
Labrador quelle erano le classi che il
algoritmo di visione artificiale o il
il modello di computer vision ha deciso di dire
va bene che vede la chitarra elettrica
chitarra acustica e Labrador e cosa
lime fa è prende lo spazio di input
dall’esempio originale e ci prova
per trovare blocchi collegati e invia
questi pezzi collegati in modi diversi
al fine di ritrovare la massima
fiducia per quella particolare classe e
quindi possiamo vedere che questo pezzo qui è
la chitarra elettrica quindi abbiamo il
pezzo per la chitarra acustica che è
tipo di corpo della chitarra e poi
abbiamo il pezzo per il Labrador che
in qualche modo lo collega a questo diritto ma
questi sono la massima fiducia per
queste diverse classi e questo è
abbastanza pulito proprio così questi risolto
interpretabilità giusta abbiamo risolto noi
risolverlo no purtroppo non l’abbiamo fatto e
questo è perché come nel nome questo è
solo una spiegazione locale quindi è solo
interpretabile localmente e cosa significa
da questo è questo non ci dice affatto
qualsiasi cosa globale riguardo al modello che può
solo spiegare questo input e in effetti
ciò che sappiamo con esempi contraddittori
è se aggiungiamo alcuni pixel contraddittori a
questo potrebbe cambiare la spiegazione
completamente così possiamo cambiare solo due
o tre pixel e avere un completamente
spiegazione diversa e quindi il problema
con la ricerca di approssimazioni o
spiegazioni per questo tipo di complesso
modelli di reti neurali che particolarmente
può avere milioni di nodi che sono
essenzialmente milioni di piccole funzioni
approssimazioni è che questo è solo
utile per quello che abbiamo visto prima o
quello che possiamo presentare e non ci possiamo dire
nulla su ciò che non abbiamo visto o
quello che potrebbe venire in futuro o cosa
potrebbe venire in produzione e così tu
potrebbe dire sì, ma si può spiegare
modelli più semplici proprio come noi
abbiamo solo una regressione lineare, solo
abbiamo una regressione lineare che possiamo
sicuramente spiegare la regressione lineare
bene, qui avrò qui calce
o in realtà questo è Li 5 che è
un’altra libreria Python a cui è abituato
spiegare o implementa la versione di lime
e qui abbiamo spiegato attese e
aspetta sta per elencare le caratteristiche
con i loro pesi ora non solo devo
nota che ne abbiamo altri 300 o più dispiaciuti
di altri 700 che non possiamo vedere è
solo che quando guardiamo a questo anche noi
non può interpretare questo diritto è stato
usato con l’ ingegneria delle funzionalità , quindi questi
sono caratteristiche polinomiali che è abbastanza
comune a fare questi sono essenzialmente
funzioni del futuro input right e
allora abbiamo anche quello che è il punto O otto
tre contro 0.038 contro 0.036 questo è
non interpretato per noi e anche noi
bisogno di conoscere i possibili valori di ciò
funzione quindi il valore è un numero elevato
come dire anno o secondo dalla data di
nascita contro un piccolo numero come mese
dall’ultimo pagamento o qualcosa del genere
questo questo potrebbe avere molto diversa
significato con questi pesi giusto e così
anche a capire qualcosa come un
la spiegazione per la regressione lineare non lo è
ovvio può essere fatto dalle persone che
costruire il modello e da altri statistici
ma non è ovvio, diciamo
tutti come andare su questo ed è
non ovvio per tutto dato il fatto
che potremmo non sapere l’ input completo
spazio e quindi essenzialmente modello
le spiegazioni sono difficili e lo sono
in nessun modo uno spazio problema risolto e
se stiamo per dispiegare questi stupidi
fabbrica questi stupidi modelli di IA nel
mondo e li usa quindi abbiamo bisogno di
capire modi più intelligenti per spiegarli
e potenzialmente trovare questi pregiudizi o
questi problemi di privacy al loro interno e così via
dobbiamo cercare di pensare a qualcosa
come iniziare a risolvere questo problema giusto
perché non voglio lasciarti
tremendamente depresso e anche io no
voglio lasciarti solo pensando a noi
non dovrebbe mai fare l’apprendimento automatico giusto
perché neanche questo è il mio obiettivo
e penso che forse possiamo capire
modi per proteggere noi stessi e gli altri e
i modelli stessi da questi tipi
di errori questi pregiudica questa privacy
problemi e così via ed ecco uno dei miei
fumetti preferiti di xkcd ti darò un
momento di leggerlo nel caso in cui non lo hai
leggerlo prima
Immagino che tu inizi a ridere
quando hai finito di leggere comunque, allora
ne parleremo un po ‘da
entrambi i campi hanno ovviamente dato il mio
sfondi mi chino più verso il
l’immaginazione dei nerd criptati e penso
capire quali soluzioni sono davvero
davvero divertente e questo è parte di ciò che io
lavorare e fare ma penso anche che sia
davvero importante fare un passo indietro e
di Katherine diciamo che siamo realisti
quello che è più probabile è il caso della sicurezza
problemi o privacy e questioni etiche
con l’apprendimento automatico che è
probabilmente un po ‘ più come il
lato destro quindi proveremo a coprire un
un po ‘ di entrambi i primi e
soprattutto potresti aver notato e
se qualcuno di voi lavora o ha lavorato a penna
test o sicurezza web che ho citato
l’accesso all’API è un mucchio di volte e
questa è davvero la chiave giusta se noi
può bloccare l’accesso al modello più api
di questi tipi di attacchi vanno anche via
la nostra capacità di spiegare le cose va via
quindi forse dovremmo pensarci
spiegazioni internamente giuste e come noi
può produrre spiegazioni significative per
le decisioni che prendiamo ma abbiamo bisogno di
proteggere l’API del modello, quindi è necessario
pensa quindi alle interfacce con l’API del modello
dobbiamo pensare all’autenticazione di
richiede l’API del modello e abbiamo bisogno di
non li ho semplicemente seduti casualmente
l’internet pubblico è gratis da usare
completamente non autenticato a meno che non lo siamo
va bene con loro essere attaccati
che potrebbe essere che stiamo bene, uno
delle altre cose che possiamo pensare
a riguardo forse è un po ‘meno
ovvio è come possiamo fare input
sanificazione sugli input che vediamo in
produzione e quindi ciò che abbiamo attraverso
il top qui è m-miss questo è l’emne
stato impostato quindi mi dispiace se lo sei
traumatizzati e hai visto un milione
volte prima ma M mancato
immagini e possiamo vedere le cifre 0
attraverso 9 proprio e noi come esseri umani noi
avviso ovviamente il rumore il
perturbazioni queste sono contraddittorie
esempi in alto che sono spesso
erroneamente classificata e possiamo vederli e
perché il nostro cervello funziona bene, possiamo
in pratica li leggo attraverso il rumore
ma con il modello di machine learning cosa
lo farà
viene erroneamente classificato questi spesso e
con spremitura caratteristica che è un’area
di ricerca di un gruppo di ricerca che
si chiama evade ml credo
sono basati all’università di
Virginia e ciò su cui sono focalizzati è
difese contro gli esempi contraddittori
ma possiamo pensare a questa caratteristica
spremere essenzialmente come input
sanificazione in quanto è essenzialmente utilizza
riduzione della dimensionalità o se lo sei
familiarità con loro come una compressione
algoritmo giusto in via di creazione
una sorta di compressione proprio dove
stiamo rimuovendo un bel po ‘ di dettagli
ma quello che otteniamo alla fine è un po ‘di a
approssimazione più confusa ma molto più pulita
immagina il rumore e le perturbazioni
sono stati principalmente rimossi e questo
uscita impostata dopo la compressione della funzione
o dopo questo passaggio di sanitizzazione a destra
questo passo di compressione è molto più alto
classificato e quindi questa è una cosa che
possiamo pensare è che sappiamo che
richiede molte richieste diverse e noi
sappi che quando vediamo molto rumoroso o
input forse irrealistico che questo
potrebbe essere l’errore dell’utente giusto o questo
potrebbe essere qualcosa di maligno un altro
possibilità è quella di cercare in realtà e
proteggere i dati che vanno nel nostro
modello quindi essenzialmente per spostare l’ input
sanificazione prima di addestrare il
modello e questo è particolarmente utile in
proteggere la privacy quindi questo è in realtà
quello che stiamo costruendo a ki protegge è
metodi crittografici che ci consentono
uno pseudonimo e l’anonimizzazione di
dati prima che entri in una macchina
algoritmo di apprendimento e il problema con
questo è che vuoi conservare come
molte informazioni il più possibile in modo che
puoi effettivamente imparare qualcosa e così via
che non hai distrutto tutto il
segnale del tuo set di dati ma il problema
è il segnale più si lascia o più
informazioni ti lasciano più possibilità
che è vulnerabile a un attacco di privacy
o attacco di anima zata adiana e così via
stiamo attualmente lavorando a una strategia
che chiamiamo pseudonimo omomorfico
zione
qualcuno qui ha lavorato con homomorphic
crittografia okay descriverò brevemente
crittografia omomorfica così omomorfica
la crittografia ti consente di eseguire la crittografia
numeri e fare semplici calcoli con loro
moltiplicazione e sottrazione aggiuntiva
divisione
giusto questo è tutto ciò che è matematico
disponibile per te e cosa succede sei tu
prendere una crittografia omomorfica crittografata
cinque e si prende un ormone morfica Li
crittografato 2 e li si moltiplica
insieme e ottieni un li omomorfo
crittografato dieci e puoi decodificarlo
e effettivamente vedere il valore grezzo di nuovo vedere
voi dieci e stiamo usando non un non il
stesso processo ma un processo simile a
consentire la pseudonimizzazione omomorfica
così hai messo un nome per cifrarlo e
ottieni un nome è uno pseudonimo
destra
puoi decrittografarlo nuovamente all’originale
nome in qualsiasi momento usando lo stesso tasto ma
diventa più interessante quando hai
dati che vorresti conservare un po ‘
delle relazioni in così prendiamo un IP
indirizzo hai un indirizzo IP tu
crittografarlo si ottiene un altro indirizzo IP
ma quello che puoi usare è il prefisso
preservando che essenzialmente manterrà
parte dello stesso spazio di input manterrà
le relazioni nello spazio di output così
le sottoreti per gli indirizzi IP sono
conservato nello stato criptato così il
uscite affrontano questi pseudonimi il
sottoreti tra le sottoreti che erano in
lo spazio di input questi sono conservati così
se vuoi fare qualcosa come l’anomalia
rilevamento o rilevamento di frodi o abuso
rilevamento tramite indirizzi IP questo
in realtà mantiene un bel po ‘di
informazioni e questo è qualcosa che
stiamo attivamente ricercando e lavorando
e costruire più strumenti per se tu
voglio chattare su di esso abbiamo anche un
carta tecnica con cui possiamo condividere
tu ma se usi o meno qualcosa
come la nostra soluzione o qualcosa del genere
sanitizzazione dell’input per dati privati
prima che vada in apprendimento automatico
i modelli sono un passo essenziale, se lo siamo
andando a proteggerci contro
gli attacchi alla privacy finalmente si muovono un po ‘
un po ‘di più verso i modi in cui possiamo fare
questo è al di fuori dei problemi tecnici
lavoro interdisciplinare così sono stato
contento
dire che pannelli interdisciplinari e
pannelli tra diciamo esperti legali
sociologi esperti etici o altro
persone da aspetti culturali e
Scienziati dei tecnologi di AI e
gli etici stanno iniziando a venire
su e le persone stanno iniziando a lavorare
creando regolamenti che creano
raccomandazioni che stanno per consentire
diciamo di andare avanti con
apprendimento automatico in un modo migliore e
questo pannello è stato particolarmente interessante
qui abbiamo Joanna Bryson e alcuni
gente di IA adesso e questo è stato davvero
interessante conversazione intorno ad AI
etica e etica dei robot e anche parlare
su come andiamo avanti e penso in
il tempo del PIL nostro e di altri modi
i governi stanno cercando di capire come
per regolare un po ‘della privacy e
problemi di sicurezza all’interno dei tipi di
i sistemi che stiamo costruendo ora sono
importante per noi averli
conversazioni da un aspetto più ampio e
Spero che alcuni di questi
le conversazioni ci consentono una migliore comprensione
per un periodo di tempo più lungo e
pensare fuori dagli schemi un po ‘
quando pensiamo al nostro tecnico
soluzioni pure e finalmente questo è un
la distribuzione della carta di nips e nips è
una delle reti neurali predominanti o
apprendimento automatico conferenze nel
mondo e questo è reso questo grafico è
raggruppato dal datore di lavoro autore e quindi possiamo
vedere che gli autori datori di lavoro sul
La barra più bassa a sinistra sono le ONG, queste sono
istituti e altri tipi di
le organizzazioni non governative che sono
non necessariamente affiliata con quello
qualsiasi Università specifico che abbiamo
documenti aziendali e questi sono l’industria
documenti più spesso o il numero più alto
è dall’alfabeto di Google cervello e
mente profonda e poi abbiamo Università
che è a sinistra che è ancora il
più grande proporzione e ho solo
prove aneddotiche sto scrivendo un raschietto
per cercare di raccogliere tutti i birilli a
mostra questa progressione nel tempo ma io
avere prove aneddotiche risalenti a
2011 e la prova aneddotica è quella
l’azienda era inferiore al 10%
e adesso sono circa le 20
al 25% per i nips e ICML e io no
penso che questa sia una brutta cosa, penso che
l’industria dovrebbe pubblicare e io sono
sono davvero felice che stiano pubblicando un
aiutando a spostare il campo in avanti e quello
stanno anche condividendo gli algoritmi e
l’architettura progetta che sono
lavorando su, ma dirà che il
distribuzione diciamo di diverso
tipi di persone sia nelle università
e presso queste entità aziendali del
la gente che lavora su questo problema è
forse non rappresentativo del
distribuzione di persone nel mondo e
che dobbiamo mettere pressione, per esempio
come se Google uscisse ieri
fare pressione sulle università
sono stati coinvolti in e le società
per cui lavoriamo e così via
assicurandoti che ci sia un rappresentante
voci piuttosto che solo alcune voci in
la ricerca che guardiamo e come noi
indagare su questi problemi più a lungo
periodo di tempo e così oh e oggi di
dicendo che sai che avevo un computer e io
ha avuto un problema e poi ho scritto un programma
o ho scritto un modello di apprendimento automatico per
aggiustarlo e poi ho finito con due
problemi giusti non è un programma
che devo mantenere e probabilmente il
il problema originale è ancora lì e io
avere problemi con qualsiasi computer
che sto lavorando bene e quindi noi
spesso proviamo a pensare all’apprendimento automatico
come un modo per risolvere molti problemi
su cui lavoriamo, ma a volte crea
problemi che non prevediamo e
questo è probabilmente simile a qualsiasi
l’esperienza di programmazione è giusta che noi
creare bug creiamo errori e
incoerenza ed è difficile da mantenere
in cima a questo e continuare a mantenere
i nostri occhi su come risolvere il problema originale
che avevamo ragione nell’unico modo
possiamo farlo nel tempo è aiutando
mantenerci come una comunità e uno
un altro responsabile e questo significa
capire che i computer sono davvero
stupido e sono inclini a fare il male
cosa
non hanno inferenza che non possono
recuperare da errore giusto questi sono tutti
cose che dobbiamo assumere come
umani intelligenti e che dobbiamo
design e
freddo nei nostri sistemi noi stessi perché
non succederà e basta
quindi è nostra responsabilità quindi nostro
responsabilità come comunità e noi siamo
gli esperti di area hanno ragione e quindi se noi
non prendere su di esso probabilmente simile a
I dolci di Latonya lo sperimentano probabilmente
non accadrà bene e così ho scritto a
haiku questo haiku è intitolato un haiku per
da un’intelligenza naturale a un
intelligenza artificiale
stupido composto di computer nostro
problemi che pensavo avrebbe aiutato a ringraziare
tu molto
[Applausi]

Please follow and like us: