bello grazie, vado un po ‘
sfondo ho molto matematica e
sfondo del computer che è molto buono
per una lista di apprendimento approfondita dei risultati
sul perché dovresti ascoltarmi è che io
attualmente lavora in una società super cool
ciò richiede un apprendimento profondo da fare
medico più veloce e più accurato
diagnosi e nelle vite passate ne ho uno
molto come la matematica internazionale
concorsi e alcuni programmi
concorsi come bene e oggi ho intenzione
per parlare di cos’è l’apprendimento profondo e
cosa può fare per farti sentire libero di chiedere
domande in qualsiasi momento se posso chiederlo
hanno ragione possono chiedere a Simon
quindi sì, sentiti libero di fare domande qualsiasi
il tempo li ha sigillati , soprattutto se
pensi che io stia mentendo a voi in modo che cosa è
l’apprendimento profondo inizierà con a
il disclaimer deep learning è in realtà
abbastanza complicato è difficile essere molto
generale su tutto ed essere corretto
quindi in caso di dubbio ho intenzione di favorire
generalità quindi se hai familiarità con
la nomina già sta per
sembra che io stia mentendo molto ma dentro
la realtà come questa è solo per tipo
di dare il caldo davvero alto livello di esso
e anche quando possibile andare a
favorire alcune delle scorciatoie che potrebbero
non essere corretto al cento per cento ma
dovrebbe dare il modello mentale corretto di
come funzionano queste cose, ma se lo hai
qualsiasi domanda si senta libera di chiederlo
livello super alto c’è un merletto a
molto simile a diversi livelli di
la gerarchia qui nell’ecosistema c’è
intelligenza artificiale che è a
superset di come tutto è un esempio
sarebbe IBM Watson dove molta mano
regole codificate e usi estremamente grandi
quantità di manodopera esperta costruita per fare un
compito specifico c’è apprendimento automatico
che è sottoinsieme di questo un esempio di
questo sarebbe come fare clic su Google
la predizione e come lo si fa piuttosto
che usare tonnellate e tonnellate di hard coded
regole che inizi a utilizzare più esempi per
capire come combinare una mano
statistiche codificate per prevedere il
Probabilità ad esempio di un clic su un annuncio
a un livello leggermente più profondo che hai
apprendimento della rappresentazione che è
a volte visto come uno strato profondo
imparare così a volte riferito come
questi livelli sono chiamati apprendimento superficiale
se stai cercando di iniziare una lotta
e un esempio di questo sarebbe netflix
raccomandazione del film in cui il
statistiche di ciò che sapete già
ogni film è appreso dai dati ma
stai ancora imparando un semplice
combinazione di come vanno queste caratteristiche
insieme e dopo pochi livelli ottieni
nell’apprendimento profondo quindi questo sarebbe un
esempio di capire le malattie da
immagini dove invece sai di avere
un livello di statistiche manuali che sono
imparato e poi unirti a te
potrebbe imparare tutte queste statistiche a
nello stesso tempo a decine o anche a centinaia
migliaia di passaggi che è ciò che alcuni
la gente usa al giorno d’oggi questo probabilmente no
una visione comune di cosa sia l’apprendimento profondo
ma penso che la vista più semplice su come
vedere che la linea profonda esiste un’interfaccia
e questa interfaccia ha circa due
metodi come il primo metodo si dispone di un
forward pass e questo è sicuramente il
parte facile data input arbitrario
output arbitrario chiunque può fare questa parte
questo è davvero facile il trucco che
lo fa funzionare è il pass backwards così
dato un cambiamento desiderato nell’output
voglio essere in grado di trasformare questo in a
cambiamento desiderato nell’input e una volta voi
avere questi che puoi fare arbitrariamente
cose complesse concatenando le cose
cambiandoli in un aciclico diretto
grafico e se questo sembra troppo bello per essere
vero soprattutto con come progettiamo il
Inoltra passa perché se tu dici solo
input arbitrario un output arbitrario di
Certo che puoi fare tutto ciò che vuoi ma
la parte più difficile è come si definisce che
passa all’indietro perché mentre fai il tuo
avanti passa sempre più complicato
come se ti piacessero alcuni veramente pazzi
funziona diventa difficile definire come
per mappare nuovamente gli input in output
mantenendo queste cose semplici e
combinandoli insieme ci dà questo
linguaggio dei moduli quasi componibile
questo ci permette di fare le cose che vogliamo
per farlo una volta che hai questa interfaccia
puoi solo costruire da questo una volta
una volta che lo hai puoi avere un
mazzo di questi moduli che soddisfano questo
interfaccia come una nota a margine un po ‘
questi moduli saranno parametrici quali
significa che hanno parametri quali
indica approssimativamente che sono stateful e
sono stateful significa che una volta
avere lo stato
lo stato cambia ed è questo cambiamento dentro
stato che ti permette di cambiare questo
funziona da qualcosa che tu solo
accartocciato a qualcosa che è tutto
si avvicina sempre di più a quello che vuoi
da fare e una volta che hai un telaio ferroviario
lingua di quello che vuoi fare ora tu
può iniziare a svolgere i compiti che ti interessano
su di te e approfondisci definisci sempre a
perdita o un costo a seconda di come vuoi
per definire questo e questo è qualcosa di te
voglio minimizzare per motivi che vorrei
spiegare felicemente questo è sempre stato un
scalare quindi non può essere più costoso il
Allo stesso tempo devi schiacciarlo
in una singola cosa a cui tieni
e una volta che squish questo numero come
tutto si preoccupa per il mondo in
un singolo numero ora puoi iniziare a usare
Apprendimento profondo per ottimizzare questo tu
creare un’architettura che è il
funzione che vuoi fare e questo
sarebbe come li componi insieme
moduli di cui ho parlato così il modo
li colleghi insieme cambia il
funzione che hai e il tipo di
potere di rappresentazione che ha e quello
diventa la parte difficile dopo di te
inizializza i parametri e ti alleni
questa architettura ripetutamente aggiornando
i parametri per minimizzare il costo così
vai avanti attraverso la rete a
prendi le cose a cui tieni e vai
indietro attraverso la rete per cambiare
i parametri per essere leggermente migliori per
i tuoi costi e li ripeti molti
volte finché non si ottiene una funzione simile
sei davvero molto felice con e
risolve qualsiasi problema tu voglia e a
Alla fine usi solo quella funzione
l’avanti passa come implementare il
il passaggio all’indietro è in generale quasi noi
usa sempre la regola della catena questo è veramente
bello perché rende l’implementazione del
all’indietro passare facile come funziona se è
hai il tuo output come funzione somma di
un po ‘di X e tu hai il parziale
È possibile derivare dal tuo output dld f
ottieni DX DX semplicemente moltiplicando il
derivata parziale di DF DX e il bello
parte di questo è che DF è ottenuto
dal resto della tua rete e DF DX
è ottenuto solo dal tuo modulo in questo modo
ti permette di incatenare queste cose
insieme in un modo che richiede solo
informazioni locali per ottenere questo
backward pass è molto bello che ci sia
ragioni teoriche del perché questo è un
buon modo per farlo e forse il migliore
parte di questo è fatto da alcuni framework
siamo completamente automatici dal
trovare un passaggio in avanti usando automatico
differenziazione puoi capire come
per fare un passaggio all’indietro automaticamente così
diventa fondamentalmente facile come la definizione
funzioni arbitrarie come in realtà tu
ottieni questo vantaggio semplicemente definendo
le cose arbitrarie restituiscono cose arbitrarie
finchè tutte le operazioni che fai sono
differenziabile puoi farlo funzionare
come la magia e ottimizzarlo e questo è
letteralmente come le persone fanno questo in pratica
aggiornando i parametri questi sono giusti
dettagli minori per ottenere un
la comprensione di come funziona è così
una volta che hai i tuoi parametri esistenti
ottieni il tuo gradiente e prendi a
passo nella direzione opposta del
gradiente e derivate parziali
ci dice come cambiare i parametri in
aumentare o diminuire il costo che noi
cura di una parola importante da notare
sapere se è e che la gente sempre
uso penso che lo renda di più
complicato è una grande parola è tornata
propagazione o back prop in breve questo
ha un nome più lungo chiamato reverse mode
differenziazione automatica che suona
piuttosto complicato ma questo è solo il
regola della catena più programmazione dinamica I
Supponiamo che abbia appena parlato del cambiamento
erano come alcune persone hanno familiarità con
programmazione dinamica ma questo è giusto
incassare e l’ idea sarebbe quando tu
avere un grafico di calcolo questo è molto
grafico di calcolo semplice y uguale a C
volte la C equivale a un BD più uguale a B
più 1 l’idea sarebbe … traversare
il grafico dall’alto verso il basso e
facendolo dall’alto verso il basso
invece che dal basso verso l’alto è possibile
incassa il mediatore in modo che io abbia usato
molte volte nel grafico e per incassare
questi intermedi ottieni qualcosa
è molto più efficiente di se tu
stavano per fare una soluzione ingenua e
questo ti permette di ottenere gradienti
sono calcolabili in tempo lineare nel
dimensione del tuo grafico quindi in pratica
valuta ogni nodo una volta e questo è a
la proprietà veramente bella questo rende tutto
veramente efficiente e questo è fondamentalmente
per le basi da un alto livello di profondità
l’apprendimento è solo una composizione ottimizzata
abul subcomponents ottimizzare il Ville
quasi sempre significa differenziabile
differenziabile significa che puoi fare
lo sfondo del contesto è solo la regola della catena
nella programmazione dinamica quando si ottiene
per l’apprendimento profondo pratico normalmente
devi combinare questo con il gradiente
software di discesa e un set di dati, ma tu
cura e lo spazio del software è
c’è uno spazio molto ricco di software
di cui parleremo un po ‘nel
futuro ma sono queste cose
risolto per te in modo da poter fare in profondità
imparando senza nemmeno saperlo
calcola tu stesso la pendenza mentre
possiamo fare cose arbitrariamente complicate
ci sono alcuni moduli standard che
sono il cavallo di battaglia principale dell’apprendimento profondo
oggi e l’obiettivo di questa sezione è
sta per essere di alto livello
comprensione di ciascuno da tutti loro
può essere molto incredibilmente sfumato ma questi
i moduli standard copriranno quasi tutti
di quello che sta succedendo nei giornali
il più semplice di loro è forse il più semplice
è solo la moltiplicazione della matrice che ha
molti nomi il livello completamente connesso
a volte abbreviato in FC a volte
chiamato denso perché ne hai un sacco
connessioni strato lineare perché è a
trasformazione lineare o una multa perché
a volte c’è un pregiudizio e la matrice
la moltiplicazione è praticamente ogni volta
hai un diagramma di rete neurale tutto
queste frecce corrispondono alla matrice
moltiplicazione così quando hai un
diagramma che sembra complicato
da quello proviene da questo genere di cose e
puoi interpretarlo come un peso da
ogni input per ogni uscita quindi se tu
hai ingressi e hai n uscite
hai M per la via della trasformazione
i tuoi ingressi alle uscite e le sue
l’implementazione è letteralmente una matrice
moltiplicazione e W in questo caso lo è
generalmente un parametro che significa te
impara le connessioni da ingressi a
produce questo da solo non è potente
abbastanza quindi ne hai bisogno almeno uno in più
cosa che non è linearità
la non-linearità originale è chiamata a
sigmoid è proprio questa funzione che ha
la bella proprietà di Maps Reals
nello spazio 0 1 e può essere
interpretato come una probabilità ma è così
non così importante è solo essere
non lineare e il motivo il
la non-linearità è importante se tu
avere questo tipo di rete neurale simile
quando impili i livelli
back-to-back se non avessi la non-linearità
nel mezzo questo sarebbe solo due
la matrice moltiplica back-to-back e cosa
succederebbe che potessi semplicemente combinare
questo in una singola matrice si moltiplica quindi se
hai quel 100 layer puramente lineare
rete di sole moltiplicazioni di matrice
mentre questa cosa è piuttosto complicata
e tu fai tutto il lavoro di un vero neurone
rete si potrebbe effettivamente appiattire
in una singola matrice di pesi a causa di a
composizione lineare di linearità quindi questo
era l’originale che piace alla gente
perché è molto simile a ciò che le persone
usare prima di avere davvero come la macchina
imparare parole che erano solo binari
la soglia dell’ingiustizia è stata respinta nel
giorno e la parte interessante è solo con quelli
due unità sai come fare un neurale
rete si può semplicemente ottenere
il tuo input si applica la moltiplicazione della matrice
applicate un sigmoide ne applicate un altro
la matrice si moltiplica e tu ne hai uno e
questi sono chiamati perceptron multistrato
quando hai solo matrix moltiplica e
non linearità e la parte interessante è quella
c’è un siero su questo che questo semplice
l’architettura come letteralmente tre
le funzioni possono risolvere approssimativamente
funzioni arbitrarie che significa che può
risolvere qualsiasi problema che ti interessa
c’è un teorema interessante su questa idea
è questo se fai il grande medio
abbastanza puoi calcolare praticamente qualsiasi
funziona il lato negativo è quello giusto
perché non può significare che lo farà
e un singolo strato multistrato
perceptron causa spesso più problemi
di quanto risolva così è per questo che c’era
un inverno AI negli anni ’90 solo perché
queste cose sono il tuo tipo di terribile
ma la gente è migliorata molto
è e che ora ora reti neurali
sono fantastici e come un disclaimer questi sono
queste sono reti neurali quando hai
quindi questo sarebbe un multistrato
perceptron sono reti neurali
tutto ciò di cui sto parlando oggi è
ancora una rete neurale ma queste sono
in particolare quando parli di
perceptron multistrato che è ciò che questo
è così da allora le persone hanno fatto meglio
non linearità questa è probabilmente la maggioranza
del miglioramento tra il 1990 e il 2012
sfortunatamente qual è il tuo
una specie di non-linearità più intelligente quindi invece
di prendere questa strana funzione ondulata
fai solo una soglia quindi niente
è negativo, lo trasformi in 0
questo è in realtà il più popolare
non-linearità al giorno d’oggi lo fa
incredibilmente bene
alcune ottime proprietà di ottimizzazione
in particolare quando hai zero come lo è
questo non solo è molto lineare, quindi funziona
molto bene con una regola di catena e questo
la cosa è usata quasi ovunque al giorno d’oggi
soprattutto nel mezzo di un neurone
rete c’è un softmax che puoi
pensare a come convertire un gruppo di
numeri in una probabilità discreta
distribuzione quindi la matematica è p
equivale a esponenziare il tuo contributo e
allora lo dividi per la somma del
input puoi pensare alla spiegazione
sta trasformando tutti i numeri in
positivo e la divisione per la somma è
un termine di normalizzazione ce ne sono alcuni molto
belle proprietà su questo ed è usato
come ultimo strato per la classificazione
problemi ed è usato in quasi tutti
la rete neurale era così facile
parte questo diventa complicato mi piace sentire
libero di fare domande durante questo I
normalmente lo spieghi con una lavagna
e normalmente è complicato anche con
una lavagna ma cercherò di passare
così una convoluzione è la principale
cavallo di battaglia per l’apprendimento profondo sulle immagini
e l’apprendimento profondo e le immagini è
fondamentalmente è un po ‘come questo
la rivoluzione è iniziata quindi è molto molto
importante è probabilmente il posto dove
l’apprendimento approfondito è il più avanzato
è un primitivo molto importante e io
pensa il primitivo molto figo a
capisci perché ti rendi davvero conto
come quanto sia bello il quadro quando
vedi come wow questa cosa suona
piuttosto complicato ma puoi farlo
collegarlo e si sta facendo che hanno bisogno di
sapere come funziona quando qualcuno ha codificato
per te, che è quello che faccio così è
un’operazione lineare per le immagini 2D così una volta
hai una percezione multi-strato di te
avere una mappatura da ogni input a ogni
uscita ma nel caso di immagini tue
gli input sono strutturati in modo tale che tu abbia voglia
questa relazione spaziale tra il tuo
input e se hai una mappatura da
ogni input ogni output che fai
buttare via la relazione spaziale così
l’ idea sarebbe cosa se invece piuttosto che
avere una connessione da ogni input a
ogni uscita cosa succede se ogni uscita il
aspetto di uscita come un’immagine come bene e
ogni output era collegato solo localmente
alle cose che corrispondono a questo
quello è in vista numero uno così locale
connessioni e dentro il numero due è
ogni uscita è
una funzione locale del suo input e se
invece di avere ogni uscita essere sua
propria funzione che sarebbe il generale
caso e se ogni uscita fosse la stessa
funzione del suo input così che cosa allora
diventa è equivalente a come a
funzione ben nota nella visione artificiale
che è una convoluzione che hai
un kernel che è che si può pensare di esso
come una matrice di peso locale, quindi è così
rappresentato sì oh cool è il mio mouse
qui quindi è spesso rappresentato come il
piazza in una cosa come immagine che
significa che stanno catturando quel locale
inserisci semplicemente una matrice moltiplicata
tra tutti i pesi del kernel
quale sarebbe una cosa come te
fallo moltiplicare per tutto il
regione locale si sommano i risultati così
questo è solo un prodotto punto e poi tu
fallo in ogni singolo luogo al
input quindi è un po ‘come affiancare il tuo
input con la stessa funzione o può
essere interpretato estraendo lo stesso
caratteristiche in ogni posizione che è il
questo è il modo più comune di interpretarlo
è molto potente è molto parametro
efficiente perché ne hai molte
condivisione del peso tra i parametri
e puoi finire per avere molto più grande
uscite quindi puoi avere con un normale
moltiplicazione della matrice e anche tu no
perdere informazioni spaziali che è molto
struttura importante delle immagini quindi queste
sono alcune proprietà veramente belle e come
effetto collaterale si potrebbe pensare che questo
la cosa è davvero complicata come faccio io
prendi una sfumatura perché forse
il tutto è un po ‘complicato
ma questo è in realtà equivalente a a
moltiplicazione della matrice molto vincolata
quindi se prendi la tua immagine di input e te
srotolarlo perché con una matrice moulton
perdi quella struttura spaziale e tu
srotolare il tuo input hai praticamente a
poche connessioni come ogni input ogni tanto
ogni uscita è collegata a forse come
nove dei tuoi input e quello giusto
diventa equivalente al molto simile
tutto il diagramma con un sacco di frecce
ma la maggior parte delle frecce è zero o
manca, quindi questo è ancora completamente
differenziabile e si adatta ancora molto
bene in questo quadro che puoi
collegalo con tutti gli altri
non linearità fresco E ‘intenzione di ottenere un
un po ‘ più difficile
un altro tassello fondamentale
è chiamato una rete neurale ricorrente I
non so perché è il blocco
chiamato una rete quando tutto il resto è
chiamato layer ma è solo una specie di
convenzione e questo è risolvere aa
problema che fondamentalmente non è stato
risolto nell’apprendimento automatico prima del quale
vogliamo che le funzioni prendano in considerazione
input di dimensioni variabili ma possono solo
prendere in input di dimensioni fisse e questo è
diventa un problema quando sei una funzione
è parametrico come un completamente connesso
il livello è perché se vuoi un
connessione da ogni input a ogni
ma la tua dimensione di input cambia
significa che sei il numero di pesi voi
avere cambiamenti e questo significa che se tu
ottenere un esempio più lungo per l’inferenza
ora non sai cosa fare con
e anche questo potrebbe essere inefficiente
perché ti potrebbe piacere davvero
davvero grande un numero davvero grande di
input e potresti non aver bisogno di tutto il
potere di avere come ogni connessione
lì quindi una rete neurale ricorrente è a
modo per risolvere questo problema e il
la soluzione a questo problema è la ricorsione quindi
quello che hai è uno stato iniziale che
sarebbe solo chiamiamolo h in
questo esempio e ne hai un mucchio
questi ingressi X e c’è una variabile
numero di loro quindi non lo so davvero
che cosa è questa capitale T è e puoi
crea una funzione che tiene fisso
dimensione e perché ogni X è dimensione fissa
puoi fare quella funzione hanno preso
sia h + X che ora puoi recitare
attraverso questa lista dicendo h of t
è uguale alla funzione del precedente
Mi dispiace, il nuovo stato è una funzione
dello stato precedente e corrente
inserisci e poi restituisci la finale
uno e ciò che questo ti permette di fare è
ti consente di inserire una dimensione fissa
puoi farlo operare con scusa a
funzione fissa che prende dimensioni fisse
input puoi ora trasformarlo in a
funzione che accetta una dimensione variabile
input applicando quella funzione di
numero variabile di volte questo non è il
questo è come una visione abbastanza ovvia
e si potrebbe fare con qualsiasi tipo di
algoritmo di apprendimento automatico che potresti
come applicare una foresta casuale come un
numero arbitrario di volte ma il bello
parte di questo è questo perché questo
la funzione è differenziabile questo
è anche la funzione ricorsiva
differenziabile in modo da poter prendere il
derivati di ciascuno degli input voi
può assumere anche prendere la derivata
matrici di peso utilizzate a ogni passo
puoi usare quella f per raggiungere e ottenere un
diagramma
sembra un po ‘come questo ora che puoi
pensalo come se applicassi un layer FC per
ogni input che prende l’input e il
stato finora e questo diagramma potrebbe non
sii molto chiaro ma ce ne sono molti
diagrammi diversi per estremità RN e
sono tutti ugualmente confusi, se lo sei
non li conosco, quindi questo è un po ‘
quello a sinistra è il mio preferito
perché puoi pensarlo come un
funzione stateful tranne per te stato
dura solo per la durata del tuo
input ma la versione srotolata è la
versione che usi se la stai prendendo
gradienti quindi questo è equivalente solo
passando i gradienti attraverso questo molto
grafico lungo un’ultima diapositiva complicata lunga
unità di memoria a breve termine questo mi mette dentro
una posizione davvero difficile perché non posso
non parlare di loro perché sono così
grande è ma sono anche estremamente
complicato e lì ne prendono di più
elementi costitutivi e ho UNIX anche
spiegare, ma c’è questa grande blog
post penso che le diapositive saranno pubblicate così
non devi preoccuparti di questo
ottimo post sul blog che tenta di spiegare
ma ho intenzione di provare a dare come a
intuizione di alto livello di loro proprio così
come ancora più in alto di quello che ho detto
molto um solo in modo che tu possa tipo di
capire da dove proviene
quando parlo di queste cose
usato e l’idea sarebbe il suo tipo di
come un RNN e in pratica nessuno usa
il RNN che ho appena descritto è un
funzione molto semplice e c’è molto
versioni più complicate è un RN n
dove la funzione è davvero
complicato così questa intera cosa qui
una rappresentazione di quella funzione che sono
non entrerò nei dettagli di esso
ma coinvolge molto diverso
meccanismi per fare l’ottimizzazione
più facile e l’ idea è che se lo faresti
applica se hai progettato bene questa funzione
la funzione viene applicata ogni volta
passo può fare molto il problema
più facile da ottimizzare e puoi avere piacere
una funzione molto più potente e
la chiave è quella di avere un percorso che
è relativamente semplice, quindi questo è ciò che
rappresenta con il percorso superiore dove questi
le operazioni variabili vengono fatte ad esso
rende più facile impilare queste cose
voglio tornare indietro e questo è più facile
per imparare le relazioni a lungo termine tra
le funzioni
okay, quello era il
parte complicata che ora conosci
novantacinque per cento dell’edificio
blocchi che tutti usano per
Apprendimento approfondito allo stato dell’arte con just
questa casella di fatturazione probabilmente potresti farlo
nuove cose allo stato dell’arte su nuove
domini quindi congratulazioni siete pronti per
la parte successiva um così in questa parte che voglio
per parlare di cosa D pianificazione è davvero
bravo e ciò che si dovrebbe utilizzare su
la risposta è molto, quindi vado
per coprire solo i temi approssimativi di dove
l’apprendimento profondo brilla davvero, ma c’è
solo molto di più ad esso che penso
è parte della suggestione perché è
tutto rientra in questo estremamente semplice
quadro che ho appena descritto
non pensare che ti piacerebbe descrivere
qualsiasi quadro semplice come quello che ho
appena fatto e averlo risolto questo numero
complicate attività non risolte prima del 2012
fondamentalmente neurale convoluzionale
reti questa è un’architettura generale
comunemente indicato come CNN questo
in realtà significa una rete in questo caso
e non solo un livello l’idea è quella
prendi la tua immagine che applichi
convoluzione applichi il tuo valore al tuo
unità lineare rettificata, probabilmente
convoluzione si applica lu e te
in pratica ripeti questo convo fino a quando
risolvi tutti i problemi nel computer
visione che non è del tutto vera dato che a
Alla fine hai bisogno di virare su una sorta di
vestito e l’altro giocatore
dipende e che tipo di input sei
cercando di risolvere il non può davvero piacere
compito di vecchia scuola è che tu sei la sua faccia
riconoscimento cercando di determinare come
di chi è questa faccia e questa è davvero
compito interessante perché rende il
rappresentazioni molto visive e tu puoi
vedere come la rete impara nel tempo così
al primo strato quando inizi
con i pixel al primo strato
i filtri tendono a corrispondere solo per i bordi e
cose molto semplici che possono essere le circonvoluzioni
abbinare i bordi e altre forme molto semplici
e man mano che ti addentri sempre di più
rete si impara più complicato
funzioni dell’input quindi dopo di te
può iniziare a combinare i bordi negli angoli
o blob, quindi questo è ancora estremamente
semplice ma dopo aver ottenuto un altro
strato in qualche modo come combinare due angoli
il modo giusto diventa un po ‘ come un
occhio come forma o se ne hai due
angoli in un blob che diventa più io
piace e si può costruire da
bordi agli angoli per oggetti parti e
infine negli oggetti a cui tieni
circa e come si diventa davvero molto profondo
reti hai effettivamente intermedie
che sono oggetti estremamente semantici per
esempio le persone hanno creato molti strumenti
per la visualizzazione di reti neurali
dove visualizzano ciò con cui si trovano
le reti neurali imparano e tu hai
per esempio se hai una rete neurale
che non impara a classificare i libri a
tutti tranne le corsie riservate agli scaffali
alcune delle caratteristiche intermedie
in realtà diventano classificatori di libri che
è davvero interessante come può imparare
o mi piace una rappresentazione gerarchica
del tuo spazio di input in modo tale che questi siano
cose utili da combinare insieme
per fare un classificatore robusto e per
combinando così forse se si combinano come
tre libri insieme e un quadrato
questo diventa una libreria così questi sono
un po ‘come quello che le operazioni locali
fare con ogni rete neurale e il
la bellezza è che è tutto imparato
automaticamente per te non è necessario
programma come Ho una libreria
scaffale normalmente hanno libri che hanno
i libri mi dispiace che abbiano piacciono le cose quadrate
forse spesso decidono i fiori questo
tutto può succedere in un set di dati
automaticamente per te e questi
le reti neurali convoluzionali sono
assolutamente incredibile loro proprio quando io
non stava scherzando quando salvano sostanzialmente
tutto di computer vision ora tutto
iniziato con imagenet questo era nel 2012
questo è quando l’apprendimento profondo in realtà il
l’intero hype train ha iniziato dove l’hai avuto
soluzione tradizionale di apprendimento automatico
questo computer molto grande molto duro
set di dati di visione ed era una specie di
plateauing negli anni e tutto di a
arriva improvvisamente un profondo apprendimento
butta via tutto e sempre
da allora tutto è stato
è stato tutto in computer vision
apprendimento profondo come niente può anche
confronta e di recente siamo stati pari
essere in grado di ottenere risultati superumani
che è piuttosto impressionante perché
gli umani sono bravi a vedere le cose
è un po ‘ come ci siamo evoluti
e le stesse architetture possono fare tutto
tipi di strutture davvero interessanti
compiti in modo da utilizzare quasi lo stesso
architettura a cui puoi usare un concetto
determini di sapere come puoi rompere
il tuo spazio di input in ciò che è chiamato a
segmentazione semantica di come tutto il
parti rilevanti che tu
avere e utilizzare praticamente lo stesso
anche l’architettura si può fare impazzire
cose come la super risoluzione dove tu
prendi come un’immagine a bassa risoluzione e
rendilo puoi riempire i dettagli
il che è bello è che non è bello
è incredibile, anche se è così
sembra piuttosto facile, è incredibile
così puoi usare lo stesso
architettura che prende un’immagine e
ti dice se c’è un cane o no
in esso per prendere un’immagine e tornare come a
nuova immagine ad alta risoluzione e questo è
fondamentalmente la stessa libreria è la stessa
componenti è solo molto molto
componibile e questo è veramente buono
fantastico puoi anche usarlo per risolvere
compiti di compiti medici davvero difficili
la gente non potrebbe risolvere prima di qui
individuazione del cancro polmonare classificante in CT
scansiona questi sono i tipi di cose che
Mi piace lavorare e non è solo
divisione limitata ce ne sono state molte
lavoro nella comprensione della lingua così è
qualcosa che l’apprendimento profondo è davvero
bravo in questo linguaggio che modella approssimativamente
questo significa quanto è probabile un quanto
percepisci questa affermazione, rendendola certa
linguaggio quindi potrebbe avere a che fare con a
domanda risposta come stai io sto bene
potrebbe avere altre cose come cosa
Sarebbe una cosa strana il mio portatile
squishy potrebbe essere molto improbabile
frase per dire così una rete neurale
potrebbe probabilmente determinare squishy è un
questo è un aggettivo molto brutto per un portatile
una frase molto improbabile ma se ho detto
il mio portatile è caldo che probabilmente sarebbe
una frase molto più probabile e questo
ha già un sigillo simile a quello umano
perché il linguaggio è stato progettato per gli umani
ed essere in grado di avere come se possibile
fare comprensione della lingua come in
determinare la probabilità di simili
frase data un contesto che puoi e se
lo fai perfettamente puoi risolvere
praticamente qualsiasi compito e questo è un it’s
dominio davvero interessante dove è
essere applicato perché precedente se tu
guarda come la comprensione del linguaggio
è stato fatto prima che l’apprendimento approfondito fosse in corso
erano tonnellate incredibilmente semplicistiche
e tonnellate di regole non robustezza due dati
set per cui dovresti creare regole personalizzate
ogni lingua e ora puoi farlo
usa gli stessi trucchi per l’inglese come te
può
per i caratteri cinesi come è possibile per
codice byte in modo che sia semplicemente carino
incredibile, ovviamente sono stati molto
compiti più complicati sono piuttosto popolari
utilizzare per macchina per l’apprendimento profondo che
questa gente sta davvero mettendo molto
sforzo in zia è andato lingua
capire da zero quindi l’idea
stai usando un RN per comprimere una frase
nella tua lingua di partenza in un vettore
come ho descritto nella sezione RNN e
quindi usi un RNN diverso per decodificarlo
in una lingua di destinazione e mentre è
non sorprende che tu possa progettare a
rete neurale che può essere prodotta in modo plausibile
questo è abbastanza sorprendente che
funziona così bene e sei stato in grado di farlo
avere reti neurali che nell’uomo in
un arco di pochi mesi da studente universitario
abbinare le prestazioni dei sistemi che
le persone hanno trascorso decenni di ingegneria
e / accaduto oggigiorno lo penso
i sistemi di deep learning non sono in e
l’implementazione di sistemi non è ciò che viene utilizzato
per questo in questo momento ma sono molto
componente importante, quindi le persone lo usano ancora
un po ‘di roba codificata ma è solo
una questione di tempo e la bellezza è quella
ma se abbiamo un nuovo compito o un nuovo
lingua ora può solo automaticamente
funziona come se sapessimo di trovarci
un po ‘di lingua perduta da mille
anni fa e abbiamo una buona quantità
dei loro testi possiamo effettivamente imparare come
per tradurlo o capirlo senza
qualsiasi conoscenza di questo e sembra
puramente dai dati possiamo e questo è
davvero fantastico non abbiamo bisogno di un
comprensione di qualcosa per
non abbiamo bisogno di una comprensione prima
applicando i nostri modelli di machine learning in
per avere una comprensione
dopo e questo è solo davvero
davvero fantastico che sia stato davvero
chattare con le persone di SETI il
cerca l’intelligenza extraterrestre
e uno dei compiti che stanno facendo
sta cercando di capire i delfini il
la logica è che se possiamo i delfini di
gli stranieri linguistici potrebbero avere una lingua se
noi se vediamo la comunicazione aliena noi
probabilmente non lo capirò
forse possiamo usare i delfini per il proxy
per gli alieni per cercare di capirli così
ci sono alcuni compiti davvero interessanti
succede lì non è limitato a quello
ci sono cose davvero interessanti
fatto con l’arte nell’apprendimento profondo in realtà
Penso che le aziende abbiano iniziato
che è il loro intero modello di business
creando fantastici arte di apprendimento profondo e
sembrano fare bene da cosa
Ho sentito in questo caso questo è un
allucinazione puramente da un giro di conf
addestrato a fare la classificazione delle immagini così
immagina quel continente sai qualcosa
che prende un’immagine ti dice che cosa
razza di cane è con oggetti o in esso
puoi usarlo con alcuni trucchi per
creare questo tipo di arte pazza e questo
è stato un grande successo è molto
non intuitivo che una rete neurale che
non è nemmeno addestrato per fare arte
in realtà può rivelarsi fare questo tipo
di cosa sono stati usati più comunemente
casi come lo stile trasferiscono l’idea
sarebbe possibile prendere una rete neurale
ancora treno per la classificazione dell’idea
sarebbe la classificazione ha alcuni priori
su quali immagini alcuni dei priori sul
mondo naturale quindi quello che fai è allora
tu dici che voglio la mia immagine per tipo di partita
la distribuzione da un’immagine diversa
e poi ottieni questo tipo di stile
trasferimento dove è possibile mescolare insieme
questo tipo di componenti e mentre questo
è in realtà un esempio piuttosto brutto c’è
ce ne sono alcuni buoni, lo prometto
alcune cose molto più complicate
può farlo non è come prendere due
immagini insieme e unendole
insieme puoi fare cose come
trasformando un forse non super grande
disegnare qualcosa che potresti
probabilmente dipingere abbastanza rapidamente
qualcosa che sembra un artista
o qualcosa che è davvero fantastico e
l’idea sarebbe che tu possa davvero
prendi questi doodles arbitrari e convertiti
loro in queste cose che sembrano
dipinti e questo tipo di cose è
davvero fantastico e penso che sia solo il
inizio del genere di cose che noi
può fare con l’arte della rete neurale ma dopo
in pratica meno di un anno di lavoro su
questo stai facendo applicazioni che sono
già molto tangibile, molto fantastico
questo è già qualcosa che se ho fatto
questo probabilmente riagganciare nel mio
soggiorno e questo è stato solo uno
anno di lavoro immagina cosa succede
in 10 anni ho salvato il meglio per ultimo in
termini d’arte possiamo combinare le nostre immagini
senza di Pokemon così chiaramente il futuro
è qui, questo è uno dei miei coronamento
risultati penso principalmente perché
L’ho fatto con dozzine di
la gente e solo la mia sono andate bene ma
si, penso che sia davvero fantastico
c’è così tante cose da fare
qui e così poche persone ci stanno lavorando
e che il cielo è davvero il limite
quindi è davvero eccitante cosa su
tipi di cose che possiamo essere creati
qui c’è stato un altro enorme risultato
il gioco è stato davvero grande se
chiunque ha visto miniere profonde 500 milioni di dollari
acquisizione nel 2013 all’incirca l’unica
la carta che avevano in quel momento era
imparare a giocare ai giochi Atari da pixel
che potrebbe essere più difficile di quanto sembri
perché gli umani hanno un priore su come
gioca il gioco come se fosse a
prima che questa sia forse una palla e
questa è una pagaia e voglio distruggere
certe cose dove erano prima
che una chiave apre le porte o che le strade lo sono
qualcosa che voglio rimanere in una guida
gioco ma reti neurali non ne hanno dato
di questi priori è letteralmente solo
dati i pixel dati queste immagini
impara a giocare a ciò che è sulla mediana a
livello sovrumano e le tecniche hanno
continuando a migliorare e questo
tipo di cose che hanno trucchi molto simili
stato applicato al molto più recente
risultato di google deepmind alfa GO
rete che non era così grande di a
trattare in Occidente, ma se mai parlare con
gente dal mondo più orientale tu
possono parlare con loro di qui sono i
risultati di apprendimento profondo parli
su smart inbox e sono come oh
va bene, parli di immagine
cerca sì, va bene, allora
tu parli di loro come oh si
che sarebbe anche essere il campione del mondo andare
e sono come se avessimo battuto i giochi
è incredibile e la gente lo ha predetto
anche battendo umano
andare probabilmente dipenderà dal
esperto da 10 a 100 anni di distanza e
successo che è appena successo è già
fatto è già quello che gli umani hanno
perso che va e come un effetto collaterale goez
ha anche causato più paura per la sicurezza dell’IA
di qualsiasi altra rete neurale credo
e questo è probabilmente un bene
rappresentazione di ciò che non so come
si chiariamo che questo è un XKCD
di come pensavano le persone difficili
questi giochi erano e puoi vedere come
fondamentalmente essendo l’ultimo al livello di
il computer perde ancora per gli umani e
allora non tutti questi sono risolti ma
questo è semplicemente incredibile
questo è ora risolto persone sono state
cercando di chiedere come se potesse farlo
cosa non può fare perché andare è un compito
questo richiede molto ragionamento e
questo tipo di risultati sono stati
essere trasferito nel fisico
mondo come questo è un google ha piace
una fattoria con un mucchio di robot che
hanno imparato da soli a cogliere
oggetti e fondamentalmente controllo della robotica
di solito è piuttosto difficile specialmente quando
stai cercando di renderlo generalizzato e
sono stati in grado di farlo solo da te
sapere buttare i robot in un buio
magazzino avendo un treno per un po ‘
progettando una funzione obiettivo carina e
ha appena imparato a capire meglio le cose
che i loro controller di progettazione a mano hanno fatto
che è stato davvero fantastico e di più
recentemente in realtà penso che ci sia stato un
video come quello è uscito la scorsa settimana di
nvidia usando solo l’apprendimento profondo per
auto a guida autonoma, quindi l’ idea era simile
con una sola telecamera di fronte
la tua auto ora la tua auto può imparare a guidare
può guidare da solo a imparare da
come hanno guidato gli altri e questo è un
risultato molto interessante perché anche
google ha lavorato per non lo so
se fosse già un decennio
che hanno lavorato su
auto a guida autonoma usando il lidar
e sbattere e tutte quelle cose e
Nvidia è stato raggiunto da alcune misure
loro interamente dentro penso che sia stato
meno di un anno da quando sono stati
investendo in questo così tante cose
sembra stia cambiando un sacco di cose
specialmente questi tipi di percezione
compiti perché la ricerca si sta muovendo così velocemente
Devo anche passare un po ‘di tempo e
cose che non sono ancora pratiche ma
potrebbe ben presto essere un disclaimer
Ho viaggiato questo fine settimana, quindi lo sono
non sono sicuro se alcune di queste cose appartengono
nella categoria già risolta
la generazione è grande ci sono tonnellate e
un sacco di cose che stanno succedendo alla generazione, quindi io
sicuramente non posso dargli giustizia c’è
roba davvero bella e come solo
generare immagini da zero e
generando arbitrariamente altri domini da
le immagini scratch sono solo le più visive
quindi li ho qui ma alcuni dei
il più bello e forse il più pratico
gli esempi sono generazione condizionale
qualcosa di cui sono davvero entusiasta è
immagine al testo quindi l’ idea è che tu abbia
preso un’immagine di input e l’output è
non come sì o no, indipendentemente dal fatto che il
motore dei cani ma fornisci una descrizione
dell’immagine e questo è come un
compito estremamente umano che sia estremamente
utile se lo fai bene
sembra così tutto il resto
possibilità Sono molto entusiasta
come prendere un’immagine medica e come
emettendo come un report di piega di esso
che sarebbe davvero fantastico e alcuni
persone che sono davvero entusiaste
questo che ha applicazioni nel molto
a breve termine non conosco la strada giusta
per dirlo, ma come la povera vista
comunità così le pagine web hanno oggi
sono stato piuttosto male per le cose per le persone
con disabilità e immagina se tu avessi
una rete neurale che può solo descrivere
un’immagine per te descrive una pagina per te
ti dico cosa c’è nella pagina in un molto
modo sommario semantico e c’è anche
un problema esattamente opposto che è
invece di prendere un’immagine e
emettendo una descrizione che prendi in a
descrizione e non inserire un’immagine che
come artista terribile idea sono probabilmente un
un po ‘più eccitato perché invece
di come posso descrivere le foto che non posso
li disegna davvero e come questi sono molti
meglio già di quanto possa disegnare ma
quello è probabilmente una barra bassa ma in questo
tipo di rete che in realtà assumi
come un testo di frasi e tutti questi
le immagini sono generate da quella rete
e questo è piuttosto incredibile
non sono super fantastici ma come questi
gli uccelli sono in realtà ci credo
sono reali il fiore non è il
quelli viola
ma in realtà lo vedono vicino come se
Io se fosse stato ingrandito abbastanza potrei
vedere questo è essere abbastanza reale e può
ti immagini in un futuro dove invece di
dovendo spendere milioni di dollari in a
film come se lo scrivessi e poi
una rete neurale genera solo il
film per te siamo abbastanza lontani da quello
ma forse non così lontano specialmente
come con un lavoro concentrato e questo
potrei nominare come tutti i tipi di come nuovo
forme di creatività che le persone non fanno
anche sapere mentre linguaggio
la comprensione fa abbastanza bene c’è a
comprensione del linguaggio più profonda che noi
può tipo di solvente di compiti, ma è
un po ‘più difficile per un compito reale quindi QA così
rispondere a una domanda carina che richiede
ragionamento più complicato come se
hai una storia qui e chiedi
una domanda complicata come
dov’è il calcio allora sì, come andare
torna nel negozio e scopri dove
quel genere di cose è successo a quella cosa
tipo di persone complicate sono molto buone
a questo scopo i modelli possono risolverli
quelli semplici piuttosto bene, ma non possono
vero, fai ancora una domanda vera e una risposta
che è sfortunato, ma qualcosa
le persone si preoccupano davvero e noi no
c’è ancora, ma mi piace anche come
fantastico questo problema suona è così
le nostre macchine che ci piacciono fondamentalmente
non ho lavorato su solo automaticamente
impara un livello superficiale di ragionamento come
è come un primo vero problema
mentre c’è un linguaggio simile
capendo c’è anche visuale
capire che è um tipo di
irrisolto c’è un qualcosa di fantastico
set di dati che coinvolge immagini e
domande e l’obiettivo è trovare un
risposta e i modelli ci sono modelli
quello può fare abbastanza bene a questa operazione ma
ancora non molto buono e ancora come la faccia
significativamente peggio di quanto facciano le persone
questo genere di cose è qualcosa che noi
non posso ancora farlo mentre è in corso la partita
Risolto il difficile gioco di gioco è ancora un
problema aperto e potresti pensare più difficile
gioco a giocare a mio fratello di cinque anni
può giocare a Minecraft e lui quasi
certamente non può battere il campione del mondo
in corso
più difficile in questo caso significa stateful
si scopre che gli umani sono davvero bravi
nel ricordare qualcosa mentre era neurale
le reti hanno qualche difficoltà con questo
le reti neurali che le persone hanno
stato utilizzato per giocare sono stati
completamente apolidi quindi quando hai un
mondo parzialmente osservato come Minecraft
dove ti piace solo avere una direzione
che stai guardando se ti piace guardare
a sinistra dimentica cosa c’era sul
giusto e questo è qualcosa che le persone
stanno ancora lavorando per risolvere è lo stesso
cosa con doom e il lavoro è stato
fatto un po ‘ma è lontano dall’essere un
problema risolto e io ci credo
sono ancora subumani in questo compito
ci sono cose davvero interessanti con
automaticamente scoprendo gerarchico
struttura così in lingua
le strutture gerarchiche possono essere chiare
noi perché usiamo il linguaggio come
carattere un limite di parola di carattere tuo
i sensi sono fatti di parole, i paragrafi sono
fatto di sensi è così
gerarchia semantica che lo rende facile
per abbattere un problema in più semplice
problemi ma questo non è il caso in
molti domini e ci sono state persone
chi ha progettato reti neurali che possono
in realtà lo scoprono automaticamente
gerarchia e questo potrebbe essere davvero
utile per compiti in cui non sappiamo come
interpretare così qualcosa che ho
ha lavorato un po ‘su genomica e noi
davvero non so nemmeno come leggere
genomica giusta ma se una rete neurale
e automaticamente lo suddividono in mi piace
questa parte va insieme a quella parte
sai che ci sono connessioni tra
qui e qui questo potrebbe effettivamente aiutare a
tutto con tutti i tipi di diverso
tipi di compiti scientifici solo puramente
dai dati questo è quando diventa un po ‘
un po ‘informatico ma queste sono cose che
Sono eccitato come informatico
c’è questo modello chiamato neurural turing
macchine che impara ad usare come un grande
buffer di memoria che è molto bello per te
può effettivamente vedere come la rete
legge, scrive e legge per
copia un input ci sono modi per implementare
strutture dati differenziabili, quindi cose
che hai pensato a dove invece di avere
come questa scatola nera di arbitraggio simile
le attivazioni con la matrice ti moltiplica
può effettivamente collegare una struttura dati
in una rete e ora la tua rete può
imparare a fare cose come spingere e
spuntando in una pila di cui sai arrivare
entrambe le estremità di una coda e tutte queste
tipi di cose e questo potrebbe
potenzialmente abilitare tutti i tipi di molto
Buoni casi d’uso
come hanno imparato a programmare le persone
alcuni lavori in cui è possibile creare modelli
che non solo può avere un input semplice
mappature di output ma come intermedio
in questa mappatura dell’output in ingresso possono
impara le subroutine e gioca con i puntatori
e questo in realtà li rende molto molto
calcolo generale come potenzialmente
potrebbe fare tutti i problemi che ci interessano
se puoi imparare subroutine e giocare
con i puntatori è come se potesse imparare
astrazione automatica per te e per
mettendo insieme queste cose le persone
sono stato in grado di fare cose come
imparare a eseguire effettivamente il codice in modo che
l’idea sarebbe data come il codice è a
stringa e bersagli per quel codice come
ciò che l’output è puoi effettivamente
impara un interprete per quella lingua
e questo è davvero eccitante per me come a
tipo di linguaggio di programmazione come forse io
potrebbe progettare un linguaggio di programmazione no
implementandolo ma mostrando solo un
un sacco di esempi e il
l’implementazione avviene automaticamente
per me o forse potrei semplicemente scrivere il
casi di test per la lingua e una neurale
la rete può generare un efficiente
linguaggio per me e qualcos’altro
è legato a tutte queste cose è questo
è molto presto, ma penso molto
le persone sono davvero entusiaste di questo
quali sono le reti di moduli neurali che siamo
invece di avere un’unica architettura
che giochi con te puoi avere
architetture che puoi avere a
libreria di componenti e che F per
ogni singolo esempio fai un costume
architettura e l’hai uscita così per
esempio se hai la domanda
rispondendo alle attività e hai un’immagine e
hai una domanda dove è il cane
invece di utilizzare una rete arbitraria
quello contiene la domanda e il
rispondi che in realtà lo converti
domanda in una rete neurale personalizzata
che combina un modulo cane con un dove
modulo e genera la risposta e questo
tipo di cosa è molto presto, ma davvero
promettendo così che sia tutto per il
futuro , spero che voi ragazzi lo siate
pompato per approfondire alcuni problemi
c’è un sacco di software per aiutarti
Non ho intenzione di parlare di quello giusto
ora perché c’è un sacco di tutorial
là fuori e penso al livello alto
la comprensione è molto più importante la mia
la raccomandazione è che se lo desideri
personalizzare un sacco di cose
il piano intensivo theano è il migliore perché
ti permette di ottenere questo automatico
differenziazione che stavo parlando
allora non devi mai preoccuparti per il
indietro veloce in fondo e se vuoi
usare semplicemente come i moduli che io
parlato così come pochi altri
Karis può risolverlo e puoi farlo a
molte di queste cose con Karis se tu
voglio fare questo c’è molto di più
imparare a fare e il diavolo è davvero dentro
i dettagli quindi ero di altissimo livello
con un sacco di roba ma tutti mi piacciono
ci sono così tante piccole cose che tu
bisogno di sapere come si fa come
esegui gli aggiornamenti in un modo simile
non fa crescere i tuoi parametri
troppo grande come si inizializza il
parametro non deve essere banale
funzione come non si adatta più del tuo
set di allenamento quindi c’è un sacco di
risorse là fuori il mio preferito è
questa lezione di stanford di Andre Carpathia
cs2 31 n è specificamente incontinenza
ma è costantemente aggiornato con
roba allo stato dell’arte ed è
generalmente di altissima qualità, quindi penso
è molto accessibile per chiunque come
principiante a molto avanzato e se tu
vuoi fare questo probabilmente hai bisogno di GPU o
50 Penso che sia per il momento così dispiaciuto I
stava correndo alla fine con qualsiasi
domande anche io ho queste diapositive che
è lo slide dovrei lasciarlo su alcuni
le domande qui vanno in modo che uno è come possiamo
evitare che le auto autonome prendano il
cattive abitudini umane come possiamo evitarlo
le auto autonome prendono cattive abitudini umane
questa è una domanda molto interessante è
molto dipendente da come sono le macchine
addestrato quindi se si allena un’auto da copiare
le cattive abitudini delle Nazioni Unite quindi se si allena una macchina
copiare gli umani che è di gran lunga il
la cosa più semplice da fare non è il massimo
cosa corretta da fare perché la maggior parte
la cosa corretta da fare sarebbe imparare
come guidare in modo ottimale da zero
sfortunatamente comporta tentativi ed errori
ma probabilmente non lo vuoi
auto a guida autonoma, quindi possiamo saltarlo o
regole hard coded quindi cosa succede
è se ti stai allenando per imparare da
gli umani imiteranno quegli umani ma i
l’idea è che se gli umani ti commettono degli errori
come speriamo diciamo che vuoi
fare errori e diciamo che gli umani no
fare errori coerenti se non lo fanno
fare errori coerenti e diversi
gli umani fanno diversi tipi di errori
sono gli stessi human-like solo rende
fa errori a volte e tu hai un
rete neurale che la rete neurale può
prevedere l’aspettativa di ciò che il
l’umano può fare piuttosto che il caso peggiore
scenario quindi se sei gentile puoi pensare
di umani come un Samba in questo caso
che se stai predicendo ciò che il
la media di un gruppo di umani può farti
può guidare meglio di una lattina umana ma se
gli umani si comportano in modo coerente se umani
commetti costantemente errori poi c’è
niente di ciò che puoi fare a parte questo
ottenere più dati penso che abbiamo tempo per
ancora una cosa cosa ne pensi della chat
BOT è possibile costruire solo con
apprendimento profondo sì, in realtà ce ne sono molti
startup che stanno facendo questo adesso
quindi questa sembra essere la prossima ondata
le startup sono come la cosa giusta
ora dove le persone stanno cercando di usare la chat
BOT per fare ogni genere di cose per piacere
domini molto specifici ne ha alcuni davvero
belle proprietà da un punto di vista commerciale
vista perché il tuo obiettivo è quello di sostituire
gli umani che si comportano così è molto facile
come sostituirli con un algoritmo
perché gli umani quando hai se tu
avere un gruppo di loro generano un
mazzo di dati quindi è molto plausibile
è ancora difficile per la chat BOT è gentile
di come il problema del gioco in cui
è difficile per i BOT di chat avere un ricordo
di quello che hai detto, quindi se si parla di
come Oh, sai, l’apertura di questo menu
e sai andare qui, qui e qui
e potresti averne cinque
frasi più tardi potrebbe dire la chat BOT
la stessa cosa perché i testi dei neuroni
Ho ancora problemi di memoria, penso
è così, per favore, ricordati di votare e
diamo un grande applauso
grazie
sfondo ho molto matematica e
sfondo del computer che è molto buono
per una lista di apprendimento approfondita dei risultati
sul perché dovresti ascoltarmi è che io
attualmente lavora in una società super cool
ciò richiede un apprendimento profondo da fare
medico più veloce e più accurato
diagnosi e nelle vite passate ne ho uno
molto come la matematica internazionale
concorsi e alcuni programmi
concorsi come bene e oggi ho intenzione
per parlare di cos’è l’apprendimento profondo e
cosa può fare per farti sentire libero di chiedere
domande in qualsiasi momento se posso chiederlo
hanno ragione possono chiedere a Simon
quindi sì, sentiti libero di fare domande qualsiasi
il tempo li ha sigillati , soprattutto se
pensi che io stia mentendo a voi in modo che cosa è
l’apprendimento profondo inizierà con a
il disclaimer deep learning è in realtà
abbastanza complicato è difficile essere molto
generale su tutto ed essere corretto
quindi in caso di dubbio ho intenzione di favorire
generalità quindi se hai familiarità con
la nomina già sta per
sembra che io stia mentendo molto ma dentro
la realtà come questa è solo per tipo
di dare il caldo davvero alto livello di esso
e anche quando possibile andare a
favorire alcune delle scorciatoie che potrebbero
non essere corretto al cento per cento ma
dovrebbe dare il modello mentale corretto di
come funzionano queste cose, ma se lo hai
qualsiasi domanda si senta libera di chiederlo
livello super alto c’è un merletto a
molto simile a diversi livelli di
la gerarchia qui nell’ecosistema c’è
intelligenza artificiale che è a
superset di come tutto è un esempio
sarebbe IBM Watson dove molta mano
regole codificate e usi estremamente grandi
quantità di manodopera esperta costruita per fare un
compito specifico c’è apprendimento automatico
che è sottoinsieme di questo un esempio di
questo sarebbe come fare clic su Google
la predizione e come lo si fa piuttosto
che usare tonnellate e tonnellate di hard coded
regole che inizi a utilizzare più esempi per
capire come combinare una mano
statistiche codificate per prevedere il
Probabilità ad esempio di un clic su un annuncio
a un livello leggermente più profondo che hai
apprendimento della rappresentazione che è
a volte visto come uno strato profondo
imparare così a volte riferito come
questi livelli sono chiamati apprendimento superficiale
se stai cercando di iniziare una lotta
e un esempio di questo sarebbe netflix
raccomandazione del film in cui il
statistiche di ciò che sapete già
ogni film è appreso dai dati ma
stai ancora imparando un semplice
combinazione di come vanno queste caratteristiche
insieme e dopo pochi livelli ottieni
nell’apprendimento profondo quindi questo sarebbe un
esempio di capire le malattie da
immagini dove invece sai di avere
un livello di statistiche manuali che sono
imparato e poi unirti a te
potrebbe imparare tutte queste statistiche a
nello stesso tempo a decine o anche a centinaia
migliaia di passaggi che è ciò che alcuni
la gente usa al giorno d’oggi questo probabilmente no
una visione comune di cosa sia l’apprendimento profondo
ma penso che la vista più semplice su come
vedere che la linea profonda esiste un’interfaccia
e questa interfaccia ha circa due
metodi come il primo metodo si dispone di un
forward pass e questo è sicuramente il
parte facile data input arbitrario
output arbitrario chiunque può fare questa parte
questo è davvero facile il trucco che
lo fa funzionare è il pass backwards così
dato un cambiamento desiderato nell’output
voglio essere in grado di trasformare questo in a
cambiamento desiderato nell’input e una volta voi
avere questi che puoi fare arbitrariamente
cose complesse concatenando le cose
cambiandoli in un aciclico diretto
grafico e se questo sembra troppo bello per essere
vero soprattutto con come progettiamo il
Inoltra passa perché se tu dici solo
input arbitrario un output arbitrario di
Certo che puoi fare tutto ciò che vuoi ma
la parte più difficile è come si definisce che
passa all’indietro perché mentre fai il tuo
avanti passa sempre più complicato
come se ti piacessero alcuni veramente pazzi
funziona diventa difficile definire come
per mappare nuovamente gli input in output
mantenendo queste cose semplici e
combinandoli insieme ci dà questo
linguaggio dei moduli quasi componibile
questo ci permette di fare le cose che vogliamo
per farlo una volta che hai questa interfaccia
puoi solo costruire da questo una volta
una volta che lo hai puoi avere un
mazzo di questi moduli che soddisfano questo
interfaccia come una nota a margine un po ‘
questi moduli saranno parametrici quali
significa che hanno parametri quali
indica approssimativamente che sono stateful e
sono stateful significa che una volta
avere lo stato
lo stato cambia ed è questo cambiamento dentro
stato che ti permette di cambiare questo
funziona da qualcosa che tu solo
accartocciato a qualcosa che è tutto
si avvicina sempre di più a quello che vuoi
da fare e una volta che hai un telaio ferroviario
lingua di quello che vuoi fare ora tu
può iniziare a svolgere i compiti che ti interessano
su di te e approfondisci definisci sempre a
perdita o un costo a seconda di come vuoi
per definire questo e questo è qualcosa di te
voglio minimizzare per motivi che vorrei
spiegare felicemente questo è sempre stato un
scalare quindi non può essere più costoso il
Allo stesso tempo devi schiacciarlo
in una singola cosa a cui tieni
e una volta che squish questo numero come
tutto si preoccupa per il mondo in
un singolo numero ora puoi iniziare a usare
Apprendimento profondo per ottimizzare questo tu
creare un’architettura che è il
funzione che vuoi fare e questo
sarebbe come li componi insieme
moduli di cui ho parlato così il modo
li colleghi insieme cambia il
funzione che hai e il tipo di
potere di rappresentazione che ha e quello
diventa la parte difficile dopo di te
inizializza i parametri e ti alleni
questa architettura ripetutamente aggiornando
i parametri per minimizzare il costo così
vai avanti attraverso la rete a
prendi le cose a cui tieni e vai
indietro attraverso la rete per cambiare
i parametri per essere leggermente migliori per
i tuoi costi e li ripeti molti
volte finché non si ottiene una funzione simile
sei davvero molto felice con e
risolve qualsiasi problema tu voglia e a
Alla fine usi solo quella funzione
l’avanti passa come implementare il
il passaggio all’indietro è in generale quasi noi
usa sempre la regola della catena questo è veramente
bello perché rende l’implementazione del
all’indietro passare facile come funziona se è
hai il tuo output come funzione somma di
un po ‘di X e tu hai il parziale
È possibile derivare dal tuo output dld f
ottieni DX DX semplicemente moltiplicando il
derivata parziale di DF DX e il bello
parte di questo è che DF è ottenuto
dal resto della tua rete e DF DX
è ottenuto solo dal tuo modulo in questo modo
ti permette di incatenare queste cose
insieme in un modo che richiede solo
informazioni locali per ottenere questo
backward pass è molto bello che ci sia
ragioni teoriche del perché questo è un
buon modo per farlo e forse il migliore
parte di questo è fatto da alcuni framework
siamo completamente automatici dal
trovare un passaggio in avanti usando automatico
differenziazione puoi capire come
per fare un passaggio all’indietro automaticamente così
diventa fondamentalmente facile come la definizione
funzioni arbitrarie come in realtà tu
ottieni questo vantaggio semplicemente definendo
le cose arbitrarie restituiscono cose arbitrarie
finchè tutte le operazioni che fai sono
differenziabile puoi farlo funzionare
come la magia e ottimizzarlo e questo è
letteralmente come le persone fanno questo in pratica
aggiornando i parametri questi sono giusti
dettagli minori per ottenere un
la comprensione di come funziona è così
una volta che hai i tuoi parametri esistenti
ottieni il tuo gradiente e prendi a
passo nella direzione opposta del
gradiente e derivate parziali
ci dice come cambiare i parametri in
aumentare o diminuire il costo che noi
cura di una parola importante da notare
sapere se è e che la gente sempre
uso penso che lo renda di più
complicato è una grande parola è tornata
propagazione o back prop in breve questo
ha un nome più lungo chiamato reverse mode
differenziazione automatica che suona
piuttosto complicato ma questo è solo il
regola della catena più programmazione dinamica I
Supponiamo che abbia appena parlato del cambiamento
erano come alcune persone hanno familiarità con
programmazione dinamica ma questo è giusto
incassare e l’ idea sarebbe quando tu
avere un grafico di calcolo questo è molto
grafico di calcolo semplice y uguale a C
volte la C equivale a un BD più uguale a B
più 1 l’idea sarebbe … traversare
il grafico dall’alto verso il basso e
facendolo dall’alto verso il basso
invece che dal basso verso l’alto è possibile
incassa il mediatore in modo che io abbia usato
molte volte nel grafico e per incassare
questi intermedi ottieni qualcosa
è molto più efficiente di se tu
stavano per fare una soluzione ingenua e
questo ti permette di ottenere gradienti
sono calcolabili in tempo lineare nel
dimensione del tuo grafico quindi in pratica
valuta ogni nodo una volta e questo è a
la proprietà veramente bella questo rende tutto
veramente efficiente e questo è fondamentalmente
per le basi da un alto livello di profondità
l’apprendimento è solo una composizione ottimizzata
abul subcomponents ottimizzare il Ville
quasi sempre significa differenziabile
differenziabile significa che puoi fare
lo sfondo del contesto è solo la regola della catena
nella programmazione dinamica quando si ottiene
per l’apprendimento profondo pratico normalmente
devi combinare questo con il gradiente
software di discesa e un set di dati, ma tu
cura e lo spazio del software è
c’è uno spazio molto ricco di software
di cui parleremo un po ‘nel
futuro ma sono queste cose
risolto per te in modo da poter fare in profondità
imparando senza nemmeno saperlo
calcola tu stesso la pendenza mentre
possiamo fare cose arbitrariamente complicate
ci sono alcuni moduli standard che
sono il cavallo di battaglia principale dell’apprendimento profondo
oggi e l’obiettivo di questa sezione è
sta per essere di alto livello
comprensione di ciascuno da tutti loro
può essere molto incredibilmente sfumato ma questi
i moduli standard copriranno quasi tutti
di quello che sta succedendo nei giornali
il più semplice di loro è forse il più semplice
è solo la moltiplicazione della matrice che ha
molti nomi il livello completamente connesso
a volte abbreviato in FC a volte
chiamato denso perché ne hai un sacco
connessioni strato lineare perché è a
trasformazione lineare o una multa perché
a volte c’è un pregiudizio e la matrice
la moltiplicazione è praticamente ogni volta
hai un diagramma di rete neurale tutto
queste frecce corrispondono alla matrice
moltiplicazione così quando hai un
diagramma che sembra complicato
da quello proviene da questo genere di cose e
puoi interpretarlo come un peso da
ogni input per ogni uscita quindi se tu
hai ingressi e hai n uscite
hai M per la via della trasformazione
i tuoi ingressi alle uscite e le sue
l’implementazione è letteralmente una matrice
moltiplicazione e W in questo caso lo è
generalmente un parametro che significa te
impara le connessioni da ingressi a
produce questo da solo non è potente
abbastanza quindi ne hai bisogno almeno uno in più
cosa che non è linearità
la non-linearità originale è chiamata a
sigmoid è proprio questa funzione che ha
la bella proprietà di Maps Reals
nello spazio 0 1 e può essere
interpretato come una probabilità ma è così
non così importante è solo essere
non lineare e il motivo il
la non-linearità è importante se tu
avere questo tipo di rete neurale simile
quando impili i livelli
back-to-back se non avessi la non-linearità
nel mezzo questo sarebbe solo due
la matrice moltiplica back-to-back e cosa
succederebbe che potessi semplicemente combinare
questo in una singola matrice si moltiplica quindi se
hai quel 100 layer puramente lineare
rete di sole moltiplicazioni di matrice
mentre questa cosa è piuttosto complicata
e tu fai tutto il lavoro di un vero neurone
rete si potrebbe effettivamente appiattire
in una singola matrice di pesi a causa di a
composizione lineare di linearità quindi questo
era l’originale che piace alla gente
perché è molto simile a ciò che le persone
usare prima di avere davvero come la macchina
imparare parole che erano solo binari
la soglia dell’ingiustizia è stata respinta nel
giorno e la parte interessante è solo con quelli
due unità sai come fare un neurale
rete si può semplicemente ottenere
il tuo input si applica la moltiplicazione della matrice
applicate un sigmoide ne applicate un altro
la matrice si moltiplica e tu ne hai uno e
questi sono chiamati perceptron multistrato
quando hai solo matrix moltiplica e
non linearità e la parte interessante è quella
c’è un siero su questo che questo semplice
l’architettura come letteralmente tre
le funzioni possono risolvere approssimativamente
funzioni arbitrarie che significa che può
risolvere qualsiasi problema che ti interessa
c’è un teorema interessante su questa idea
è questo se fai il grande medio
abbastanza puoi calcolare praticamente qualsiasi
funziona il lato negativo è quello giusto
perché non può significare che lo farà
e un singolo strato multistrato
perceptron causa spesso più problemi
di quanto risolva così è per questo che c’era
un inverno AI negli anni ’90 solo perché
queste cose sono il tuo tipo di terribile
ma la gente è migliorata molto
è e che ora ora reti neurali
sono fantastici e come un disclaimer questi sono
queste sono reti neurali quando hai
quindi questo sarebbe un multistrato
perceptron sono reti neurali
tutto ciò di cui sto parlando oggi è
ancora una rete neurale ma queste sono
in particolare quando parli di
perceptron multistrato che è ciò che questo
è così da allora le persone hanno fatto meglio
non linearità questa è probabilmente la maggioranza
del miglioramento tra il 1990 e il 2012
sfortunatamente qual è il tuo
una specie di non-linearità più intelligente quindi invece
di prendere questa strana funzione ondulata
fai solo una soglia quindi niente
è negativo, lo trasformi in 0
questo è in realtà il più popolare
non-linearità al giorno d’oggi lo fa
incredibilmente bene
alcune ottime proprietà di ottimizzazione
in particolare quando hai zero come lo è
questo non solo è molto lineare, quindi funziona
molto bene con una regola di catena e questo
la cosa è usata quasi ovunque al giorno d’oggi
soprattutto nel mezzo di un neurone
rete c’è un softmax che puoi
pensare a come convertire un gruppo di
numeri in una probabilità discreta
distribuzione quindi la matematica è p
equivale a esponenziare il tuo contributo e
allora lo dividi per la somma del
input puoi pensare alla spiegazione
sta trasformando tutti i numeri in
positivo e la divisione per la somma è
un termine di normalizzazione ce ne sono alcuni molto
belle proprietà su questo ed è usato
come ultimo strato per la classificazione
problemi ed è usato in quasi tutti
la rete neurale era così facile
parte questo diventa complicato mi piace sentire
libero di fare domande durante questo I
normalmente lo spieghi con una lavagna
e normalmente è complicato anche con
una lavagna ma cercherò di passare
così una convoluzione è la principale
cavallo di battaglia per l’apprendimento profondo sulle immagini
e l’apprendimento profondo e le immagini è
fondamentalmente è un po ‘come questo
la rivoluzione è iniziata quindi è molto molto
importante è probabilmente il posto dove
l’apprendimento approfondito è il più avanzato
è un primitivo molto importante e io
pensa il primitivo molto figo a
capisci perché ti rendi davvero conto
come quanto sia bello il quadro quando
vedi come wow questa cosa suona
piuttosto complicato ma puoi farlo
collegarlo e si sta facendo che hanno bisogno di
sapere come funziona quando qualcuno ha codificato
per te, che è quello che faccio così è
un’operazione lineare per le immagini 2D così una volta
hai una percezione multi-strato di te
avere una mappatura da ogni input a ogni
uscita ma nel caso di immagini tue
gli input sono strutturati in modo tale che tu abbia voglia
questa relazione spaziale tra il tuo
input e se hai una mappatura da
ogni input ogni output che fai
buttare via la relazione spaziale così
l’ idea sarebbe cosa se invece piuttosto che
avere una connessione da ogni input a
ogni uscita cosa succede se ogni uscita il
aspetto di uscita come un’immagine come bene e
ogni output era collegato solo localmente
alle cose che corrispondono a questo
quello è in vista numero uno così locale
connessioni e dentro il numero due è
ogni uscita è
una funzione locale del suo input e se
invece di avere ogni uscita essere sua
propria funzione che sarebbe il generale
caso e se ogni uscita fosse la stessa
funzione del suo input così che cosa allora
diventa è equivalente a come a
funzione ben nota nella visione artificiale
che è una convoluzione che hai
un kernel che è che si può pensare di esso
come una matrice di peso locale, quindi è così
rappresentato sì oh cool è il mio mouse
qui quindi è spesso rappresentato come il
piazza in una cosa come immagine che
significa che stanno catturando quel locale
inserisci semplicemente una matrice moltiplicata
tra tutti i pesi del kernel
quale sarebbe una cosa come te
fallo moltiplicare per tutto il
regione locale si sommano i risultati così
questo è solo un prodotto punto e poi tu
fallo in ogni singolo luogo al
input quindi è un po ‘come affiancare il tuo
input con la stessa funzione o può
essere interpretato estraendo lo stesso
caratteristiche in ogni posizione che è il
questo è il modo più comune di interpretarlo
è molto potente è molto parametro
efficiente perché ne hai molte
condivisione del peso tra i parametri
e puoi finire per avere molto più grande
uscite quindi puoi avere con un normale
moltiplicazione della matrice e anche tu no
perdere informazioni spaziali che è molto
struttura importante delle immagini quindi queste
sono alcune proprietà veramente belle e come
effetto collaterale si potrebbe pensare che questo
la cosa è davvero complicata come faccio io
prendi una sfumatura perché forse
il tutto è un po ‘complicato
ma questo è in realtà equivalente a a
moltiplicazione della matrice molto vincolata
quindi se prendi la tua immagine di input e te
srotolarlo perché con una matrice moulton
perdi quella struttura spaziale e tu
srotolare il tuo input hai praticamente a
poche connessioni come ogni input ogni tanto
ogni uscita è collegata a forse come
nove dei tuoi input e quello giusto
diventa equivalente al molto simile
tutto il diagramma con un sacco di frecce
ma la maggior parte delle frecce è zero o
manca, quindi questo è ancora completamente
differenziabile e si adatta ancora molto
bene in questo quadro che puoi
collegalo con tutti gli altri
non linearità fresco E ‘intenzione di ottenere un
un po ‘ più difficile
un altro tassello fondamentale
è chiamato una rete neurale ricorrente I
non so perché è il blocco
chiamato una rete quando tutto il resto è
chiamato layer ma è solo una specie di
convenzione e questo è risolvere aa
problema che fondamentalmente non è stato
risolto nell’apprendimento automatico prima del quale
vogliamo che le funzioni prendano in considerazione
input di dimensioni variabili ma possono solo
prendere in input di dimensioni fisse e questo è
diventa un problema quando sei una funzione
è parametrico come un completamente connesso
il livello è perché se vuoi un
connessione da ogni input a ogni
ma la tua dimensione di input cambia
significa che sei il numero di pesi voi
avere cambiamenti e questo significa che se tu
ottenere un esempio più lungo per l’inferenza
ora non sai cosa fare con
e anche questo potrebbe essere inefficiente
perché ti potrebbe piacere davvero
davvero grande un numero davvero grande di
input e potresti non aver bisogno di tutto il
potere di avere come ogni connessione
lì quindi una rete neurale ricorrente è a
modo per risolvere questo problema e il
la soluzione a questo problema è la ricorsione quindi
quello che hai è uno stato iniziale che
sarebbe solo chiamiamolo h in
questo esempio e ne hai un mucchio
questi ingressi X e c’è una variabile
numero di loro quindi non lo so davvero
che cosa è questa capitale T è e puoi
crea una funzione che tiene fisso
dimensione e perché ogni X è dimensione fissa
puoi fare quella funzione hanno preso
sia h + X che ora puoi recitare
attraverso questa lista dicendo h of t
è uguale alla funzione del precedente
Mi dispiace, il nuovo stato è una funzione
dello stato precedente e corrente
inserisci e poi restituisci la finale
uno e ciò che questo ti permette di fare è
ti consente di inserire una dimensione fissa
puoi farlo operare con scusa a
funzione fissa che prende dimensioni fisse
input puoi ora trasformarlo in a
funzione che accetta una dimensione variabile
input applicando quella funzione di
numero variabile di volte questo non è il
questo è come una visione abbastanza ovvia
e si potrebbe fare con qualsiasi tipo di
algoritmo di apprendimento automatico che potresti
come applicare una foresta casuale come un
numero arbitrario di volte ma il bello
parte di questo è questo perché questo
la funzione è differenziabile questo
è anche la funzione ricorsiva
differenziabile in modo da poter prendere il
derivati di ciascuno degli input voi
può assumere anche prendere la derivata
matrici di peso utilizzate a ogni passo
puoi usare quella f per raggiungere e ottenere un
diagramma
sembra un po ‘come questo ora che puoi
pensalo come se applicassi un layer FC per
ogni input che prende l’input e il
stato finora e questo diagramma potrebbe non
sii molto chiaro ma ce ne sono molti
diagrammi diversi per estremità RN e
sono tutti ugualmente confusi, se lo sei
non li conosco, quindi questo è un po ‘
quello a sinistra è il mio preferito
perché puoi pensarlo come un
funzione stateful tranne per te stato
dura solo per la durata del tuo
input ma la versione srotolata è la
versione che usi se la stai prendendo
gradienti quindi questo è equivalente solo
passando i gradienti attraverso questo molto
grafico lungo un’ultima diapositiva complicata lunga
unità di memoria a breve termine questo mi mette dentro
una posizione davvero difficile perché non posso
non parlare di loro perché sono così
grande è ma sono anche estremamente
complicato e lì ne prendono di più
elementi costitutivi e ho UNIX anche
spiegare, ma c’è questa grande blog
post penso che le diapositive saranno pubblicate così
non devi preoccuparti di questo
ottimo post sul blog che tenta di spiegare
ma ho intenzione di provare a dare come a
intuizione di alto livello di loro proprio così
come ancora più in alto di quello che ho detto
molto um solo in modo che tu possa tipo di
capire da dove proviene
quando parlo di queste cose
usato e l’idea sarebbe il suo tipo di
come un RNN e in pratica nessuno usa
il RNN che ho appena descritto è un
funzione molto semplice e c’è molto
versioni più complicate è un RN n
dove la funzione è davvero
complicato così questa intera cosa qui
una rappresentazione di quella funzione che sono
non entrerò nei dettagli di esso
ma coinvolge molto diverso
meccanismi per fare l’ottimizzazione
più facile e l’ idea è che se lo faresti
applica se hai progettato bene questa funzione
la funzione viene applicata ogni volta
passo può fare molto il problema
più facile da ottimizzare e puoi avere piacere
una funzione molto più potente e
la chiave è quella di avere un percorso che
è relativamente semplice, quindi questo è ciò che
rappresenta con il percorso superiore dove questi
le operazioni variabili vengono fatte ad esso
rende più facile impilare queste cose
voglio tornare indietro e questo è più facile
per imparare le relazioni a lungo termine tra
le funzioni
okay, quello era il
parte complicata che ora conosci
novantacinque per cento dell’edificio
blocchi che tutti usano per
Apprendimento approfondito allo stato dell’arte con just
questa casella di fatturazione probabilmente potresti farlo
nuove cose allo stato dell’arte su nuove
domini quindi congratulazioni siete pronti per
la parte successiva um così in questa parte che voglio
per parlare di cosa D pianificazione è davvero
bravo e ciò che si dovrebbe utilizzare su
la risposta è molto, quindi vado
per coprire solo i temi approssimativi di dove
l’apprendimento profondo brilla davvero, ma c’è
solo molto di più ad esso che penso
è parte della suggestione perché è
tutto rientra in questo estremamente semplice
quadro che ho appena descritto
non pensare che ti piacerebbe descrivere
qualsiasi quadro semplice come quello che ho
appena fatto e averlo risolto questo numero
complicate attività non risolte prima del 2012
fondamentalmente neurale convoluzionale
reti questa è un’architettura generale
comunemente indicato come CNN questo
in realtà significa una rete in questo caso
e non solo un livello l’idea è quella
prendi la tua immagine che applichi
convoluzione applichi il tuo valore al tuo
unità lineare rettificata, probabilmente
convoluzione si applica lu e te
in pratica ripeti questo convo fino a quando
risolvi tutti i problemi nel computer
visione che non è del tutto vera dato che a
Alla fine hai bisogno di virare su una sorta di
vestito e l’altro giocatore
dipende e che tipo di input sei
cercando di risolvere il non può davvero piacere
compito di vecchia scuola è che tu sei la sua faccia
riconoscimento cercando di determinare come
di chi è questa faccia e questa è davvero
compito interessante perché rende il
rappresentazioni molto visive e tu puoi
vedere come la rete impara nel tempo così
al primo strato quando inizi
con i pixel al primo strato
i filtri tendono a corrispondere solo per i bordi e
cose molto semplici che possono essere le circonvoluzioni
abbinare i bordi e altre forme molto semplici
e man mano che ti addentri sempre di più
rete si impara più complicato
funzioni dell’input quindi dopo di te
può iniziare a combinare i bordi negli angoli
o blob, quindi questo è ancora estremamente
semplice ma dopo aver ottenuto un altro
strato in qualche modo come combinare due angoli
il modo giusto diventa un po ‘ come un
occhio come forma o se ne hai due
angoli in un blob che diventa più io
piace e si può costruire da
bordi agli angoli per oggetti parti e
infine negli oggetti a cui tieni
circa e come si diventa davvero molto profondo
reti hai effettivamente intermedie
che sono oggetti estremamente semantici per
esempio le persone hanno creato molti strumenti
per la visualizzazione di reti neurali
dove visualizzano ciò con cui si trovano
le reti neurali imparano e tu hai
per esempio se hai una rete neurale
che non impara a classificare i libri a
tutti tranne le corsie riservate agli scaffali
alcune delle caratteristiche intermedie
in realtà diventano classificatori di libri che
è davvero interessante come può imparare
o mi piace una rappresentazione gerarchica
del tuo spazio di input in modo tale che questi siano
cose utili da combinare insieme
per fare un classificatore robusto e per
combinando così forse se si combinano come
tre libri insieme e un quadrato
questo diventa una libreria così questi sono
un po ‘come quello che le operazioni locali
fare con ogni rete neurale e il
la bellezza è che è tutto imparato
automaticamente per te non è necessario
programma come Ho una libreria
scaffale normalmente hanno libri che hanno
i libri mi dispiace che abbiano piacciono le cose quadrate
forse spesso decidono i fiori questo
tutto può succedere in un set di dati
automaticamente per te e questi
le reti neurali convoluzionali sono
assolutamente incredibile loro proprio quando io
non stava scherzando quando salvano sostanzialmente
tutto di computer vision ora tutto
iniziato con imagenet questo era nel 2012
questo è quando l’apprendimento profondo in realtà il
l’intero hype train ha iniziato dove l’hai avuto
soluzione tradizionale di apprendimento automatico
questo computer molto grande molto duro
set di dati di visione ed era una specie di
plateauing negli anni e tutto di a
arriva improvvisamente un profondo apprendimento
butta via tutto e sempre
da allora tutto è stato
è stato tutto in computer vision
apprendimento profondo come niente può anche
confronta e di recente siamo stati pari
essere in grado di ottenere risultati superumani
che è piuttosto impressionante perché
gli umani sono bravi a vedere le cose
è un po ‘ come ci siamo evoluti
e le stesse architetture possono fare tutto
tipi di strutture davvero interessanti
compiti in modo da utilizzare quasi lo stesso
architettura a cui puoi usare un concetto
determini di sapere come puoi rompere
il tuo spazio di input in ciò che è chiamato a
segmentazione semantica di come tutto il
parti rilevanti che tu
avere e utilizzare praticamente lo stesso
anche l’architettura si può fare impazzire
cose come la super risoluzione dove tu
prendi come un’immagine a bassa risoluzione e
rendilo puoi riempire i dettagli
il che è bello è che non è bello
è incredibile, anche se è così
sembra piuttosto facile, è incredibile
così puoi usare lo stesso
architettura che prende un’immagine e
ti dice se c’è un cane o no
in esso per prendere un’immagine e tornare come a
nuova immagine ad alta risoluzione e questo è
fondamentalmente la stessa libreria è la stessa
componenti è solo molto molto
componibile e questo è veramente buono
fantastico puoi anche usarlo per risolvere
compiti di compiti medici davvero difficili
la gente non potrebbe risolvere prima di qui
individuazione del cancro polmonare classificante in CT
scansiona questi sono i tipi di cose che
Mi piace lavorare e non è solo
divisione limitata ce ne sono state molte
lavoro nella comprensione della lingua così è
qualcosa che l’apprendimento profondo è davvero
bravo in questo linguaggio che modella approssimativamente
questo significa quanto è probabile un quanto
percepisci questa affermazione, rendendola certa
linguaggio quindi potrebbe avere a che fare con a
domanda risposta come stai io sto bene
potrebbe avere altre cose come cosa
Sarebbe una cosa strana il mio portatile
squishy potrebbe essere molto improbabile
frase per dire così una rete neurale
potrebbe probabilmente determinare squishy è un
questo è un aggettivo molto brutto per un portatile
una frase molto improbabile ma se ho detto
il mio portatile è caldo che probabilmente sarebbe
una frase molto più probabile e questo
ha già un sigillo simile a quello umano
perché il linguaggio è stato progettato per gli umani
ed essere in grado di avere come se possibile
fare comprensione della lingua come in
determinare la probabilità di simili
frase data un contesto che puoi e se
lo fai perfettamente puoi risolvere
praticamente qualsiasi compito e questo è un it’s
dominio davvero interessante dove è
essere applicato perché precedente se tu
guarda come la comprensione del linguaggio
è stato fatto prima che l’apprendimento approfondito fosse in corso
erano tonnellate incredibilmente semplicistiche
e tonnellate di regole non robustezza due dati
set per cui dovresti creare regole personalizzate
ogni lingua e ora puoi farlo
usa gli stessi trucchi per l’inglese come te
può
per i caratteri cinesi come è possibile per
codice byte in modo che sia semplicemente carino
incredibile, ovviamente sono stati molto
compiti più complicati sono piuttosto popolari
utilizzare per macchina per l’apprendimento profondo che
questa gente sta davvero mettendo molto
sforzo in zia è andato lingua
capire da zero quindi l’idea
stai usando un RN per comprimere una frase
nella tua lingua di partenza in un vettore
come ho descritto nella sezione RNN e
quindi usi un RNN diverso per decodificarlo
in una lingua di destinazione e mentre è
non sorprende che tu possa progettare a
rete neurale che può essere prodotta in modo plausibile
questo è abbastanza sorprendente che
funziona così bene e sei stato in grado di farlo
avere reti neurali che nell’uomo in
un arco di pochi mesi da studente universitario
abbinare le prestazioni dei sistemi che
le persone hanno trascorso decenni di ingegneria
e / accaduto oggigiorno lo penso
i sistemi di deep learning non sono in e
l’implementazione di sistemi non è ciò che viene utilizzato
per questo in questo momento ma sono molto
componente importante, quindi le persone lo usano ancora
un po ‘di roba codificata ma è solo
una questione di tempo e la bellezza è quella
ma se abbiamo un nuovo compito o un nuovo
lingua ora può solo automaticamente
funziona come se sapessimo di trovarci
un po ‘di lingua perduta da mille
anni fa e abbiamo una buona quantità
dei loro testi possiamo effettivamente imparare come
per tradurlo o capirlo senza
qualsiasi conoscenza di questo e sembra
puramente dai dati possiamo e questo è
davvero fantastico non abbiamo bisogno di un
comprensione di qualcosa per
non abbiamo bisogno di una comprensione prima
applicando i nostri modelli di machine learning in
per avere una comprensione
dopo e questo è solo davvero
davvero fantastico che sia stato davvero
chattare con le persone di SETI il
cerca l’intelligenza extraterrestre
e uno dei compiti che stanno facendo
sta cercando di capire i delfini il
la logica è che se possiamo i delfini di
gli stranieri linguistici potrebbero avere una lingua se
noi se vediamo la comunicazione aliena noi
probabilmente non lo capirò
forse possiamo usare i delfini per il proxy
per gli alieni per cercare di capirli così
ci sono alcuni compiti davvero interessanti
succede lì non è limitato a quello
ci sono cose davvero interessanti
fatto con l’arte nell’apprendimento profondo in realtà
Penso che le aziende abbiano iniziato
che è il loro intero modello di business
creando fantastici arte di apprendimento profondo e
sembrano fare bene da cosa
Ho sentito in questo caso questo è un
allucinazione puramente da un giro di conf
addestrato a fare la classificazione delle immagini così
immagina quel continente sai qualcosa
che prende un’immagine ti dice che cosa
razza di cane è con oggetti o in esso
puoi usarlo con alcuni trucchi per
creare questo tipo di arte pazza e questo
è stato un grande successo è molto
non intuitivo che una rete neurale che
non è nemmeno addestrato per fare arte
in realtà può rivelarsi fare questo tipo
di cosa sono stati usati più comunemente
casi come lo stile trasferiscono l’idea
sarebbe possibile prendere una rete neurale
ancora treno per la classificazione dell’idea
sarebbe la classificazione ha alcuni priori
su quali immagini alcuni dei priori sul
mondo naturale quindi quello che fai è allora
tu dici che voglio la mia immagine per tipo di partita
la distribuzione da un’immagine diversa
e poi ottieni questo tipo di stile
trasferimento dove è possibile mescolare insieme
questo tipo di componenti e mentre questo
è in realtà un esempio piuttosto brutto c’è
ce ne sono alcuni buoni, lo prometto
alcune cose molto più complicate
può farlo non è come prendere due
immagini insieme e unendole
insieme puoi fare cose come
trasformando un forse non super grande
disegnare qualcosa che potresti
probabilmente dipingere abbastanza rapidamente
qualcosa che sembra un artista
o qualcosa che è davvero fantastico e
l’idea sarebbe che tu possa davvero
prendi questi doodles arbitrari e convertiti
loro in queste cose che sembrano
dipinti e questo tipo di cose è
davvero fantastico e penso che sia solo il
inizio del genere di cose che noi
può fare con l’arte della rete neurale ma dopo
in pratica meno di un anno di lavoro su
questo stai facendo applicazioni che sono
già molto tangibile, molto fantastico
questo è già qualcosa che se ho fatto
questo probabilmente riagganciare nel mio
soggiorno e questo è stato solo uno
anno di lavoro immagina cosa succede
in 10 anni ho salvato il meglio per ultimo in
termini d’arte possiamo combinare le nostre immagini
senza di Pokemon così chiaramente il futuro
è qui, questo è uno dei miei coronamento
risultati penso principalmente perché
L’ho fatto con dozzine di
la gente e solo la mia sono andate bene ma
si, penso che sia davvero fantastico
c’è così tante cose da fare
qui e così poche persone ci stanno lavorando
e che il cielo è davvero il limite
quindi è davvero eccitante cosa su
tipi di cose che possiamo essere creati
qui c’è stato un altro enorme risultato
il gioco è stato davvero grande se
chiunque ha visto miniere profonde 500 milioni di dollari
acquisizione nel 2013 all’incirca l’unica
la carta che avevano in quel momento era
imparare a giocare ai giochi Atari da pixel
che potrebbe essere più difficile di quanto sembri
perché gli umani hanno un priore su come
gioca il gioco come se fosse a
prima che questa sia forse una palla e
questa è una pagaia e voglio distruggere
certe cose dove erano prima
che una chiave apre le porte o che le strade lo sono
qualcosa che voglio rimanere in una guida
gioco ma reti neurali non ne hanno dato
di questi priori è letteralmente solo
dati i pixel dati queste immagini
impara a giocare a ciò che è sulla mediana a
livello sovrumano e le tecniche hanno
continuando a migliorare e questo
tipo di cose che hanno trucchi molto simili
stato applicato al molto più recente
risultato di google deepmind alfa GO
rete che non era così grande di a
trattare in Occidente, ma se mai parlare con
gente dal mondo più orientale tu
possono parlare con loro di qui sono i
risultati di apprendimento profondo parli
su smart inbox e sono come oh
va bene, parli di immagine
cerca sì, va bene, allora
tu parli di loro come oh si
che sarebbe anche essere il campione del mondo andare
e sono come se avessimo battuto i giochi
è incredibile e la gente lo ha predetto
anche battendo umano
andare probabilmente dipenderà dal
esperto da 10 a 100 anni di distanza e
successo che è appena successo è già
fatto è già quello che gli umani hanno
perso che va e come un effetto collaterale goez
ha anche causato più paura per la sicurezza dell’IA
di qualsiasi altra rete neurale credo
e questo è probabilmente un bene
rappresentazione di ciò che non so come
si chiariamo che questo è un XKCD
di come pensavano le persone difficili
questi giochi erano e puoi vedere come
fondamentalmente essendo l’ultimo al livello di
il computer perde ancora per gli umani e
allora non tutti questi sono risolti ma
questo è semplicemente incredibile
questo è ora risolto persone sono state
cercando di chiedere come se potesse farlo
cosa non può fare perché andare è un compito
questo richiede molto ragionamento e
questo tipo di risultati sono stati
essere trasferito nel fisico
mondo come questo è un google ha piace
una fattoria con un mucchio di robot che
hanno imparato da soli a cogliere
oggetti e fondamentalmente controllo della robotica
di solito è piuttosto difficile specialmente quando
stai cercando di renderlo generalizzato e
sono stati in grado di farlo solo da te
sapere buttare i robot in un buio
magazzino avendo un treno per un po ‘
progettando una funzione obiettivo carina e
ha appena imparato a capire meglio le cose
che i loro controller di progettazione a mano hanno fatto
che è stato davvero fantastico e di più
recentemente in realtà penso che ci sia stato un
video come quello è uscito la scorsa settimana di
nvidia usando solo l’apprendimento profondo per
auto a guida autonoma, quindi l’ idea era simile
con una sola telecamera di fronte
la tua auto ora la tua auto può imparare a guidare
può guidare da solo a imparare da
come hanno guidato gli altri e questo è un
risultato molto interessante perché anche
google ha lavorato per non lo so
se fosse già un decennio
che hanno lavorato su
auto a guida autonoma usando il lidar
e sbattere e tutte quelle cose e
Nvidia è stato raggiunto da alcune misure
loro interamente dentro penso che sia stato
meno di un anno da quando sono stati
investendo in questo così tante cose
sembra stia cambiando un sacco di cose
specialmente questi tipi di percezione
compiti perché la ricerca si sta muovendo così velocemente
Devo anche passare un po ‘di tempo e
cose che non sono ancora pratiche ma
potrebbe ben presto essere un disclaimer
Ho viaggiato questo fine settimana, quindi lo sono
non sono sicuro se alcune di queste cose appartengono
nella categoria già risolta
la generazione è grande ci sono tonnellate e
un sacco di cose che stanno succedendo alla generazione, quindi io
sicuramente non posso dargli giustizia c’è
roba davvero bella e come solo
generare immagini da zero e
generando arbitrariamente altri domini da
le immagini scratch sono solo le più visive
quindi li ho qui ma alcuni dei
il più bello e forse il più pratico
gli esempi sono generazione condizionale
qualcosa di cui sono davvero entusiasta è
immagine al testo quindi l’ idea è che tu abbia
preso un’immagine di input e l’output è
non come sì o no, indipendentemente dal fatto che il
motore dei cani ma fornisci una descrizione
dell’immagine e questo è come un
compito estremamente umano che sia estremamente
utile se lo fai bene
sembra così tutto il resto
possibilità Sono molto entusiasta
come prendere un’immagine medica e come
emettendo come un report di piega di esso
che sarebbe davvero fantastico e alcuni
persone che sono davvero entusiaste
questo che ha applicazioni nel molto
a breve termine non conosco la strada giusta
per dirlo, ma come la povera vista
comunità così le pagine web hanno oggi
sono stato piuttosto male per le cose per le persone
con disabilità e immagina se tu avessi
una rete neurale che può solo descrivere
un’immagine per te descrive una pagina per te
ti dico cosa c’è nella pagina in un molto
modo sommario semantico e c’è anche
un problema esattamente opposto che è
invece di prendere un’immagine e
emettendo una descrizione che prendi in a
descrizione e non inserire un’immagine che
come artista terribile idea sono probabilmente un
un po ‘più eccitato perché invece
di come posso descrivere le foto che non posso
li disegna davvero e come questi sono molti
meglio già di quanto possa disegnare ma
quello è probabilmente una barra bassa ma in questo
tipo di rete che in realtà assumi
come un testo di frasi e tutti questi
le immagini sono generate da quella rete
e questo è piuttosto incredibile
non sono super fantastici ma come questi
gli uccelli sono in realtà ci credo
sono reali il fiore non è il
quelli viola
ma in realtà lo vedono vicino come se
Io se fosse stato ingrandito abbastanza potrei
vedere questo è essere abbastanza reale e può
ti immagini in un futuro dove invece di
dovendo spendere milioni di dollari in a
film come se lo scrivessi e poi
una rete neurale genera solo il
film per te siamo abbastanza lontani da quello
ma forse non così lontano specialmente
come con un lavoro concentrato e questo
potrei nominare come tutti i tipi di come nuovo
forme di creatività che le persone non fanno
anche sapere mentre linguaggio
la comprensione fa abbastanza bene c’è a
comprensione del linguaggio più profonda che noi
può tipo di solvente di compiti, ma è
un po ‘più difficile per un compito reale quindi QA così
rispondere a una domanda carina che richiede
ragionamento più complicato come se
hai una storia qui e chiedi
una domanda complicata come
dov’è il calcio allora sì, come andare
torna nel negozio e scopri dove
quel genere di cose è successo a quella cosa
tipo di persone complicate sono molto buone
a questo scopo i modelli possono risolverli
quelli semplici piuttosto bene, ma non possono
vero, fai ancora una domanda vera e una risposta
che è sfortunato, ma qualcosa
le persone si preoccupano davvero e noi no
c’è ancora, ma mi piace anche come
fantastico questo problema suona è così
le nostre macchine che ci piacciono fondamentalmente
non ho lavorato su solo automaticamente
impara un livello superficiale di ragionamento come
è come un primo vero problema
mentre c’è un linguaggio simile
capendo c’è anche visuale
capire che è um tipo di
irrisolto c’è un qualcosa di fantastico
set di dati che coinvolge immagini e
domande e l’obiettivo è trovare un
risposta e i modelli ci sono modelli
quello può fare abbastanza bene a questa operazione ma
ancora non molto buono e ancora come la faccia
significativamente peggio di quanto facciano le persone
questo genere di cose è qualcosa che noi
non posso ancora farlo mentre è in corso la partita
Risolto il difficile gioco di gioco è ancora un
problema aperto e potresti pensare più difficile
gioco a giocare a mio fratello di cinque anni
può giocare a Minecraft e lui quasi
certamente non può battere il campione del mondo
in corso
più difficile in questo caso significa stateful
si scopre che gli umani sono davvero bravi
nel ricordare qualcosa mentre era neurale
le reti hanno qualche difficoltà con questo
le reti neurali che le persone hanno
stato utilizzato per giocare sono stati
completamente apolidi quindi quando hai un
mondo parzialmente osservato come Minecraft
dove ti piace solo avere una direzione
che stai guardando se ti piace guardare
a sinistra dimentica cosa c’era sul
giusto e questo è qualcosa che le persone
stanno ancora lavorando per risolvere è lo stesso
cosa con doom e il lavoro è stato
fatto un po ‘ma è lontano dall’essere un
problema risolto e io ci credo
sono ancora subumani in questo compito
ci sono cose davvero interessanti con
automaticamente scoprendo gerarchico
struttura così in lingua
le strutture gerarchiche possono essere chiare
noi perché usiamo il linguaggio come
carattere un limite di parola di carattere tuo
i sensi sono fatti di parole, i paragrafi sono
fatto di sensi è così
gerarchia semantica che lo rende facile
per abbattere un problema in più semplice
problemi ma questo non è il caso in
molti domini e ci sono state persone
chi ha progettato reti neurali che possono
in realtà lo scoprono automaticamente
gerarchia e questo potrebbe essere davvero
utile per compiti in cui non sappiamo come
interpretare così qualcosa che ho
ha lavorato un po ‘su genomica e noi
davvero non so nemmeno come leggere
genomica giusta ma se una rete neurale
e automaticamente lo suddividono in mi piace
questa parte va insieme a quella parte
sai che ci sono connessioni tra
qui e qui questo potrebbe effettivamente aiutare a
tutto con tutti i tipi di diverso
tipi di compiti scientifici solo puramente
dai dati questo è quando diventa un po ‘
un po ‘informatico ma queste sono cose che
Sono eccitato come informatico
c’è questo modello chiamato neurural turing
macchine che impara ad usare come un grande
buffer di memoria che è molto bello per te
può effettivamente vedere come la rete
legge, scrive e legge per
copia un input ci sono modi per implementare
strutture dati differenziabili, quindi cose
che hai pensato a dove invece di avere
come questa scatola nera di arbitraggio simile
le attivazioni con la matrice ti moltiplica
può effettivamente collegare una struttura dati
in una rete e ora la tua rete può
imparare a fare cose come spingere e
spuntando in una pila di cui sai arrivare
entrambe le estremità di una coda e tutte queste
tipi di cose e questo potrebbe
potenzialmente abilitare tutti i tipi di molto
Buoni casi d’uso
come hanno imparato a programmare le persone
alcuni lavori in cui è possibile creare modelli
che non solo può avere un input semplice
mappature di output ma come intermedio
in questa mappatura dell’output in ingresso possono
impara le subroutine e gioca con i puntatori
e questo in realtà li rende molto molto
calcolo generale come potenzialmente
potrebbe fare tutti i problemi che ci interessano
se puoi imparare subroutine e giocare
con i puntatori è come se potesse imparare
astrazione automatica per te e per
mettendo insieme queste cose le persone
sono stato in grado di fare cose come
imparare a eseguire effettivamente il codice in modo che
l’idea sarebbe data come il codice è a
stringa e bersagli per quel codice come
ciò che l’output è puoi effettivamente
impara un interprete per quella lingua
e questo è davvero eccitante per me come a
tipo di linguaggio di programmazione come forse io
potrebbe progettare un linguaggio di programmazione no
implementandolo ma mostrando solo un
un sacco di esempi e il
l’implementazione avviene automaticamente
per me o forse potrei semplicemente scrivere il
casi di test per la lingua e una neurale
la rete può generare un efficiente
linguaggio per me e qualcos’altro
è legato a tutte queste cose è questo
è molto presto, ma penso molto
le persone sono davvero entusiaste di questo
quali sono le reti di moduli neurali che siamo
invece di avere un’unica architettura
che giochi con te puoi avere
architetture che puoi avere a
libreria di componenti e che F per
ogni singolo esempio fai un costume
architettura e l’hai uscita così per
esempio se hai la domanda
rispondendo alle attività e hai un’immagine e
hai una domanda dove è il cane
invece di utilizzare una rete arbitraria
quello contiene la domanda e il
rispondi che in realtà lo converti
domanda in una rete neurale personalizzata
che combina un modulo cane con un dove
modulo e genera la risposta e questo
tipo di cosa è molto presto, ma davvero
promettendo così che sia tutto per il
futuro , spero che voi ragazzi lo siate
pompato per approfondire alcuni problemi
c’è un sacco di software per aiutarti
Non ho intenzione di parlare di quello giusto
ora perché c’è un sacco di tutorial
là fuori e penso al livello alto
la comprensione è molto più importante la mia
la raccomandazione è che se lo desideri
personalizzare un sacco di cose
il piano intensivo theano è il migliore perché
ti permette di ottenere questo automatico
differenziazione che stavo parlando
allora non devi mai preoccuparti per il
indietro veloce in fondo e se vuoi
usare semplicemente come i moduli che io
parlato così come pochi altri
Karis può risolverlo e puoi farlo a
molte di queste cose con Karis se tu
voglio fare questo c’è molto di più
imparare a fare e il diavolo è davvero dentro
i dettagli quindi ero di altissimo livello
con un sacco di roba ma tutti mi piacciono
ci sono così tante piccole cose che tu
bisogno di sapere come si fa come
esegui gli aggiornamenti in un modo simile
non fa crescere i tuoi parametri
troppo grande come si inizializza il
parametro non deve essere banale
funzione come non si adatta più del tuo
set di allenamento quindi c’è un sacco di
risorse là fuori il mio preferito è
questa lezione di stanford di Andre Carpathia
cs2 31 n è specificamente incontinenza
ma è costantemente aggiornato con
roba allo stato dell’arte ed è
generalmente di altissima qualità, quindi penso
è molto accessibile per chiunque come
principiante a molto avanzato e se tu
vuoi fare questo probabilmente hai bisogno di GPU o
50 Penso che sia per il momento così dispiaciuto I
stava correndo alla fine con qualsiasi
domande anche io ho queste diapositive che
è lo slide dovrei lasciarlo su alcuni
le domande qui vanno in modo che uno è come possiamo
evitare che le auto autonome prendano il
cattive abitudini umane come possiamo evitarlo
le auto autonome prendono cattive abitudini umane
questa è una domanda molto interessante è
molto dipendente da come sono le macchine
addestrato quindi se si allena un’auto da copiare
le cattive abitudini delle Nazioni Unite quindi se si allena una macchina
copiare gli umani che è di gran lunga il
la cosa più semplice da fare non è il massimo
cosa corretta da fare perché la maggior parte
la cosa corretta da fare sarebbe imparare
come guidare in modo ottimale da zero
sfortunatamente comporta tentativi ed errori
ma probabilmente non lo vuoi
auto a guida autonoma, quindi possiamo saltarlo o
regole hard coded quindi cosa succede
è se ti stai allenando per imparare da
gli umani imiteranno quegli umani ma i
l’idea è che se gli umani ti commettono degli errori
come speriamo diciamo che vuoi
fare errori e diciamo che gli umani no
fare errori coerenti se non lo fanno
fare errori coerenti e diversi
gli umani fanno diversi tipi di errori
sono gli stessi human-like solo rende
fa errori a volte e tu hai un
rete neurale che la rete neurale può
prevedere l’aspettativa di ciò che il
l’umano può fare piuttosto che il caso peggiore
scenario quindi se sei gentile puoi pensare
di umani come un Samba in questo caso
che se stai predicendo ciò che il
la media di un gruppo di umani può farti
può guidare meglio di una lattina umana ma se
gli umani si comportano in modo coerente se umani
commetti costantemente errori poi c’è
niente di ciò che puoi fare a parte questo
ottenere più dati penso che abbiamo tempo per
ancora una cosa cosa ne pensi della chat
BOT è possibile costruire solo con
apprendimento profondo sì, in realtà ce ne sono molti
startup che stanno facendo questo adesso
quindi questa sembra essere la prossima ondata
le startup sono come la cosa giusta
ora dove le persone stanno cercando di usare la chat
BOT per fare ogni genere di cose per piacere
domini molto specifici ne ha alcuni davvero
belle proprietà da un punto di vista commerciale
vista perché il tuo obiettivo è quello di sostituire
gli umani che si comportano così è molto facile
come sostituirli con un algoritmo
perché gli umani quando hai se tu
avere un gruppo di loro generano un
mazzo di dati quindi è molto plausibile
è ancora difficile per la chat BOT è gentile
di come il problema del gioco in cui
è difficile per i BOT di chat avere un ricordo
di quello che hai detto, quindi se si parla di
come Oh, sai, l’apertura di questo menu
e sai andare qui, qui e qui
e potresti averne cinque
frasi più tardi potrebbe dire la chat BOT
la stessa cosa perché i testi dei neuroni
Ho ancora problemi di memoria, penso
è così, per favore, ricordati di votare e
diamo un grande applauso
grazie
Please follow and like us: