Press "Enter" to skip to content

GOTO 2017 • Machine Learning with TensorFlow • Robert Saxby & Rokesh Jankie


[Musica]
quindi io Robert questo rakesh quello che stiamo andando
fare oggi è passare attraverso dieci storie
ovviamente ad un certo punto lo faremo
iniziare con un po ‘di background
perché imparare a macchina perché ora e anche
alcuni dei passaggi che dobbiamo essere
in grado di eseguire effettivamente l’apprendimento automatico in
produzione e poi andremo
attraverso alcuni esempi stavano andando ad alcuni
demo nella seconda metà del
sessione in cui stiamo effettivamente andando
guardare a come possiamo sì prendere il nostro
modello e effettivamente distribuirlo e allenarsi
e fare previsioni, quindi siamo molto
molto interessato a quello che serve per ottenere
l’apprendimento automatico in produzione, quindi l’ho fatto
ottenuto un clicker da qualche parte in realtà dove c’è
che okay ci andiamo grazie così
apprendimento automatico su Google non lo so
quanti di voi hanno familiarità con Google
la maggior parte delle persone conosce Google come una ricerca
società come società pubblicitaria come
stiamo diventando sempre più di un nome
ora come azienda di cloud stiamo lavorando
molto duramente per costruire quel nome, ma questo
la foto descrive meglio cosa succede a
Google direi che il 50% del
persone che lavorano su Google molto di più
il 50% sono ingegneri e la maggior parte di quelli
gli ingegneri sono impegnati a fare davvero
sicuro che ciò accada che abbiamo dati
infrastruttura attraverso il pianeta è a
gran parte della storia che sto per dirti
quindi inizieremo con questo
solo per darti una specie di idea questo è
la nostra rete a livello globale e questi sono i
data center che usiamo per il cloud perché
ti sto dicendo questo
bene la nostra esperienza di Google è
in pratica se vuoi essere in grado di farlo
apprendimento automatico se si vuole fare
qualcosa di intelligente
i dati si ha accesso ai vostri dati
i dati devono vivere da qualche parte così
tutto davvero tipo di inizia fuori al
livello di infrastruttura prima che possiamo
ottenere qualche cosa in produzione abbiamo bisogno di
fare in modo che tutto questo è in ordine
e vedremo uno dei
sfide qui oggi prima di andare in
i componenti di apprendimento automatico
fondamentalmente molto brevemente come noi
elaborare i dati per entrare effettivamente in a
posto dove possiamo effettivamente iniziare a fare
qualcosa con esso così
Mi piace questa diapositiva perché quando sei
cercando di fare qualsiasi cosa con i dati o
apprendimento automatico se non lo sei davvero
pensando da zero come
hai intenzione di mettere insieme queste cose
si sta andando a finire in una situazione
la sinistra e questo è quello che abbiamo avuto molto
di esperienza in compagnia di effettivamente
imparare quello che serve per essere in grado di
costruire cose e tendono a fluire è
in realtà parte di quella storia quindi Google
nuvole
questa è la nostra piattaforma di cloud parleremo
su cosa facciamo con flusso denso e
lì in un momento
ma Google Cloud fondamentalmente il nostro obiettivo
con Google cloud è quello di darti un
opzione da calcolare diciamo in a
modo diverso piuttosto che solo in a
spazio diverso, per esempio, abbiamo
tendono a fluire o kubernetes
quello che stiamo cercando di fare è assicurarci
che abbiamo piattaforme open source
puoi usare per sviluppare il tuo codice e
allora ti daremo uno spazio all’interno del
Google cloud per eseguire effettivamente questo essere un
servizio gestito così quando sei in realtà
eseguendo questo in produzione non lo fai
devi preoccuparti perché sai crescere
non devi preoccuparti, diciamo
tempi di inattività che tipo di problemi è possibile
davvero concentrarsi sulla funzionalità di
la tua domanda è molto breve
introduzione e mi sto muovendo attraverso questo
parte un po ‘ velocemente, quindi possiamo ottenere
sulla carne di esso ma questo è molto
breve panoramica di cosa è Google Cloud
puoi vedere alcuni dei quali sono a fuoco
guarda la nostra analisi dei dati e la nostra macchina
imparando così oggi vedremo
e la demo che andremo a vedere
stavamo cercando di approfondire la tua rete
tensorflow è particolarmente buono per
creare reti neurali profonde posso avere
un rapido alzando le mani nel pubblico che è
in realtà lavorando su reti neurali profonde
è che ha fatto qualcosa di profondo
reti neurali
lei di quelle persone hai fatto un po ‘
roba con tencel floridi ok qualche altra
altri quadri che stai usando
c’è forse MX net e tu vuoi urlare
fuori un quadro che stanno usando a
al momento ok la cura del parlare cognitivo
noi ok caris non sono contento che tu abbia menzionato
quello grazie a cui torneremo
che tra un po ‘, quindi credo che tu abbia
tutti hanno visto questo tipo di insorti di
e machine learning in questi ultimi pochi
anni e io ora perché sta accadendo ora
perché molti di questi concetti hanno
è stato intorno per un po ‘non lo è
che decidiamo di sapere
anni fa con l’ apprendimento automatico e
le reti neurali sono alcune di queste cose
è stato intorno dagli anni ’60 credo
ed è anche per questo che stiamo portando
queste presentazioni insieme
nuvole è una nuvola sta giocando molto
parte importante in tutto questo movimento a
effettivamente fai l’apprendimento automatico se tu
pensa a ciò di cui hai bisogno
ingredienti per un buon apprendimento automatico
ovviamente ha buoni modelli e
abbiamo visto nell’ultimo anno che quelli
anche i modelli sono stati migliorati
ovviamente quando puoi iniziare a programmare
e inizia effettivamente a girare sempre di più
i modelli che hai più opportunità iniziano
migliorando quelli di cui hai bisogno anche per migliorare
memorizzare grandi quantità di dati e hai bisogno
su un processore e non so se
chiunque può identificare questo questo chip
sulla destra
TenPoint vedere scusa CPU bene abbiamo ottenuto un
immagine molto migliore di esso più tardi
qualcosa mi rende abbastanza felice così dentro
Google Cloud abbiamo due modi di
in realtà affrontando apprendimento automatico uno
è con decine di flusso e l’altro è il nostro
l’ AP gestito è così con un AP gestito
quello che stiamo cercando di fare è in noi in questo
modo in cui vogliamo democratizzare la macchina
imparando così, diciamo comune
problemi a pensare a cose come OCR
pensa di pensare al discorso che stiamo per fare
guarda una demo in un attimo con il video
per cose che possiamo effettivamente sapere
possiamo creare questo modello che possiamo addestrarlo
e non possiamo portarlo sul mercato
e sai che le persone possono usarlo in a in
un modo semplice diciamo per uno sviluppatore di
in realtà usa quello che incorpora quello nella loro
l’applicazione potrebbe essere naturale
elaborazione del linguaggio per esempio
la traduzione fondamentalmente vogliamo correre
creando creando sai facile da usare
apri le API ma per le cose dove
stai effettivamente costruendo i tuoi modelli
il nostro approccio e questo è okay
disponiamo di un framework open source e
stiamo guardando un momento su cosa
tensorflow è e ciò che l’idea è
dietro l’architettura di turno piano
in modo che tu possa effettivamente prendere il tuo modello
vai e allenalo ovunque tu voglia o tu
sai costruirlo dove vuoi allenarti
ovunque tu voglia e poi anche posto
dove si vuole in modo da poter fare il vostro
previsioni e cosa facciamo nel cloud
lo spazio è in realtà offre una gestione
servizio in cui puoi effettivamente prendere il tuo
modelli di flusso teso e saremo alla ricerca
a quello per eseguire effettivamente quelli e addestrare
anche loro nella nuvola fanno
previsioni in modo da sto andando dare un po ‘
demo di uno di questi ap
e poi ti mostrerò l’architettura
anche dietro di esso ovviamente sono andato
modo sbagliato un secondo l’effetto demo
prima che la demo sia iniziata
meraviglioso questo è ciò di cui è uno di questi
quei nuovi Mac che ho dato loro
tempo difficile per tutto il giorno, quindi lo farò
continua il tema ora, quindi ecco un
applicazione che un paio di colleghi
dei nostri messi insieme per usare effettivamente il nostro
API video in modo che possiamo realizzare video
ricercabile quindi in questo esempio eccomi qui
andando a cercare il cane e sta andando
per darmi tutti i video che hanno cani
quindi faremo clic per arrivare a questo
video Sto cercando un cane qui come
bene ci siamo
e se effettivamente vado a questo punto in
il video dovrei essere in grado di vedere se
c’è un cane allo stesso modo se me ne vado
a questo punto nel video qui dovrei
essere in grado di vederlo c’è una torta lì
andiamo
Posso andare avanti ma tu hai l’idea e allora
ci vuole per costruire un’applicazione
così per quanto tempo pensi ci sia voluto
per mettere insieme questa applicazione ore
giorni che non sono sicuramente quelli di noi
pensavo alla sfida di Keg lì
no no, per cui devi lavorare duramente
quello spiacente abbiamo fatto test su questo
uno i ragazzi hanno messo insieme è da
il mio dev rel non ho intenzione di dire che l’hanno fatto
un sacco di test non un paio d’ore
torniamo alla presentazione
è l’ architettura e questo usato così io
test significa o no sì, certo che tu
potrebbe è possibile scrivere i test se si tratta di
conosci le applicazioni in corso
produzione per I do not a – first but
stiamo guardando qui cosa puoi fare
con un’API aperta, quindi cosa puoi fare con
una delle nostre API è per l’apprendimento automatico
quindi in pratica quello che abbiamo fatto è che abbiamo
video caricati sul cloud storage a solo
un archivio di oggetti che abbiamo un servizio
funziona lì ascoltando così quando a
il video arriva, sparerà un’API
chiama e in effetti elabora quel video e
recuperare i metadati che consisteranno
di qual è il contenuto di quel video e
sarà anche costituito da cose come il
il timestamp quando puoi trovarlo così
con i metadati che possiamo poi servire
stiamo usando App Engine qui che sono
piattaforma as-a-service
per creare effettivamente un piccolo
applicazione web e stiamo legando questo
insieme a elasticsearch così puoi
effettivamente cercare attraverso quelli
le applicazioni cercano attraverso quei video
scusa, questo è davvero un esempio di
qualcosa che puoi mettere insieme e
ovviamente se hai intenzione di costruire questo
per la produzione giusta i tuoi test e
tutto il resto, ma è un esempio
senza avere alcuna conoscenza di
machine learning che cosa potresti creare
sai come usare una di queste API ma
il resto di questo discorso andremo a vedere
su quello che serve per fare davvero
quei modelli te stesso o importanti
quello che serve per ottenere quei modelli
alla produzione quindi questo è il nostro Wow
interpretazione di ciò che il popolare
l’immaginazione dell’apprendimento automatico è così
un sacco di dati difficili per la matematica e magici
risultati è piuttosto una cattiva interpretazione
di quello che succede con l’ apprendimento automatico
non fa molta giustizia a tutti i
duro lavoro che va in esso è la realtà
questi dati di raccolta costano un sacco di
sforzo per organizzare che i dati costano molto
di sforzo e prima ancora di poter pensare
sulla creazione di un modello che è necessario
davvero fare quei primi due passi poi noi
avere la creazione del modello allora
dobbiamo pensare a dove stiamo andando
per andare a formare quel modello con un
dati disponibili ecc. e infine alla fine
di ciò abbiamo qualcosa che possiamo
distribuire in realtà fare previsioni così
questo stiamo andando a tornare a volte
oggi ma questa è un’architettura di come
potremmo realmente affrontare un problema che
dove vogliamo creare effettivamente il nostro
modella e portalo in produzione così
ci sono due righe qui che ho chiesto
a guardare in alto e in basso a
in cima stiamo fondamentalmente guardando a cosa
serve per allenarsi e in fondo
stiamo guardando quello che serve per
in realtà servono così ci sono alcune cose
qui o degno di nota, quindi stiamo usando
il servizio cloud ml per entrambi i treni
il nostro modello è un modello di flusso teso e lo siamo
usandolo per fare le nostre previsioni noi
potrebbe avere quelle previsioni fatte da un
telefono cellulare e al posto di
andando sapete tramite una chiamata API a
effettivamente ottenere la nostra previsione che potremmo
distribuire effettivamente il modello compilato in a
telefono per esempio se vuoi farlo
qualcosa offline ma in questo particolare
caso stiamo andando a guardare a farlo
Chiamata API per ottenere il nostro risultato in cima
useremo il flusso di dati che siamo
andando a esaminare quale flusso di dati è Let’s
dire che una mappa produce una struttura leggera e
è fondamentalmente per batch unificato e
streaming e io entrerò in quello in a
momento e vedrai anche in fondo
erano anche
utilizzando il flusso di dati e l’idea è qui
che tutto ciò che si sta andando a fare per
essere in grado di addestrare i tuoi dati e a
estrai quelle caratteristiche e poi effettivamente
fai quelle previsioni che probabilmente sei
andando a dover fare lo stesso quando sei
in realtà facendo questa previsione così se
pensi a okay, dov’è quel dato?
venendo da ciò che devo fare
per estrarre le caratteristiche necessarie a
effettivamente fare quella richiesta così non lo farebbe
è bene avere un qualche tipo di
quadro in cui sai quando sono
lavorando in forse in modalità batch o in
modalità streaming potrei effettivamente usare il
stessa pipeline quindi guardiamo prima al
raccogliendo e organizzando i dati così sono
sto per fare un esempio di uno di
i problemi difficili che abbiamo quando
arriva a raccogliere effettivamente dati e
come potremmo risolvere così questo diagramma
qui è in realtà se mi lasci chiedere il
le persone a cui mettere le mani se lo sei
già lavorando con i dati di streaming se
stai lavorando con dati in tempo reale e
alza le mani se fai cose
con batch quindi ora metti le mani fuori se
sei felice di come stai elaborando
dati e metti la tua mano e metti la tua
mani in alto se non sei contento di come
stai elaborando i dati in modo da avere a
poche mani su non sono felici la maggior parte di
il momento in cui mi chiedono quella partita
sono abbastanza felici perché quando lo sei
batch di elaborazione e tutto è
già predisposto per te in modo così sostanziale
il tuo set di dati è completo, lo sai
esattamente quello che conosci il tutto
tutta la popolazione è lì lo sai
quello che sta succedendo non devi aspettare
perché le cose arrivino per le cose
non venire nell’ordine sbagliato o
qualunque cosa tu possa elaborare è abbastanza
comodo da elaborare quando ti muovi
che in uno streaming diciamo spazio
il problema è che non sai quando il tuo
i dati arriveranno non sai se
quei dati arrivano nel giusto ordine
non sai se ti mancano i dati così
come hai intenzione di affrontare
quelle cose prima che tu possa iniziare
elaborazione così in questo esempio qui che cosa
stiamo andando a guardare è l’elaborazione
tempo e tempo dell’evento e lungo il fondo
il tempo dell’evento è fondamentalmente qualcosa
succede ora e nei tempi di elaborazione
quando lo riceviamo e decidiamo di farlo
qualcosa così tutti quei piccoli puntini
la cima in cima ci sono tipo di
difficile per noi perché sono venuti tutti
conosci molto più tardi di loro
in realtà poi si sono verificati così come noi
andando a trattare con quelli così questo sei tu
sapere qualcosa che normalmente stiamo spiegando
come 10 o 20 diapositive andranno
attraverso e tenta di provarlo e farlo dentro
uno
se guardi la filigrana ideale
questa è una linea tratteggiata
quindi questo è il momento dell’evento e il processo
e il tempo accade nello stesso momento e
se guardi i punteggi ora così i punteggi
quindi dovrei spiegarlo, quindi facciamolo
immagina che questi dati provengano
da qualche parte a giocare e noi siamo
guardando una persona che gioca e
praticamente ogni volta che ne ricevono un po ‘
punti che stiamo inviando al nostro server
e poi vogliamo elaborarlo così il
la prima cosa che facciamo qui è creare un
filigrana euristica loro vedono il mio
la filigrana è verde e poi la sminuzziamo
questo in Windows che vogliamo
processo e quelle finestre possono essere riparate
il tempo in cui potrebbero scivolare lì può essere
le sessioni dipendono da sapere cosa sei
trattando in questo particolare esempio
abbiamo finestre temporali fisse appena possibile
quelle finestre chiuse diciamo che è così
il punto più lontano a destra del
filigrana come si arriva alla fine del
finestra puoi fondamentalmente fare qualcosa
con i tuoi dati così nella prima finestra
per esempio non appena lo otteniamo
la finestra si chiude, possiamo dire che abbiamo un
il punteggio di cinque secondi di finestra si chiude e
così su ciò che il raggio di Apache ti permette di fare
è quello di prendere quell’idea di finestre e
anche prendere in considerazione l’idea di
innescando per le cose che sono successe anche
tardi o troppo presto , per esempio quelli
nove punti che abbiamo segnato lì
in realtà è successo a 202 ma non l’abbiamo fatto
processalo in due parti, quindi cosa sei
andando a fare in quel particolare momento
e in questo caso cosa faremo
è in realtà accumulare i dati in questo
riquadro e quindi aggiungerlo per ottenere il
risultato completo che potresti anche scartare
in realtà dipende il vostro caso d’uso, ma
quello che vogliamo mostrare qui è il raggio di Apache
è un framework open source che possiamo
utilizzare di nuovo con un dato di servizio gestito
flusso per effettivamente prendere i nostri dati e
raccogliere i nostri dati e poi fare qualche tipo
di MapReduce come l’elaborazione in realtà
avere quelle fonti di dati in modo che possiamo
effettivamente fare la nostra mossa di apprendimento automatico
più tardi volevo solo guardare uno dei
le sfide particolari e questi
le cose in particolare in genere occupano a
molto più tempo di quanto la gente ti aspetti
sapere che la gente vuole essere impegnata con
la parte di apprendimento automatico attuale e in
la nostra esperienza la messa a fuoco effettiva
raccolta di dati e elaborazione di
i dati richiedono una quantità considerevole di
sforzo così ora stiamo andando a passare a
la seconda parte del del
catena che è la vera creazione di
la modella e poi usandola come sono
facendo per tempo
ok, va bene, torniamo al
ricominciamo e ora stiamo andando
passare al decimo flusso in modo da iniziare
questa è una storia molto breve di tempo
corro Non ho intenzione di leggere tutto ma
cosa sto per dirti di tempo
di flusso è un po ‘il motivo per cui noi
creato così quando stavamo cercando nella nostra
propria compagnia per effettivamente abbiamo avuto
ricercatori che lavorano su apprendimento automatico
i problemi sarebbero venuti fuori con un grande
modellare una grande soluzione e poi faremmo
devo portarlo alla produzione e poi
c’era davvero questo grande sforzo
prendi ciò che abbiamo fatto nella ricerca e
quindi portarlo in produzione così noi
necessario per assicurarsi che avessimo un
quadro o un progetto che potremmo
in realtà prendere le cose che eravamo
facendo nello spazio di ricerca nel
spazio di allenamento e portare tutto il
modo di produzione e in realtà il
spazio di predizione in modo che fosse uno dei
le idee chiave che stanno dietro al flusso di tempo hanno un’altra chiave
l’idea del flusso di tempo era in realtà
democratizzarlo per assicurarci che noi
apri questo e ottieni tanto
collaborazione e contributo dal
comunità in buca in questo modo lo sai
inizi a vedere crescere le cose e tu
conoscere le idee migliorando e questo tipo di
roba così tende a scorrere sulla
lato architettura per prenderlo in realtà
diciamo uno spazio dove sei
effettivamente giocando con un modello per il
prima volta in uno spazio dove sei
addestrando quel modello in un luogo dove
li farai davvero
le previsioni che pensi di che tipo di
architettura che vuoi usare dietro di noi
quindi in un caso potresti volerlo
fallo sul tuo laptop in modo che tu sappia usare
un quaderno di Giove o qualcosa di funzionante
sul tuo laptop e stai provando a te
sai giocare con un modello per il
prima volta ma non appena hai finito
che si potrebbe dire bene in realtà questo
sembra interessante iniziamo l’allenamento
alcuni dati e improvvisamente i tuoi laptop
non abbastanza buono più
quindi vuoi eseguirlo su un cross store
vuoi approfittare di GPU o
TPS che guardiamo anche una volta che hai
fatto ciò e hai addestrato il tuo modello
vuoi servirlo così tanto che vuoi
distribuiscilo da qualche parte e vuoi essere
in grado di fare previsioni con esso in modo che
stesso quadro dovrebbe essere in grado di nuovo
eseguilo in uno spazio dove puoi farlo
le previsioni diciamo da una nuvola
piattaforma e dovrebbe essere una moda ma
dovrebbe anche essere in grado di distribuire a
piccolo dispositivo come un Raspberry Pi o un
telefono così puoi effettivamente usarlo
quello che funziona in realtà
fare qualcosa di utile con esso così quelli
le idee erano come in diciamo nel
sfondo o su come stavamo andando
in realtà creano dieci per fluire così pochi
le cose sulle decine di flusso stesso è
un altro sistema di flusso di dati, quindi dovrebbe
guarda tutto dentro
è abbastanza ovvio per molte persone è un caso
di nodi interconnessi che stanno andando
per eseguire determinate funzioni che grafico
di nodi tutti i bordi sono in realtà n
matrici dimensionali o tensori quindi
nome tensore flusso cos’è un tensore a
il tensore è un array multidimensionale perché
è utile ma se ci pensi
qualcosa come una rete convoluzionale
una delle cose che vuoi fare
c’è una forma di dati come
passi da un nodo all’altro
quindi potresti in questo caso particolare se
ti stavi solo occupando di una scala di grigi
immagine potresti avere solo un canale
si sa quindi una matrice, se avete intenzione di
trattare con un’immagine a colori che potresti avere
tre canali e a seconda di cosa
tipo di dati che stai elaborando
potresti sapere crescere abbastanza considerevolmente
e se non sei stato in grado di farlo
trasportare tali dati tra l’uno
nodo al nodo successivo e mantenere la sua forma
non saresti in grado di fare cose del genere
campionamento convoluzionale quindi tutto quello che avrebbe avuto
per fare un inferno di un sacco di lavoro da
in realtà vai e rimetti tutto ciò indietro
di nuovo insieme se stai cercando di muoverti
per esempio, quella roba in una gara
un’altra cosa è avere stato così quando
stiamo effettivamente facendo questo processo
qualcosa che potrei comprarci, dobbiamo andare
e l’aggiornamento e abbiamo bisogno di mantenere quel
stato quindi c’è qualcos’altro che
tende a curare il flusso e l’ultimo
parte dell’architettura tencel è che
è distribuito in modo che possiamo effettivamente correre
alcune di quelle operazioni su alcuni di
quei nodi su macchine diverse o
diversi chip quindi questo è davvero un tipo
di panoramica di alto livello del
architettura dietro il flusso del tensore stesso
il flusso tensoriale è scritto in C ++ che abbiamo
API in C ++ e Python e Python che è
ovviamente il più popolare questo
ti dà un esempio
bene non ti dà un esempio questo
ti mostra l’ architettura di come noi
effettivamente utilizzare il flusso del tensore in modo che la torta in
l’arancione è ciò che abbiamo appena guardato e
ci concentreremo ora sul
Front-end Python quindi ci sono a
numero di livelli in cui puoi lavorare
qui abbiamo già parlato di Charis Charis
è lo stesso tipo di livello del nostro
stimatori quindi negli strati puoi andare
lì puoi creare tutti i tipi di
reti e qualunque cosa tu voglia ma se
stai lavorando in quel livello che ti serve
pensa a come stai andando
distribuirlo pure
quindi se hai intenzione di paralizzarti
questo funziona in modo che diventi più grande
modelli abbastanza complicati abbastanza rapidamente
se vai su di un livello sulla S
mater, quindi abbiamo già qualcosa in comune
agli stimatori piacciono cose come le celle LTM o
un convoluzionale ma abbiamo anche lì
sono la capacità di creare un’abitudine
stimatore e se usi una custom
stimatore quindi non devi preoccuparti
su come puoi effettivamente distribuire
questo o parallelizza il tuo tuo
rete quando si tratta di realtà
la formazione si
Caris opera allo stesso modo di
livello e sopra quello che abbiamo che è
abbastanza nuovi sono stimatori in scatola e questi
sono sostanzialmente stimatori a pieno titolo
che puoi praticamente usare fuori dalla scatola
per un particolare diciamo una regressione
o un problema di classificazione e lo faremo
avere sempre di più di quelli ma possono
essere per problemi molto comuni come voglio
per eseguire una regressione su questo non lo faccio
voglio fare tutto il lavoro questo è il mio dato
sai che è come ti sembra
devi solo mappare la forma e poi
puoi iniziare a usare quelli così indietro
di nuovo al TPU così uno di quelli
delle grandi cose che possiamo
offrire in questo spazio è andare oltre un
GPU quindi sono un tipi di queste cose
eseguire una cosa è di 180 teraflop per
chip quindi se hai davvero intenzione di iniziare
piacere allenare i tuoi modelli su scala
eravamo la prima generazione di TP
usando per inferenza e questo secondo
generazione sono disponibili per
formazione e inferenza nel cloud
quindi potresti davvero prendere il tuo
modello tensorflow che forse sei tu
in esecuzione sul proprio server e dire
in realtà ho bisogno di più potere per questo
e quindi potremmo effettivamente considerare l’utilizzo
TP usare in un sì in uno spazio cloud così
darti qualche esempio per quei numeri
si sa che cosa fa sguardo 180 teraflops ER
mi piace un esempio alcuni dei nostri
modelli di traduzione che stavamo correndo
con Chick-fil-un gattino noi prendere un paio di
giorni per allenarsi e ora con la loro età di
TP uso possiamo farlo nel nostro così è a
vero tipo di cambio di gioco a quel livello
e con questo abbiamo intenzione di passare a
la demo sì sì, quello che sto per mostrare
si sta codificando davvero, siamo tutti
sviluppatori se non sbaglio giusto così
tra l’altro solo per darti un’idea di chi
Era a I / o quest’anno Google I / O e
nessuno è sfortunato perché se tu
vedere questo TPU è davvero così grande in
questo ciao è ed è un processore giusto
immagina che il potere di calcolo sia okay
lo faremo adesso
ma ti mostrerò come si trasforma
il flusso può essere utilizzato in una buona pratica
situazione quindi con ciò che chiamiamo il
Google Cloud ml engine e cosa siamo
sta andando a fare di più o
meno sviluppare un modello ci alleniamo e noi
testarlo e testare che non sono come il
contesto come test unitario ma vedi se a
la predizione funziona bene, quindi è ora di farlo
alcune cose della vita vediamo la prossima diapositiva così
quello che farò oggi è che lo farò
concentrarsi sui dati disponibili e
Set di dati sul reddito del censimento degli Stati Uniti
sono circa 32.000 file in formato CSV
e sì ed è questo tipo di set di dati
che tu hai qui e che cosa stiamo andando
è come puoi usarlo per te stesso
immaginare un insieme di dati ora è possibile utilizzarlo
per te stesso e inizia a usare tensorflow
in un modo molto carino che ti permette di andare
alla produzione abbastanza veloce c’è a
piccolo errore su quella diapositiva non ha detto
comp aggiuntivo strato che è a
copia / incolla va bene è come confondere
chiunque così solo per darti un’idea di questo
è il set di dati che vedi qui
un po ‘grande ma questo per voi ragazzi così
tale che sia leggibile ma in realtà noi
prova a classificare se una certa persona come
può essere classificato come meno di 50k per
anno o superiore o superiore a 50k all’anno
questo è quello che cerchiamo di fare qui così
questo è il set di dati che stanno per fare
utilizzare e solo per tornare di nuovo risentimento così
cosa facciamo normalmente e penso che sia così
consigliabile per tutti è invece di
iniziare a programmare nel codice ufficiale dello studio di
VI o Emacs qualunque cosa tu possa iniziare a usare
i dati del cloud non sono altro
del quaderno di Giove che è familiare
con i quaderni di Jupiter va tutto bene
quindi per le persone che non lo sono
infatti una pagina Python interattiva dove
puoi documentare in markdown la maggior parte del
tempo e in codice Python e
e cambia il cappotto e vedi i cambiamenti
la vita sta accadendo quello che sto per mostrare
tu ora è che questo è immediatamente
disponibile nella console di Google Cloud così
bene la console cloud è l’ambiente
dove puoi iniziare le tue superfici e
fammi vedere dove si è leggibile
sì più o meno
quindi quello che puoi fare qui è qui su
in alto c’è un cloud shell attivo e
in effetti quello che fa crea piccoli come
Ho detto e istanza di Linux dove è possibile
comandi di fuoco e ora è provisioning
e se è lì posso iniziare i dati
istanza di laboratorio e connettersi ad esso così sì
Eccomi qui
quindi ho una riga di comando sul mio browser
è un laboratorio di dati che collega un laboratorio di dati per me
sapere motore che è un nome casuale da parte del
modo che ho premuto INVIO
quindi sta chiedendo la purificazione bang e
qui con andare alla porta 80 80 81 questo è il
porto dove è ospitato finirò in a
situazione del laboratorio di dati in cui possiamo vedere il
quaderno stesso così ora questo è
abile tutto in una nuvola, non l’ho fatto
installa qualsiasi cosa localmente, mi limito a convertire
quindi, solo per darti un’idea del codice
questo è coinvolto quindi abbiamo chiesto dove
puoi se è un po ‘più veloce di questo
sì , questo è un quaderno di Giove qui
puoi vedere parte del codice che posso sparare
ma l’ idea è di mostrarti
che abbiamo un ambiente in cui tu
può iniziare a sapere sperimentare quale
frequenta che attende per tutti
applicazione perché non è qualcosa
scrivi immediatamente è qualcosa di te
iterare e testare e provare e
Il quaderno di Giove è qualcosa che tu
può usare per loro quindi basta darti un
un po ‘idea di cosa sia in realtà un
lo stimatore potrebbe essere come questo è un
esempio di codice di esempio qui fai un deep
rete neurale con alcuni specifici
stile classificatori con un paio di
parametri e questo è tutto e qui cosa
stiamo creando sta creando apparentemente
100 cento unità nascoste seguite da 70
seguito da 50 seguito da 25 quello è
abbastanza profondo già così immagina quello
devi programmare questo è tutto
aggrovigliato insieme il completamente collegato
rete solo da questa affermazione così è
abbastanza bello e anche saggio di produttività
cosa molto buona da fare quindi torniamo indietro
allora il prossimo passo è ok come faccio
addestrare la mia domanda al codice che tu
appena visto come lo si allena usando meglio
pratiche e utilizzo del cloud di Google
motore di apprendimento automatico in modo esplicito
mettilo in questo modo per avere una situazione
dove dici un allenamento locale così
significa che sulla mia macchina abbiamo solo una parte
e c’è un motivo per cui io, perché lo impostiamo
voci di questo ambiente come il dollaro
treno dati e il dollaro eval dati i
motivo per cui abbiamo fatto che è per
flessibilità e ti mostrerò tra un po ‘
anche di cosa si tratta tutto così solo
una dichiarazione e posso mostrare la vita così
solo mostrarti che stiamo sostituendo il
treno dati con valore dinamico di un locale
file system sul mio sistema e poi se io
dimmi scusa, quindi in realtà sono a questo
momento che esegue il codice e mostrerò
tu un po ‘di più in modo da vedere qui sono
anche questo è molto interessante quindi vedi
qui gli avvertimenti non sono errori loro
in realtà ti dà un segnale che sei
usando un tensorflow di default
implementazione che è costruita per te
già ma il bene buono per la distanza
scorre sulla fonte è possibile scaricarlo
puoi compilarlo così tutto questo
gli avvertimenti vanno via sì e la buona idea
la parte buona è che sarà più veloce dentro
runtime alla fine perché è sintonizzato
per il tuo sistema in questo momento
a quanto pare mi mancano un paio di bandiere
sul mio sistema e come ho detto puoi farlo
dì che c’è un’altra cosa che è
in arrivo
chiamiamo il tensore del tensore e qui nel
al centro da qualche parte qui vedi un messaggio
sì, ti trovi a bordo per fare il log
lì e avere un output quindi cosa fa
ciò significa che cosa è alla fine, così 10
supporto Sto per iniziare DanceSport
non c’è nient’altro che un piccolo Python
applicazione che è confezionata con
tensorflow tutti insieme
e permette di vedere è aperto
già
siamo sulla porta 66. Sto copiando questo
pezzo di codice torna al mio browser
istanza dov’è e questo è
in realtà abbastanza interessante quindi ora ho
una scheda di trasferimento degli strumenti che mi permette di
dammi più intuizioni e cosa c’è
succede in realtà con la mia domanda
qual è la precisione che ho visto con precisione
è uno dei termini importanti e
apprendimento automatico se è abbastanza alto
alla fine otterrai un punteggio migliore e
è più una situazione di vita reale, quindi ottieni
alcuni grafici qui e in questo momento il
la sta ancora cercando di migliorare a
un po ‘ma non è buono e
un’altra cosa, ma questi sono alcuni di
i modi per sapere iniziare a indagare
il tuo codice e inizia a capire cos’è
sta succedendo e se sta dando un risultato migliore
risultato un’altra cosa che è abbastanza
importante è quello che ha detto Robert
è un grafico che stai cercando
calcolare alla fine così un momento fa noi
parlato di stimatori proprio così
lo stimatore è come questa affermazione
che abbiamo avuto è una rete neurale profonda
è qui, quindi questo è in realtà il grafico
di esecuzione quindi se lo fai clic su di esso
avere una visione molto migliore di ciò che è
sta succedendo nel grafico così questo è
anzi un livello nascosto sullo strato
strato ecc e quindi si ottiene veramente pienamente
collegato abbastanza grande rete e questo è
è qualcosa che si ottiene abbastanza velocemente così
la parte buona è che puoi seguire il flusso
puoi vedere se la rete si sta comportando
come vuoi e puoi anche iniziare
pensando come dovrei sintonizzarmi così bene
questa è la relazione di Stan, questo è qualcosa
ottieni anche gratis e il tutto
cosa così che cosa ho fatto appena l’ho addestrato
localmente e con l’output creato I
può essere confine teso posso guardare dentro
ma naturalmente vogliamo avere più velocità
vogliamo avere più risultati o migliori
prodotto in modo che anche quello che possiamo fare sia essere
solo una bandiera
rendilo un piatto bellissimo, quindi di cosa si tratta
lo farò, cercherà di capire
ok, cosa sono disponibili le teste della CPU
e cosa posso usare o quali GPU ecc
giusto ma solo una bandiera che non cambia il
applicazione non sto cambiando anche il
Trasmetti i dati ecc. È tutto sul mio locale
sistema quindi il prossimo passo è questo
ok ora è interessante ora me ne sono reso conto
Potrei farlo localmente e il mio set di dati è
crescendo così un’altra cosa che posso fare
posso iniziare a gestire questa cosa in
cloud di Google quindi Google Cloud ml
motore ha un concetto chiamato lavori e in
fatto tutto ciò che hai così tuo
applicazione tensorflow che il tuo
parametro cambia un set di dati che puoi dire
ok ecco il mio pacchetto più o meno e
eseguito nel cloud e ciò che ottieni
è che avrai finalmente il
beneficio di avere cloud nel
sfondo che supporta i tuoi calcoli
che può essere abbastanza pesante a seconda di
loro su come dire sulla dimensione di
i tuoi dati e anche in questo caso il
I dati dei treni e i dati di valutazione non lo sono
il tuo file system locale, ma è così
il tuo cloud posizione di archiviazione di Google Cloud
quindi quello che abbiamo fatto è che abbiamo caricato il
file in quella posizione e ha detto ok
d’ora in poi, perché sei in una nuvola
ambiente che si desidera avere un accesso rapido
e non la rete più tardi qui qualunque cosa
eseguito laggiù, quindi quello che stai andando
ottenere è se lo fai un paio di volte
fammi vedere
quindi quello che vedi qui è che ottieni un
panoramica dei lavori che sono stati
eseguito in modo da poter vedere i lavori ma
nient’altro che solo una richiesta di riposo
che stiamo facendo al server questo è
e alla fine inizia l’ esecuzione
e scrive il suo output al
filesystem di Google Cloud Storage
perché e c’è una ragione per cui tu
vuole andare non singola modalità di allenamento di
Certo, c’è un modo per farlo in realtà
in modo distribuito anche e questo
l’abuso di informatica è molto interessante in
il cloud perché puoi decidere abbastanza
facilmente solo per iniziare l’aggiornamento a
alcune abilità che conosciamo quindi questo è un
scala predefinita del solo dire ok
Whittle questa è una situazione in cui ho
meno parametri o pochi parametri
e ho una rete neurale profonda
è così che puoi iniziare a usare il
quello standard distribuito che abbiamo anche
altre configurazioni quindi con una sola
bandiera puoi anche dire okay inizio a usare
GPU e in realtà anche iniziare a utilizzare TP
usa se vuoi così l’interessante
risultato è quello
[Musica]
la mia potrebbe essere una cancellazione del rumore
situazione qui i dieci minuti per andare oh
si si penso che sia la battuta e allora
vedi qui è che ho fatto un censimento
censimento di un singolo e di ciò che vedi anche tu
che ci sono voluti circa 10-12 minuti ma
semplicemente non contrassegneremo che l’ho reso possibile
eseguire la versione distribuita dello stesso
codice in sei minuti
quindi immagina il risparmio di tempo che tu
abbiamo e stavamo parlando di caso
dove Google Translate è durato una settimana
per allenare la diversione che voi ragazzi siete
usando anche l’uso di punta che si potrebbe fare
in un paio d’ore come davvero
riducendo come due giorni in quello
scala e questo è solo segnalandolo
quindi proviamo a giocare con esso e
vedi l’output quindi um e poi un altro
il passo è ok finalmente avere una distribuzione
modello di treno hai intenzione di sì si tu
vieni al ballo posteriore il prossimo il
erano così sul pod oggigiorno, sì
uno più mi dispiace ancora uno così questo era il
questi sono i pod di TP che usiamo noi
in realtà può offrire in the cloud così
loro sono 11 e mezzo baccello di petaflop
quindi se ti stai davvero allenando
qualcosa è andata e questo sei tu
conosci la cosa potente di tensorflow
è che puoi semplicemente prendere ciò che hai
creato e spostarlo su questi diversi
architetture semplicemente cambiandole
le bandiere che ti hanno appena mostrato Rockette
quindi ok ora abbiamo un modello di treno così
cosa vuoi fare con esso
fallo mettere in produzione proprio così
dovrebbe essere facile facile come voi ragazzi sapete
come fare un’applicazione web java
sviluppo o nodejs o qualunque cosa
dovrebbe essere facile, quindi quello che abbiamo detto va bene
prima di tutto crei un modello nel tuo
ambiente cloud che è il primo
affermazione che hai creato un modello
con il nome del modello può essere qualsiasi cosa e a
regione così la regione degli Stati Uniti tutte le ragioni
perché abbiamo a che fare con la latenza ma
questa è una storia diversa che possiamo parlare
su di esso più tardi e poi in realtà cosa
tu fai è creare una versione del tuo
modello perché potresti sintonizzarlo
giusto con cui potresti giocare
potrebbe cambiare il tuo formato
potrebbe cambiare la rete
così alla fine è possibile per voi
avere un modello addestrato schierato nel
cloud che è possibile iniziare a utilizzare per
esecuzione così altri sembra così qui
Ho una modella, c’è un modello di censimento
e ha una versione specifica per te
voglio avere non penso che vedrai
una versione mi dispiace un modello senza un
versione c’è sempre una versione dietro
e alla fine è distribuito è
disponibile e puoi iniziare ad usarlo così
cosa significa usare giusto, quindi cosa?
abbiamo detto che non è l’ interessante
parte è così ora ho una modella così io
ti ha mostrato come andare dal laboratorio di dati del codice
per allenarsi localmente alla formazione in a
cloud per andare alla versione distribuita il prossimo
passo è quello di testare la previsione e il
bella parte è tutto a riposo, quindi se
hai un’applicazione che esegue qualsiasi
linguaggio diverso da Python nessun problema
anche noi non ce la fai a riposarti
endpoint chiama per ottenere una risposta indietro
inizia a usare per iniziare a mostrarlo alle persone
o usarlo per i tuoi calcoli di
qualunque cosa ma in questo caso sto andando a
mostrarti anche vivere che fammi chiudere
questo che se si esegue test di previsione
e il test prevede che lo licenzierò
fuori così ora sta inviando un test
file con una sola voce in questo caso
uno l’ingresso di una persona negli Stati Uniti con
quei campi lì dentro e sta mandando
al cloud di Google per fare un
predizione e anche specificato quale
numero di versione in modo da poter giocare con esso
e in un paio di secondi c’è
potrebbe prevedere che è nella classe
zero quindi se si guarda il codice
proverò a classificare l’output
invece di dire più grande di 50k o
più piccolo di 50k cercherà di creare
numeri per esso zero e uno e con il
probabilità di
abbastanza alto 0,99 percento lo dice
è in classe zero ed è inferiore a
50k quindi credo che il mio demo destra sì
ok, torna indietro in architettura come
molto tempo ci siamo lasciati sull’orologio
sei minuti quindi lo facciamo e basta
rapidamente così come Rob ti ha appena mostrato che abbiamo
abbiamo praticamente attraversato tutto questo
pipeline all’inizio abbiamo guardato
come possiamo fare qualcosa come il flusso di dati
in realtà elaborare i dati per farlo
funzionalità di ingegneria e abbiamo appena guardato
su come possiamo usare il cardamomo in realtà
parte importante voglio solo sottolineare
un’economia stiamo facendo un modello intenso
flusso ma stiamo usando l’ API cloud ml a
entrambi lo gestiscono e allenano entrambi i modelli
localmente e nel cloud e fanno il
previsioni in modo che stiamo effettivamente usando
l’importo della carta API che rende davvero
quell’ostacolo dall’andare dal nostro
istanza locale per andare in uno spazio cloud
o distretto molto facile e di nuovo se tu
voglio fare la sincronizzazione sulla distribuzione voi
non voglio fare tutto questo perché
vai giù in quegli strati allora
allora farai molti più impianti idraulici
usi gli stimatori e se lo hai
il tuo se non trovi uno stimatore
quello si adatta a ciò che vuoi usare e tu
creare uno stimatore personalizzato
c’è un codice esattamente c’è un intero
tutorial che supporta questo come
bene, quindi possiamo mettere quelli sulle diapositive
e condividilo pure così se tu
voglio davvero passare attraverso questo esempio
e questo esempio è che non è il migliore
esempio per imparare cosa fa nel tuo
aspetto della rete e come faccio a fare
la tua rete ma questo esempio davvero
ti mostra come effettivamente inizio
ottenere una rete neurale da te sai
la mia macchina locale per addestrarla in a
spazio per poterlo prevedere anche
e penso che siamo bravi
Please follow and like us: