[Musica]
bene grazie mille è bello essere
tornerò alla conferenza di nuovo sarò
facendo questo e Copenaghen quest’anno
così bei bei tempi e sono felice di conoscerti
così tanti vecchi amici qui così così
è quello di cui parlerò di cui parlare
cultura perché questa è una delle chiavi
cose che cambiano quando vai in cloud
la migrazione e il modo in cui le persone migrano
nuvola in particolare il modo in cui Netflix ha fatto
e poi alcune cose su districare
il livello dati perché chiamo il nuovo D
normale denormalizzazione che porta a
monoliti ai servizi micro alle funzioni
per servire e poi finirò per parlare
riguardo alle cose che sto attualmente lavorando
su e concentrandosi su cui è intorno aperto
fonte e intelligenza artificiale così
la cultura questo è questo è un bel riassunto
del perché la cultura è importante se vuoi
Costruisci una nave non far rimbombare le persone
raccogliere la legna dividere il lavoro e dare
gli ordini invece insegnano loro a desiderare
il mare vasto e infinito allora là
costruire una barca migliore di quella che
avevi in mente, quindi se lo hai
persone che sono veramente impegnate per a
scopo che capiranno
collettivamente come costruire un migliore
prodotto e come fare un lavoro migliore di
se provi a controllarlo centralmente
questo è da questa citazione è direttamente da
il mazzo di cultura Netflix è qualcosa
che Reed Hastings ha scelto come un
esempio del motivo per cui Netflix è in grado di farlo
cose e fare le cose più velocemente e fare
le cose meglio della loro concorrenza
perché tutti si sta allineando
allo scopo non viene detto a livello centrale
cosa fare però ce ne sono parecchi
altri mazzi di cultura Nordstrom ha un buono
uno è dalla tecnologia di Nordstrom
giorno della cultura e lo hanno bollito a
una cosa e questa è una cosa interessante
il pensiero usa il buon senso in tutto
situazioni e questa è l’essenza di
cosa vuoi se stai cercando di riempire
quella cultura costruttiva molte culture
scendere al giudizio e quello che sono cosa
intendo per giudizio è se metti qualcuno
in una situazione e tu dai loro abbastanza
tempo di pensare e il contesto corretto
l’informazione loro
dovrebbe prendere una buona decisione difendibile
questo è il buon senso che è l’esercizio
di buon giudizio ma ciò che facciamo in grande
aziende e tipo di tradizionale
le aziende gestite a livello centrale sono noi
mettiti in un processo e il tuo compito è farlo
segui il processo e se il tuo compito è farlo
seguire il processo poi quando qualcosa
succede che non è nel processo di tutti
ad un tratto si suppone di capire
come usare il tuo giudizio ma non lo hai fatto
ha avuto qualsiasi pratica di usare il tuo giudizio
e quindi il trucco qui è non avere
i processi non hanno regole ma hanno
tutti decidono collettivamente questo
faremo rozzamente le cose
allo stesso modo perché quello è il nostro
collettivamente abbiamo tutti lo stesso bene
giudizio abbiamo tutti gli stessi contatti
contesto e abbiamo tutti lo stesso scopo
quindi se guardi alcune delle cose
che se guardi cosa è Netflix
facendo e il modo in cui quelle culture
lavoro e il tipo di alcuni modi
Amazon funziona ciò che vedi è ciò che sembra
come i processi ma in realtà sono
artefatti di sistemi di persone semplicemente
seguendo il buon senso , pensaci
come il giudizio si applica alla cultura di a
compagnia quando si sta creando
quindi la cultura Netflix sembra così
in pratica dice che la cultura
è di per sé importante, ecco perché i valori lo sono
ciò che apprezziamo alte prestazioni e
la libertà e la responsabilità sono davvero le
il nucleo qui è quello che noi davvero
continua a tornare da Netflix
giorni significa che si tratta di una fiducia, ma
verifica che ci fidiamo di tutti
fare la cosa giusta ma stiamo andando a
controlla che stiano facendo il giusto
cosě sai che qualcuno sta andando
di essere a guardare quello che stai facendo in modo
ti stai sempre tenendo alto
standard e questo è il principio che
tutto funziona, quindi è un
modo interessante di farlo che questo
la cultura funziona per una start-up per un piccolo
la società Netflix è molto omogenea
compagnia hanno deliberatamente solo due
luoghi nel mondo di nessuno di essi
dimensione hanno una miccia come uno o due
sparsi persone di marketing intorno al
mondo ma hanno ingegneria a Los
Gatos e hanno produzione di contenuti
a Beverly Hills leggermente diverso
culture in quei due posti ma
estremamente concentrato tutti in uno
edificio e tutti in grado di
pensa a quello che stanno facendo in un molto
modo concentrato e omogeneo il
Netflix non ha mai acquisito un’azienda come
quasi come lo stesso Netflix ne ha circa 20
anni non hanno mai acquisito un
società che è pazzesco rispetto a guardare
tutte le altre società che acquisiscono società
perché Netflix non è perché loro
non voglio diluire la cultura loro
vogliono mantenere un ottimo che vogliono
acquisire le persone migliori da un
concorrente e non acquisire il tutto
concorrente e tutto il bagaglio e strano
roba culturale che potrebbe venire con lui così
acquisiscono le persone una alla volta
riprogrammarli al modo Netflix di
pensandoci su ciò che funziona per a
compagnia di poche migliaia di persone che è in
cresciuto nella Bay Area dove c’è un
molte persone per rubare le persone da destra
quindi trascorri cinque anni dieci a sai
Google o Facebook o da qualche parte e poi
Netflix ti saluta quando vuoi
e gioca con il sai lo stesso
l’esperienza è un piccolo numero di molto
le persone esperte sono ciò che sono
targeting non hanno laureati
non ci sono tirocinanti, non ce ne sono pochissimi
appaltatori è fondamentalmente un molto
cosa concentrata in modo che funziona per
ma non puoi applicare questa cultura a
una grande organizzazione multinazionale quindi se
guardi la cultura amazzonica Amazon a
qualche mese fa ricordo l’ultimo
numero ma è l’ultima volta al numero I
ricordo che c’erano 350.000 dipendenti giusti
sparsi in giro acquisiti un sacco di
aziende sparse ovunque nel
mondo incredibilmente diversa cultura come fare
metti le tue braccia attorno a una cultura come
questo e hanno ancora innovare e spostare
molto rapidamente e sarà in grado di affrontare
le ultime cose che questi 14
i principi sono insegnati a tutti a
Amazon ma sono anche usati come assunzioni
filtro se vuoi andare a lavorare per Amazon
devi interiorizzare queste 14 cose
perché i test di processo intervista che
sei tu che hai queste idee che tu
vivere fino a questi principi e quando tu
andare per un ma quando valutiamo i bonus
sono valutati contro questi
principi e promozioni e tutto
internamente quindi potrei andare da chiunque
lavora a qualcuno di quelli di Amin
350.000 persone e inizia a parlare
ossessione del cliente o immergersi in profondità o guadagnare
la fiducia degli altri e loro avrebbero saputo
esattamente di cosa sto parlando è a
è un
principio di raccolta che raccoglie
insieme centinaia di migliaia di persone
in una singola organizzazione così è
il potere di avere questi culturali
dichiarazioni quindi pensateci perché
questo è ciò che libera la compagnia
innovare incredibilmente rapidamente mentre è ancora
avendo un unico scopo e un insieme di
i principi e quei principi sono gentili
delle cose che sono in genere
bloccando la gente quando quando parlo con
dirigenti per le aziende che stanno facendo
la migrazione nuvola un po ‘si deve arrivare
questa cultura va bene altrimenti i tuoi rifiuti
il tempo si sarà bloccato internamente
a causa della centralizzazione di troppi
le decisioni e quale cloud ti consente di fare
decentrato quelle decisioni perché
tutto si sta muovendo così in fretta che tu
arrivare ad avere l’autonomia del self-service
così la cultura dovrebbe essere intenzionale esso
dovrebbe essere appropriato e in fondo
di tutte queste culture è qualcosa a cui
che fare con il giudizio in modo da pensare a come che
si applica alla propria organizzazione se
stai creando una nuova organizzazione
veramente attento a come crei una cultura
è molto più difficile cambiare una cultura così
Ho intenzione di parlare un po ‘di
migrazione verso il cloud e alcuni dei
lezioni dal viaggio nel cloud di Netflix
e un po ‘di aggiornamenti su questo 2008
abbiamo avuto una scossa abbiamo avuto un’interruzione di 2 giorni
dove non abbiamo spedito alcun DVD era
perché l’ IT aveva pensato che potessero
rendere i sistemi perfetti e sviluppatori
appena avuto per noi non doveva pensare
sulla disponibilità dell’hardware tutto
Stavo solo andando a lavorare
avrebbero comprato hardware di fascia alta
il software di fascia alta lo fa funzionare e
potremmo semplicemente implementare il nostro software
sopra e presumo solo che il
roba sotto stava andando a lavorare aveva a
corruzione dei dati in silenzio in culo e it
ho appena danneggiato tutti i database che abbiamo
ripristinato tutto ciò che li ha corrotti
di nuovo e tu sai che l’intera faccenda era a
gran casino quello che è successo a causa di quello era un
cambiamento di ipotesi abbiamo messo in discussione questo
ipotesi forse la disponibilità doveva essere
gestito a livello di applicazione e it
doveva essere una preoccupazione degli sviluppatori
e non possiamo portarlo direttamente lassù
e pensaci e poi se lo fossimo
facendo ciò potremmo usare il cloud a basso costo
infrastruttura per andare a costruirla
piuttosto che questa fascia molto alta molto
hardware costoso e curato che potremmo usare
effimero a basso costo pronto all’uso
hardware
e questo è stato il cambiamento mentale che
è venuto attraverso così questo era abbastanza spesso io
vedere quando le persone si stanno muovendo verso il cloud
c’è un’interruzione o una cosa che c’è
Qualche calcio importante nel calcio che succede
alla direzione anche se iniziano
ipotesi in discussione in modo che sia il
inizio di molti viaggi di mucche aggiunti
a quello c’è di solito un esistenziale
minaccia e per Netflix era quello
avevamo bisogno di un enorme aumento di dati
capacità centrale non potremmo dire come
molto come dovremmo aver bisogno e noi
non ha avuto tempo per costruirlo ci vogliono
circa nove mesi per fornire un dato
centro e non avevamo idea di cosa fosse il nostro
esigenze di capacità o dove stavamo andando
bisogno in nove mesi di tempo ed è stato
perché lo streaming stava sostituendo questo DVD
sta accadendo in tutti i settori che siamo
vedere il coinvolgimento dei sistemi che domina l’IT
era che l’IT stava guardando
dopo dipendenti e fabbriche e forse
terminali point-of-sales e cose simili
ma non avevi i tuoi sistemi IT
ridimensionato con il numero di clienti o
negozi o fabbriche che avevi non
scala con il numero di clienti
aveva ora perché i nostri clienti sono
direttamente collegato al nostro ordinamento di sistemi
se lo chiami IOT o Direct
Marketing o qualsiasi cosa sappiamo di tutto
i nostri clienti quindi ora abbiamo sistemi IT
ridimensionamento con un numero di clienti voi
hanno ed è per questo che sistemi di
l’impegno è finito per far funzionare tutto
altro
il mio altro esempio preferito è NEOWISE
Netflix come BMW di cosa sta parlando
BMW fa auto e prima era così
una volta l’anno si dovrebbe prendere l’auto in
per il servizio e probabilmente otterrebbero un
aggiornamento dicendo che questa macchina è ora a questo
chilometraggio e sistemiamo questa cosa e
qualunque cosa una volta all’anno riceverai un aggiornamento
su una macchina hai costruito le macchine attuali
sono direttamente collegati tramite un AWS
servizio di nuovo a BMW sanno esattamente
dove sono stanno scaricando la mappa
aggiornamenti stanno usando l’auto come a
sensore questa cosa si chiama Caruso e
è un’auto come un sensore che stanno trovando
a proposito di lavori stradali mentre stanno accadendo
stanno scoprendo la congestione come
sta succedendo e condividendolo
la loro base di clienti sono anche loro
raccogliere un sacco di dati su come questi
le auto sono guidate in modo da pensare a quanto
traffico che è di nuovo dentro
ai sistemi centrali rispetto a
vedere una macchina una volta all’anno scalata
tutte le auto che hai mai costruito intendo
in questo momento è solo nel loro genere di
sette serie e lavorando lungo la gamma
ma questo è ciò che intendo per sistemi
impegno che domina l’IT e tu puoi
scegli un settore in cui puoi giocare
come Internet ci ha permesso di connetterci
direttamente ai nostri clienti quindi il DVD
affari per Netflix assomigliano a questo
ogni tanto diresti che sono
prenderà dei DVD forse su ogni
Domenica sera diresti che questi sono i
DVD guarderò la prossima settimana e tu lo faresti
metti la tua TV nella posta e nuove
sarebbe venuto la prossima settimana e il prossimo fine settimana
in effetti ti saresti abituato a guardare
alcuni di loro e poi lo fai di nuovo così
le interazioni erano all’incirca una volta a
settimana un po ‘di navigazione così abbiamo avuto
un sistema configurato per supportare questo e noi
aveva una macchina di dimensioni discrete e quant’altro
ma non era davvero enorme allora se tu
guardare gli uomini d’affari in streaming
inizia ad abbuffarti guardando che conosci un’intera TV
serie in un giorno e poi guardarne un’altra
uno poi o guarda un altro e il
il sistema non sta solo raccogliendoli
sta registrando i dati che sta salvando il tuo
qualità dei costi dei servizi monitorati
continuamente c’è un progresso
il battito del cuore quindi se ti fermi a metà strada
qualcosa sanno dove sei quando
si riprende c’è un’enorme quantità di
traffico che entra nel sistema confrontato
sul lato DVD , quindi quello che abbiamo trovato
se prendiamo in mano ne inventiamo un po ‘
numeri è circa un centinaio di volte di più
visualizzazioni a settimana è forse un centinaio
forse cento è più di dieci volte il
visualizzazioni a settimana e cento volte il
numero di richieste per vista anche se tu
prendi quelli che sono belli
stime prudenti che significa che è a
mille volte più traffico per ogni
cliente che smette di usare i DVD e inizia
lo streaming va bene così come Netflix
spostato da una compagnia di spedizioni di DVD a un
società di streaming questo è quello che è successo
questa è la nostra capacità di DVD che è la nostra
capacità di streaming il punto in cui noi
spendevamo metà delle nostre capacità
lo streaming di manutenzione era quando un decimo
di una percentuale dei nostri clienti
ha iniziato a utilizzare le nuove funzionalità giuste
È stato allora che abbiamo avuto 5050 nel nostro fronte
fine servizi web e servizi API quando
avremmo colpito un decimo di punto percentuale in modo nuovo
questo è il motivo per cui stavamo andando noi
saremo il prossimo fallimento di Twitter
bene conosci meme di internet e noi
necessario per capire come affrontare
ciò che ci danno una scelta sia
reclutare data center di classe mondiale
le operazioni le persone indovinano la capacità
avremmo bisogno e costruire un enorme data center
e metti giù un’enorme quantità di denaro
front nella costruzione di quel data center
infrastruttura che parla da decine a centinaia
di milioni di dollari centro dati di dimensioni
investimento qui o utilizzare AWS dove noi
potrebbe pagare per questo il mese dopo che abbiamo usato
e lo metto a centinaia di milioni di
dollari nel contenuto che ha reso il
prodotto migliore e questa è la scelta
giusto e ovviamente la scelta che hanno fatto
Ehi , andiamo a comprare un’altra stagione di
castello di carte o invece di costruire a
data center sai una di quelle marche
il tuo costo leggermente inferiore forse se tu
farlo esattamente a destra e l’altra
sposta l’attività in avanti
questa è la scelta e questo è il grande
scelta che molte persone stanno facendo
ora come decidono che non dovrebbero essere
passare del tempo a costruire centri dati così
nel 2009 ho voluto attenuare alcuni rischi
prima di tutto capire come AWS e
i primi erano correlati e lo erano
separati c’era una telefonata tra
conosci Reed Hastings l’amministratore delegato di
Netflix e FB Zeus il CEO di Amazon
tufo, cos’è questa cosa AWS?
davvero separati e non lo faranno
nutrire tutti i nostri dati in prime e tutti
quel genere di cose si sono sentite a proprio agio
su questo e poi da allora su Netflix
è stato utilizzato come esempio da AWS di
sì, puoi gestire il tuo business in competizione
su AWS e va bene e Netflix
lo fa e gli altri lo fanno e tu
non dovresti preoccupartene come Netflix
usato a pensarci era quello che eravamo
andando a usare i punti di forza del nostro
il più grande concorrente contro di loro è
come una mossa jujitsu a destra capovolgi
usi il peso del tuo avversario per
farli cadere sopra così abbiamo Netflixed esso
risulta utilizzato AWS meglio di Prime
mai fatto per competere con Prime abbiamo fatto un
tutta la capacità sperimenta uno
tempo siamo andati e mi chiedo cosa succede se
si chiede per 4.000 macchine contemporaneamente ben
ottenere un ordine scaler ha detto invece di 4.000
di voi conoscete quattro indietro non abbiamo bisogno
provato un centinaio alla volta e
circa un’ora dopo c’erano 4000 macchine
correre così è stato bello
ora questo è nel 2000
è molto più semplice di farlo ora, ma a
il tempo che è stato trasformazionale il
l’idea potrebbe creare quattromila macchine
in un’ora solo semplicemente chiedendo per essa è
era pazzo
ci siamo registrati per una licenza aziendale
accordo perché non vuoi essere
gestire un po ‘di affari importanti su a
licenza click-through e una carta di credito
scopre e questo era prima che questo fosse
la prima volta che AWS ha avuto effettivamente un
contratto di licenza aziendale è stato ordinamento
di creato dai primi grandi
i clienti che vanno hey ragazzi ora non siamo
facendo questo su una carta di credito e a
click-through e abbiamo fatto questa pubblicità
storia del New York Times
tipo di lancio i risultati di questo
la storia in cui la gente pensava che fossimo
pazzo al momento non c’è modo in cui eravamo
mai andando a fare questo lavoro che è stato
l’opinione prevalente per prima cosa noi
ha provato alcune cose che non lo erano
l’orientamento al cliente che non erano critici
stavamo codificando film e non ce l’avevamo
abbastanza capacità quindi l’abbiamo spostato in ec2
è lì che abbiamo preso questi quattro
migliaia di macchine per elaborarlo
ha funzionato bene e poi una volta elaborato
li chiudiamo e costa
stessa quantità di avere quattro mila
macchine per un giorno è averne una
migliaia di macchine per quattro giorni o a
cento macchine per 40 giorni ne avevamo 100
le macchine prima nel nostro arretrato erano a
mese quindi lo abbiamo ridotto a un giorno solo
avere quattromila macchine vedere il
finalmente la prossima cosa era tutto questo
i servizi di streaming stavano effettuando il log back
nel sistema e nel nostro database
stava gestendo la registrazione della qualità
di servizio appena superato da tutto il
capacità di streaming quindi abbiamo spostato su s3
che è un archivio davvero illimitato
spazio solo per darti un riferimento
punto più recentemente abbiamo appena eseguito a
punto di riferimento in cui abbiamo creato un exabyte
secchio di dimensioni in s3 solo per eseguire a
punto di riferimento un exabyte che è un miliardo
gigabyte o un milione di terabyte tutto
va bene solo se possiamo parlare di
che la cosa reale in sé, ma il
fatto che abbiamo avuto un exabyte di riserva solo per
eseguire un punto di riferimento ti dice che questo è
abbastanza grande e alcuni di voi potrebbero avere
un exabyte e abbiamo clienti con
exabyte ma è molto grande
ora 2009 probabilmente non era proprio questo
grande ma è enorme spazio così illimitato I
significa che abbiamo l’ analisi del blog e ci siamo abituati
dupe per elaborare questo è nel 2009
usando l’EMR questo è uno dei primi
dove abbiamo detto ad Amazon che hai il
versione errata di Hadoop e di cui abbiamo bisogno
questa cosa dell’alveare e abbiamo bisogno di questi
set di funzionalità e sono andati bene costruiremo
fino alle versioni che volevi e
poi abbiamo detto che se lo fai lo useremo
quindi abbiamo tipo di loro hanno costruito il
versione basata sul nostro feedback per farlo
una pila utilizzabile di cose per risolvere il nostro
problema e poi Netflix lo ha usato
da allora è parte del
feedback loop quando lo facciamo con il nostro
i clienti tutto il tempo che dici bene
davvero ci piacerebbe questa cosa e questi
caratteristiche e andiamo oK abbiamo parlato con a
pochi altri clienti lo inseriscono e quello
quell’ossessione del cliente è ciò che AWS
corre e per questo ce ne sono così tanti
prodotti che escono da noi così in partenza
del 2010 abbiamo deciso di non costruire più
capacità del data center quindi dovevamo muoverci
al data center entro la fine del 2010 a
sopravvivere così abbiamo attraversato e
abbiamo continuato a convertire i front end in movimento
fuori la parte anteriore finisce nel cloud e vicino
Alla fine avevamo il nostro backend era cresciuto
riempire tutto lo spazio creato da
spostando le estremità anteriori e la parte anteriore
la fine è stata enorme mentre stavamo facendo questo noi
ha avuto questa bella slide che abbiamo mostrato
internamente è come se avessimo davvero un
scadenza su questo perché non lo siamo
andando a costruire un altro centro dati e
Netflix si ha una scelta che sia andare
volare nel cloud o hai intenzione di colpire
quegli alberi alla fine della pista
c’è un problema di pista limitato che conoscevamo
c’è un grande aumento nel bisogno di capacità
per superare la fine dell’anno e
non lo avremmo costruito sul
centro dati quindi abbiamo dovuto passare al cloud
quindi questa conversione forzata alla marcia è stata una
delle cose fondamentali che l’hanno fatto fare
giusto è un’altra cosa che vedo quando
persone che eseguono migrazioni di cloud impostate a
obiettivo vero obiettivo è questo data center
essendo chiuso qui è fuori contratto è
essere chiuso
hai una dura battuta di questo tipo
di cose sono ciò che ottiene queste transizioni
per succedere abbiamo iniziato con il più semplice
possibile servizio API quindi il più semplice
pagina web e quindi solo api e pagine
uno per uno e lo abbiamo fatto solo facendo
reindirizza in modo da colpire il vecchio è andato
questo ha colpito il data center e lo farebbe
scegli se o quella pagina esisteva in
il cloud e se tu fossi nel
cellule di prova giuste e cose e cosa
percentuale dei clienti che vogliamo
invia lì e basta reindirizzare il traffico così
sono solo reindirizzamenti
Il redirect del PIL e funziona bene
alla fine abbiamo dovuto spostare i dati così noi
iniziare a copiare alcuni dati avanti e indietro
e oggigiorno abbiamo alcuni strumenti chiamati
servizio di migrazione del database che lo farà
in realtà in continuo copiare i dati fuori
cose come dati Oracle o Terra o
proprietario sequel mysic proprietario
database in particolare ed è possibile utilizzare
loro di migrare al cloud e tu puoi
spostarli per pubblicare cresce sul mio sequel o
DynamoDB ora nel 2011 abbiamo citato okay
andando a chiudere il data center come a
sistema di registrazione e passaggio al cloud
come fonte di dati primari
fonte quindi dovevamo essere in grado di tornare
in su e abbiamo voluto sostituire il nostro
backup su nastro fuori sito, così abbiamo creato un
account separato in una regione separata
e questo è diventato molto duraturo
modo di fare questo e lo impostiamo così noi
non poteva essere cancellato era automatico
epurazione e noi oggi c’è molto tempo
archivio termine utilizzando più vetro così noi
sostituire questo backup su nastro fuori sito con
sai metterlo in un’altra regione in
un altro account vuoi essere di guardia
contro l’ acquisizione di account e un intero
un mucchio di altri tipi di dipendenti interni
tipo di dipendente scontento di te
voglio essere sicuro che i tuoi backup siano
davvero inespugnabile ma questo è il
sostituisce il backup su nastro come meccanismo
finalmente tutto lì dentro chiude l’ultimo
centro dati questo è successo dopo diversi
anni IT aziendale spostato fatturazione spostato
roba del genere e ora è tutto
in esecuzione sul cloud, quindi questo è il
migrazione ci vuole un po ‘ questo
l’ultima volta che riordina gli ultimi
le cose richiedono un po ‘di tempo se ci stiamo muovendo
database iniziamo con questi monolitici
i database ci permettono di approfondire un po ‘su questo e
allora il problema è che i database se
li stai facendo da un po ‘
Vai a questo lavello da cucina di tutto il
schemi e tutti i tavoli e tutto il
spazzatura e tutte le domande che tipo di I
avere un tavolo che ho bisogno di andare da qualche parte
beh, un pozzo abbiamo un database, quindi lo farò
mettilo lì
bene io dovrei per normalizzare che
in tutto così finisce per aggrovigliarsi
anche se non dovrebbe essere stato davvero
in base a sai se anche se il
il carico di lavoro non aveva davvero nulla a che fare con
quello e quello che vogliamo veramente fare è
passare a qualcosa che ha un più grande
numero di
database non sequel più semplice pulito
database relazionali che sono su a
semplice singola cosa concettuale sorta di
la parte anteriore del micro-servizio per il back-end
tipo di modello che vuoi costruire un gruppo
di backend che sono monouso così
hai il tuo monolito è un po ‘
complicato è difficile gestire il tuo a
database monolitico e ha un
schema in esso
e dopo un po ‘ottiene di più
complicato e diventa più complicato
e dopo al momento abbiamo colpito questo
Netflix stavamo modificando lo schema
ogni due settimane per circa otto anni
ed era diventato immodificabile c’era
solo frammenti di sequel PL e ordinamento Oracle
di trasudano delle cuciture di questa cosa
ed è appena diventato qualcosa che nessuno
voleva più toccare ed è stato
rallentare il business, quindi abbiamo dovuto
fare qualcosa al riguardo , ecco la mia
analogia c’è il tuo lavello della cucina
pensalo come una sorta di dormitorio studentesco
tipo di stanza, ci sono alcune mosche
fluttuando attorno ad esso alcune di quelle cose
sono stato lì per mesi giusto così
c’è un lavello della cucina quello che vogliamo
fare è pulire un po ‘così stiamo andando
avere qualche altro posto dove mettere le cose
tireremo fuori tutte le forche e
coltelli e cucchiai e cose provano a non farlo
tagliarci sui coltelli affilati e
tagliarci sul vetro rotto e
ci sono tutte queste piastre rotte e
roba così ci limiteremo a dare
qualcosa di un posto dove vivere dove
dovrebbe essere e riordinare la cosa in modo corretto
ora questo causa un nuovo problema
non abbiamo che ci manca un cucchiaio
giusto così hai capito ora
capire distribuire una coerenza
tra i datastore
giusto non è la fine del mondo è
possibile farlo risulta che questo è un
problema più facile da risolvere rispetto al problema
di modificare effettivamente
un enorme database coerente proprio così
stai scambiando un problema che è
difficile per un problema che è meno
difficile è ancora un problema, ma lo è
un problema più risolvibile più trattabile
in molti casi e c’è un numero di
diverse tecniche che si devono imparare
quando i tuoi sviluppatori vengono svezzati
fuori dal sì è possibile utilizzare le transazioni e
unisce e tutte queste cose al no
scusa, i dati sono in cinque diversi
database in modo che tu non possa usare
unisciti e non puoi effettuare transazioni su di loro
devi fare un po ‘di livello di applicazione
lavora per legare tutto insieme e c’è
un certo numero di schemi per farlo
in cui potremmo entrare ma non ho
tempo oggi, quindi stiamo andando a risolvere questo
e la prossima cosa che possiamo fare è uscire di nuovo
usare il caso e la cosa giusta da fare qui
non è metterlo nello stesso database
è per creare un altro database da mettere
nel giusto non continuare ad aggiungere cose
rendi davvero facile creare un nuovo
database per ogni nuovo caso d’uso, quindi cosa?
sembra che sia facile quando
hai uno di questi grandi complicati
sistemi per aggiungere solo più cose in giro
il bordo perché con dynamo DB o RDS
oppure nel cloud puoi creare un nuovo
database con una chiamata API in pochi
minuti o anche secondi che hai creato a
nuovo database un nuovo posto dove mettere le cose
quindi usa questa capacità per essere sicuro
non sei grovigli cose insieme che
non dovrebbe essere lì e DMS questo database
il servizio di migrazione ti aiuterà a districare
cose e metti e migra le cose a
database open source in modo che possiamo districare
gli schemi possiamo continuare a lavorare fino a
abbiamo il sistema in uno stato in cui
ogni datastore ha solo le cose che
dovrebbe avere per fondamentalmente un singolo
microservizi di valore di tipo
concettuale sai tutto quello che sai
sono contesti limitati dovrebbero essere qui
il datastore qui è il pezzo di
logica aziendale che implementa questo
servizio aziendale quindi è quello che siamo
cercando di andare così avanti
pensiamo a cosa stiamo facendo
i dati sopra i dati se il
la logica aziendale inizia come un monolite
ora abbiamo districato il nostro livello di dati che siamo
andando a districare la parte superiore in modo che stiamo andando
per capire come si è mosso il monolite
ai micro-servizi e perché è successo
e poi guarda cosa sta succedendo oggi
mentre passiamo alle funzioni così anni fa noi
aveva liste mono e il motivo che avevamo
monoliti era la cosa migliore che tu
potrebbe costruire perché avevamo un gigabit
reti e CPU lente e siamo stati
sterilizzare le cose con XML e sapone e
che impiega un’eternità per deserializzare e
serializza in modo da poterne inviare solo alcuni
messaggi al secondo se ne hai un secondo
a
rispondere a una richiesta web o una chiamata API
ti prenderà troppo tempo se tu
avere se stai usando soap XML lento
reti e lento lento codifica
meccanismi ma quello era il decennio
fa abbiamo sistemi migliori ora e allora
è successo quando siamo passati al cloud come
cinque anni fa
abbiamo iniziato a usare JSON ne abbiamo dieci
reti gigabit abbiamo molto di più
sistemi di codifica efficienti in JSON o
e tu conosci la semplice codifica binaria se
vuoi andare per la cosa più veloce
lì, ma ciò che ti dà è il
capacità di rompere le cose in più piccoli
pezzi perché l’overhead di farlo
era ora di ordine di grandezza meno di te
potrebbe avere invece di avere due o
tre monoliti che collaborano a qualcosa
potresti avere centinaia di microservizi
e ancora rispondere in quel secondo o
qualunque sia la tua pallida qualunque sia la tua
il tempo di risposta voleva essere così diverso da
la latenza molto molto bassa
requisiti ystem x ‘ siamo in grado di
costruire sistemi basati su micro-servizi
perché tutto accelerato fino al punto
quindi le idee intorno al servizio orientato
l’architettura non ha cambiato il
l’implementazione è diventata abbastanza efficiente
potremmo costruirlo per avere un singolo
funzione di servizio invece di avere un
cosa più di livello superiore con un sacco e
ci sono un sacco di frammenti e così siamo
in grado di costruire questo siamo in grado di sparare
fuori da tutte queste cose diverse e
costruire sistemi molto più complicati
dove questo sul lato sinistro è un
è un endpoint di Internet e sul
lato destro hai un sacco di cose
di archivi di dati o cache o
qualcosa del genere e tu sei solo
inviare il traffico avanti e indietro in modo che
era cinque anni fa ma si scopre che
i servizi intorno al limite sono diventati
servizi comuni erano open source
pacchetti o erano cose che noi
costruito noi stessi nei vecchi tempi ma giusto
trasformato in un servizio off-the-shelf voi
sapere qualcosa come sqs per l’accodamento o
DynamoDB o SNS per rete per
notifiche o s3 per un archivio oggetti
quindi un sacco di cose che noi
usato per costruire quello usato per essere parti di
il nostro monolite è diventato ora
servizi off-the-shelf e il nostro business
la logica è ora nel mezzo come
incollare tra questi mattoni e
c’è in realtà la logica del business
attraverso un’altra rivoluzione ora
come lo semplificiamo in individuo
funziona in modo da quelle funzioni che siamo in grado di
dividere la logica di business e trasformarle in ciascuna
uno in una funzione lambda diversa ma
la cosa bella che siamo in grado di fare con a
la lambda di dubrow in particolare era fatta
tutti loro completamente effimeri
quindi ho valutato tutto qui
in realtà non c’è niente perché funziona
Non gli ho dato alcun lavoro per farlo
definito la mia applicazione che ho definito il
funziona ma non c’è lavoro qui e
ogni volta che arriva una richiesta nel lambda
le funzioni vengono all’esistenza solo per
abbastanza a lungo per eseguire quel codice e poi
si spengono di nuovo per cui vieni accusato
ogni cento millisecondi che gestiscono
quindi quando i sistemi sono inattivi non costa nulla
per eseguire questo è per un gran numero di
carichi di lavoro che sono relativamente spinosi
in particolare i carichi di lavoro IT aziendali
un grande esempio di questo perché le persone
lavorano sulla velocità con cui sai
dipende da quanti dipendenti sono al lavoro
in qualsiasi momento nel tempo o il loro spike fuori
aziende o qualsiasi cosa guidata da dire a
TV annunci in cui desideri di rispondere alle
persone che colpiscono una pagina web che è in
un annuncio TV di quei carichi di lavoro spinosi
sono perfetti per questo c’è di sicuro
casi in cui hai un flusso costante
di traffico dove vorresti solo
costruisci un servizio per elaborarlo ma
c’è una grande classe di applicazioni
dove i tuoi sistemi sono inattivi la maggior parte dei
tempo, perché sono solo in attesa di
il prossimo picco nel traffico per girare
e questi sistemi sono sempre attivi
rappresentare utilizzare in modo che è il costo di
gestendo il suo sito e questa è una ragione
il motivo per cui il servizio è interessante l’altra
è il costo del tempo necessario per
costruire queste applicazioni è incredibilmente
Insomma perché stai solo incollando
insieme i blocchi che sei
costruire la logica dell’API che la lega
insieme e questo è molto veloce io se tu
andare a una giornata di hacking quasi ogni giorno hack
Sono stato a persone di recente sono
costruzione di app di servizio con lambda
perché possono costruire così tanto in uno
giorno con quello che sono solo il modo
avanti se fai il tuo lavoro a mano
applicazione in altro modo
è ridicolo che ero solo
barcollò quando stavo vedendo ciò che le persone
stavano costruendo in un unico giorno di hacking
sforzo concentrato e costruire incredibilmente
grandi sistemi complessi scalabili di just
assemblando tutti questi componenti ora così
abbiamo visto come la logica aziendale è se la nostra
Non parlerò un po ‘
sulle cose in cui andremo dopo
e le cose che sto attualmente lavorando
quindi sto passando un po ‘ di tempo
pensando a serverless e dove
stiamo andando lì, ma il mio nuovo ruolo AWS
Sono responsabile anche di alcune cose
come il tipo di Mike la strategia di
dove andiamo dopo, ma particolarmente aperto
fonte quindi parlerò un po ‘di
quello e il progetto di rete Apache MX che
è un apprendimento profondo di apprendimento automatico
sistema quindi parleremo un po ‘ di questi
diverse aree e di cui ti parlerò
la mia auto a guida autonoma che ho costruito
io alla fine, beh, è un po ‘
meno impressionante di quanto suoni sia gentile
di divertimento questi sono alcuni dei progetti
che contribuiamo fondamentalmente a tutto
l’ecosistema di Apache Hadoop che siamo
contribuendo continuamente multiplo
aggiornamenti settimanali eseguiti quando si utilizza EMR
di solito stai eseguendo una build che è
una o due settimane dopo l’ anno giusto se
tu prendi lo stato attuale di Hadoop
patch e bug e correzioni eravamo molto
aggiornato alla versione aggiornata automaticamente
e c’è un sacco di altri lavori
andando avanti contribuiamo a Linux
ricorda la Linux Foundation Xen
hypervisor quei contributi lì
Postgres
con di recente abbiamo accelerato
Sistema Postgres contribuiamo anche a
il progetto Postgres dandogli gratuitamente
Risorse AWS per fare tutti i test così
c’è un numero di persone che lavorano sul piatto
quello per i contributi alla finestra mobile e
altre cose proprio allora c’è il
repository che costruiamo che abbiamo messo fuori
lì che conosci il codice AWS e
ci sono alcuni di questi blocchi come a
contenitore uno
ricorda quando SSL aperto aveva tutti quelli
bug in esso abbiamo ottenuto siamo un po ‘ infastiditi
da quello e qualcuno ha detto che posso fare a
lavoro migliore scrivendolo di nuovo da zero
quindi è quello che s 2n è s3 quando si usa s3 in
sei un accesso TLS HTTP in modalità protetta
passando da s a n così è a
sostituzione sicura verificata camera bianca
per SSL aperto a cui puoi andare e usarlo
i tuoi servizi se vuoi essere di più
altamente sicuro e isolarsi
dal prossimo bug SSL aperto quando arriva
il più recente è uscito
all’inizio di questa settimana è Sakai è un neurale
lavoro di sistema di libreria di traduzione automatica
costruito sopra MX net, quindi se vuoi se
si sta giocando in giro con la macchina
traduzione questa è una fonte aperta
quadro per farlo abbastanza a
un modo potente di farne abbastanza bene
risultati già esce da qualunque cosa
l’ ufficio AWS si trova in Germania
è là fuori come open source, quindi puoi
vai a cercare Sakai nel repository AWS
dare un’occhiata e parlerò un po ‘
di più su MX net net più tardi a
un sacco di altre cose qui alcuni di
l’oh che in realtà proviene da Sakai
la parte retail di Amazon non dall’AWS
lato è più legato a quello che sono
fare con cose come una conferenza credo
e poi c’è tutto questo open source
progetti che stanno pagando per gestirlo
rendilo semplice per te dal 2009
Non ho mai avuto problemi con l’installazione
Hadoop crea semplicemente un’API chiama il cluster
sembra essere necessario installarlo che era
pazzo
così ElastiCache il mio post sequel cresce tutto
di queste cose che stiamo facendo
è facile da usare e questo viene da
il cliente dice ovunque è fastidioso
che dobbiamo andare costruire questa cosa può
rendi semplicemente facile per noi consumare
così stiamo ascoltando sempre
i clienti su quale open source
pacchetti che dovremmo semplicemente costruire come
servizio in questo in questo database
servizio di migrazione che ho citato a
un paio di volte
22.000 database sono stati convertiti
con quello già così è come un profondo
sto imparando perché questo sta decollando ora che ho
ha ancora tempo, tutto è digitale
quindi sono disponibili enormi set di dati
c’è un’enorme quantità di potenza di calcolo
disponibile così anche se le persone lo erano
parlando di applicazioni di deep learning
10 anni fa non avevano il
calcolare per fare qualcosa di più del giocattolo
le applicazioni e la formazione hanno impiegato troppo tempo
ora guardi questo cinese di Baidu
sistema di riconoscimento vocale 4 terabyte di
dati di allenamento e sono in esecuzione 10x o
flop di potenza di elaborazione per averlo
riconosciuti piccoli caratteri cinesi e
Discorso cinese che è una grande quantità di
capacità
se pensi a quello che ora c’è
sai in generale se guardi il
capacità di cloud cosa sta facendo
sta facendo funzionare la miscela di diversi
le cose vanno bene ma le persone stanno correndo
l’apprendimento profondo sta eseguendo a
quantità sproporzionata di calcolo
risorsa perché quando vai in treno
i loro sistemi è semplicemente enorme
spendi quante più macchine puoi
forse ottenere per settimane o mesi solo
addestrare un sistema per farlo meglio e
meglio a ciò che vediamo in futuro se
lo estrapoli solo là fuori
essere un punto nel tempo in alcuni anni in cui
potresti pensare al grande carico di lavoro
sul cloud il carico di lavoro dominante sul cloud
sta allenando tutti i modelli di deep learning
giusto è per questo che è importante
Ecco perché stiamo pagando così tanto
attenzione a questo questo è probabilmente il
endgame per quale cloud viene utilizzato per cosa
il calcolo è usato per nel mondo è è
andando a passare la maggior parte del tempo a cercare di farlo
impara cose su ciò che stiamo provando e
lo imparerai in base a tutti questi dati
stiamo alimentandola e sta diventando sempre più
e più conveniente per fare questo pensa
il tuo allenamento richiede mesi ma il
classificatore che ne viene fuori
la formazione può avvenire in millisecondi o
secondi è molto veloce quindi è molto
modello asimmetrico dopo esserti allenato
qualcosa da classificare è possibile distribuire in
una torta di lamponi o di iPhone o altro
ma il modello di allenamento probabilmente ha bisogno di a
back-end, ecco perché è il cloud
importante questo è il tipo di cose
stiamo dicendo che è Multan di noi che guida
esempi questi sono in Cina da qualche parte
ma si sa che si può solo vedere che è
rintracciare le persone sta monitorando le auto
c’è qualcuno che attraversa la strada
cercando di uccidersi ma sembrano
per sopravvivere sai che questo è gentile
di missus state-of-the-art cosa sta succedendo
se vivo nella Bay Area e lì
le auto circolano sempre
con appuntamenti sopra e facendo tutto
di quella roba che si guida da soli e che abbiamo
li ho visti per anni ma sono solo
diventando ovunque ora così le persone lo sono
iniziando ad abituarsi a loro e loro sono
iniziando a diventare abbastanza buono così portafoglio
cosa stanno facendo oggi i clienti che usano l’ intelligenza artificiale
AWS un sacco di gente qui non lo farò
passare attraverso i dettagli ma c’è a
molti di loro sono solo alcuni quindi cosa c’è
la sfida prima di tutto quello che hai
petabyte di dati che devi ottenere
dati nel sistema che devi allenare
li su tonnellate di GPU
vuoi la capacità elastica che desideri
per dare quello che vuoi, lo vuoi
la stessa cosa che ho menzionato con il
processo che era l’elaborazione in batch che avresti
piuttosto avere un centinaio di GPU per un’ora
di una GPU per cento ore perché
ottieni la tua risposta in un’ora giusta ma
costa lo stesso per l’area sotto il
la curva è il costo in modo che tu voglia solo
ottenere il sistema più scalabile che può
scala alla più grande flotta di GPU che
puoi assemblare processi che poi danno
torna indietro e poi scopri quanto è buono
è e lo fa girare attraverso il sistema così
ecco perché questo è importante e il
la stessa previsione vera e propria che stiamo iniziando
per vedere GPU da usare per questo, ma è possibile
utilizzarlo su graziose sistemi di fascia bassa a
edge e server quindi stiamo implementando
funzioni lambda che contengono allenati
modelli che sono stati addestrati usando
queste settimane o mesi di tempo della CPU così
questo è il tipo di pila un mucchio di
motori AI open source nel mezzo
apache MX ora ti parlerò di a
minuto ma abbiamo la torcia del caffè di tensorflow
non ci sono CNT che accarezzano una lunga fila
di queste cose sono per lo più aperte
fonte in basso hai cloud
l’hardware e richiede che p2 sia una GPU da 16
su una singola macchina si può ottenere non c’è
ci sono macchine con una singola GPU
GPU elastiche che puoi collegare alle macchine
abbiamo ECS per contenitori lambda green
erba la nostra piattaforma IOT per l’implementazione
questa roba e se proprio vuoi
intelligente puoi progettare il tuo hardware
e distribuire come un design FPGA su AWS ora
e quella gente che ci lavora su per profondità
imparando anche più in arrivo
recentemente Nvidia ha annunciato la sua
chip GPU di prossima generazione che sta per
uscire alla fine di quest’anno è il lancio di AWS
partner per quel chip quindi lo otteniamo per primo
ciò significa che devi farlo prima attraverso AWS
così abbiamo intenzione di essere fuori del volume primo
con quel chip e questo è il tipo di
perché la nostra capacità di acquisto possiamo solo
andare a fare un accordo come quello in cima
che c’è una macchina della piattaforma AI che sono
come un machine learning è sufficiente alimentarlo
alcuni dati e ottenere previsioni è
utile per motori di raccomandazione e
è uscito da un paio d’anni
stiamo facendo più cose in quell’area
questo è il livello della piattaforma roba un po ‘più facile
e in cima abbiamo il facile da usare
se ti ho fatto una foto proprio adesso e
alimentato per registrare dici folla di persone
seduto in una stanza con le luci che conosci
può dire cosa c’è nella scena Polly
gli dai del testo e lo dice in
Lex è il fulcro del modo realistico
Servizio Alexa puoi costruire la chat
BOT con esso con audio o immissione di testo
abbiamo costruito un call center attorno a te così da te
può usarlo per il front-end del call center
quel tipo di cose fondamentali e c’è
più applicazioni che arrivano in quello spazio
quindi stiamo solo andando a continuare a sfornare
più e più e più casi d’uso del
l’ultima cosa sul riconoscimento è che abbiamo aggiunto
celebrità in modo da poter mostrare una foto
di Wonder Woman e ti dice il
nome dell’attrice che sta ancora suonando
non dimenticato il suo nome ha qualcosa
che è dopo ricordalo quando sono
andare in Israele la prossima settimana e lo so
Dovrò ricordarlo se lo sei
entrare in questo è il più facile
il modo in cui puoi entrare è un profondo
apprendimento ami ami hai praticamente
tutto ciò che è stato preinstallato si accende
questa immagine e ha tutto il
versioni di Python hai bisogno di tutto il
versioni di tutti i diversi
librerie e toolkit che ha
driver pre-costruiti che sanno come parlare
alle GPU abbiamo sintonizzato tutto
c’è una squadra di persone che lavora senza sosta
su come fare questo lavoro lo collaudo in modo affidabile
e la sua integrazione non replicare questo
te stesso è una totale perdita di tempo
passerai secoli cercando di ottenere il
corretta versione di Python installata per
tutte queste cose diverse ma noi
avere tutte queste cose integrate in questo modo
facciamo una rapida panoramica di MX net è
ho ottenuto una sintassi più semplice con molto con molto
un ampio supporto per la lingua uno dei
ragioni lì che abbiamo deciso di uscire
raddoppiare su MX net era il
supporto linguistico è molto portatile è
efficiente funziona bene con i chip ARM
Dispositivi IOT suo noi ad alte prestazioni
capito tutte le cose che abbiamo testato
ha un ridimensionamento lineare su centinaia
di GPU che sono le macchine multiple
il tuo multiplo delle nostre macchine p2 tutte messe
insieme abbiamo una grande scalabilità su di esso
e tu conosci abbastanza bene il ridimensionamento
centinaia di loro quindi è molto bello
il loro ultimo gennaio è stato proposto come un
Progetto Apache e
nel processo di incubazione quindi è ancora
lavorando attraverso non è completamente lo sai
c’è ancora ma sta funzionando verso quello
e le squadre di andare lì e abbiamo
stato sintonizzato su AWS quindi ecco qui
quello che sta succedendo è piuttosto vario
comunità circa il 35% dei contributi
alla nostra rete Mex provengono da persone che
attualmente lavora in formato AWS su Amazon
ma c’è gente questo è il tuo genere
pensa a questo come a una ricerca universitaria
squadra in cui la gente ha assunto persone
quelle squadre e quelle persone sono ancora
contribuire di nuovo in modo da essere causa
è andato a Apple e qualcun altro è andato a
Non lo so, so se Tesla o
ovunque ci sia un numero di posti o
la Microsoft alla base di nan causa
sebbene queste persone se ne siano andate
direzioni diverse ma erano venuti
fuori dai gruppi di ricerca originali che
erano in UW e CMU immagino che sia così
diversi contributi qui e giusto
qualche riassunto dall’incubazione di Apache
process 51 offerte con 165 ti impegna
sapere che c’è un gruppo abbastanza grande di
le persone qui sono un gruppo eterogeneo
cercando di raccogliere stiamo cercando di fare qualcosa
spingere Jen sai che Kat ha sentito 150
contributori in tutti questi diversi
le persone nel processo Apache così è
quello che ci vuole tempo, così sarà
qualche altro mese per superarne uno
aggiornamento recente di cui potresti aver sentito parlare
il front-end della carezza che è a
front-end facile da usare sopra
tensorflow Francois Shelley è il ragazzo
che ha scritto che al momento funziona
Google ma a Baden ora abbiamo MX net
come un grossolano back-end in modo da poter ancora
prendi tutte le cose che hai scritto nelle carezze
e puoi praticamente collegare MX net
invece di tensorflow e puoi ottenere
accesso a qualsiasi cosa tu sappia
scalabilità delle prestazioni cose che
abbiamo investito nella rete MX
lato così con i suoi primi giorni siamo ancora
capire davvero alcuni parametri di riferimento
mostra qual è la differenza ma con
sta arrivando come relativamente portatile
front -end di altissimo livello per
costruire queste reti
alcuni paragoni qui abbiamo deciso di farlo
vai con un modello di comunità Apache qui
per la governance ce n’è un po ‘ interessante
cose con programmabilità che MX net
ha una modalità imperativa la maggior parte delle altre
i sistemi sono dichiarativi che cosa significhi
abbiamo un facile accesso da Perl MATLAB
sono dentro quando stai costruendo un’increspatura e
stai solo digitando qualcosa e tu
vuoi provare le cose che puoi effettivamente fare
farlo con la loro rete massima è più difficile
per farlo quando stai costruendo un
rete e alimentarlo attraverso e il
collegamento del codice che è conciso è
più vicino a accarezzare nella sua API che tendono a
flusso che è abbastanza prolisso quando si ottiene
in usarlo e abbiamo trovato un po ‘di
i carichi di lavoro che abbiamo ottenuto sono molto più piccoli
impronta che rende più facile
distribuire su dispositivi di piccole dimensioni, quindi ecco il
strategia
integrare questo con un sacco di
i servizi lo usano come base per di più
cose che stiamo facendo e che sfruttiamo
questa comunità e vai conosci ampliare
la comunità a prenderlo in mano sono questi
alcune delle cose che Amazon sta usando un
rete mista per ricerca applicata tutti questi
cose diverse un po ‘dove dice
traduzione automatica così è quella
progetto che è appena uscito come open
fonte molte opzioni diverse qui se
pensi a tutto ciò che Amazon
fa e fornisce robotica logistica di catena
tutte quelle cose e tutte le cose
sta succedendo in AWS così da dare una rapida occhiata
all’API c’è un array indie molto
simile al tipo di cosa che vorresti
usa in numpy una rete multidimensionale
matrici noto anche come un tensore questo è
da dove proviene il flusso intensivo tensoriale
è un array multidimensionale e a
il simbolo è come crei le espressioni
per i flussi che stai per pompare
questo attraverso così crei un albero di
fasi di elaborazione utilizzate dalla creazione
questi simboli e questa è la parte del flusso
quindi il flusso del tensore è fondamentalmente solo un te
sapere combinando insieme la descrizione
del modo in cui queste cose funzionano così tutti
queste cose sono fondamentalmente flusso tensoriale
scrivi cose e MX net è molto simile
al flusso del tensore nel modo in cui funziona così
che l’API è un po ‘diversa in esso
quindi puoi sostanzialmente questo in questo non lo è
sai cos’è questo che conosci due
due volte o qualcosa
ma i professionisti per questo è facile da fare
cosa imperativa e in un debug cosa c’è
andando avanti perché puoi fermarlo puoi farlo
fermalo passo dopo passo e vedi cosa c’è
succedendo rende più facile il debug
ma è meno efficiente se ci provi
pompare enormi quantità di dati attraverso
questo quindi è meglio per l’esplorazione dei dati
non è buono per l’allenamento e
classificare il modello più dichiarativo
tu costruisci quest’albero questo è ciò che è
la pianta del flusso o i simboli e tu
compilare questo albero e quindi si nutrono i dati
in esso e i dati scorre attraverso e
diventa molto efficiente perché
sa quali nodi non sei più
usando e può far crollare cose e
ottimizzarlo e questa è la struttura
che viene poi etichettato in tutta la disposizione
attraverso la GPU per prestazioni elevate
l’elaborazione è piuttosto difficile da eseguire il debug e
capire cosa non va nel
al centro di qualcosa quando stai pompando
i dati attraverso qui sono i modelli che sono
quasi fatto ora dal carico di tempo
qui un mucchio di diversi tipi di
input e output dovrebbe essere equo
familiare alla maggior parte delle persone completamente connesso
tiri di convoluzioni l STM sono avanti
memoria a breve termine questi sono utilizzati per
soprattutto per la tecnologia che capisce le cose
come il testo e poi c’è questo figo
cosa in fondo provi e spieghi
questo in pratica se lo stai provando
capire il linguaggio si finisce con a
vettore di pesi per ogni parola e
quelli che rappresentano la parola e
impara così, una volta che ti sei allenato
il tuo sistema linguistico così qualcuno l’ha capito
fuori che se hai addestrato il tuo sistema e
ha capito cosa tu sei il
il vettore che avevi per la regina era
fondamentalmente lo stesso come il vettore
Re se hai sottratto il vettore
per l’uomo e ha aggiunto il vettore per la donna
quindi è come il sistema ha capito
c’è questa idea di un reggente e lì
sono reggenti maschi e femmine e loro
sottoclassi di esso in modo che tu possa effettivamente
c’è qualche manipolazione simbolica e
comprensione di base, ma è tutto fatto da
i pesi di questi vettori di numeri
e questo tipo di concettuale
la comprensione è in realtà ciò che sta succedendo
all’interno di questi modelli ed è quello che
questo è un po ‘ strano perché è così
Dite cos King Queen comunque quello è il
storia Sto succedendo qui Sto andando
per darti
questa piccola cosa qui così questa è la mia
progetto questa è la mia auto auto-guida è
di questo grande è un radiocomando
camioncino a quattro ruote motrici con il
la radio è scollegata e se i BIRY si baciano
inceppato nella parte superiore di esso il software è
corre è chiamato asino così ho chiamato la mia macchina
Hotei quindi può essere Don Chisciotte e lo farò
mostrare che è un esempio di esso in
misurando il comportamento del Don Chisciotte
questo è inclinando i mulini a vento
sfortunatamente per fortuna nessun danno è stato
sostenuto per l’ altro camion sì sì
è abbastanza dove pensiamo che sia così
questo è un esempio di ciò in realtà io
fondamentalmente addestrato ad avere paura di
linee bianche penso e va e basta
è ottenuto la cosa si conficca fuori alto
è una fotocamera e quando vede un bianco
linea va e corre via da esso e
questo è stato addestrato su un veicolo diverso
e su una traccia diversa ma anche se
l’allenamento è stato completamente da me ottenuto
paura delle sedie in quel punto e
scappò completamente anche se lo era
addestrato su un totalmente diverso
ambiente
lo aveva ancora sostanzialmente capito
era in grado di capire come guidare
intorno a una pista quindi abbiamo una squadra
questo significa che le auto Robo fai da te sono il nome di
l’handle di Twitter, ma non c’è
gruppi che iniziano in tutto il mondo
potrebbe probabilmente iniziare uno ad Amsterdam se
voi ragazzi volete farlo, questo è fantastico
modo di giocare per imparare come fare
questo è tutto disponibile io lo sai questo
è un giocattolo americano da $ 200 che ho costruito e
Ti ho passato a sapere cinque dieci dollari a
mese in cui sai costruire questa cosa
gestendolo nel modo in cui funziona c’è un
Istanza AWS che è in realtà un modo per
il tuo allenamento che è lì collega il
l’auto si sta collegando al telefono e poi al tuo telefono
si connette a quell’istanza e tu
controllarlo attraverso l’istanza AWS così
è alimentato da tutto ciò
open-source e principalmente scritto in Python
ed è una cosa divertente che ti incoraggio ad andare
giocare con questo te giocare con il vostro
ragazzi questo è dove il mondo sta andando a
cinque 10 anni di tempo per capire come
queste cose funzionano sarà davvero
importante almeno avendo un concettuale
capire cosa puoi e cosa non puoi fare
con loro quindi questo sono io che sto cercando di imparare
tutta quella roba quindi questo è il mio genere di
l’ultima diapositiva ha paura di molto tempo qui
ma molti post sul blog
un sacco di punti di riferimento le diapositive che darò
un PDF delle diapositive per l’organizzatore in modo
andrà abbastanza veloce così puoi
clicca su queste cose, ma Julian
Simon, che è un evasivo jabber con sede a
La Francia ha fatto tutta una serie di blog
i messaggi sull’API della rete MX vanno seguirli se
vuoi essere veramente aggiornato e
Presto Amalia lavora sul team net MX
sorta di produzione di un sacco di post sul blog
come alcuni di questi tipi MX net1 Lander
di cose di modo che è che vi ringrazio molto
tanto
[Applausi]
bene grazie mille è bello essere
tornerò alla conferenza di nuovo sarò
facendo questo e Copenaghen quest’anno
così bei bei tempi e sono felice di conoscerti
così tanti vecchi amici qui così così
è quello di cui parlerò di cui parlare
cultura perché questa è una delle chiavi
cose che cambiano quando vai in cloud
la migrazione e il modo in cui le persone migrano
nuvola in particolare il modo in cui Netflix ha fatto
e poi alcune cose su districare
il livello dati perché chiamo il nuovo D
normale denormalizzazione che porta a
monoliti ai servizi micro alle funzioni
per servire e poi finirò per parlare
riguardo alle cose che sto attualmente lavorando
su e concentrandosi su cui è intorno aperto
fonte e intelligenza artificiale così
la cultura questo è questo è un bel riassunto
del perché la cultura è importante se vuoi
Costruisci una nave non far rimbombare le persone
raccogliere la legna dividere il lavoro e dare
gli ordini invece insegnano loro a desiderare
il mare vasto e infinito allora là
costruire una barca migliore di quella che
avevi in mente, quindi se lo hai
persone che sono veramente impegnate per a
scopo che capiranno
collettivamente come costruire un migliore
prodotto e come fare un lavoro migliore di
se provi a controllarlo centralmente
questo è da questa citazione è direttamente da
il mazzo di cultura Netflix è qualcosa
che Reed Hastings ha scelto come un
esempio del motivo per cui Netflix è in grado di farlo
cose e fare le cose più velocemente e fare
le cose meglio della loro concorrenza
perché tutti si sta allineando
allo scopo non viene detto a livello centrale
cosa fare però ce ne sono parecchi
altri mazzi di cultura Nordstrom ha un buono
uno è dalla tecnologia di Nordstrom
giorno della cultura e lo hanno bollito a
una cosa e questa è una cosa interessante
il pensiero usa il buon senso in tutto
situazioni e questa è l’essenza di
cosa vuoi se stai cercando di riempire
quella cultura costruttiva molte culture
scendere al giudizio e quello che sono cosa
intendo per giudizio è se metti qualcuno
in una situazione e tu dai loro abbastanza
tempo di pensare e il contesto corretto
l’informazione loro
dovrebbe prendere una buona decisione difendibile
questo è il buon senso che è l’esercizio
di buon giudizio ma ciò che facciamo in grande
aziende e tipo di tradizionale
le aziende gestite a livello centrale sono noi
mettiti in un processo e il tuo compito è farlo
segui il processo e se il tuo compito è farlo
seguire il processo poi quando qualcosa
succede che non è nel processo di tutti
ad un tratto si suppone di capire
come usare il tuo giudizio ma non lo hai fatto
ha avuto qualsiasi pratica di usare il tuo giudizio
e quindi il trucco qui è non avere
i processi non hanno regole ma hanno
tutti decidono collettivamente questo
faremo rozzamente le cose
allo stesso modo perché quello è il nostro
collettivamente abbiamo tutti lo stesso bene
giudizio abbiamo tutti gli stessi contatti
contesto e abbiamo tutti lo stesso scopo
quindi se guardi alcune delle cose
che se guardi cosa è Netflix
facendo e il modo in cui quelle culture
lavoro e il tipo di alcuni modi
Amazon funziona ciò che vedi è ciò che sembra
come i processi ma in realtà sono
artefatti di sistemi di persone semplicemente
seguendo il buon senso , pensaci
come il giudizio si applica alla cultura di a
compagnia quando si sta creando
quindi la cultura Netflix sembra così
in pratica dice che la cultura
è di per sé importante, ecco perché i valori lo sono
ciò che apprezziamo alte prestazioni e
la libertà e la responsabilità sono davvero le
il nucleo qui è quello che noi davvero
continua a tornare da Netflix
giorni significa che si tratta di una fiducia, ma
verifica che ci fidiamo di tutti
fare la cosa giusta ma stiamo andando a
controlla che stiano facendo il giusto
cosě sai che qualcuno sta andando
di essere a guardare quello che stai facendo in modo
ti stai sempre tenendo alto
standard e questo è il principio che
tutto funziona, quindi è un
modo interessante di farlo che questo
la cultura funziona per una start-up per un piccolo
la società Netflix è molto omogenea
compagnia hanno deliberatamente solo due
luoghi nel mondo di nessuno di essi
dimensione hanno una miccia come uno o due
sparsi persone di marketing intorno al
mondo ma hanno ingegneria a Los
Gatos e hanno produzione di contenuti
a Beverly Hills leggermente diverso
culture in quei due posti ma
estremamente concentrato tutti in uno
edificio e tutti in grado di
pensa a quello che stanno facendo in un molto
modo concentrato e omogeneo il
Netflix non ha mai acquisito un’azienda come
quasi come lo stesso Netflix ne ha circa 20
anni non hanno mai acquisito un
società che è pazzesco rispetto a guardare
tutte le altre società che acquisiscono società
perché Netflix non è perché loro
non voglio diluire la cultura loro
vogliono mantenere un ottimo che vogliono
acquisire le persone migliori da un
concorrente e non acquisire il tutto
concorrente e tutto il bagaglio e strano
roba culturale che potrebbe venire con lui così
acquisiscono le persone una alla volta
riprogrammarli al modo Netflix di
pensandoci su ciò che funziona per a
compagnia di poche migliaia di persone che è in
cresciuto nella Bay Area dove c’è un
molte persone per rubare le persone da destra
quindi trascorri cinque anni dieci a sai
Google o Facebook o da qualche parte e poi
Netflix ti saluta quando vuoi
e gioca con il sai lo stesso
l’esperienza è un piccolo numero di molto
le persone esperte sono ciò che sono
targeting non hanno laureati
non ci sono tirocinanti, non ce ne sono pochissimi
appaltatori è fondamentalmente un molto
cosa concentrata in modo che funziona per
ma non puoi applicare questa cultura a
una grande organizzazione multinazionale quindi se
guardi la cultura amazzonica Amazon a
qualche mese fa ricordo l’ultimo
numero ma è l’ultima volta al numero I
ricordo che c’erano 350.000 dipendenti giusti
sparsi in giro acquisiti un sacco di
aziende sparse ovunque nel
mondo incredibilmente diversa cultura come fare
metti le tue braccia attorno a una cultura come
questo e hanno ancora innovare e spostare
molto rapidamente e sarà in grado di affrontare
le ultime cose che questi 14
i principi sono insegnati a tutti a
Amazon ma sono anche usati come assunzioni
filtro se vuoi andare a lavorare per Amazon
devi interiorizzare queste 14 cose
perché i test di processo intervista che
sei tu che hai queste idee che tu
vivere fino a questi principi e quando tu
andare per un ma quando valutiamo i bonus
sono valutati contro questi
principi e promozioni e tutto
internamente quindi potrei andare da chiunque
lavora a qualcuno di quelli di Amin
350.000 persone e inizia a parlare
ossessione del cliente o immergersi in profondità o guadagnare
la fiducia degli altri e loro avrebbero saputo
esattamente di cosa sto parlando è a
è un
principio di raccolta che raccoglie
insieme centinaia di migliaia di persone
in una singola organizzazione così è
il potere di avere questi culturali
dichiarazioni quindi pensateci perché
questo è ciò che libera la compagnia
innovare incredibilmente rapidamente mentre è ancora
avendo un unico scopo e un insieme di
i principi e quei principi sono gentili
delle cose che sono in genere
bloccando la gente quando quando parlo con
dirigenti per le aziende che stanno facendo
la migrazione nuvola un po ‘si deve arrivare
questa cultura va bene altrimenti i tuoi rifiuti
il tempo si sarà bloccato internamente
a causa della centralizzazione di troppi
le decisioni e quale cloud ti consente di fare
decentrato quelle decisioni perché
tutto si sta muovendo così in fretta che tu
arrivare ad avere l’autonomia del self-service
così la cultura dovrebbe essere intenzionale esso
dovrebbe essere appropriato e in fondo
di tutte queste culture è qualcosa a cui
che fare con il giudizio in modo da pensare a come che
si applica alla propria organizzazione se
stai creando una nuova organizzazione
veramente attento a come crei una cultura
è molto più difficile cambiare una cultura così
Ho intenzione di parlare un po ‘di
migrazione verso il cloud e alcuni dei
lezioni dal viaggio nel cloud di Netflix
e un po ‘di aggiornamenti su questo 2008
abbiamo avuto una scossa abbiamo avuto un’interruzione di 2 giorni
dove non abbiamo spedito alcun DVD era
perché l’ IT aveva pensato che potessero
rendere i sistemi perfetti e sviluppatori
appena avuto per noi non doveva pensare
sulla disponibilità dell’hardware tutto
Stavo solo andando a lavorare
avrebbero comprato hardware di fascia alta
il software di fascia alta lo fa funzionare e
potremmo semplicemente implementare il nostro software
sopra e presumo solo che il
roba sotto stava andando a lavorare aveva a
corruzione dei dati in silenzio in culo e it
ho appena danneggiato tutti i database che abbiamo
ripristinato tutto ciò che li ha corrotti
di nuovo e tu sai che l’intera faccenda era a
gran casino quello che è successo a causa di quello era un
cambiamento di ipotesi abbiamo messo in discussione questo
ipotesi forse la disponibilità doveva essere
gestito a livello di applicazione e it
doveva essere una preoccupazione degli sviluppatori
e non possiamo portarlo direttamente lassù
e pensaci e poi se lo fossimo
facendo ciò potremmo usare il cloud a basso costo
infrastruttura per andare a costruirla
piuttosto che questa fascia molto alta molto
hardware costoso e curato che potremmo usare
effimero a basso costo pronto all’uso
hardware
e questo è stato il cambiamento mentale che
è venuto attraverso così questo era abbastanza spesso io
vedere quando le persone si stanno muovendo verso il cloud
c’è un’interruzione o una cosa che c’è
Qualche calcio importante nel calcio che succede
alla direzione anche se iniziano
ipotesi in discussione in modo che sia il
inizio di molti viaggi di mucche aggiunti
a quello c’è di solito un esistenziale
minaccia e per Netflix era quello
avevamo bisogno di un enorme aumento di dati
capacità centrale non potremmo dire come
molto come dovremmo aver bisogno e noi
non ha avuto tempo per costruirlo ci vogliono
circa nove mesi per fornire un dato
centro e non avevamo idea di cosa fosse il nostro
esigenze di capacità o dove stavamo andando
bisogno in nove mesi di tempo ed è stato
perché lo streaming stava sostituendo questo DVD
sta accadendo in tutti i settori che siamo
vedere il coinvolgimento dei sistemi che domina l’IT
era che l’IT stava guardando
dopo dipendenti e fabbriche e forse
terminali point-of-sales e cose simili
ma non avevi i tuoi sistemi IT
ridimensionato con il numero di clienti o
negozi o fabbriche che avevi non
scala con il numero di clienti
aveva ora perché i nostri clienti sono
direttamente collegato al nostro ordinamento di sistemi
se lo chiami IOT o Direct
Marketing o qualsiasi cosa sappiamo di tutto
i nostri clienti quindi ora abbiamo sistemi IT
ridimensionamento con un numero di clienti voi
hanno ed è per questo che sistemi di
l’impegno è finito per far funzionare tutto
altro
il mio altro esempio preferito è NEOWISE
Netflix come BMW di cosa sta parlando
BMW fa auto e prima era così
una volta l’anno si dovrebbe prendere l’auto in
per il servizio e probabilmente otterrebbero un
aggiornamento dicendo che questa macchina è ora a questo
chilometraggio e sistemiamo questa cosa e
qualunque cosa una volta all’anno riceverai un aggiornamento
su una macchina hai costruito le macchine attuali
sono direttamente collegati tramite un AWS
servizio di nuovo a BMW sanno esattamente
dove sono stanno scaricando la mappa
aggiornamenti stanno usando l’auto come a
sensore questa cosa si chiama Caruso e
è un’auto come un sensore che stanno trovando
a proposito di lavori stradali mentre stanno accadendo
stanno scoprendo la congestione come
sta succedendo e condividendolo
la loro base di clienti sono anche loro
raccogliere un sacco di dati su come questi
le auto sono guidate in modo da pensare a quanto
traffico che è di nuovo dentro
ai sistemi centrali rispetto a
vedere una macchina una volta all’anno scalata
tutte le auto che hai mai costruito intendo
in questo momento è solo nel loro genere di
sette serie e lavorando lungo la gamma
ma questo è ciò che intendo per sistemi
impegno che domina l’IT e tu puoi
scegli un settore in cui puoi giocare
come Internet ci ha permesso di connetterci
direttamente ai nostri clienti quindi il DVD
affari per Netflix assomigliano a questo
ogni tanto diresti che sono
prenderà dei DVD forse su ogni
Domenica sera diresti che questi sono i
DVD guarderò la prossima settimana e tu lo faresti
metti la tua TV nella posta e nuove
sarebbe venuto la prossima settimana e il prossimo fine settimana
in effetti ti saresti abituato a guardare
alcuni di loro e poi lo fai di nuovo così
le interazioni erano all’incirca una volta a
settimana un po ‘di navigazione così abbiamo avuto
un sistema configurato per supportare questo e noi
aveva una macchina di dimensioni discrete e quant’altro
ma non era davvero enorme allora se tu
guardare gli uomini d’affari in streaming
inizia ad abbuffarti guardando che conosci un’intera TV
serie in un giorno e poi guardarne un’altra
uno poi o guarda un altro e il
il sistema non sta solo raccogliendoli
sta registrando i dati che sta salvando il tuo
qualità dei costi dei servizi monitorati
continuamente c’è un progresso
il battito del cuore quindi se ti fermi a metà strada
qualcosa sanno dove sei quando
si riprende c’è un’enorme quantità di
traffico che entra nel sistema confrontato
sul lato DVD , quindi quello che abbiamo trovato
se prendiamo in mano ne inventiamo un po ‘
numeri è circa un centinaio di volte di più
visualizzazioni a settimana è forse un centinaio
forse cento è più di dieci volte il
visualizzazioni a settimana e cento volte il
numero di richieste per vista anche se tu
prendi quelli che sono belli
stime prudenti che significa che è a
mille volte più traffico per ogni
cliente che smette di usare i DVD e inizia
lo streaming va bene così come Netflix
spostato da una compagnia di spedizioni di DVD a un
società di streaming questo è quello che è successo
questa è la nostra capacità di DVD che è la nostra
capacità di streaming il punto in cui noi
spendevamo metà delle nostre capacità
lo streaming di manutenzione era quando un decimo
di una percentuale dei nostri clienti
ha iniziato a utilizzare le nuove funzionalità giuste
È stato allora che abbiamo avuto 5050 nel nostro fronte
fine servizi web e servizi API quando
avremmo colpito un decimo di punto percentuale in modo nuovo
questo è il motivo per cui stavamo andando noi
saremo il prossimo fallimento di Twitter
bene conosci meme di internet e noi
necessario per capire come affrontare
ciò che ci danno una scelta sia
reclutare data center di classe mondiale
le operazioni le persone indovinano la capacità
avremmo bisogno e costruire un enorme data center
e metti giù un’enorme quantità di denaro
front nella costruzione di quel data center
infrastruttura che parla da decine a centinaia
di milioni di dollari centro dati di dimensioni
investimento qui o utilizzare AWS dove noi
potrebbe pagare per questo il mese dopo che abbiamo usato
e lo metto a centinaia di milioni di
dollari nel contenuto che ha reso il
prodotto migliore e questa è la scelta
giusto e ovviamente la scelta che hanno fatto
Ehi , andiamo a comprare un’altra stagione di
castello di carte o invece di costruire a
data center sai una di quelle marche
il tuo costo leggermente inferiore forse se tu
farlo esattamente a destra e l’altra
sposta l’attività in avanti
questa è la scelta e questo è il grande
scelta che molte persone stanno facendo
ora come decidono che non dovrebbero essere
passare del tempo a costruire centri dati così
nel 2009 ho voluto attenuare alcuni rischi
prima di tutto capire come AWS e
i primi erano correlati e lo erano
separati c’era una telefonata tra
conosci Reed Hastings l’amministratore delegato di
Netflix e FB Zeus il CEO di Amazon
tufo, cos’è questa cosa AWS?
davvero separati e non lo faranno
nutrire tutti i nostri dati in prime e tutti
quel genere di cose si sono sentite a proprio agio
su questo e poi da allora su Netflix
è stato utilizzato come esempio da AWS di
sì, puoi gestire il tuo business in competizione
su AWS e va bene e Netflix
lo fa e gli altri lo fanno e tu
non dovresti preoccupartene come Netflix
usato a pensarci era quello che eravamo
andando a usare i punti di forza del nostro
il più grande concorrente contro di loro è
come una mossa jujitsu a destra capovolgi
usi il peso del tuo avversario per
farli cadere sopra così abbiamo Netflixed esso
risulta utilizzato AWS meglio di Prime
mai fatto per competere con Prime abbiamo fatto un
tutta la capacità sperimenta uno
tempo siamo andati e mi chiedo cosa succede se
si chiede per 4.000 macchine contemporaneamente ben
ottenere un ordine scaler ha detto invece di 4.000
di voi conoscete quattro indietro non abbiamo bisogno
provato un centinaio alla volta e
circa un’ora dopo c’erano 4000 macchine
correre così è stato bello
ora questo è nel 2000
è molto più semplice di farlo ora, ma a
il tempo che è stato trasformazionale il
l’idea potrebbe creare quattromila macchine
in un’ora solo semplicemente chiedendo per essa è
era pazzo
ci siamo registrati per una licenza aziendale
accordo perché non vuoi essere
gestire un po ‘di affari importanti su a
licenza click-through e una carta di credito
scopre e questo era prima che questo fosse
la prima volta che AWS ha avuto effettivamente un
contratto di licenza aziendale è stato ordinamento
di creato dai primi grandi
i clienti che vanno hey ragazzi ora non siamo
facendo questo su una carta di credito e a
click-through e abbiamo fatto questa pubblicità
storia del New York Times
tipo di lancio i risultati di questo
la storia in cui la gente pensava che fossimo
pazzo al momento non c’è modo in cui eravamo
mai andando a fare questo lavoro che è stato
l’opinione prevalente per prima cosa noi
ha provato alcune cose che non lo erano
l’orientamento al cliente che non erano critici
stavamo codificando film e non ce l’avevamo
abbastanza capacità quindi l’abbiamo spostato in ec2
è lì che abbiamo preso questi quattro
migliaia di macchine per elaborarlo
ha funzionato bene e poi una volta elaborato
li chiudiamo e costa
stessa quantità di avere quattro mila
macchine per un giorno è averne una
migliaia di macchine per quattro giorni o a
cento macchine per 40 giorni ne avevamo 100
le macchine prima nel nostro arretrato erano a
mese quindi lo abbiamo ridotto a un giorno solo
avere quattromila macchine vedere il
finalmente la prossima cosa era tutto questo
i servizi di streaming stavano effettuando il log back
nel sistema e nel nostro database
stava gestendo la registrazione della qualità
di servizio appena superato da tutto il
capacità di streaming quindi abbiamo spostato su s3
che è un archivio davvero illimitato
spazio solo per darti un riferimento
punto più recentemente abbiamo appena eseguito a
punto di riferimento in cui abbiamo creato un exabyte
secchio di dimensioni in s3 solo per eseguire a
punto di riferimento un exabyte che è un miliardo
gigabyte o un milione di terabyte tutto
va bene solo se possiamo parlare di
che la cosa reale in sé, ma il
fatto che abbiamo avuto un exabyte di riserva solo per
eseguire un punto di riferimento ti dice che questo è
abbastanza grande e alcuni di voi potrebbero avere
un exabyte e abbiamo clienti con
exabyte ma è molto grande
ora 2009 probabilmente non era proprio questo
grande ma è enorme spazio così illimitato I
significa che abbiamo l’ analisi del blog e ci siamo abituati
dupe per elaborare questo è nel 2009
usando l’EMR questo è uno dei primi
dove abbiamo detto ad Amazon che hai il
versione errata di Hadoop e di cui abbiamo bisogno
questa cosa dell’alveare e abbiamo bisogno di questi
set di funzionalità e sono andati bene costruiremo
fino alle versioni che volevi e
poi abbiamo detto che se lo fai lo useremo
quindi abbiamo tipo di loro hanno costruito il
versione basata sul nostro feedback per farlo
una pila utilizzabile di cose per risolvere il nostro
problema e poi Netflix lo ha usato
da allora è parte del
feedback loop quando lo facciamo con il nostro
i clienti tutto il tempo che dici bene
davvero ci piacerebbe questa cosa e questi
caratteristiche e andiamo oK abbiamo parlato con a
pochi altri clienti lo inseriscono e quello
quell’ossessione del cliente è ciò che AWS
corre e per questo ce ne sono così tanti
prodotti che escono da noi così in partenza
del 2010 abbiamo deciso di non costruire più
capacità del data center quindi dovevamo muoverci
al data center entro la fine del 2010 a
sopravvivere così abbiamo attraversato e
abbiamo continuato a convertire i front end in movimento
fuori la parte anteriore finisce nel cloud e vicino
Alla fine avevamo il nostro backend era cresciuto
riempire tutto lo spazio creato da
spostando le estremità anteriori e la parte anteriore
la fine è stata enorme mentre stavamo facendo questo noi
ha avuto questa bella slide che abbiamo mostrato
internamente è come se avessimo davvero un
scadenza su questo perché non lo siamo
andando a costruire un altro centro dati e
Netflix si ha una scelta che sia andare
volare nel cloud o hai intenzione di colpire
quegli alberi alla fine della pista
c’è un problema di pista limitato che conoscevamo
c’è un grande aumento nel bisogno di capacità
per superare la fine dell’anno e
non lo avremmo costruito sul
centro dati quindi abbiamo dovuto passare al cloud
quindi questa conversione forzata alla marcia è stata una
delle cose fondamentali che l’hanno fatto fare
giusto è un’altra cosa che vedo quando
persone che eseguono migrazioni di cloud impostate a
obiettivo vero obiettivo è questo data center
essendo chiuso qui è fuori contratto è
essere chiuso
hai una dura battuta di questo tipo
di cose sono ciò che ottiene queste transizioni
per succedere abbiamo iniziato con il più semplice
possibile servizio API quindi il più semplice
pagina web e quindi solo api e pagine
uno per uno e lo abbiamo fatto solo facendo
reindirizza in modo da colpire il vecchio è andato
questo ha colpito il data center e lo farebbe
scegli se o quella pagina esisteva in
il cloud e se tu fossi nel
cellule di prova giuste e cose e cosa
percentuale dei clienti che vogliamo
invia lì e basta reindirizzare il traffico così
sono solo reindirizzamenti
Il redirect del PIL e funziona bene
alla fine abbiamo dovuto spostare i dati così noi
iniziare a copiare alcuni dati avanti e indietro
e oggigiorno abbiamo alcuni strumenti chiamati
servizio di migrazione del database che lo farà
in realtà in continuo copiare i dati fuori
cose come dati Oracle o Terra o
proprietario sequel mysic proprietario
database in particolare ed è possibile utilizzare
loro di migrare al cloud e tu puoi
spostarli per pubblicare cresce sul mio sequel o
DynamoDB ora nel 2011 abbiamo citato okay
andando a chiudere il data center come a
sistema di registrazione e passaggio al cloud
come fonte di dati primari
fonte quindi dovevamo essere in grado di tornare
in su e abbiamo voluto sostituire il nostro
backup su nastro fuori sito, così abbiamo creato un
account separato in una regione separata
e questo è diventato molto duraturo
modo di fare questo e lo impostiamo così noi
non poteva essere cancellato era automatico
epurazione e noi oggi c’è molto tempo
archivio termine utilizzando più vetro così noi
sostituire questo backup su nastro fuori sito con
sai metterlo in un’altra regione in
un altro account vuoi essere di guardia
contro l’ acquisizione di account e un intero
un mucchio di altri tipi di dipendenti interni
tipo di dipendente scontento di te
voglio essere sicuro che i tuoi backup siano
davvero inespugnabile ma questo è il
sostituisce il backup su nastro come meccanismo
finalmente tutto lì dentro chiude l’ultimo
centro dati questo è successo dopo diversi
anni IT aziendale spostato fatturazione spostato
roba del genere e ora è tutto
in esecuzione sul cloud, quindi questo è il
migrazione ci vuole un po ‘ questo
l’ultima volta che riordina gli ultimi
le cose richiedono un po ‘di tempo se ci stiamo muovendo
database iniziamo con questi monolitici
i database ci permettono di approfondire un po ‘su questo e
allora il problema è che i database se
li stai facendo da un po ‘
Vai a questo lavello da cucina di tutto il
schemi e tutti i tavoli e tutto il
spazzatura e tutte le domande che tipo di I
avere un tavolo che ho bisogno di andare da qualche parte
beh, un pozzo abbiamo un database, quindi lo farò
mettilo lì
bene io dovrei per normalizzare che
in tutto così finisce per aggrovigliarsi
anche se non dovrebbe essere stato davvero
in base a sai se anche se il
il carico di lavoro non aveva davvero nulla a che fare con
quello e quello che vogliamo veramente fare è
passare a qualcosa che ha un più grande
numero di
database non sequel più semplice pulito
database relazionali che sono su a
semplice singola cosa concettuale sorta di
la parte anteriore del micro-servizio per il back-end
tipo di modello che vuoi costruire un gruppo
di backend che sono monouso così
hai il tuo monolito è un po ‘
complicato è difficile gestire il tuo a
database monolitico e ha un
schema in esso
e dopo un po ‘ottiene di più
complicato e diventa più complicato
e dopo al momento abbiamo colpito questo
Netflix stavamo modificando lo schema
ogni due settimane per circa otto anni
ed era diventato immodificabile c’era
solo frammenti di sequel PL e ordinamento Oracle
di trasudano delle cuciture di questa cosa
ed è appena diventato qualcosa che nessuno
voleva più toccare ed è stato
rallentare il business, quindi abbiamo dovuto
fare qualcosa al riguardo , ecco la mia
analogia c’è il tuo lavello della cucina
pensalo come una sorta di dormitorio studentesco
tipo di stanza, ci sono alcune mosche
fluttuando attorno ad esso alcune di quelle cose
sono stato lì per mesi giusto così
c’è un lavello della cucina quello che vogliamo
fare è pulire un po ‘così stiamo andando
avere qualche altro posto dove mettere le cose
tireremo fuori tutte le forche e
coltelli e cucchiai e cose provano a non farlo
tagliarci sui coltelli affilati e
tagliarci sul vetro rotto e
ci sono tutte queste piastre rotte e
roba così ci limiteremo a dare
qualcosa di un posto dove vivere dove
dovrebbe essere e riordinare la cosa in modo corretto
ora questo causa un nuovo problema
non abbiamo che ci manca un cucchiaio
giusto così hai capito ora
capire distribuire una coerenza
tra i datastore
giusto non è la fine del mondo è
possibile farlo risulta che questo è un
problema più facile da risolvere rispetto al problema
di modificare effettivamente
un enorme database coerente proprio così
stai scambiando un problema che è
difficile per un problema che è meno
difficile è ancora un problema, ma lo è
un problema più risolvibile più trattabile
in molti casi e c’è un numero di
diverse tecniche che si devono imparare
quando i tuoi sviluppatori vengono svezzati
fuori dal sì è possibile utilizzare le transazioni e
unisce e tutte queste cose al no
scusa, i dati sono in cinque diversi
database in modo che tu non possa usare
unisciti e non puoi effettuare transazioni su di loro
devi fare un po ‘di livello di applicazione
lavora per legare tutto insieme e c’è
un certo numero di schemi per farlo
in cui potremmo entrare ma non ho
tempo oggi, quindi stiamo andando a risolvere questo
e la prossima cosa che possiamo fare è uscire di nuovo
usare il caso e la cosa giusta da fare qui
non è metterlo nello stesso database
è per creare un altro database da mettere
nel giusto non continuare ad aggiungere cose
rendi davvero facile creare un nuovo
database per ogni nuovo caso d’uso, quindi cosa?
sembra che sia facile quando
hai uno di questi grandi complicati
sistemi per aggiungere solo più cose in giro
il bordo perché con dynamo DB o RDS
oppure nel cloud puoi creare un nuovo
database con una chiamata API in pochi
minuti o anche secondi che hai creato a
nuovo database un nuovo posto dove mettere le cose
quindi usa questa capacità per essere sicuro
non sei grovigli cose insieme che
non dovrebbe essere lì e DMS questo database
il servizio di migrazione ti aiuterà a districare
cose e metti e migra le cose a
database open source in modo che possiamo districare
gli schemi possiamo continuare a lavorare fino a
abbiamo il sistema in uno stato in cui
ogni datastore ha solo le cose che
dovrebbe avere per fondamentalmente un singolo
microservizi di valore di tipo
concettuale sai tutto quello che sai
sono contesti limitati dovrebbero essere qui
il datastore qui è il pezzo di
logica aziendale che implementa questo
servizio aziendale quindi è quello che siamo
cercando di andare così avanti
pensiamo a cosa stiamo facendo
i dati sopra i dati se il
la logica aziendale inizia come un monolite
ora abbiamo districato il nostro livello di dati che siamo
andando a districare la parte superiore in modo che stiamo andando
per capire come si è mosso il monolite
ai micro-servizi e perché è successo
e poi guarda cosa sta succedendo oggi
mentre passiamo alle funzioni così anni fa noi
aveva liste mono e il motivo che avevamo
monoliti era la cosa migliore che tu
potrebbe costruire perché avevamo un gigabit
reti e CPU lente e siamo stati
sterilizzare le cose con XML e sapone e
che impiega un’eternità per deserializzare e
serializza in modo da poterne inviare solo alcuni
messaggi al secondo se ne hai un secondo
a
rispondere a una richiesta web o una chiamata API
ti prenderà troppo tempo se tu
avere se stai usando soap XML lento
reti e lento lento codifica
meccanismi ma quello era il decennio
fa abbiamo sistemi migliori ora e allora
è successo quando siamo passati al cloud come
cinque anni fa
abbiamo iniziato a usare JSON ne abbiamo dieci
reti gigabit abbiamo molto di più
sistemi di codifica efficienti in JSON o
e tu conosci la semplice codifica binaria se
vuoi andare per la cosa più veloce
lì, ma ciò che ti dà è il
capacità di rompere le cose in più piccoli
pezzi perché l’overhead di farlo
era ora di ordine di grandezza meno di te
potrebbe avere invece di avere due o
tre monoliti che collaborano a qualcosa
potresti avere centinaia di microservizi
e ancora rispondere in quel secondo o
qualunque sia la tua pallida qualunque sia la tua
il tempo di risposta voleva essere così diverso da
la latenza molto molto bassa
requisiti ystem x ‘ siamo in grado di
costruire sistemi basati su micro-servizi
perché tutto accelerato fino al punto
quindi le idee intorno al servizio orientato
l’architettura non ha cambiato il
l’implementazione è diventata abbastanza efficiente
potremmo costruirlo per avere un singolo
funzione di servizio invece di avere un
cosa più di livello superiore con un sacco e
ci sono un sacco di frammenti e così siamo
in grado di costruire questo siamo in grado di sparare
fuori da tutte queste cose diverse e
costruire sistemi molto più complicati
dove questo sul lato sinistro è un
è un endpoint di Internet e sul
lato destro hai un sacco di cose
di archivi di dati o cache o
qualcosa del genere e tu sei solo
inviare il traffico avanti e indietro in modo che
era cinque anni fa ma si scopre che
i servizi intorno al limite sono diventati
servizi comuni erano open source
pacchetti o erano cose che noi
costruito noi stessi nei vecchi tempi ma giusto
trasformato in un servizio off-the-shelf voi
sapere qualcosa come sqs per l’accodamento o
DynamoDB o SNS per rete per
notifiche o s3 per un archivio oggetti
quindi un sacco di cose che noi
usato per costruire quello usato per essere parti di
il nostro monolite è diventato ora
servizi off-the-shelf e il nostro business
la logica è ora nel mezzo come
incollare tra questi mattoni e
c’è in realtà la logica del business
attraverso un’altra rivoluzione ora
come lo semplificiamo in individuo
funziona in modo da quelle funzioni che siamo in grado di
dividere la logica di business e trasformarle in ciascuna
uno in una funzione lambda diversa ma
la cosa bella che siamo in grado di fare con a
la lambda di dubrow in particolare era fatta
tutti loro completamente effimeri
quindi ho valutato tutto qui
in realtà non c’è niente perché funziona
Non gli ho dato alcun lavoro per farlo
definito la mia applicazione che ho definito il
funziona ma non c’è lavoro qui e
ogni volta che arriva una richiesta nel lambda
le funzioni vengono all’esistenza solo per
abbastanza a lungo per eseguire quel codice e poi
si spengono di nuovo per cui vieni accusato
ogni cento millisecondi che gestiscono
quindi quando i sistemi sono inattivi non costa nulla
per eseguire questo è per un gran numero di
carichi di lavoro che sono relativamente spinosi
in particolare i carichi di lavoro IT aziendali
un grande esempio di questo perché le persone
lavorano sulla velocità con cui sai
dipende da quanti dipendenti sono al lavoro
in qualsiasi momento nel tempo o il loro spike fuori
aziende o qualsiasi cosa guidata da dire a
TV annunci in cui desideri di rispondere alle
persone che colpiscono una pagina web che è in
un annuncio TV di quei carichi di lavoro spinosi
sono perfetti per questo c’è di sicuro
casi in cui hai un flusso costante
di traffico dove vorresti solo
costruisci un servizio per elaborarlo ma
c’è una grande classe di applicazioni
dove i tuoi sistemi sono inattivi la maggior parte dei
tempo, perché sono solo in attesa di
il prossimo picco nel traffico per girare
e questi sistemi sono sempre attivi
rappresentare utilizzare in modo che è il costo di
gestendo il suo sito e questa è una ragione
il motivo per cui il servizio è interessante l’altra
è il costo del tempo necessario per
costruire queste applicazioni è incredibilmente
Insomma perché stai solo incollando
insieme i blocchi che sei
costruire la logica dell’API che la lega
insieme e questo è molto veloce io se tu
andare a una giornata di hacking quasi ogni giorno hack
Sono stato a persone di recente sono
costruzione di app di servizio con lambda
perché possono costruire così tanto in uno
giorno con quello che sono solo il modo
avanti se fai il tuo lavoro a mano
applicazione in altro modo
è ridicolo che ero solo
barcollò quando stavo vedendo ciò che le persone
stavano costruendo in un unico giorno di hacking
sforzo concentrato e costruire incredibilmente
grandi sistemi complessi scalabili di just
assemblando tutti questi componenti ora così
abbiamo visto come la logica aziendale è se la nostra
Non parlerò un po ‘
sulle cose in cui andremo dopo
e le cose che sto attualmente lavorando
quindi sto passando un po ‘ di tempo
pensando a serverless e dove
stiamo andando lì, ma il mio nuovo ruolo AWS
Sono responsabile anche di alcune cose
come il tipo di Mike la strategia di
dove andiamo dopo, ma particolarmente aperto
fonte quindi parlerò un po ‘di
quello e il progetto di rete Apache MX che
è un apprendimento profondo di apprendimento automatico
sistema quindi parleremo un po ‘ di questi
diverse aree e di cui ti parlerò
la mia auto a guida autonoma che ho costruito
io alla fine, beh, è un po ‘
meno impressionante di quanto suoni sia gentile
di divertimento questi sono alcuni dei progetti
che contribuiamo fondamentalmente a tutto
l’ecosistema di Apache Hadoop che siamo
contribuendo continuamente multiplo
aggiornamenti settimanali eseguiti quando si utilizza EMR
di solito stai eseguendo una build che è
una o due settimane dopo l’ anno giusto se
tu prendi lo stato attuale di Hadoop
patch e bug e correzioni eravamo molto
aggiornato alla versione aggiornata automaticamente
e c’è un sacco di altri lavori
andando avanti contribuiamo a Linux
ricorda la Linux Foundation Xen
hypervisor quei contributi lì
Postgres
con di recente abbiamo accelerato
Sistema Postgres contribuiamo anche a
il progetto Postgres dandogli gratuitamente
Risorse AWS per fare tutti i test così
c’è un numero di persone che lavorano sul piatto
quello per i contributi alla finestra mobile e
altre cose proprio allora c’è il
repository che costruiamo che abbiamo messo fuori
lì che conosci il codice AWS e
ci sono alcuni di questi blocchi come a
contenitore uno
ricorda quando SSL aperto aveva tutti quelli
bug in esso abbiamo ottenuto siamo un po ‘ infastiditi
da quello e qualcuno ha detto che posso fare a
lavoro migliore scrivendolo di nuovo da zero
quindi è quello che s 2n è s3 quando si usa s3 in
sei un accesso TLS HTTP in modalità protetta
passando da s a n così è a
sostituzione sicura verificata camera bianca
per SSL aperto a cui puoi andare e usarlo
i tuoi servizi se vuoi essere di più
altamente sicuro e isolarsi
dal prossimo bug SSL aperto quando arriva
il più recente è uscito
all’inizio di questa settimana è Sakai è un neurale
lavoro di sistema di libreria di traduzione automatica
costruito sopra MX net, quindi se vuoi se
si sta giocando in giro con la macchina
traduzione questa è una fonte aperta
quadro per farlo abbastanza a
un modo potente di farne abbastanza bene
risultati già esce da qualunque cosa
l’ ufficio AWS si trova in Germania
è là fuori come open source, quindi puoi
vai a cercare Sakai nel repository AWS
dare un’occhiata e parlerò un po ‘
di più su MX net net più tardi a
un sacco di altre cose qui alcuni di
l’oh che in realtà proviene da Sakai
la parte retail di Amazon non dall’AWS
lato è più legato a quello che sono
fare con cose come una conferenza credo
e poi c’è tutto questo open source
progetti che stanno pagando per gestirlo
rendilo semplice per te dal 2009
Non ho mai avuto problemi con l’installazione
Hadoop crea semplicemente un’API chiama il cluster
sembra essere necessario installarlo che era
pazzo
così ElastiCache il mio post sequel cresce tutto
di queste cose che stiamo facendo
è facile da usare e questo viene da
il cliente dice ovunque è fastidioso
che dobbiamo andare costruire questa cosa può
rendi semplicemente facile per noi consumare
così stiamo ascoltando sempre
i clienti su quale open source
pacchetti che dovremmo semplicemente costruire come
servizio in questo in questo database
servizio di migrazione che ho citato a
un paio di volte
22.000 database sono stati convertiti
con quello già così è come un profondo
sto imparando perché questo sta decollando ora che ho
ha ancora tempo, tutto è digitale
quindi sono disponibili enormi set di dati
c’è un’enorme quantità di potenza di calcolo
disponibile così anche se le persone lo erano
parlando di applicazioni di deep learning
10 anni fa non avevano il
calcolare per fare qualcosa di più del giocattolo
le applicazioni e la formazione hanno impiegato troppo tempo
ora guardi questo cinese di Baidu
sistema di riconoscimento vocale 4 terabyte di
dati di allenamento e sono in esecuzione 10x o
flop di potenza di elaborazione per averlo
riconosciuti piccoli caratteri cinesi e
Discorso cinese che è una grande quantità di
capacità
se pensi a quello che ora c’è
sai in generale se guardi il
capacità di cloud cosa sta facendo
sta facendo funzionare la miscela di diversi
le cose vanno bene ma le persone stanno correndo
l’apprendimento profondo sta eseguendo a
quantità sproporzionata di calcolo
risorsa perché quando vai in treno
i loro sistemi è semplicemente enorme
spendi quante più macchine puoi
forse ottenere per settimane o mesi solo
addestrare un sistema per farlo meglio e
meglio a ciò che vediamo in futuro se
lo estrapoli solo là fuori
essere un punto nel tempo in alcuni anni in cui
potresti pensare al grande carico di lavoro
sul cloud il carico di lavoro dominante sul cloud
sta allenando tutti i modelli di deep learning
giusto è per questo che è importante
Ecco perché stiamo pagando così tanto
attenzione a questo questo è probabilmente il
endgame per quale cloud viene utilizzato per cosa
il calcolo è usato per nel mondo è è
andando a passare la maggior parte del tempo a cercare di farlo
impara cose su ciò che stiamo provando e
lo imparerai in base a tutti questi dati
stiamo alimentandola e sta diventando sempre più
e più conveniente per fare questo pensa
il tuo allenamento richiede mesi ma il
classificatore che ne viene fuori
la formazione può avvenire in millisecondi o
secondi è molto veloce quindi è molto
modello asimmetrico dopo esserti allenato
qualcosa da classificare è possibile distribuire in
una torta di lamponi o di iPhone o altro
ma il modello di allenamento probabilmente ha bisogno di a
back-end, ecco perché è il cloud
importante questo è il tipo di cose
stiamo dicendo che è Multan di noi che guida
esempi questi sono in Cina da qualche parte
ma si sa che si può solo vedere che è
rintracciare le persone sta monitorando le auto
c’è qualcuno che attraversa la strada
cercando di uccidersi ma sembrano
per sopravvivere sai che questo è gentile
di missus state-of-the-art cosa sta succedendo
se vivo nella Bay Area e lì
le auto circolano sempre
con appuntamenti sopra e facendo tutto
di quella roba che si guida da soli e che abbiamo
li ho visti per anni ma sono solo
diventando ovunque ora così le persone lo sono
iniziando ad abituarsi a loro e loro sono
iniziando a diventare abbastanza buono così portafoglio
cosa stanno facendo oggi i clienti che usano l’ intelligenza artificiale
AWS un sacco di gente qui non lo farò
passare attraverso i dettagli ma c’è a
molti di loro sono solo alcuni quindi cosa c’è
la sfida prima di tutto quello che hai
petabyte di dati che devi ottenere
dati nel sistema che devi allenare
li su tonnellate di GPU
vuoi la capacità elastica che desideri
per dare quello che vuoi, lo vuoi
la stessa cosa che ho menzionato con il
processo che era l’elaborazione in batch che avresti
piuttosto avere un centinaio di GPU per un’ora
di una GPU per cento ore perché
ottieni la tua risposta in un’ora giusta ma
costa lo stesso per l’area sotto il
la curva è il costo in modo che tu voglia solo
ottenere il sistema più scalabile che può
scala alla più grande flotta di GPU che
puoi assemblare processi che poi danno
torna indietro e poi scopri quanto è buono
è e lo fa girare attraverso il sistema così
ecco perché questo è importante e il
la stessa previsione vera e propria che stiamo iniziando
per vedere GPU da usare per questo, ma è possibile
utilizzarlo su graziose sistemi di fascia bassa a
edge e server quindi stiamo implementando
funzioni lambda che contengono allenati
modelli che sono stati addestrati usando
queste settimane o mesi di tempo della CPU così
questo è il tipo di pila un mucchio di
motori AI open source nel mezzo
apache MX ora ti parlerò di a
minuto ma abbiamo la torcia del caffè di tensorflow
non ci sono CNT che accarezzano una lunga fila
di queste cose sono per lo più aperte
fonte in basso hai cloud
l’hardware e richiede che p2 sia una GPU da 16
su una singola macchina si può ottenere non c’è
ci sono macchine con una singola GPU
GPU elastiche che puoi collegare alle macchine
abbiamo ECS per contenitori lambda green
erba la nostra piattaforma IOT per l’implementazione
questa roba e se proprio vuoi
intelligente puoi progettare il tuo hardware
e distribuire come un design FPGA su AWS ora
e quella gente che ci lavora su per profondità
imparando anche più in arrivo
recentemente Nvidia ha annunciato la sua
chip GPU di prossima generazione che sta per
uscire alla fine di quest’anno è il lancio di AWS
partner per quel chip quindi lo otteniamo per primo
ciò significa che devi farlo prima attraverso AWS
così abbiamo intenzione di essere fuori del volume primo
con quel chip e questo è il tipo di
perché la nostra capacità di acquisto possiamo solo
andare a fare un accordo come quello in cima
che c’è una macchina della piattaforma AI che sono
come un machine learning è sufficiente alimentarlo
alcuni dati e ottenere previsioni è
utile per motori di raccomandazione e
è uscito da un paio d’anni
stiamo facendo più cose in quell’area
questo è il livello della piattaforma roba un po ‘più facile
e in cima abbiamo il facile da usare
se ti ho fatto una foto proprio adesso e
alimentato per registrare dici folla di persone
seduto in una stanza con le luci che conosci
può dire cosa c’è nella scena Polly
gli dai del testo e lo dice in
Lex è il fulcro del modo realistico
Servizio Alexa puoi costruire la chat
BOT con esso con audio o immissione di testo
abbiamo costruito un call center attorno a te così da te
può usarlo per il front-end del call center
quel tipo di cose fondamentali e c’è
più applicazioni che arrivano in quello spazio
quindi stiamo solo andando a continuare a sfornare
più e più e più casi d’uso del
l’ultima cosa sul riconoscimento è che abbiamo aggiunto
celebrità in modo da poter mostrare una foto
di Wonder Woman e ti dice il
nome dell’attrice che sta ancora suonando
non dimenticato il suo nome ha qualcosa
che è dopo ricordalo quando sono
andare in Israele la prossima settimana e lo so
Dovrò ricordarlo se lo sei
entrare in questo è il più facile
il modo in cui puoi entrare è un profondo
apprendimento ami ami hai praticamente
tutto ciò che è stato preinstallato si accende
questa immagine e ha tutto il
versioni di Python hai bisogno di tutto il
versioni di tutti i diversi
librerie e toolkit che ha
driver pre-costruiti che sanno come parlare
alle GPU abbiamo sintonizzato tutto
c’è una squadra di persone che lavora senza sosta
su come fare questo lavoro lo collaudo in modo affidabile
e la sua integrazione non replicare questo
te stesso è una totale perdita di tempo
passerai secoli cercando di ottenere il
corretta versione di Python installata per
tutte queste cose diverse ma noi
avere tutte queste cose integrate in questo modo
facciamo una rapida panoramica di MX net è
ho ottenuto una sintassi più semplice con molto con molto
un ampio supporto per la lingua uno dei
ragioni lì che abbiamo deciso di uscire
raddoppiare su MX net era il
supporto linguistico è molto portatile è
efficiente funziona bene con i chip ARM
Dispositivi IOT suo noi ad alte prestazioni
capito tutte le cose che abbiamo testato
ha un ridimensionamento lineare su centinaia
di GPU che sono le macchine multiple
il tuo multiplo delle nostre macchine p2 tutte messe
insieme abbiamo una grande scalabilità su di esso
e tu conosci abbastanza bene il ridimensionamento
centinaia di loro quindi è molto bello
il loro ultimo gennaio è stato proposto come un
Progetto Apache e
nel processo di incubazione quindi è ancora
lavorando attraverso non è completamente lo sai
c’è ancora ma sta funzionando verso quello
e le squadre di andare lì e abbiamo
stato sintonizzato su AWS quindi ecco qui
quello che sta succedendo è piuttosto vario
comunità circa il 35% dei contributi
alla nostra rete Mex provengono da persone che
attualmente lavora in formato AWS su Amazon
ma c’è gente questo è il tuo genere
pensa a questo come a una ricerca universitaria
squadra in cui la gente ha assunto persone
quelle squadre e quelle persone sono ancora
contribuire di nuovo in modo da essere causa
è andato a Apple e qualcun altro è andato a
Non lo so, so se Tesla o
ovunque ci sia un numero di posti o
la Microsoft alla base di nan causa
sebbene queste persone se ne siano andate
direzioni diverse ma erano venuti
fuori dai gruppi di ricerca originali che
erano in UW e CMU immagino che sia così
diversi contributi qui e giusto
qualche riassunto dall’incubazione di Apache
process 51 offerte con 165 ti impegna
sapere che c’è un gruppo abbastanza grande di
le persone qui sono un gruppo eterogeneo
cercando di raccogliere stiamo cercando di fare qualcosa
spingere Jen sai che Kat ha sentito 150
contributori in tutti questi diversi
le persone nel processo Apache così è
quello che ci vuole tempo, così sarà
qualche altro mese per superarne uno
aggiornamento recente di cui potresti aver sentito parlare
il front-end della carezza che è a
front-end facile da usare sopra
tensorflow Francois Shelley è il ragazzo
che ha scritto che al momento funziona
Google ma a Baden ora abbiamo MX net
come un grossolano back-end in modo da poter ancora
prendi tutte le cose che hai scritto nelle carezze
e puoi praticamente collegare MX net
invece di tensorflow e puoi ottenere
accesso a qualsiasi cosa tu sappia
scalabilità delle prestazioni cose che
abbiamo investito nella rete MX
lato così con i suoi primi giorni siamo ancora
capire davvero alcuni parametri di riferimento
mostra qual è la differenza ma con
sta arrivando come relativamente portatile
front -end di altissimo livello per
costruire queste reti
alcuni paragoni qui abbiamo deciso di farlo
vai con un modello di comunità Apache qui
per la governance ce n’è un po ‘ interessante
cose con programmabilità che MX net
ha una modalità imperativa la maggior parte delle altre
i sistemi sono dichiarativi che cosa significhi
abbiamo un facile accesso da Perl MATLAB
sono dentro quando stai costruendo un’increspatura e
stai solo digitando qualcosa e tu
vuoi provare le cose che puoi effettivamente fare
farlo con la loro rete massima è più difficile
per farlo quando stai costruendo un
rete e alimentarlo attraverso e il
collegamento del codice che è conciso è
più vicino a accarezzare nella sua API che tendono a
flusso che è abbastanza prolisso quando si ottiene
in usarlo e abbiamo trovato un po ‘di
i carichi di lavoro che abbiamo ottenuto sono molto più piccoli
impronta che rende più facile
distribuire su dispositivi di piccole dimensioni, quindi ecco il
strategia
integrare questo con un sacco di
i servizi lo usano come base per di più
cose che stiamo facendo e che sfruttiamo
questa comunità e vai conosci ampliare
la comunità a prenderlo in mano sono questi
alcune delle cose che Amazon sta usando un
rete mista per ricerca applicata tutti questi
cose diverse un po ‘dove dice
traduzione automatica così è quella
progetto che è appena uscito come open
fonte molte opzioni diverse qui se
pensi a tutto ciò che Amazon
fa e fornisce robotica logistica di catena
tutte quelle cose e tutte le cose
sta succedendo in AWS così da dare una rapida occhiata
all’API c’è un array indie molto
simile al tipo di cosa che vorresti
usa in numpy una rete multidimensionale
matrici noto anche come un tensore questo è
da dove proviene il flusso intensivo tensoriale
è un array multidimensionale e a
il simbolo è come crei le espressioni
per i flussi che stai per pompare
questo attraverso così crei un albero di
fasi di elaborazione utilizzate dalla creazione
questi simboli e questa è la parte del flusso
quindi il flusso del tensore è fondamentalmente solo un te
sapere combinando insieme la descrizione
del modo in cui queste cose funzionano così tutti
queste cose sono fondamentalmente flusso tensoriale
scrivi cose e MX net è molto simile
al flusso del tensore nel modo in cui funziona così
che l’API è un po ‘diversa in esso
quindi puoi sostanzialmente questo in questo non lo è
sai cos’è questo che conosci due
due volte o qualcosa
ma i professionisti per questo è facile da fare
cosa imperativa e in un debug cosa c’è
andando avanti perché puoi fermarlo puoi farlo
fermalo passo dopo passo e vedi cosa c’è
succedendo rende più facile il debug
ma è meno efficiente se ci provi
pompare enormi quantità di dati attraverso
questo quindi è meglio per l’esplorazione dei dati
non è buono per l’allenamento e
classificare il modello più dichiarativo
tu costruisci quest’albero questo è ciò che è
la pianta del flusso o i simboli e tu
compilare questo albero e quindi si nutrono i dati
in esso e i dati scorre attraverso e
diventa molto efficiente perché
sa quali nodi non sei più
usando e può far crollare cose e
ottimizzarlo e questa è la struttura
che viene poi etichettato in tutta la disposizione
attraverso la GPU per prestazioni elevate
l’elaborazione è piuttosto difficile da eseguire il debug e
capire cosa non va nel
al centro di qualcosa quando stai pompando
i dati attraverso qui sono i modelli che sono
quasi fatto ora dal carico di tempo
qui un mucchio di diversi tipi di
input e output dovrebbe essere equo
familiare alla maggior parte delle persone completamente connesso
tiri di convoluzioni l STM sono avanti
memoria a breve termine questi sono utilizzati per
soprattutto per la tecnologia che capisce le cose
come il testo e poi c’è questo figo
cosa in fondo provi e spieghi
questo in pratica se lo stai provando
capire il linguaggio si finisce con a
vettore di pesi per ogni parola e
quelli che rappresentano la parola e
impara così, una volta che ti sei allenato
il tuo sistema linguistico così qualcuno l’ha capito
fuori che se hai addestrato il tuo sistema e
ha capito cosa tu sei il
il vettore che avevi per la regina era
fondamentalmente lo stesso come il vettore
Re se hai sottratto il vettore
per l’uomo e ha aggiunto il vettore per la donna
quindi è come il sistema ha capito
c’è questa idea di un reggente e lì
sono reggenti maschi e femmine e loro
sottoclassi di esso in modo che tu possa effettivamente
c’è qualche manipolazione simbolica e
comprensione di base, ma è tutto fatto da
i pesi di questi vettori di numeri
e questo tipo di concettuale
la comprensione è in realtà ciò che sta succedendo
all’interno di questi modelli ed è quello che
questo è un po ‘ strano perché è così
Dite cos King Queen comunque quello è il
storia Sto succedendo qui Sto andando
per darti
questa piccola cosa qui così questa è la mia
progetto questa è la mia auto auto-guida è
di questo grande è un radiocomando
camioncino a quattro ruote motrici con il
la radio è scollegata e se i BIRY si baciano
inceppato nella parte superiore di esso il software è
corre è chiamato asino così ho chiamato la mia macchina
Hotei quindi può essere Don Chisciotte e lo farò
mostrare che è un esempio di esso in
misurando il comportamento del Don Chisciotte
questo è inclinando i mulini a vento
sfortunatamente per fortuna nessun danno è stato
sostenuto per l’ altro camion sì sì
è abbastanza dove pensiamo che sia così
questo è un esempio di ciò in realtà io
fondamentalmente addestrato ad avere paura di
linee bianche penso e va e basta
è ottenuto la cosa si conficca fuori alto
è una fotocamera e quando vede un bianco
linea va e corre via da esso e
questo è stato addestrato su un veicolo diverso
e su una traccia diversa ma anche se
l’allenamento è stato completamente da me ottenuto
paura delle sedie in quel punto e
scappò completamente anche se lo era
addestrato su un totalmente diverso
ambiente
lo aveva ancora sostanzialmente capito
era in grado di capire come guidare
intorno a una pista quindi abbiamo una squadra
questo significa che le auto Robo fai da te sono il nome di
l’handle di Twitter, ma non c’è
gruppi che iniziano in tutto il mondo
potrebbe probabilmente iniziare uno ad Amsterdam se
voi ragazzi volete farlo, questo è fantastico
modo di giocare per imparare come fare
questo è tutto disponibile io lo sai questo
è un giocattolo americano da $ 200 che ho costruito e
Ti ho passato a sapere cinque dieci dollari a
mese in cui sai costruire questa cosa
gestendolo nel modo in cui funziona c’è un
Istanza AWS che è in realtà un modo per
il tuo allenamento che è lì collega il
l’auto si sta collegando al telefono e poi al tuo telefono
si connette a quell’istanza e tu
controllarlo attraverso l’istanza AWS così
è alimentato da tutto ciò
open-source e principalmente scritto in Python
ed è una cosa divertente che ti incoraggio ad andare
giocare con questo te giocare con il vostro
ragazzi questo è dove il mondo sta andando a
cinque 10 anni di tempo per capire come
queste cose funzionano sarà davvero
importante almeno avendo un concettuale
capire cosa puoi e cosa non puoi fare
con loro quindi questo sono io che sto cercando di imparare
tutta quella roba quindi questo è il mio genere di
l’ultima diapositiva ha paura di molto tempo qui
ma molti post sul blog
un sacco di punti di riferimento le diapositive che darò
un PDF delle diapositive per l’organizzatore in modo
andrà abbastanza veloce così puoi
clicca su queste cose, ma Julian
Simon, che è un evasivo jabber con sede a
La Francia ha fatto tutta una serie di blog
i messaggi sull’API della rete MX vanno seguirli se
vuoi essere veramente aggiornato e
Presto Amalia lavora sul team net MX
sorta di produzione di un sacco di post sul blog
come alcuni di questi tipi MX net1 Lander
di cose di modo che è che vi ringrazio molto
tanto
[Applausi]
Please follow and like us: