quindi sono Coburn Watson felice di essere qui
lavoro per netflix e ho intenzione di parlare
su un ingombro cloud di grandi dimensioni e su come
tenerlo sotto controllo se posso solo tasso di lavoro
mi piacerebbe sentire cosa ne pensate
se pensi che sia andato bene o male
quindi sono coburn w Gestisco la performance
e il team di affidabilità di Netflix che ho
ci sono stato per circa tre anni
ha lavorato con Adrienne lì per un periodo
di tempo La mia organizzazione gestisce una fiera
quantità di cose nella performance della zona
e affidabilità principalmente sul cloud
componente in modo da ridurre il tempo per rilevare in
tempo di risolvere quindi il nostro obiettivo principale è quello di
migliorare la disponibilità del servizio
per gli utenti finali di netflix che qualcuno usa
netflix qui va bene più di me
pensavo che non sapessi che ci sono
persone ma abbiamo piani come squadra noi
costruire un sacco di strumenti sulla mia performance
squadra che ottimizzare l’utilizzo della nuvola sono
andiamo a parlare oggi da una magra
prospettiva principalmente intorno all’efficienza
della nostra impronta cloud e alcuni dei
le strategie che abbiamo lì ho una squadra
che dirige il traffico globale, così anche noi
possiede un certo numero di scimmie quaggiù
c’è il caos Kong quello è il grande
e poi ha spostato la scimmia del caos all’interno del
la squadra Kong è dove prendiamo realmente
traffico e spostarlo dalla regione di AWS
ad un altro e lo facciamo una volta a
mese poi lo gestiamo attraverso il picco e
allora falliamo e quindi usiamo a
combinazione di reindirizzamento e dns da fare
che usiamo anche questo per iniettare il caos in
l’ambiente ieri sui giornali
amiamo c’era una discussione su
fallimento di iniezione e lo facciamo abbastanza a
un po ‘dove effettivamente esercitiamo il nostro
servizi su base giornaliera per essere sicuri
che possiamo cortocircuitarli
lì e lo coprirò e poi noi
guidare l’adozione delle migliori pratiche ma non lo sono
ne parliamo oggi così come una società
abbiamo circa ci stiamo avvicinando 70
milioni di abbonati in oltre 50 paesi
torna al valore che sai cosa
qual è il nostro valore è un’azienda che è
abbastanza comunemente condiviso internamente siamo noi
vuoi vincere momenti di verità così quando tu
siediti nel tuo salotto e tu
avere la scelta di selezionare qualcosa
per vedere speriamo che tu scelga
Netflix e questo è il nostro obiettivo in
la fine della giornata è renderla molto
grande esperienza in termini di contenuti per
devi guidare ed è fantastico da fare
soldi anche a questo
facciamo circa 3 miliardi di ore di video a
mese in questo momento abbiamo un grande abbastanza
l’impronta del cloud di cui parlerò
che abbiamo il nostro CDN nostrano così noi
consegnare circa il 99% un po ‘di più del nostro
contenuto di un’appliance basata su FreeBSD
che noi generiamo me o creiamo me
è per la gente se lo vuole e nel
noi penso che siamo vicini al trentasette
percentuale del traffico Internet durante la notte
abbiamo appena passato il porno che è un grande grande
una grande pietra miliare per noi deve essere mantenuta
quella differenza lì e abbiamo un noi
avere una forte lavagna originale così da a
Punto di vista dei contenuti mi piace un sacco di
questi, ma continuiamo a rilasciare di più
e più spettacoli che stiamo vedendo davvero
sempre più originali che i nostri
specifica regionale e quindi cerchiamo di ottenere
diritti globali quindi ne abbiamo appena pubblicato uno
dal Messico come esempio è a
globale che penso sia un grande spettacolo
le nostre offerte open source sono grandi
focus di ciò che facciamo come azienda I
scelto un tipo e ne ha presi un mucchio
fuori di qui Atlas è il nostro grande
quadro di monitoraggio che raccoglie
da qualche parte nell’ordine di circa due
miliardi di serie temporali al minuto
cloud e consente di renderlo interrogabile
di solito ci sono circa due minuti
minuto a due minuti di ritardo e ottieni
tempi di risposta in circa tre secondi
per la maggior parte delle tue domande quindi è molto
efficiente da quella prospettiva se
la gente ha sentito parlare di asgard che è sorta
della nostra console di servizi Web di Amazon
sostituzione di infrastrutture come a
servizio ci sarà un grande
le notizie di questo autunno bussano a qualcosa di simile
pubblicheremo una nuova apertura
progetto sorgente che è il nostro continuo
quadro di consegna che accetta asgard ma
è come sugli steroidi è davvero
fantastico quindi tieni gli occhi ben aperti
perché quel ghiaccio è dove guardiamo il nostro
costano così otteniamo un grande disegno di legge su Amazon
mese penso alla fine del mese
è da qualche parte nell’ordine di forse
come 400 milioni di linee e lo consumiamo
e poi abbiamo generato una bella bella
grafici e dati per capire dove siamo
il costo è vettori uno strumento di prestazioni mio
team creato che è in hosting
metriche di risoluzione verificare che sia a
molto divertimento nella storia è la nostra struttura
per il comando di dipendenza, quindi abbiamo parlato
sui servizi di locazione falliscono hystrix
è il framework che ti lascia aperto
circuiti quando un servizio è anomalo
Vado a prendere l’acqua qui
quando apri un circuito smetti di parlare
a quel servizio e tu lanci un ripiego
Non ho esempi qui tranne a
buon esempio, potresti vedere il tuo
rosa personalizzata e quando quel servizio
ha un problema che vedi personalizzato
rosa, siamo in realtà quella linea genealogica
Iniezione di guasti basata su cui stiamo lavorando
quello di quei professori di
Berkeley su questo adesso, quindi voglio
parlare delle nostre priorità come azienda I
pensa in generale quando guardi il
sforzi di ingegneria hai priorità
nella tua organizzazione se mantieni il
luci sull’organizzazione forse hai un
prodotto che si desidera mantenere
sostenere continuare a ottenere manutenzione
entrate di quando ero a HP che era
un certo numero di nostri prodotti non penso a
molti di voi sono in quello spazio così a
Netflix diamo la priorità in questo modo da
dall’alto in basso quindi l’innovazione è davvero
la nostra fondazione sentiamo che se non lo facciamo
innovare velocemente pensa ad Adrienne
discussione dell’ipotesi basata
test ci sono 500 test a mille
prova in corso ogni giorno se non lo facciamo
innovare non vinceremo nel
spazio e questa è la chiave per noi e questo è
probabilmente conosci l’ottanta percento del nostro
licenza di ingegneria degli investimenti e
l’affidabilità dell’innovazione è al di sopra di tutto ciò
se il servizio non è disponibile e lo è
non serve molto e quindi aumenta l’efficienza
lì in cima e quindi II tipo di blocco
fuori nella parte superiore non spendo come
gran parte dell’area di innovazione inferiore
e non ci sono molti di noi che spendono
tempo nello spazio di efficienza che è
dove penso che siamo abbastanza magri così noi
prova a farlo dietro le quinte e lo farò
entrare in questo un po ‘ma l’organizzazione
riconosce che questi sono entrambi importanti
e quindi ognuno è uno stakeholder nel
è la libertà e la responsabilità del gioco
solo che c’è meno di noi che cerchiamo di muoverci
l’ ago in avanti su quelli così quelli
precedenti quei due in basso loro
innovazione e affidabilità hanno costi
associato a loro e che può portare
a inefficienza significativa, quindi vado
per parlare di come massimizzare l’innovazione
ecco un piccolo screenshot del nostro
nuovo strumento di consegna continua che realizziamo
capacità su richiesta per tutti i Netflix
gli ingegneri c’è una piccola scatola che si apre
se vuoi mille istanze tu
basta digitare un migliaio di istanze e
si presentano in produzione quindi il nostro impegno
l’obiettivo del cloud è consentire alle persone di ottenere il loro
codice là fuori in una questione di
abbiamo questa gigantesca singola produzione
conto ci consente di massimizzare il riutilizzo
di cui parlerò anche io
semplifica il modo in cui acquistiamo capacità ma
essendo in un grande account è giusto
consente alle persone di avere la capacità di loro
vogliamo e anche noi scoppiamo su richiesta così
Voglio essere sicuro che le persone
comprendiamo che dipendiamo dall’elasticità
del cloud ne abbiamo un certo
percentuale cerchiamo di tenerlo sotto ma
in generale, su base giornaliera, sai
probabilmente ne andremo su richiesta
per cento e poi ci ricolmiamo sopra
così potresti vedere che questo potrebbe
in realtà introdurre un po ‘
rischio significativo se non ci fosse
alcune strategie per vincolarlo
affidabilità porta con sé un sacco di
costa pure, abbiamo un nero rosso
spingere il modello in modo tale quando si preme il codice
produzione attraverso asgard o attraverso il nostro
nuovo strumento che uscirà tu lo farai
in realtà in piedi una nuova versione del tuo
codice traffico diretto ad abbattere il
vecchio se qualcosa ti va storto, solo
puntare il traffico indietro subito
affrontarlo il giorno dopo, avendo questo
sovrapposizione di capacità che devi essere
efficiente in essa, ma ancora è
capacità aggiuntiva che abbiamo multiplo
livelli di ridondanza nel nostro sistema
all’interno di una regione AWS abbiamo effettivamente finito
fornitura attraverso tre disponibilità
zone per sostenere la perdita di uno di loro
quindi hai circa il cinquanta per cento
capacità aggiuntiva e ogni AZ e quello
di nuovo è più capacità che devi comprare
e poi il grande dei grandi spendaccioni
è la nostra ridondanza globale così come ho parlato
circa abbiamo esercitato questa capacità una volta
un mese di mancato ritorno del traffico degli utenti e
avanti tra le regioni quest’anno siamo
in realtà sta lavorando per fallire in tutto
le regioni di tre settimane equivalentemente da
loro per Natale è il nostro prossimo
grande obiettivo ma quando ci pensiamo noi
acquistare queste pesanti riserve a
coprire le nostre capacità li chiamo
garanzie che non so se Amazon si riferisce
a loro come garanzie necessariamente ma
vuoi avere la capacità lì quando
sei alla nostra scala che quando fallisci
su di esso è disponibile in modo in realtà abbiamo
abbastanza capacità dietro le quinte nel
regioni per sostenere il fallimento del nostro carico
qualsiasi regione a un’altra in un dato momento
è qualcosa che paghiamo per 24 per 7
ora l’acquisto di prenotazioni pesanti ha
alcune implicazioni in ciò che sei
in realtà pagando un costo iniziale di solito
per come una prenotazione di tre anni e
quindi stai pagando una tassa di 24 per 7 se
utilizzare quella capacità o
e il motivo per cui lo facciamo oltre a
l’affidabilità è su di esso ci ottiene probabilmente a
70 % in più di sconto e dandolo a
basso in là ma in realtà rispetto
su richiesta è un grande risparmio finanziario
finché lo usi, altrimenti lo sei
pagando solo per cose che non stai usando
quindi, se tu
non tenerlo d’occhio , quindi quelli sono i
due grandi implicazioni sui costi di come noi
massimizzare la nostra velocità per gli ingegneri
efficienza così in cima alla montagna
Ho intenzione di parlare di come guardiamo
efficienza come abbiamo fissato obiettivi e alcuni di
le strategie che abbiamo messo in atto
controlla quel diritto che non dovrei controllare
quello ha guidato il contesto lungo così avendo questi
gli obiettivi di efficienza sono davvero la chiave che ho
hai pattinato alcune metriche qui ma
in cima abbiamo il nostro KPI giusto
è probabile che tu possa presumere che abbia
qualcosa a che fare con streaming right cuz
che è o potrebbe essere
logging quindi siamo grandi framework di logging
essere probabilmente tracce proprio con esso e
sappiamo cosa facciamo noi stiamo decomponendo i costi
questi sono al credo, il regista
livello e questo è basato sullo stato I così
otteniamo il file di fatturazione di Amazon che forniamo
attraverso un sistema va in autostrada
generare rapporti tableau su di esso
e ciò che mostra è il tuo costo
contributo ai costi del cloud in generale
in funzione delle tue prestazioni chiave
indicatore e puoi vedere come si spara
su e poi improvvisamente c’è un grande picco
nella nostra attività e improvvisamente va
giù e fluttua un po ‘e così questo
offre individui al più alto livello
dell’organizzazione il contesto
capire quale percentuale della rotazione
sono e se si sta seguendo con il
metriche di business o meno e questo diventa
pubblicato settimanalmente ce n’è anche un altro
la scheda su cui farai clic verrà mostrata
costo assoluto in modo da poter vedere quanto
in realtà costa, quindi è davvero a portata di mano
e ci sono molte discussioni
riguardo a VP dicendo hey guarda quanto tu
costo guarda quanto ti costano sapere
penso che crei poco gioco
sistema lì tra il tra il
divisioni che è buono è sano
concorrenza sana ma solitamente una volta
qualcuno si rende conto che il loro profilo di costo
non è quello che vogliono che sia il primo
cosa loro fanno è che si rivolgono al
manager di ingegneria sotto di loro e loro
dì che cosa sta succedendo qui come perché lo sono
siamo cresciuti così velocemente e così è stato il nostro
primo taglio e noi
siamo andati abbastanza bene, ma noi
si rese conto che per essere efficace avevamo
per spingere quel contesto di costo verso il
manager di ingegneria al primo livello
e le loro squadre e i loro servizi
proprio perché non possono Barry come si
e così sai che si rivolgerebbero al loro
manager e dire perché siamo cresciuti trenta
per cento nell’ultima settimana o mese o
cos’hai così che sfruttiamo del ghiaccio?
dati e poi internamente usiamo il nostro
Sistema di monitoraggio Atlas che tiene traccia
esempio esempio viene utilizzato dal nostro da
gruppo auto-ridimensionamento e quindi usiamo a
costo normalizzato che non vogliamo
penalizzare qualcuno per richieste c’è
un costo normalizzato qui, ma se lo fossi
un responsabile tecnico e ricevo
questo verrà inviato mensilmente lo farei
vedere che i miei servizi costano insieme
vicino a due milioni di dollari all’anno e
ecco la mia distribuzione dei miei servizi
e pensiamo ai micro servizi che abbiamo
li raggruppò dietro le quinte così
microservice potrebbe essere un servlet t r +
memcache plus cassandra abbiamo tipo di
li ha raggruppati così abbiamo questa mappatura
dietro le quinte che ci permette di aggregare
manteniamo il sistema di segnalazione e
in modo che possano facilmente vedere cosa
la più grande componente di costo è la loro
l’impronta che vedono effettivamente
mese dopo mese, qual era il cambiamento
questo è sceso del sette per cento
mentre questo è salito di ventitré
percentuale e quindi lascia che inizino a
capire dove va quella spesa se
fanno clic su uno degli elementi sul
lasciato dove possono fare un breakout
lo faranno effettivamente scomporre
Quelle lacrime di cui ho parlato tu conosci il
servito qui memcache cassandra loro
può effettivamente vedere quale elemento è
crescere lì dentro quando sono il primo
ho iniziato a farlo un paio di anni fa
sai che qualcuno è come hey il nostro costo
sta scappando tra le erbacce perché no
lo capisci così vado al ghiaccio e
comincerei a tirare fuori tutti questi dati
alcuni CSVs iniziano a generare
fogli di calcolo e direi che è qui
stiamo spendendo giusto e verso le due
settimane è stato completamente invalido perché
nella nostra architettura e il tasso di
chi la spinge è valida solo per a
un paio di giorni giusto e potrebbe essere lì
è stata un’istanza in giro per un
a / b test e poi è andato via così noi
scoperto che abbiamo dovuto fare in modo che avevamo un
sistema che stava generando questo
in modo dinamico e aggiornarlo in caso contrario
era sempre antiquato così come te
aumentare la velocità del tuo
sforzi di ingegneria che devi aumentare
la velocità del tuo monitoraggio e costo
anche gli strumenti stanno andando
essere
le persone del foglio di calcolo mensile sono come te
sapere la prima cosa che diranno è oh noi
non stanno usando più così tanto ma
di nuovo è una specie di quel contesto /
controllo cerchiamo di spingere i dati al
squadre possono prendere decisioni migliori e
vediamo che nella maggior parte dei casi la maggior parte dei casi
loro massimizzano la condivisione così quando io
parlato di acquistare prenotazioni così dentro
termini della dimensione della nostra impronta che provo
non dare numeri esatti ma attraverso il
tre regioni che abbiamo inviato le repliche da qualche parte
tra diciamo cinquanta e centomila
istanze in un dato giorno su Amazon di
tutte le prenotazioni di dimensioni diverse sono da
Non ho chiesto chi usa Amazon qui
sembra okay, quindi voi ragazzi di livello moderato
conoscere la terminologia quindi per ec2 che è
il calcolo è il nostro più grande componente
usiamo se vado a Amazon e dico io
voglio comprare un’istanza da te e io sono
andando a pagarti in anticipo per tre
anni per ottenere questo grande sconto loro
diciamo grande senza problemi quale regione cosa
istanza digita quale zona di disponibilità così
improvvisamente hai un lock-in dove se
qualcuno va e usa un’altra istanza
digita un’altra AZ Non posso sfruttarla
capacità per il loro servizio perché è
molto finemente a grana fine e come il
la contabilità viene eseguita in modo un altro
motivo è per questo che abbiamo un singolo
account di produzione abbiamo tutti questi
persone che spingono su base regolare
possiamo condividere con l’altro ora e noi
avere meno piscine più grandi da quando le persone lo sono
facendo spinte nere rosse su base giornaliera
alcuni team lo fanno quotidianamente
allora lo faremo forse una o due volte
una settimana al di fuori di quello che hanno questi
irrompe nelle loro piscine e finiamo
avendo capacità e sconto da coprire
così non lo facciamo micromanage
guarda e a differenza guarda le persone e dì
beh stai andando a spingere oggi ma
stanno spingendo domani, assumiamo semplicemente
se scoppiamo oltre , andiamo avanti
domanda e questo è il vantaggio del
cloud per noi e così lo massimizziamo
capacità condivisa Ho intenzione di parlare a
un po ‘di più su questo, ma se tu
guarda tutte le offerte di ec2 di Amazon
settantacinque per cento delle nostre prenotazioni
sono solo su otto tipi di istanza ec2 e
questi potrebbero essere come m3 xlm 3x sai
in tre grandi abbiamo alcuni grandi in
anche lì, ma questo ci aiuta
le scene gestiscono meno piscine più grandi e
Penso nei prossimi due anni
ho detto che abbiamo uno scheduler di O labirinto
quadro basato che fa alcuni dei nostri
attività in lotti che siamo in realtà
considerando di guardare fuori un anno o due
come possiamo contenere gli occhi in gran parte
del nostro carico di lavoro e in effetti astratto a
molto di questo ho qualche preoccupazione
si io ho dei benefici in giro
carico di lavoro preventiva capacità condivisa ma
da una istanza di pianificazione della migrazione noi
migrare le istanze oggi è un vero dolore
ci rende meno agili ed è una specie di
una seccatura per andare in una squadra e dire hey
Amazon ha rilasciato un nuovo tipo di istanza
è ora di passare un po ‘di tempo
portarti sul nuovo tipo di istanza
e vogliamo allontanarci da questo ma
questo è solo un altro aspetto dell’avere
condivisione e questo è aggiornato in modo equo
in modo dinamico così ne costruiamo molti
piccoli strumenti che danno visibilità a
squadre e puoi scavare nell’ASG
su di te conosci la dipendenza diversa
zone ma dà quella visione in tempo reale
per tutti a guardare dove sono loro
la capacità è superata quindi incoraggiamo
prendere a prestito e prendere in prestito va oltre il semplice
all’interno del singolo prodotto fuori così quando
imposti un appt set di Amazon
conti per la tua azienda ieri
qualcuno ha citato penso che lo sviluppo
i succhiatori parlano di 1400
account per scopi di sicurezza che
potrebbe essere un po ‘complesso da realizzare
cosa abbiamo fatto in termini di collegamento ma
amazon ti darà il consolidato
fattura quando si imposta il tuo account prima
si avvia la prima istanza desiderata
per dire alle persone di AWS assicuratevi che
questi account hanno la mia disponibilità
zone in fila perché ciò che accade
allora è quando acquisto una prenotazione
e prod se ho un account collegato come
il mio account di codifica che sta facendo un video
codifica se hanno lanciato un’istanza
e la stessa zona di disponibilità durante
quel periodo e io non sto usando quello
prenotazione nel prada non posso ottenere il
beneficio di fatturazione quindi è quello che chiamiamo
il nostro mercato spot interno e noi davvero
cercare di massimizzare questo è come noi
recuperare un sacco di quel costo di 24 per 7 così
Mi dispiace autoscale dinamicamente questo
è un periodo di una settimana, se voi ragazzi potete
vederlo è uno dei nostri grandi online
servizi in esecuzione ogni giorno
una regione noi est questo è in noi est
uno hanno fatto una spinta qui, ecco perché
i colori cambiati puoi vedere che c’è un
sovrapposizione di capacità ma fondamentalmente
Ricalcolo automaticamente con il carico anche noi
avere qualcosa che abbiamo una fonte aperta
ma Adrian o qualcuno ha menzionato quale è
il nostro ridimensionamento automatico predittivo e
quindi corriamo come FFT al precedente
il carico di lavoro settimanale li imposta nel set
piano per questi a un certo valore e
quindi per la maggior parte abbiamo quasi come
molta capacità di cui abbiamo bisogno su un dato
base giornaliera e poi conversiamo per essere
su quello se ne abbiamo bisogno ma se si guarda
queste gigantesche depressioni qui
500 fino a circa 2.700 e questi sono
piuttosto grande come i sistemi a 16v cpu e così via
tutto questo tutto questo spazio morto dentro
ecco la capacità che abbiamo pagato
che non stiamo usando e quindi il mio vicepresidente guarda
per me e dice coburn perché non lo siamo
usando quella capacità e quella diventa a
sfida che diventa una sfida per
io perché poi devo rivolgermi all’altro
squadra e dire perché non puoi aiutarmi a usare
questa capacità abbiamo recentemente creato una nuova
API che consente effettivamente a un utente di
consumare tutto l’ utilizzo della prenotazione tutto
dell’utilizzo on-demand nella fatturazione
dati o una sorta di dati di prestito così
possono effettivamente guardare semi in tempo reale
in tempo reale e dire hey questo AZ ha un
mucchio di capacità inutilizzata e codifica
la squadra farà un sacco di lavori e
poi ogni cinque minuti a cui guarderanno
vedi se quel buffer sta diventando troppo piccolo
e lo faranno a pezzi questo uh questo
gruppo di ridimensionamento automatico sul fondo che è
un servizio precomputo così ogni giorno Netflix
calcola i tuoi consigli è
probabilmente nessuna sorpresa ma puoi vedere
che si inserisce nel trogolo in generale
ora questo è abbastanza primitivo e quello
è un’azione programmata all’interno di Amazon
e abbiamo appena sopportarlo su e tirarlo giù
ma sono quasi non sovrapposti per a
gran parte della capacità non lo faccio
avere i dati per i conti presi in prestito
diciamo che i nostri dati terminano con Hadoop di grandi dimensioni
lavori o sono account di codifica che
codifica il video ma se si sovrappone
che vedresti molto di più di questo
capacità di riserva che va via che è
davvero quello per cui spariamo e loro ottengono
quel beneficio di fatturazione è finito a circa a
settimana in modo che l’ottimizzazione giochi appartamenti così
Ho il team di ingegneria delle prestazioni
pure e facciamo una consultazione diretta
per servizi veramente grandi di cui abbiamo bisogno
quattrocento micro servizi e loro
la distribuzione delle dimensioni ci sarà probabilmente
dieci per cento che rappresenta un cinquanta
percentuale della capacità quando hanno a
grande cambiamento possiamo impegnarci con loro e
aiuta a ottimizzare per il resto di loro noi
creare strumenti in modo che possano guardare il
prestazione del loro servizio ogni volta
vogliono perché Netflix ogni
squadra di ingegneria è
circa 40 team di ingegneri che possiedono
questi 400 microservizi ognuno ha
qualcuno su chiamata gestisce il loro design
operazione di sviluppo spingere la pagina come me
non conosco le cose operative di nessuno
per i loro servizi, proprio come me
di un punto di coordinamento per una responsabilità
ma ogni squadra possiede ogni aspetto di loro
possono implementarlo in JavaScript che possono
usa la chiusura che possono usare Scala no
sono giustamente basati su JVM
ma mi sta permettendo il disaccoppiamento
tutti da gestire da soli
aspetti operativi ecco un esempio di
due flussi separati quello a sinistra
è quando hai una nuova funzionalità o una nuova
servizio che esce e che tende ad essere
un po ‘ più di un caso speciale in
che ha sviluppato il suo schierato noi
tieni un po ‘più d’occhio e come noi
ridimensionalo ottimizziamo se necessario
a volte alla nostra scala attuale ci sono
servizi che escono dal cancello
sono molto inefficienti e dobbiamo ottenere
in e profilo e ottimizzare in un numero
di modi in cui quello a destra è
sviluppo giorno per giorno in modo da sviluppare
il tuo codice lo fai passare attraverso un rosso
nero ma come parte di ciò attraverso il nostro
quadro di consegna continua hai a
canarino e la nostra analisi canarino automatizzata
quadro è una sorta di nostro cancello per a
team di produzione push adottati in vari modi
i livelli che hanno contraddistinto la squadra che ti ho mostrato qui
la scala fino a 3.000 istanze che è
il nostro più complesso il servizio si siedono sul
bordo sai decine di miliardi di
i dispositivi stanno parlando ad esso ogni giorno
devono incorporare circa 700 file jar
ogni volta costruiscono da tutto il
clienti con cui hanno parlato in
architettura che spingono ogni giorno in più
casi ho afferrato il problema dei dati della scorsa settimana ma
in generale si spinge ogni 24 ore su a
pianificare che si spenga così quel livello
viene sostituito ogni giorno e rotola dentro
un modo globale attraverso la produzione
ambiente ma noi gestiamo Canarie
aiuta anche con l’efficienza perché noi
non alzare tutto e vedere se è così
fallisce, sapete, alzate un canarino in un
la squadra di riferimento ha probabilmente la linea di base
circa 3.000 metriche che hanno raggruppato
in varie categorie e hanno a
punteggio e se quel punteggio penso sia inferiore
il settanta percento della spinta non uscirà se
i punteggi superiori al settanta per cento
la spinta si spegne e l’ hanno messa a punto
nel tempo ma lo automatizza e lo fa
tira il canarino oh
il canarino prenderà entrambi
deviazioni funzionali e prestazionali
proprio come il big bang
deviazioni o cose che prendiamo bene
via e poi ottimizziamo prima
distribuirlo effettivamente in modo che non lo facciano
causare problemi di capacità, ma è fino a
i team per implementare l’analisi delle canarie
e prendilo sul loro orologio, così tendiamo
essere troppo grande per la maggior parte degli strumenti commerciali
ne abbiamo portati alcuni prima di noi
uccisi li abbiamo uccisi e io no
in un modo sbagliato, intendo dire che siamo una specie di
il loro laboratorio di prestazioni se ne hai
cinquanta più mille cose da qualche parte
tra millecinquecentomila corsa
sono molti dati per le persone per questi
sistemi di consumo e di sistema
essi stessi tendono ad avere un uso molto ampio
Caso giusto, vogliamo creare un CTO
dashboard e vogliamo anche mostrarti a
tempo di risposta e guarda i dati del tuo rum
e tendiamo ad avere un uso molto specializzato
casi intorno hey ho un ingegneria
squadra che vuole guardare al
flusso di transazioni attraverso lacrime utilizzando a
quadro che è molto simile a quello di Google
dapper sapete come reagire
transazione di informazioni che traccia questo
questo slalom di utilità che la prestazione
il team creato mostra effettivamente la domanda su a
servizio questa è una funzione del tuo
richiesta tasso qualsiasi tempo di risposta possibile
fare doppio clic sulla barra e verrà visualizzato
la tua richiesta da upstream nel tuo
microservizi a valle e ti lascia
vedere il flusso attraverso l’ambiente
il valore qui è se avevo bisogno di
ottimizzare il mio servizio posso abbastanza rapidamente
capire quanto tempo è trascorso nel mio
servizio contro le mie dipendenze e andare
lavorare su quelle ottimizzazioni come devono essere
ma tu sai questo probabilmente questo punto di vista
proprio qui probabilmente incorpora forse io
voglio dire di circa 9.000 casi
di dati e lo aggrega sul
giusto a volte troviamo che ci sono
aspetti del nostro stack che non ci danno
la visibilità che vogliamo su Brendan Greg
la mia prestazione è una squadra che potresti avere
sentito parlare di lui, lo fa molto
lavoro di performance e lui ottiene molto
frustrato quando deve usare più
strumenti per risolvere un problema come hey sono
andrà ad usare perf per dare un’occhiata al sistema
dati e poi ho intenzione di andare a trovare fuori
dove il tempo della CPU è trascorso in JVM così
Installerò l’ agente di un agente
iniziare a utilizzare questo profiler e
diventa davvero frustrante vedere questo
vuole farlo dal livello di sistema tutto
la via attraverso il sistema e lo spazio dell’utente
giusto così ha iniziato a fare un po ‘
campionamento contro la JVM e tutto questo
usato per essere vuoto e qui lo schermo
roba che è il codice dello spazio utente
e il problema era che la JVM
clobbers è il registro del puntatore del frame
una vecchia ottimizzazione ma come risultato tu
ottenere i frame dello stack da / se non è possibile
davvero riassemblare una pila accurata di
dove il tempo è passato così è andato in giro
sei mesi fa e ha trovato l’assemblea
codice in cui ciò stava accadendo è cambiato
e ha iniziato a lavorare con il Sole
gli sviluppatori di hot spot in the on the
mailing list e ho ottenuto la patch in modo che io
credo che due settimane fa son rilasciato Java 8
Aggiornamento 60 e ora si esegue con a
certa bandiera XX in realtà si può ottenere il
tracce dello stack completo non appena è pieno
impila i frame e poi puoi anche eseguire a
agente di mappatura che mostra gli indirizzi
alla memoria in modo da poter effettivamente generare
questo in un modo davvero leggero e
vedere dove viene speso tutto il tempo della tua CPU
il tuo sistema dal sistema per lo spazio utente così
questo è un esempio di creazione di un’abitudine
strumento a volte da non pensavo di ottenere
attraverso oracolo ma lo abbiamo fatto loro
ovviamente pensavo fosse di alto valore e
Ero un semplice cambiamento ma siamo molto
felice ora che ce l’abbiamo
elimina un sacco di soluzioni alternative che abbiamo avuto
fare prima con più strumenti che è
blog su di esso un po ‘così è possibile
Verificarlo davvero un’ultima cosa
voler chiamare è nel nostro obiettivo di essere
appoggiarsi a destra vogliamo acquistare capacità
vogliamo avere queste prenotazioni a
assicurati che la capacità sia lì e
ne abbiamo bisogno che può portare allo spreco ma
non vogliamo oltrepassare a volte
avrai squadre che verranno da noi
e dire hey ho fatto una spinta oggi e io
non potevo capirlo , sai un’ora 38 XL
per qualche motivo e una disponibilità
zona e la risposta è davvero non lo siamo
andando ad acquistare tanta capacità che
non avremo mai quello che viene chiamato
un bel non l’atul ghiaccio, ma insufficiente
eccezione di capacità, quindi abbiamo creato uno strumento
a strati, penso che consumi nuvola
seguire gli eventi attraverso un’altra utility
avere dentro chiamato Chronos quale è il nostro
quadro di controllo ma la capacità
il team riceve effettivamente rapporti che mostrano
quando diventiamo ghiacciati e cosa
zona di disponibilità se inizia a essere
una specie di situazione importante in cui non possiamo
ottieni un tipo di istanza coerente che vogliamo
su una certa zona di disponibilità si aprirà
un biglietto con Amazon ha un
discussione con loro e potrebbe esserci
una carenza ci dà anche del bene
visibilità e vincere il nostro spiegamento
i modelli che cambiano dobbiamo iniziare
acquistando più riserve in questo
famiglia ma i dati intorno a questi ghiacci
gli eventi sono effettivamente disponibili per te
direttamente da Amazon così
è comodo da tenere d’occhio, così è stato
menzionare che dovrei parlare di alcuni
vince come se inserissi effettivamente dei dati
qui ho cercato di essere un po ‘sciolto
ma in termini di prestito interno così
questo è un grosso problema per noi perché abbiamo
ci sto lavorando per probabilmente due
anni ho avuto alcune richieste
per me per un po ‘per farlo accadere
ma ho avuto dipendenze da altri team
essere in grado di consumare la capacità ma
dal nostro team di codifica avevamo un punto dati
Giugno quindi hanno usato circa 130 235.000
ore di istanza dal conteggio del prodotto
che in realtà non hanno dovuto pagare
se avessero dovuto comprare quella capacità
avrebbero dovuto spendere circa due
centomila dollari al mese così
è stato un bel risparmio e abbiamo avuto
già pagato per questo, quindi lo facciamo ancora
pagato i duecentomila ma esso
non sono andato via inutilizzati i nostri dati
piattaforma squadra il team Hadoop che utilizza
EMR loro stanno cambiando istanza
famiglia quindi questo potrebbe non essere ancora il
caso ma stavano salvando sull’ordine
di circa un milione di dollari all’anno da
in piedi su un cluster personalizzato di notte a
eseguire lavori speciali lo hanno chiamato il
superammasso e poi lo farebbero a pezzi
giù ad una certa ora al mattino così
questo è un esempio di te del
le prenotazioni si mettono i soldi per questo
ma poi ti assicuri dietro le quinte
ottieni squadre a cui sei interessato
facendo leva sul fatto che è fondamentalmente gratuito per
loro e sembra fantastico perché
non mostra bene l’ orario riservato
il tasso si presenta nel loro grafico ma è
non è lo stesso del tipo ammortizzato
front plus reserve quindi una sorta di mappa divertente
dentro ma le squadre amano prendere in prestito questo
capacità nessuno lo ha usato per Bitcoin o
qualsiasi cosa ce ne sia molta là io
pensa che creiamo solo un’applicazione
chiamato qualcosa di unica app di Coburn così
in sintesi, penso che sia davvero importante
abbiamo fatto questo abbiamo fatto questo per un po ‘
ora è capire che cosa equilibri
della tua innovazione contro la tua
efficienza come organizzazione
hai intenzione di mettere più attenzione su uno o
l’altra innovazione è la parola d’ordine
ci stiamo concentrando su io cerco di rimanere tanto
il più possibile fuori dal modo di innovazione
il mio obiettivo è ottenere la capacità degli ingegneri
quando ne hanno bisogno quando lo vogliono e
quanto vogliono e poi dietro il
scene che non chiamerei giocare
ma ottieni il bilanciamento del contesto tutti questi
dipendenze diverse e assicurarsi
che siamo efficienti al termine del
giorno ed è più di un morbido andare per noi
come se non raggiungessi il mio obiettivo di efficienza
Non penso di essere licenziato ma
è qualcosa in cui ci dà
ci dà un obiettivo per sparare per quando io
avere una discussione con i manager che posso
parlare di un obiettivo concreto, quindi è così
probabilmente non è una vera sorpresa ma è così
bene per capire dove cadi
quello spettro spingendo quei dati fino a
il livello di squadra che vuoi davvero
individui che sono più vicini al
modello di implementazione per capire cosa
il loro costo è che troviamo molti casi
dove qualcuno non ha un efficiente
dire che potrebbero essere pipeline di distribuzione
facendolo manualmente si alzano a
servizio o un ASG ne alzano un altro
gruppo auto-ridimensionamento se ne dimenticano
e si sta esaurendo proprio qui
tipo di dati li aiuta a determinare come
diventare più efficienti nella loro
modelli di sviluppo e non è come un
sai che le scazzottate con le dita sono solo
come hey ecco i tuoi dati e la maggior parte
le persone agiscono in modo appropriato penso
era un Ralph Waldo Emerson detto il cloud
non è una destinazione, è un viaggio o
qualcosa del genere è probabilmente
la vita ma per noi è stata davvero una
viaggio Adrian era lì ha dato alla luce
questo cloud baby netflix e quello era
da qualche parte nel periodo di tempo 2009-2010
e proprio quest’anno abbiamo preso il nostro
applicazione finale dal centro dati
quindi è stato un viaggio e così quando noi
parlare di questa roba a volte persone
diventare un po ‘ intimorito di come facciamo
tutto questo a questa scala è stato un
processo giusto è qualcosa che ci vuole a
un po ‘di tempo e così sai che non ti concentri
sull’efficienza tanto il primo giorno ma come te
andare in ore straordinarie costruire una strategia
e quegli strumenti per aiutarti a ottenere cosa
devi fare come un business c’è a
astronave Netflix toglila per favore
vota la sessione e ci vediamo
stasera se hai qualche domanda
tu
lavoro per netflix e ho intenzione di parlare
su un ingombro cloud di grandi dimensioni e su come
tenerlo sotto controllo se posso solo tasso di lavoro
mi piacerebbe sentire cosa ne pensate
se pensi che sia andato bene o male
quindi sono coburn w Gestisco la performance
e il team di affidabilità di Netflix che ho
ci sono stato per circa tre anni
ha lavorato con Adrienne lì per un periodo
di tempo La mia organizzazione gestisce una fiera
quantità di cose nella performance della zona
e affidabilità principalmente sul cloud
componente in modo da ridurre il tempo per rilevare in
tempo di risolvere quindi il nostro obiettivo principale è quello di
migliorare la disponibilità del servizio
per gli utenti finali di netflix che qualcuno usa
netflix qui va bene più di me
pensavo che non sapessi che ci sono
persone ma abbiamo piani come squadra noi
costruire un sacco di strumenti sulla mia performance
squadra che ottimizzare l’utilizzo della nuvola sono
andiamo a parlare oggi da una magra
prospettiva principalmente intorno all’efficienza
della nostra impronta cloud e alcuni dei
le strategie che abbiamo lì ho una squadra
che dirige il traffico globale, così anche noi
possiede un certo numero di scimmie quaggiù
c’è il caos Kong quello è il grande
e poi ha spostato la scimmia del caos all’interno del
la squadra Kong è dove prendiamo realmente
traffico e spostarlo dalla regione di AWS
ad un altro e lo facciamo una volta a
mese poi lo gestiamo attraverso il picco e
allora falliamo e quindi usiamo a
combinazione di reindirizzamento e dns da fare
che usiamo anche questo per iniettare il caos in
l’ambiente ieri sui giornali
amiamo c’era una discussione su
fallimento di iniezione e lo facciamo abbastanza a
un po ‘dove effettivamente esercitiamo il nostro
servizi su base giornaliera per essere sicuri
che possiamo cortocircuitarli
lì e lo coprirò e poi noi
guidare l’adozione delle migliori pratiche ma non lo sono
ne parliamo oggi così come una società
abbiamo circa ci stiamo avvicinando 70
milioni di abbonati in oltre 50 paesi
torna al valore che sai cosa
qual è il nostro valore è un’azienda che è
abbastanza comunemente condiviso internamente siamo noi
vuoi vincere momenti di verità così quando tu
siediti nel tuo salotto e tu
avere la scelta di selezionare qualcosa
per vedere speriamo che tu scelga
Netflix e questo è il nostro obiettivo in
la fine della giornata è renderla molto
grande esperienza in termini di contenuti per
devi guidare ed è fantastico da fare
soldi anche a questo
facciamo circa 3 miliardi di ore di video a
mese in questo momento abbiamo un grande abbastanza
l’impronta del cloud di cui parlerò
che abbiamo il nostro CDN nostrano così noi
consegnare circa il 99% un po ‘di più del nostro
contenuto di un’appliance basata su FreeBSD
che noi generiamo me o creiamo me
è per la gente se lo vuole e nel
noi penso che siamo vicini al trentasette
percentuale del traffico Internet durante la notte
abbiamo appena passato il porno che è un grande grande
una grande pietra miliare per noi deve essere mantenuta
quella differenza lì e abbiamo un noi
avere una forte lavagna originale così da a
Punto di vista dei contenuti mi piace un sacco di
questi, ma continuiamo a rilasciare di più
e più spettacoli che stiamo vedendo davvero
sempre più originali che i nostri
specifica regionale e quindi cerchiamo di ottenere
diritti globali quindi ne abbiamo appena pubblicato uno
dal Messico come esempio è a
globale che penso sia un grande spettacolo
le nostre offerte open source sono grandi
focus di ciò che facciamo come azienda I
scelto un tipo e ne ha presi un mucchio
fuori di qui Atlas è il nostro grande
quadro di monitoraggio che raccoglie
da qualche parte nell’ordine di circa due
miliardi di serie temporali al minuto
cloud e consente di renderlo interrogabile
di solito ci sono circa due minuti
minuto a due minuti di ritardo e ottieni
tempi di risposta in circa tre secondi
per la maggior parte delle tue domande quindi è molto
efficiente da quella prospettiva se
la gente ha sentito parlare di asgard che è sorta
della nostra console di servizi Web di Amazon
sostituzione di infrastrutture come a
servizio ci sarà un grande
le notizie di questo autunno bussano a qualcosa di simile
pubblicheremo una nuova apertura
progetto sorgente che è il nostro continuo
quadro di consegna che accetta asgard ma
è come sugli steroidi è davvero
fantastico quindi tieni gli occhi ben aperti
perché quel ghiaccio è dove guardiamo il nostro
costano così otteniamo un grande disegno di legge su Amazon
mese penso alla fine del mese
è da qualche parte nell’ordine di forse
come 400 milioni di linee e lo consumiamo
e poi abbiamo generato una bella bella
grafici e dati per capire dove siamo
il costo è vettori uno strumento di prestazioni mio
team creato che è in hosting
metriche di risoluzione verificare che sia a
molto divertimento nella storia è la nostra struttura
per il comando di dipendenza, quindi abbiamo parlato
sui servizi di locazione falliscono hystrix
è il framework che ti lascia aperto
circuiti quando un servizio è anomalo
Vado a prendere l’acqua qui
quando apri un circuito smetti di parlare
a quel servizio e tu lanci un ripiego
Non ho esempi qui tranne a
buon esempio, potresti vedere il tuo
rosa personalizzata e quando quel servizio
ha un problema che vedi personalizzato
rosa, siamo in realtà quella linea genealogica
Iniezione di guasti basata su cui stiamo lavorando
quello di quei professori di
Berkeley su questo adesso, quindi voglio
parlare delle nostre priorità come azienda I
pensa in generale quando guardi il
sforzi di ingegneria hai priorità
nella tua organizzazione se mantieni il
luci sull’organizzazione forse hai un
prodotto che si desidera mantenere
sostenere continuare a ottenere manutenzione
entrate di quando ero a HP che era
un certo numero di nostri prodotti non penso a
molti di voi sono in quello spazio così a
Netflix diamo la priorità in questo modo da
dall’alto in basso quindi l’innovazione è davvero
la nostra fondazione sentiamo che se non lo facciamo
innovare velocemente pensa ad Adrienne
discussione dell’ipotesi basata
test ci sono 500 test a mille
prova in corso ogni giorno se non lo facciamo
innovare non vinceremo nel
spazio e questa è la chiave per noi e questo è
probabilmente conosci l’ottanta percento del nostro
licenza di ingegneria degli investimenti e
l’affidabilità dell’innovazione è al di sopra di tutto ciò
se il servizio non è disponibile e lo è
non serve molto e quindi aumenta l’efficienza
lì in cima e quindi II tipo di blocco
fuori nella parte superiore non spendo come
gran parte dell’area di innovazione inferiore
e non ci sono molti di noi che spendono
tempo nello spazio di efficienza che è
dove penso che siamo abbastanza magri così noi
prova a farlo dietro le quinte e lo farò
entrare in questo un po ‘ma l’organizzazione
riconosce che questi sono entrambi importanti
e quindi ognuno è uno stakeholder nel
è la libertà e la responsabilità del gioco
solo che c’è meno di noi che cerchiamo di muoverci
l’ ago in avanti su quelli così quelli
precedenti quei due in basso loro
innovazione e affidabilità hanno costi
associato a loro e che può portare
a inefficienza significativa, quindi vado
per parlare di come massimizzare l’innovazione
ecco un piccolo screenshot del nostro
nuovo strumento di consegna continua che realizziamo
capacità su richiesta per tutti i Netflix
gli ingegneri c’è una piccola scatola che si apre
se vuoi mille istanze tu
basta digitare un migliaio di istanze e
si presentano in produzione quindi il nostro impegno
l’obiettivo del cloud è consentire alle persone di ottenere il loro
codice là fuori in una questione di
abbiamo questa gigantesca singola produzione
conto ci consente di massimizzare il riutilizzo
di cui parlerò anche io
semplifica il modo in cui acquistiamo capacità ma
essendo in un grande account è giusto
consente alle persone di avere la capacità di loro
vogliamo e anche noi scoppiamo su richiesta così
Voglio essere sicuro che le persone
comprendiamo che dipendiamo dall’elasticità
del cloud ne abbiamo un certo
percentuale cerchiamo di tenerlo sotto ma
in generale, su base giornaliera, sai
probabilmente ne andremo su richiesta
per cento e poi ci ricolmiamo sopra
così potresti vedere che questo potrebbe
in realtà introdurre un po ‘
rischio significativo se non ci fosse
alcune strategie per vincolarlo
affidabilità porta con sé un sacco di
costa pure, abbiamo un nero rosso
spingere il modello in modo tale quando si preme il codice
produzione attraverso asgard o attraverso il nostro
nuovo strumento che uscirà tu lo farai
in realtà in piedi una nuova versione del tuo
codice traffico diretto ad abbattere il
vecchio se qualcosa ti va storto, solo
puntare il traffico indietro subito
affrontarlo il giorno dopo, avendo questo
sovrapposizione di capacità che devi essere
efficiente in essa, ma ancora è
capacità aggiuntiva che abbiamo multiplo
livelli di ridondanza nel nostro sistema
all’interno di una regione AWS abbiamo effettivamente finito
fornitura attraverso tre disponibilità
zone per sostenere la perdita di uno di loro
quindi hai circa il cinquanta per cento
capacità aggiuntiva e ogni AZ e quello
di nuovo è più capacità che devi comprare
e poi il grande dei grandi spendaccioni
è la nostra ridondanza globale così come ho parlato
circa abbiamo esercitato questa capacità una volta
un mese di mancato ritorno del traffico degli utenti e
avanti tra le regioni quest’anno siamo
in realtà sta lavorando per fallire in tutto
le regioni di tre settimane equivalentemente da
loro per Natale è il nostro prossimo
grande obiettivo ma quando ci pensiamo noi
acquistare queste pesanti riserve a
coprire le nostre capacità li chiamo
garanzie che non so se Amazon si riferisce
a loro come garanzie necessariamente ma
vuoi avere la capacità lì quando
sei alla nostra scala che quando fallisci
su di esso è disponibile in modo in realtà abbiamo
abbastanza capacità dietro le quinte nel
regioni per sostenere il fallimento del nostro carico
qualsiasi regione a un’altra in un dato momento
è qualcosa che paghiamo per 24 per 7
ora l’acquisto di prenotazioni pesanti ha
alcune implicazioni in ciò che sei
in realtà pagando un costo iniziale di solito
per come una prenotazione di tre anni e
quindi stai pagando una tassa di 24 per 7 se
utilizzare quella capacità o
e il motivo per cui lo facciamo oltre a
l’affidabilità è su di esso ci ottiene probabilmente a
70 % in più di sconto e dandolo a
basso in là ma in realtà rispetto
su richiesta è un grande risparmio finanziario
finché lo usi, altrimenti lo sei
pagando solo per cose che non stai usando
quindi, se tu
non tenerlo d’occhio , quindi quelli sono i
due grandi implicazioni sui costi di come noi
massimizzare la nostra velocità per gli ingegneri
efficienza così in cima alla montagna
Ho intenzione di parlare di come guardiamo
efficienza come abbiamo fissato obiettivi e alcuni di
le strategie che abbiamo messo in atto
controlla quel diritto che non dovrei controllare
quello ha guidato il contesto lungo così avendo questi
gli obiettivi di efficienza sono davvero la chiave che ho
hai pattinato alcune metriche qui ma
in cima abbiamo il nostro KPI giusto
è probabile che tu possa presumere che abbia
qualcosa a che fare con streaming right cuz
che è o potrebbe essere
logging quindi siamo grandi framework di logging
essere probabilmente tracce proprio con esso e
sappiamo cosa facciamo noi stiamo decomponendo i costi
questi sono al credo, il regista
livello e questo è basato sullo stato I così
otteniamo il file di fatturazione di Amazon che forniamo
attraverso un sistema va in autostrada
generare rapporti tableau su di esso
e ciò che mostra è il tuo costo
contributo ai costi del cloud in generale
in funzione delle tue prestazioni chiave
indicatore e puoi vedere come si spara
su e poi improvvisamente c’è un grande picco
nella nostra attività e improvvisamente va
giù e fluttua un po ‘e così questo
offre individui al più alto livello
dell’organizzazione il contesto
capire quale percentuale della rotazione
sono e se si sta seguendo con il
metriche di business o meno e questo diventa
pubblicato settimanalmente ce n’è anche un altro
la scheda su cui farai clic verrà mostrata
costo assoluto in modo da poter vedere quanto
in realtà costa, quindi è davvero a portata di mano
e ci sono molte discussioni
riguardo a VP dicendo hey guarda quanto tu
costo guarda quanto ti costano sapere
penso che crei poco gioco
sistema lì tra il tra il
divisioni che è buono è sano
concorrenza sana ma solitamente una volta
qualcuno si rende conto che il loro profilo di costo
non è quello che vogliono che sia il primo
cosa loro fanno è che si rivolgono al
manager di ingegneria sotto di loro e loro
dì che cosa sta succedendo qui come perché lo sono
siamo cresciuti così velocemente e così è stato il nostro
primo taglio e noi
siamo andati abbastanza bene, ma noi
si rese conto che per essere efficace avevamo
per spingere quel contesto di costo verso il
manager di ingegneria al primo livello
e le loro squadre e i loro servizi
proprio perché non possono Barry come si
e così sai che si rivolgerebbero al loro
manager e dire perché siamo cresciuti trenta
per cento nell’ultima settimana o mese o
cos’hai così che sfruttiamo del ghiaccio?
dati e poi internamente usiamo il nostro
Sistema di monitoraggio Atlas che tiene traccia
esempio esempio viene utilizzato dal nostro da
gruppo auto-ridimensionamento e quindi usiamo a
costo normalizzato che non vogliamo
penalizzare qualcuno per richieste c’è
un costo normalizzato qui, ma se lo fossi
un responsabile tecnico e ricevo
questo verrà inviato mensilmente lo farei
vedere che i miei servizi costano insieme
vicino a due milioni di dollari all’anno e
ecco la mia distribuzione dei miei servizi
e pensiamo ai micro servizi che abbiamo
li raggruppò dietro le quinte così
microservice potrebbe essere un servlet t r +
memcache plus cassandra abbiamo tipo di
li ha raggruppati così abbiamo questa mappatura
dietro le quinte che ci permette di aggregare
manteniamo il sistema di segnalazione e
in modo che possano facilmente vedere cosa
la più grande componente di costo è la loro
l’impronta che vedono effettivamente
mese dopo mese, qual era il cambiamento
questo è sceso del sette per cento
mentre questo è salito di ventitré
percentuale e quindi lascia che inizino a
capire dove va quella spesa se
fanno clic su uno degli elementi sul
lasciato dove possono fare un breakout
lo faranno effettivamente scomporre
Quelle lacrime di cui ho parlato tu conosci il
servito qui memcache cassandra loro
può effettivamente vedere quale elemento è
crescere lì dentro quando sono il primo
ho iniziato a farlo un paio di anni fa
sai che qualcuno è come hey il nostro costo
sta scappando tra le erbacce perché no
lo capisci così vado al ghiaccio e
comincerei a tirare fuori tutti questi dati
alcuni CSVs iniziano a generare
fogli di calcolo e direi che è qui
stiamo spendendo giusto e verso le due
settimane è stato completamente invalido perché
nella nostra architettura e il tasso di
chi la spinge è valida solo per a
un paio di giorni giusto e potrebbe essere lì
è stata un’istanza in giro per un
a / b test e poi è andato via così noi
scoperto che abbiamo dovuto fare in modo che avevamo un
sistema che stava generando questo
in modo dinamico e aggiornarlo in caso contrario
era sempre antiquato così come te
aumentare la velocità del tuo
sforzi di ingegneria che devi aumentare
la velocità del tuo monitoraggio e costo
anche gli strumenti stanno andando
essere
le persone del foglio di calcolo mensile sono come te
sapere la prima cosa che diranno è oh noi
non stanno usando più così tanto ma
di nuovo è una specie di quel contesto /
controllo cerchiamo di spingere i dati al
squadre possono prendere decisioni migliori e
vediamo che nella maggior parte dei casi la maggior parte dei casi
loro massimizzano la condivisione così quando io
parlato di acquistare prenotazioni così dentro
termini della dimensione della nostra impronta che provo
non dare numeri esatti ma attraverso il
tre regioni che abbiamo inviato le repliche da qualche parte
tra diciamo cinquanta e centomila
istanze in un dato giorno su Amazon di
tutte le prenotazioni di dimensioni diverse sono da
Non ho chiesto chi usa Amazon qui
sembra okay, quindi voi ragazzi di livello moderato
conoscere la terminologia quindi per ec2 che è
il calcolo è il nostro più grande componente
usiamo se vado a Amazon e dico io
voglio comprare un’istanza da te e io sono
andando a pagarti in anticipo per tre
anni per ottenere questo grande sconto loro
diciamo grande senza problemi quale regione cosa
istanza digita quale zona di disponibilità così
improvvisamente hai un lock-in dove se
qualcuno va e usa un’altra istanza
digita un’altra AZ Non posso sfruttarla
capacità per il loro servizio perché è
molto finemente a grana fine e come il
la contabilità viene eseguita in modo un altro
motivo è per questo che abbiamo un singolo
account di produzione abbiamo tutti questi
persone che spingono su base regolare
possiamo condividere con l’altro ora e noi
avere meno piscine più grandi da quando le persone lo sono
facendo spinte nere rosse su base giornaliera
alcuni team lo fanno quotidianamente
allora lo faremo forse una o due volte
una settimana al di fuori di quello che hanno questi
irrompe nelle loro piscine e finiamo
avendo capacità e sconto da coprire
così non lo facciamo micromanage
guarda e a differenza guarda le persone e dì
beh stai andando a spingere oggi ma
stanno spingendo domani, assumiamo semplicemente
se scoppiamo oltre , andiamo avanti
domanda e questo è il vantaggio del
cloud per noi e così lo massimizziamo
capacità condivisa Ho intenzione di parlare a
un po ‘di più su questo, ma se tu
guarda tutte le offerte di ec2 di Amazon
settantacinque per cento delle nostre prenotazioni
sono solo su otto tipi di istanza ec2 e
questi potrebbero essere come m3 xlm 3x sai
in tre grandi abbiamo alcuni grandi in
anche lì, ma questo ci aiuta
le scene gestiscono meno piscine più grandi e
Penso nei prossimi due anni
ho detto che abbiamo uno scheduler di O labirinto
quadro basato che fa alcuni dei nostri
attività in lotti che siamo in realtà
considerando di guardare fuori un anno o due
come possiamo contenere gli occhi in gran parte
del nostro carico di lavoro e in effetti astratto a
molto di questo ho qualche preoccupazione
si io ho dei benefici in giro
carico di lavoro preventiva capacità condivisa ma
da una istanza di pianificazione della migrazione noi
migrare le istanze oggi è un vero dolore
ci rende meno agili ed è una specie di
una seccatura per andare in una squadra e dire hey
Amazon ha rilasciato un nuovo tipo di istanza
è ora di passare un po ‘di tempo
portarti sul nuovo tipo di istanza
e vogliamo allontanarci da questo ma
questo è solo un altro aspetto dell’avere
condivisione e questo è aggiornato in modo equo
in modo dinamico così ne costruiamo molti
piccoli strumenti che danno visibilità a
squadre e puoi scavare nell’ASG
su di te conosci la dipendenza diversa
zone ma dà quella visione in tempo reale
per tutti a guardare dove sono loro
la capacità è superata quindi incoraggiamo
prendere a prestito e prendere in prestito va oltre il semplice
all’interno del singolo prodotto fuori così quando
imposti un appt set di Amazon
conti per la tua azienda ieri
qualcuno ha citato penso che lo sviluppo
i succhiatori parlano di 1400
account per scopi di sicurezza che
potrebbe essere un po ‘complesso da realizzare
cosa abbiamo fatto in termini di collegamento ma
amazon ti darà il consolidato
fattura quando si imposta il tuo account prima
si avvia la prima istanza desiderata
per dire alle persone di AWS assicuratevi che
questi account hanno la mia disponibilità
zone in fila perché ciò che accade
allora è quando acquisto una prenotazione
e prod se ho un account collegato come
il mio account di codifica che sta facendo un video
codifica se hanno lanciato un’istanza
e la stessa zona di disponibilità durante
quel periodo e io non sto usando quello
prenotazione nel prada non posso ottenere il
beneficio di fatturazione quindi è quello che chiamiamo
il nostro mercato spot interno e noi davvero
cercare di massimizzare questo è come noi
recuperare un sacco di quel costo di 24 per 7 così
Mi dispiace autoscale dinamicamente questo
è un periodo di una settimana, se voi ragazzi potete
vederlo è uno dei nostri grandi online
servizi in esecuzione ogni giorno
una regione noi est questo è in noi est
uno hanno fatto una spinta qui, ecco perché
i colori cambiati puoi vedere che c’è un
sovrapposizione di capacità ma fondamentalmente
Ricalcolo automaticamente con il carico anche noi
avere qualcosa che abbiamo una fonte aperta
ma Adrian o qualcuno ha menzionato quale è
il nostro ridimensionamento automatico predittivo e
quindi corriamo come FFT al precedente
il carico di lavoro settimanale li imposta nel set
piano per questi a un certo valore e
quindi per la maggior parte abbiamo quasi come
molta capacità di cui abbiamo bisogno su un dato
base giornaliera e poi conversiamo per essere
su quello se ne abbiamo bisogno ma se si guarda
queste gigantesche depressioni qui
500 fino a circa 2.700 e questi sono
piuttosto grande come i sistemi a 16v cpu e così via
tutto questo tutto questo spazio morto dentro
ecco la capacità che abbiamo pagato
che non stiamo usando e quindi il mio vicepresidente guarda
per me e dice coburn perché non lo siamo
usando quella capacità e quella diventa a
sfida che diventa una sfida per
io perché poi devo rivolgermi all’altro
squadra e dire perché non puoi aiutarmi a usare
questa capacità abbiamo recentemente creato una nuova
API che consente effettivamente a un utente di
consumare tutto l’ utilizzo della prenotazione tutto
dell’utilizzo on-demand nella fatturazione
dati o una sorta di dati di prestito così
possono effettivamente guardare semi in tempo reale
in tempo reale e dire hey questo AZ ha un
mucchio di capacità inutilizzata e codifica
la squadra farà un sacco di lavori e
poi ogni cinque minuti a cui guarderanno
vedi se quel buffer sta diventando troppo piccolo
e lo faranno a pezzi questo uh questo
gruppo di ridimensionamento automatico sul fondo che è
un servizio precomputo così ogni giorno Netflix
calcola i tuoi consigli è
probabilmente nessuna sorpresa ma puoi vedere
che si inserisce nel trogolo in generale
ora questo è abbastanza primitivo e quello
è un’azione programmata all’interno di Amazon
e abbiamo appena sopportarlo su e tirarlo giù
ma sono quasi non sovrapposti per a
gran parte della capacità non lo faccio
avere i dati per i conti presi in prestito
diciamo che i nostri dati terminano con Hadoop di grandi dimensioni
lavori o sono account di codifica che
codifica il video ma se si sovrappone
che vedresti molto di più di questo
capacità di riserva che va via che è
davvero quello per cui spariamo e loro ottengono
quel beneficio di fatturazione è finito a circa a
settimana in modo che l’ottimizzazione giochi appartamenti così
Ho il team di ingegneria delle prestazioni
pure e facciamo una consultazione diretta
per servizi veramente grandi di cui abbiamo bisogno
quattrocento micro servizi e loro
la distribuzione delle dimensioni ci sarà probabilmente
dieci per cento che rappresenta un cinquanta
percentuale della capacità quando hanno a
grande cambiamento possiamo impegnarci con loro e
aiuta a ottimizzare per il resto di loro noi
creare strumenti in modo che possano guardare il
prestazione del loro servizio ogni volta
vogliono perché Netflix ogni
squadra di ingegneria è
circa 40 team di ingegneri che possiedono
questi 400 microservizi ognuno ha
qualcuno su chiamata gestisce il loro design
operazione di sviluppo spingere la pagina come me
non conosco le cose operative di nessuno
per i loro servizi, proprio come me
di un punto di coordinamento per una responsabilità
ma ogni squadra possiede ogni aspetto di loro
possono implementarlo in JavaScript che possono
usa la chiusura che possono usare Scala no
sono giustamente basati su JVM
ma mi sta permettendo il disaccoppiamento
tutti da gestire da soli
aspetti operativi ecco un esempio di
due flussi separati quello a sinistra
è quando hai una nuova funzionalità o una nuova
servizio che esce e che tende ad essere
un po ‘ più di un caso speciale in
che ha sviluppato il suo schierato noi
tieni un po ‘più d’occhio e come noi
ridimensionalo ottimizziamo se necessario
a volte alla nostra scala attuale ci sono
servizi che escono dal cancello
sono molto inefficienti e dobbiamo ottenere
in e profilo e ottimizzare in un numero
di modi in cui quello a destra è
sviluppo giorno per giorno in modo da sviluppare
il tuo codice lo fai passare attraverso un rosso
nero ma come parte di ciò attraverso il nostro
quadro di consegna continua hai a
canarino e la nostra analisi canarino automatizzata
quadro è una sorta di nostro cancello per a
team di produzione push adottati in vari modi
i livelli che hanno contraddistinto la squadra che ti ho mostrato qui
la scala fino a 3.000 istanze che è
il nostro più complesso il servizio si siedono sul
bordo sai decine di miliardi di
i dispositivi stanno parlando ad esso ogni giorno
devono incorporare circa 700 file jar
ogni volta costruiscono da tutto il
clienti con cui hanno parlato in
architettura che spingono ogni giorno in più
casi ho afferrato il problema dei dati della scorsa settimana ma
in generale si spinge ogni 24 ore su a
pianificare che si spenga così quel livello
viene sostituito ogni giorno e rotola dentro
un modo globale attraverso la produzione
ambiente ma noi gestiamo Canarie
aiuta anche con l’efficienza perché noi
non alzare tutto e vedere se è così
fallisce, sapete, alzate un canarino in un
la squadra di riferimento ha probabilmente la linea di base
circa 3.000 metriche che hanno raggruppato
in varie categorie e hanno a
punteggio e se quel punteggio penso sia inferiore
il settanta percento della spinta non uscirà se
i punteggi superiori al settanta per cento
la spinta si spegne e l’ hanno messa a punto
nel tempo ma lo automatizza e lo fa
tira il canarino oh
il canarino prenderà entrambi
deviazioni funzionali e prestazionali
proprio come il big bang
deviazioni o cose che prendiamo bene
via e poi ottimizziamo prima
distribuirlo effettivamente in modo che non lo facciano
causare problemi di capacità, ma è fino a
i team per implementare l’analisi delle canarie
e prendilo sul loro orologio, così tendiamo
essere troppo grande per la maggior parte degli strumenti commerciali
ne abbiamo portati alcuni prima di noi
uccisi li abbiamo uccisi e io no
in un modo sbagliato, intendo dire che siamo una specie di
il loro laboratorio di prestazioni se ne hai
cinquanta più mille cose da qualche parte
tra millecinquecentomila corsa
sono molti dati per le persone per questi
sistemi di consumo e di sistema
essi stessi tendono ad avere un uso molto ampio
Caso giusto, vogliamo creare un CTO
dashboard e vogliamo anche mostrarti a
tempo di risposta e guarda i dati del tuo rum
e tendiamo ad avere un uso molto specializzato
casi intorno hey ho un ingegneria
squadra che vuole guardare al
flusso di transazioni attraverso lacrime utilizzando a
quadro che è molto simile a quello di Google
dapper sapete come reagire
transazione di informazioni che traccia questo
questo slalom di utilità che la prestazione
il team creato mostra effettivamente la domanda su a
servizio questa è una funzione del tuo
richiesta tasso qualsiasi tempo di risposta possibile
fare doppio clic sulla barra e verrà visualizzato
la tua richiesta da upstream nel tuo
microservizi a valle e ti lascia
vedere il flusso attraverso l’ambiente
il valore qui è se avevo bisogno di
ottimizzare il mio servizio posso abbastanza rapidamente
capire quanto tempo è trascorso nel mio
servizio contro le mie dipendenze e andare
lavorare su quelle ottimizzazioni come devono essere
ma tu sai questo probabilmente questo punto di vista
proprio qui probabilmente incorpora forse io
voglio dire di circa 9.000 casi
di dati e lo aggrega sul
giusto a volte troviamo che ci sono
aspetti del nostro stack che non ci danno
la visibilità che vogliamo su Brendan Greg
la mia prestazione è una squadra che potresti avere
sentito parlare di lui, lo fa molto
lavoro di performance e lui ottiene molto
frustrato quando deve usare più
strumenti per risolvere un problema come hey sono
andrà ad usare perf per dare un’occhiata al sistema
dati e poi ho intenzione di andare a trovare fuori
dove il tempo della CPU è trascorso in JVM così
Installerò l’ agente di un agente
iniziare a utilizzare questo profiler e
diventa davvero frustrante vedere questo
vuole farlo dal livello di sistema tutto
la via attraverso il sistema e lo spazio dell’utente
giusto così ha iniziato a fare un po ‘
campionamento contro la JVM e tutto questo
usato per essere vuoto e qui lo schermo
roba che è il codice dello spazio utente
e il problema era che la JVM
clobbers è il registro del puntatore del frame
una vecchia ottimizzazione ma come risultato tu
ottenere i frame dello stack da / se non è possibile
davvero riassemblare una pila accurata di
dove il tempo è passato così è andato in giro
sei mesi fa e ha trovato l’assemblea
codice in cui ciò stava accadendo è cambiato
e ha iniziato a lavorare con il Sole
gli sviluppatori di hot spot in the on the
mailing list e ho ottenuto la patch in modo che io
credo che due settimane fa son rilasciato Java 8
Aggiornamento 60 e ora si esegue con a
certa bandiera XX in realtà si può ottenere il
tracce dello stack completo non appena è pieno
impila i frame e poi puoi anche eseguire a
agente di mappatura che mostra gli indirizzi
alla memoria in modo da poter effettivamente generare
questo in un modo davvero leggero e
vedere dove viene speso tutto il tempo della tua CPU
il tuo sistema dal sistema per lo spazio utente così
questo è un esempio di creazione di un’abitudine
strumento a volte da non pensavo di ottenere
attraverso oracolo ma lo abbiamo fatto loro
ovviamente pensavo fosse di alto valore e
Ero un semplice cambiamento ma siamo molto
felice ora che ce l’abbiamo
elimina un sacco di soluzioni alternative che abbiamo avuto
fare prima con più strumenti che è
blog su di esso un po ‘così è possibile
Verificarlo davvero un’ultima cosa
voler chiamare è nel nostro obiettivo di essere
appoggiarsi a destra vogliamo acquistare capacità
vogliamo avere queste prenotazioni a
assicurati che la capacità sia lì e
ne abbiamo bisogno che può portare allo spreco ma
non vogliamo oltrepassare a volte
avrai squadre che verranno da noi
e dire hey ho fatto una spinta oggi e io
non potevo capirlo , sai un’ora 38 XL
per qualche motivo e una disponibilità
zona e la risposta è davvero non lo siamo
andando ad acquistare tanta capacità che
non avremo mai quello che viene chiamato
un bel non l’atul ghiaccio, ma insufficiente
eccezione di capacità, quindi abbiamo creato uno strumento
a strati, penso che consumi nuvola
seguire gli eventi attraverso un’altra utility
avere dentro chiamato Chronos quale è il nostro
quadro di controllo ma la capacità
il team riceve effettivamente rapporti che mostrano
quando diventiamo ghiacciati e cosa
zona di disponibilità se inizia a essere
una specie di situazione importante in cui non possiamo
ottieni un tipo di istanza coerente che vogliamo
su una certa zona di disponibilità si aprirà
un biglietto con Amazon ha un
discussione con loro e potrebbe esserci
una carenza ci dà anche del bene
visibilità e vincere il nostro spiegamento
i modelli che cambiano dobbiamo iniziare
acquistando più riserve in questo
famiglia ma i dati intorno a questi ghiacci
gli eventi sono effettivamente disponibili per te
direttamente da Amazon così
è comodo da tenere d’occhio, così è stato
menzionare che dovrei parlare di alcuni
vince come se inserissi effettivamente dei dati
qui ho cercato di essere un po ‘sciolto
ma in termini di prestito interno così
questo è un grosso problema per noi perché abbiamo
ci sto lavorando per probabilmente due
anni ho avuto alcune richieste
per me per un po ‘per farlo accadere
ma ho avuto dipendenze da altri team
essere in grado di consumare la capacità ma
dal nostro team di codifica avevamo un punto dati
Giugno quindi hanno usato circa 130 235.000
ore di istanza dal conteggio del prodotto
che in realtà non hanno dovuto pagare
se avessero dovuto comprare quella capacità
avrebbero dovuto spendere circa due
centomila dollari al mese così
è stato un bel risparmio e abbiamo avuto
già pagato per questo, quindi lo facciamo ancora
pagato i duecentomila ma esso
non sono andato via inutilizzati i nostri dati
piattaforma squadra il team Hadoop che utilizza
EMR loro stanno cambiando istanza
famiglia quindi questo potrebbe non essere ancora il
caso ma stavano salvando sull’ordine
di circa un milione di dollari all’anno da
in piedi su un cluster personalizzato di notte a
eseguire lavori speciali lo hanno chiamato il
superammasso e poi lo farebbero a pezzi
giù ad una certa ora al mattino così
questo è un esempio di te del
le prenotazioni si mettono i soldi per questo
ma poi ti assicuri dietro le quinte
ottieni squadre a cui sei interessato
facendo leva sul fatto che è fondamentalmente gratuito per
loro e sembra fantastico perché
non mostra bene l’ orario riservato
il tasso si presenta nel loro grafico ma è
non è lo stesso del tipo ammortizzato
front plus reserve quindi una sorta di mappa divertente
dentro ma le squadre amano prendere in prestito questo
capacità nessuno lo ha usato per Bitcoin o
qualsiasi cosa ce ne sia molta là io
pensa che creiamo solo un’applicazione
chiamato qualcosa di unica app di Coburn così
in sintesi, penso che sia davvero importante
abbiamo fatto questo abbiamo fatto questo per un po ‘
ora è capire che cosa equilibri
della tua innovazione contro la tua
efficienza come organizzazione
hai intenzione di mettere più attenzione su uno o
l’altra innovazione è la parola d’ordine
ci stiamo concentrando su io cerco di rimanere tanto
il più possibile fuori dal modo di innovazione
il mio obiettivo è ottenere la capacità degli ingegneri
quando ne hanno bisogno quando lo vogliono e
quanto vogliono e poi dietro il
scene che non chiamerei giocare
ma ottieni il bilanciamento del contesto tutti questi
dipendenze diverse e assicurarsi
che siamo efficienti al termine del
giorno ed è più di un morbido andare per noi
come se non raggiungessi il mio obiettivo di efficienza
Non penso di essere licenziato ma
è qualcosa in cui ci dà
ci dà un obiettivo per sparare per quando io
avere una discussione con i manager che posso
parlare di un obiettivo concreto, quindi è così
probabilmente non è una vera sorpresa ma è così
bene per capire dove cadi
quello spettro spingendo quei dati fino a
il livello di squadra che vuoi davvero
individui che sono più vicini al
modello di implementazione per capire cosa
il loro costo è che troviamo molti casi
dove qualcuno non ha un efficiente
dire che potrebbero essere pipeline di distribuzione
facendolo manualmente si alzano a
servizio o un ASG ne alzano un altro
gruppo auto-ridimensionamento se ne dimenticano
e si sta esaurendo proprio qui
tipo di dati li aiuta a determinare come
diventare più efficienti nella loro
modelli di sviluppo e non è come un
sai che le scazzottate con le dita sono solo
come hey ecco i tuoi dati e la maggior parte
le persone agiscono in modo appropriato penso
era un Ralph Waldo Emerson detto il cloud
non è una destinazione, è un viaggio o
qualcosa del genere è probabilmente
la vita ma per noi è stata davvero una
viaggio Adrian era lì ha dato alla luce
questo cloud baby netflix e quello era
da qualche parte nel periodo di tempo 2009-2010
e proprio quest’anno abbiamo preso il nostro
applicazione finale dal centro dati
quindi è stato un viaggio e così quando noi
parlare di questa roba a volte persone
diventare un po ‘ intimorito di come facciamo
tutto questo a questa scala è stato un
processo giusto è qualcosa che ci vuole a
un po ‘di tempo e così sai che non ti concentri
sull’efficienza tanto il primo giorno ma come te
andare in ore straordinarie costruire una strategia
e quegli strumenti per aiutarti a ottenere cosa
devi fare come un business c’è a
astronave Netflix toglila per favore
vota la sessione e ci vediamo
stasera se hai qualche domanda
tu
Please follow and like us: