Press "Enter" to skip to content

GOTO 2016 • What I Wish I Had Known Before Scaling Uber to 1000 Services • Matt Ranney


va bene, grazie mille
voglio parlarti un po ‘di
una sorta di alcune lezioni apprese circa
ubers scaling e sai che siamo stati
Parliamo di questo per un po ‘, quindi intendo
c’è un sacco di roba fuori
ci sono circa come non lo so come uber
got abbastanza grande che probabilmente come te
sapere come la maggior parte della gente sa di cosa si tratta
ora mi piace è una cosa
Penso che forse sorprenda molti
la gente è una specie di quanto velocemente le cose sono
cambiando e così ho ottenuto un paio di
piccoli video veloci per mostrarti il
ritmo di crescita in un paio di cinesi
città nel corso del corso di
un anno è quel suonare oh eccoci
così così questo è questo è Pechino nel corso di
all’inizio di inizio anno
fino alla fine dell’anno e puoi farlo
tipo di vedere come in una città le cose sono
succede così
questa è Chengdu ed è una specie di
stessa storia e tu vedi qualcosa di grande
rivela che vedi lo stesso modello
accadendo in un sacco di città come tutte
in tutto il mondo, quindi questa cosa è
accadendo davvero molto velocemente e a
molti dei modi in cui abbiamo risposto
per tipo di come gestire tutti
questo ridimensionamento forse sai che abbiamo fatto il
il meglio che potevamo non erano sempre
giusto ma abbiamo sicuramente imparato molto
lungo la strada un po ‘di pubblico veloce
numeri perché tutti vogliono sempre
conosco la maggior parte delle statistiche che non sono autorizzato
per parlare, ma quelli sono un po ‘divertenti
quelli un altro divertente è quanti
ingegneri che abbiamo che è da qualche parte
intorno al 2000 e quando l’ho iniziato su a
un anno e mezzo fa c’erano 200 e
così e questa è una crescita di 10 volte in un anno
e mezzo piuttosto piuttosto pazzo e ho
imparato in questo molto breve
Intendo un anno e un anno e mezzo
non sembra affatto lungo ma dentro
questo tipo di percorso accelerato pazzo esso
sembra come sempre e ho provato a farlo
pensa a come potrei dire
io stesso un anno e mezzo fa mi piace cosa
consiglio vorrei fare vorrei che potessi
hai ottenuto e sai una cosa divertente
riguardo ai consigli non sei sempre tu
non sempre spero di sentirlo come te
ascolta i consigli quando sei pronto per ascoltarlo
e penso che la maggior parte dei miei consigli sono probabilmente
avrei detto che non mi capisci
l’uomo sarà diverso questa volta, come ho
capito, ma penso che ci siano a
poche cose ci sono alcune cose
forse avrei potuto arrivare fino a
il mio io giovane e ingenuo un anno e un
Mezzo fa, ma tu sai che penso molto a
molte di queste cose come l’uomo, probabilmente
Devo impararlo nel modo più duro come a
almeno un po ‘ così da prendere questo prendere
questo consiglio per quello che potresti
devo imparare alcune di queste cose
difficile ma poi forse puoi pensare
tornando a quel momento, oh, quello era un tipo da hooper
raccontandomi di questo tanto tempo fa e
sarà divertente quindi ecco un grafico del nostro
crescita del servizio noterete che non è così
finisco a mille anche se ho detto a
mille questo perché non abbiamo un
modo affidabile di sorta di tracciamento di questo
col passare del tempo è bizzarro ma è così
in qualche modo davvero difficile da ottenere l’esatto
numero di servizi in esecuzione in
produzione in qualsiasi momento perché è
cambiando così rapidamente così ci sono tutti
questi diversi team che stanno costruendo
tutte queste cose diverse e sono
espletare nuovi servizi ogni settimana
alcuni servizi stanno andando via ma
tracciare onestamente il conteggio totale è
come il tipo di strana anomalia come noi
avere metriche e tutto il resto ma su
conteggio effettivo dei servizi di tipo non a
cosa a cui le persone si preoccupano quindi sì si io
usare la parola micro servizi come
ci piace che tutti gli altri abbiano micro
servizi ed è una tecnologia
conferenza quindi dobbiamo dire micro
il servizio è un bel po ‘ e quindi eccoci qui
L’ho detto ma voglio provare a farlo
aggiungi un po ‘di qualcosa a questo
discussione di sì è super bello per
tipo di rompere tutti i tuoi
monoliti in più piccole cose monolite
solo il nome suona male, voglio dire ha ascensore
alla fine, a destra sembra un
cosa terribile che non vorresti mai
come un monolite ma ci sono, intendo lì
sono probabilmente una specie di simile
ATS in certe scale ce ne sono alcuni
simile
Non so il lato negativo sorprendente
compromessi sui microservizi
loro vorranno esplorare con te qui a
un po ‘e uno di loro è se lo sei
costruendo un sacco di servizi e
hai detto che inizi ad accumulare a
molti di loro e si potrebbe iniziare a
chiedo a un certo punto se è possibile
prendi alcune di queste altre parole d’ordine
dal settore che come database
persone e persone di linguaggio di programmazione
sono sempre così eccitati per quello che hanno
ha ottenuto la loro mutevole immutabilità
cambia tutto è così grande perché
non posso dire ad un certo punto come su
i micro-servizi che può può essere
specificatamente immutabile o intendo
Inoltre, come i database append-only
questi sono fantastici come tutti li amano
puoi ragionare su di loro ecc. ma io
pensa che queste proprietà simili siano vere
di una distribuzione di micro servizi in alcuni
livella in qualche modo il tempo in cui le cose
sono più probabilità di rompere è quando tu
cambiarli in modo che uber sia più affidabile
i fine settimana quando i nostri ingegneri no
apportare modifiche anche se questo è il momento
siamo i più occupati e così ogni volta che tu
vai a cambiare qualcosa che rischi di rompere
penso che ci sia un punto in tal senso
sai a un certo punto una serie di software
questo è schierato in un micro servizio
potrebbe davvero avere senso solo mai
toccalo forse non lo so, penso
stiamo facendo che che ci piaccia o
non come se fosse stato pianificato
era un po ‘come un beneficio sorprendente
che siamo finiti lì lo sai
diventa una specie di tutto ciò che sai
è accaduto
e sai che la pena sorta di
interrogando come perché perché siamo noi
gettando un sacco di impegno ingegneristico
in questo tipo di questo architettonico
stile come perché lo faremo
come se non fosse per puro caso intendo
come stiamo sicuramente ricevendo un sacco di
le cose buone fuori di esso come ovviamente
come possiamo sapere che consente questi
squadre così stiamo aggiungendo alla gente tutto il
tempo ci devono essere rapidamente formato
in squadre e come arrivare a lavorare
qualcosa in cui possono avere una ragione
sui confini e così via
consente a queste squadre di formarsi rapidamente
e spostare e rilasciare indipendentemente come
questo è davvero buono e abbiamo adottato il
padroneggia il tuo tempo in modo che ti piaccia correre
il codice che scrivi è acceso
chiamare per tutti i team di servizio sono su
chiamare per i servizi che
che gestiscono una produzione e così via
è piuttosto bello e poi inizia
forse un po ‘meno ovvio ma è così
non significa che la gente lo dica meno spesso
quale è dovremmo usare lo strumento migliore per
il lavoro, ma il meglio ha così tanti diversi
modi di essere capito come il migliore in
in che modo è meglio scrivere meglio per correre?
meglio perché lo so meglio perché
ci sono biblioteche migliori come sono
tutto questo è strano come sembra così
ovvio , puoi solo dire che è il migliore
ma quando lo scavate davvero, forse io
non lo so inizia a diventare un po ‘
tremante qualsiasi cosa e se si avvia davvero
pensando a quali sono i costi
dove il costo di fare come un grande micro
distribuzione dei servizi intendo proprio fuori dal
bat ora hai un sistema distribuito
e questi sono molto più difficili da lavorare
con un singolo pezzo di software
di un singolo sistema monolitico come
tutto è un RPC all’improvviso
si deve gestire tutti questi
diverse modalità di guasto pazzo tutte
questi diversi comportamenti strani che in
un in un singolo modello se non esistesse e
più importante è come se si rompesse
quindi come si fa a risolvere come si fa
come capisci se il tuo servizio è
in qualche catena tra qualcos’altro
è rotto come ti assicuri
che le persone giuste vengano pagate
vengono intraprese azioni correttive corrette
aggiustalo ma sai che questi sono ancora
come una sorta di cose ovvie come
sai che è possibile è possibile leggere un sacco di
le persone che parlano di te sanno
questi e sono una specie di oggetti se tu
pensaci, ma ce ne sono alcuni di meno
costi ovvi e penso che questi siano
davvero interessante prima di tutto
tutto il trade-off fammi solo
ribadire che anche se non ti rendi conto
si sta facendo tutto ciò che è un
un compromesso come quello che otterrai
qualcosa e tu sai in cambio
avendo tutti questi micro servizi come te
prendi queste cose ma probabilmente lo sei
dando alcune cose e questo succede
in più modi quindi potresti pensare
come potresti scegliere di costruirne di nuovi
servizio invece di aggiustare qualcosa
è rotto e so che non è così
forse all’inizio sembra un costo come questo
forse sembra una caratteristica come non la conosco
devo guadare in quello come il vecchio codice e
sai rischiare di romperlo ma ad alcuni
punto come i costi di avere sempre
costruendo intorno ai problemi e mai
ripulire i vecchi problemi e come
questo inizia a essere un fattore
e un altro modo per dire che è possibile
così invece la complessità commerciale per la politica
di dover avere un forse imbarazzante
conversazione con qualche altro umano
gli esseri si rivelano come tutti gli esseri umani che
stanno scrivendo il software almeno a
almeno in questi giorni ci sono ancora persone
dall’altra parte di questi sai
i file del codice sorgente e potresti avere
parlare con loro e potrebbe essere necessario
hai questi imbarazzanti conosci umani?
rapporti emotivi con loro e questo
è davvero facile da evitare se puoi
come scrivere più software e questo è un
strana proprietà strana di questo sistema tu
puoi solo scrivere più software ed evitare
avendo questi di questi tipi
conversazioni imbarazzanti e si arriva a
mantieni i tuoi pregiudizi come se lo sapessi
quelle stesse linee se ce ne sono
cose che forse non ti piacciono
necessariamente d’accordo con sono come
diciamo che ti piace un Python ma il
squadra con cui stai interagendo
stanno scrivendo le loro cose e i nodejs
potresti pensare che potresti averlo
opinioni su quale di questi
le lingue sono migliori e invece di forse
aiutando a lavorare in quell’altra base di codice
quella è una lingua che tu non conosci
personalmente cura di te potrebbe appena costruire
alcune cose nuove nella tua lingua
solo per un po ‘sai che stai bene
una sorta di cose che pensi
sono i migliori anche se potrebbe non esserlo
la cosa migliore per l’organizzazione o
il sistema nel suo insieme, quindi questi sono
tipo di strano come questi sono una specie di
come non avrei mai avuto davvero
considerato questo grazie alla super modularizzazione
tutto ciò che potremmo essere
introducendo questi tipi di cose
quindi ti porto attraverso come
darti un po ‘di realismo concreto
esempi di come il modo in cui abbiamo rotto
alcuni dei nostri team di ingegneri e
alcune delle scelte tecnologiche che
abbiamo fatto e puoi forse vedere come te
puoi immaginare un progetto se lo farai
potrebbe andare giù con tutti questi
le persone che lavorano in uber così prima
c’era nella preistoria di Uber
Il 100 percento è uscito da te
sappiamo che non sembravamo una tecnologia
problema così come ne ho avuti alcuni
compagnia da qualche parte proprio la prima
la versione dell’app era mobile e il
indietro
e ma alla fine il quando il
l’ingegneria è stata portata a casa nostra
invio che è tutto scritto in nodejs
bene questi giorni in questi giorni le squadre
quella squadra sta scrivendo tutte le novità
e andare i servizi di base che è gentile
di come lo era il resto del sistema
originariamente scritto in Python e ora
quella squadra si sta muovendo per andare e alla fine
abbiamo portato le mappe in-house e così via
quelli quei gruppi stanno usando Python e
Java e abbiamo un intero dato
ingegnere intero gruppo che loro
roba scritta in Python e Java che abbiamo
abbiamo una metrica interna che abbiamo
scritto che è scritto e vai e tu
iniziare a notare come wow è come un
molte lingue e potremmo farlo
è stato fantastico come i micro-servizi
facciamolo come potremmo avere
i team scrivono in diverse lingue
e stanno ancora comunicando con
l’un l’ altro e questo è bello tranne noi
non avevo realmente contato o calcolato
quali sarebbero tutti i costi operativi
in questo modo, per prima cosa ovvio, uno come va bene
bene sì difficile da condividere il codice come semplice
come nota, non ci sono sorprese , ma è così
anche un po ‘difficile da spostare tra le squadre
Mi piace se vuoi riorganizzare
alcune persone e come ora hai un
tutto il patrimonio di conoscenze costruito all’interno
delle teste delle persone in una sorta di
piattaforma ma forse non direttamente
tradurre per fare qualche altra piattaforma in
ovviamente possono ovviamente imparare qualcuno
può imparare ma come se ci fosse un costo giusto
c’è un costo di commutazione dello spostamento
tra le squadre e quindi quello che vorrei sapere
prima di tipo di abbracciare completamente questo
come i microservizi Ovunque sia il modello
che avendo più lingue che può
frammentare la cultura si può finire con
tipo di campi come oh sono un nodo
programmatore o i’ma go programmatore e ora
A Java non interessa come le persone hanno
è naturale come gli esseri umani organizzano
intorno a te conosci tribù o altro
abbracciando questo possiamo avere un sacco di
lingue ovunque tu lo sai
non c’è niente che possa piacere
controlla quella tendenza e c’è a
costo reale lì e non sono sicuro esattamente
come ti piace come lo sai
Affrontare in modo appropriato tali costi ma
sorpresa lì c’è un costo così come me
Detto tutto diventa un RPC e quello
ha molti problemi a sorpresa quando
le squadre comunicano tra loro
con i nostri PC piace così
stanno parlando tra loro così bene
dal pipistrello come quando sai quando
abbiamo iniziato a fare tutto con
con HTTP e wow questo è molto comune
percorso che molte persone vanno giù ma a
scala specialmente con molti e molti
le persone si uniscono davvero molto velocemente
le debolezze di qualcosa di simile
HTTP inizia davvero a mostrarsi come quello che è
un codice di stato per cosa sono le intestazioni per
ciò che accade nella stringa di query è come
questo riposante Oh che metodo è come
cosa significa?
e tutto ad un tratto tutto questo sottile
cose che sembrano davvero belle quando
stai facendo la programmazione del browser di tutto
un improvviso diventa molto molto complicato
e quello che vuoi veramente è dire
Eseguo questa funzione in questo modo finita
lì al contrario di qui dimmi cosa
è successo ma invece ora hai tutto
questi come strana interpretazione sottile
problemi con come sai la semantica HTTP
e sì, è sorprendentemente costoso
e Jason di nuovo come super divertente come è
pulito che potresti anche solo guardarlo
con i tuoi bulbi oculari e mi piace leggerlo e
basta vedere come la bellezza F i personaggi
lì, ma i loro senza tipi è a
pazzo disordine folle, ma non subito è
è solo che stai prendendo in prestito
contro un futuro pasticcio pazzo quando qualcuno
cambierà qualcosa e quindi forse a
la coppia salta a valle
a seconda di qualche interpretazione sottile
di una stringa vuota contro null contro
un certo affare tipo di coercizione o di qualsiasi altra cosa e
una lingua contro l’altra e it
causerà come un immenso enorme casino che
cosa ci vuole per sempre per risolvere e cosa
avremmo davvero potuto aggiustare tutto questo
se avessimo appena avuto dei tipi su tutti questi
interfacce e tutte queste cose come
sembra così grande come una piccola scala
o quando termina la programmazione del browser
essendo come costi reali in scala edie
soprattutto una scala di grande squadra, ovviamente
i nostri PC sono più lenti di quanto non lo siano stati
una funzione chiama dentro un browser ma
specialmente mentre ti muovi
tutto ciò che i micro-servizi sono i
costo di fare queste cose si avvia
inizia sommando quindi quello che vorrei sapere
è che i server ora sono come i browser
parlando attraverso il datacenter che produce
molto più senso trattare tutto come
una chiamata di funzione piuttosto che trattarla
come una sorta di richiesta web che tu
potrebbe desiderare di memorizzare nella cache e prendere il
internet e hanno tutto il browser in più
e roba quando controlli entrambi i lati di
l’interazione è molto meglio
per tutti di trattarlo come un simile a
chiamata di funzione quindi quanti repos è la migliore
questa è una cosa che non ho mai pensato
che una discussione non l’ho mai pensato
avrebbe dovuto pensare che la risposta fosse
ovvio è quello che pensavo ma
risulta che molte persone non sono d’accordo con me
e molte persone pensano che ci siano molti repository
la risposta giusta forse un repo per
progetto forse più come chi lo sa
perché sai che è un po ‘come il
la tendenza nel settore del simile
pubblicare molti piccoli moduli e nomi
molto amichevole e aperto come te
avere se si rompe tutto in bello
piccoli moduli ed è davvero facile
semplicemente apri una parte di esso o scambia
pezzi fuori ma d’altra parte
un repository è davvero grande perché allora
puoi apportare modifiche trasversali se
si vuole cambiare qualcosa nella
servizi allo stesso tempo è davvero
facile è possibile sfogliare il codice davvero facile
davvero facilmente, quindi sai che lì c’è
sono decisamente trade-off e tu sai
molti sono cattivi perché piace davvero
andando a sottolineare la tua build
sistema la tua abilità di navigazione è
è davvero doloroso accertarsi
che hai fatto un cambiamento trasversale
correttamente o anche questo che hai tutto
il codice giusto e uno naturalmente è cattivo
perché alla fine piacerà
diventa così grande che non sarai in grado di farlo
in realtà costruisci il tuo software o anche
controlla il tuo software se non lo hai
qualche elaborato sistema pazzo che tu
sapere solo passare attraverso l’eroismo per consentire
per preservare questa illusione come la
sistema di Google Google è famoso per averne uno
repo ma in qualche modo perché è così grande
non si potrebbe mai effettivamente controllare tutto
così invece hanno un file virtuale
il livello di sistema che ti piace fa finta
che hai tutto controllato ma tu
solo in realtà hanno verificato la roba
in realtà stanno lavorando con Wow
repo super cool ma
probabilmente non utilizzabile senza specializzato
strumenti quindi ecco un assaggio di quanti
repos abbiamo che a uber lo faccio ho preso questo a
mese fa e anche questo è apparentemente
non tracciabile da nessuna parte, quindi sono appena successo
averlo guardato un mese fa e così
nel nostro repository git interno lì
ci sono oltre 7.000 repository un mese fa
e ora ci sono oltre 8.000 repository così
che è un sacco di pronti contro termine e se si ordina di
filtrare come va bene come individuo
gli ingegneri potrebbero voler semplicemente presentare un
alcuni dei loro piccoli progetti
come repository individuali e alcuni ad alcuni
le squadre seguono la configurazione del loro
servizio separatamente dal servizio
stesso e così questi sono come il
repository di configurazione ma puoi vedere come
quello che sai non è ancora la maggioranza
di loro il significato ce ne sono solo un sacco
Riposiamo là fuori siamo così lontani al
l’altro lato del molti continuum
su quello contro molti che temo
che non c’è, non c’è modo di mai
diventare un singolo repo che forse non so
vedremo quindi è grande lo sai
questo grande come l’implementazione di micro servizi
come se ci fossero un sacco di operativi
problemi che sorgono lo sai come me
ho menzionato bene cosa succede nelle cose
rompere così sì ci sono a valle
dipendenze come questa è davvero
complicato ma tornato alla gente
problemi ci sono alcune cose sorprendenti
che alcune situazioni sorprendenti
si presenti è quando le altre squadre forse
sono bloccati da te perché non fa parte
non sei pronto per rilasciare la tua cosa
ma devono mettere una correzione nel tuo
servizio ma qui sei proprietario tuo
tempo di attività, ma ora qualche altro team
dipende da te e così possono liberare
il tuo servizio come se passassero tutti i tuoi test
o come non lo so è il tuo è
tutta la tua automazione è abbastanza buona
altri team possono rilasciare le tue squadre
il software dell’altro come non lo so
questo è un problema interessante e per noi
è un po ‘come dipende dal
situazione come a volte sì ma
a volte come di solito non mi piace di solito
devi solo essere bloccato da
l’altra squadra che rilascia le loro cose e
devi solo coordinarti ed è gentile
di voi conoscete un tempo costoso ma penso
che il vero è come una grande realizzazione
sai per me è che vogliamo davvero
capire come se fossimo andati a uno
parte del commercio con microservizi
abbiamo detto sì grandi squadre piccole
tutti si muovono velocemente sono tutti
rilasciare le funzionalità super rapidamente sono
iterando il proprio nel proprio tempo
ecc che è tutto grande, ma a volte
devi capire l’intero sifrit il
tutto il servizio come una cosa come uno
di alto livello lavorando insieme come un unico gigante
sistema di macchine e questo è un po ‘ difficile
quando hai passato tutto questo tempo a romperlo
così siamo appena arrivati, lo sai
scomporlo il più possibile e
ora ci piace in qualche modo come ree-ree
capire che tutto come uno è un
problema difficile e io spero di averlo avuto
ho passato più tempo a mantenere questo
contesto insieme di come dovremmo
Capisco davvero che dovremmo essere ancora
in grado di comprendere l’intero sistema
lavorare come uno in modo da esibirti in un grande te
so che sta per venire fuori
quando le squadre parlano attraverso ciascuna
altro quando ci si conosce
i nostri pc i nostri PC sono costosi e
soprattutto quando ci sono più
lingue la risposta per come come
a capire il vostro esso prestazioni
dipende totalmente dagli strumenti linguistici
e gli strumenti sono come tutti diversi e
così ora abbiamo appena passati attraverso questo
processo di come consentire alle persone di scrivere
in tutto sono solo tutti diversi
lingue ma ora quello e il
prestazioni in tutte queste lingue
diventa una vera sfida così come forse
e vai potresti avere qualcosa di simile
questo è un output p prof che è carino
dolce ma non tutti i runtime hanno questo
quello che stiamo facendo è cercare di ottenere
tutto per ottenere gli strumenti per le prestazioni
che tutte le lingue in cui corriamo
avere un tipo comune di formato di profilazione
e quali sono i grafici di fiamma quindi questo per
esempio è un grafico di fiamma da un go
programma e questo è un grafico di fiamma di a
programma di nodo e abbiamo accordi simili
con Python e ne sono abbastanza sicuro
con questo abbiamo appena finito di lavorare
Java a questo punto anche se ce ne sono alcuni
strane altre offerte in cui alcune cose in
Java è difficile da catturare le prestazioni
saggio ma comunque come l’obiettivo il punto
di questo però è quello che vuoi come
ti muovi e vuoi capire
le prestazioni del sistema se il
gli strumenti sono molto diversi da uno
lato dell’altro che è
un altro grande punto di attrito quando
stai cercando di inseguire a
problema di prestazioni ed è il
gli strumenti sono diversi l’ altro grande
cosa che ho imparato è stato
sorprendente è stato che tutti vogliono per ottenere un
dashboard conosci alcune prestazioni
cruscotti come questo ma se non lo sono
generato automaticamente squadre sarà solo
finiscono per rendersi piccoli come divertimento
cruscotti di cose che pensano siano
importante e poi quando vuoi provare
per rintracciare alcuni problemi in una squadra
cruscotto sembrerà tutto completamente
diverso da un altro e ciò che noi
avrebbe dovuto fare prima e quello che siamo
fare ora è rendere così ogni servizio
quando si crea si ottiene lo standard
cruscotto con lo stesso insieme di cose
che siamo tutti d’accordo sono cose utili a
conosci il tuo servizio e lo fai
che ottieni questo senza doverlo fare
qualsiasi lavoro come quello appena mostrato
hai un servizio e ora lo hai
questi cruscotti quindi puoi sempre
sfoglia tutti gli altri e così via
sarà tutto simile allo stesso modo
un’altra grande prestazione di dibattito è saggia
se ti dovresti anche preoccupare
prestazione
conosci prestazioni premature
radice di ottimizzazione di tutto il male ecc
generato che come quella frase ha
ha generato una sottocultura molto strana nella nostra
industria di persone che sono letteralmente
come contro l’ottimizzazione perché poi
sono proprio come non importa questo
questo non è occupato questo è il
il servizio di loro era traffico come noi
dovrebbe sempre ottimizzare per lo sviluppatore
velocità ma possiamo sempre sapere
comprare computer è più economico di allora
ingegneri assunzioni e c’è un certo
verità a questo
Voglio dire, gli ingegneri sono davvero molto
costoso e sempre più costoso
il tempo che stanno prendendo i computer
più economico sempre così così
voglio dire che c’è del vero
ma il problema è questo
le prestazioni non contano fino a quando non lo fa
un giorno probabilmente avrai un
problema di prestazioni e se hai gentilezza
di stabilita questa cultura di no
le prestazioni non contano, lo faremo
ottenere più computer può essere molto molto
difficile avere in realtà un tratto
importa
se sei senza il tipo di
infrastruttura necessaria per una sorta di
trattare con questo tipo di cose e così
che cosa penso che tu voglia probabilmente
avere almeno una sorta di minimo
richiede qualche tipo di SLA che sia
prestazioni basate su tutto
automaticamente che viene creato
anche se non è addirittura utile come
numero utilmente veloce solo così che lì
è un numero forse e impostalo su 20
secondi come, ma solo per fare in modo
ognuno ha una performance isolata
che devono solo avere se loro
non è necessario optare per l’ opzione
in un più aggressivo conosci la quantità
ma tutto ha uno SLA e poi quello
modo si può sempre abbassare essa si può
sempre si può sempre portare dentro e
ci sarà sempre solo quella sicurezza
al netto di come almeno abbiamo un modo per
conosci una manopola che possiamo trasformare così tu
sapere cosa voglio sapere che tu sei tu
sapere bene non è non è necessario, ma tu
devi almeno sapere dove ti trovi
e forse non è ora ma lo sarà
alla fine così legati alle prestazioni
è questa nozione di fan-out che causa a
molti problemi di prestazioni e simili
questo ha un qualche tipo di sapere sorta di
ovvio ai primi effetti collaterali ma come a
poco sottile se non hai mai avuto a che fare
questo problema prima del quale è il generale
latenza prima di poter rispondere al
il diritto dell’utente che hai devi aspettare
per qualunque sia la cosa più lenta che tu
avere nella propria catena di chiamate e quindi immaginare a
servizio tipico che sai che è
generalmente abbastanza veloce risponde in uno
millisecondo
Il 99% delle volte è abbastanza buono ma
Purtroppo l’1% delle volte ci vuole
come un intero secondo ancora non suona
peccato che sia un peccato, ma l’1%
del tempo in cui i miei utenti otterranno il
caso lento e come oh va bene e lo sai
è abbastanza semplice, ma lo sai
se improvvisamente inizi ad avere un grande fan
le probabilità aumentano abbastanza rapidamente e
improvvisamente sempre più e più dei tuoi
gli utenti stanno colpendo il caso lento di qualcuno
da qualche parte in questo ragazzo così questo diventa uniforme
peggio se non sei sul p99 se sei
sulla p90
cinque inizia solo a prenderne alcuni
conosci prima le chiamate di servizio smazzate
improvvisamente inizi a colpire il caso lento
molto più spesso così il modo migliore per ordinare
di sorta di andare dopo questo tipo di
i problemi di fan-out è quello di ottenere una sorta di
tracciamento distribuito ci sono molti
modi per ottenere questo è possibile ottenere lo zip
Kannur ora questo questo tracciato aperto
progetto è piuttosto fresco che siamo
partecipando a questo è un che è un
grande sforzo ma sai se non lo fai
avere quel tipo di scala che puoi usare
i blog si limitano a scandagliare un ID comune
ogni richiesta e basta metterla nel tuo
messaggio di log senza questo tipo di traccia
senza un modo per capire una richiesta
viaggio attraverso l’architettura
capire questo tipo di fan-out
i problemi sono davvero molto difficili e
Ti darò alcuni esempi questi sono
in realtà dalla nostra produzione Zipkin
spiegamento di sorta di perché alcuni di questo
roba è così difficile da rintracciare
quindi questo inizierò con uno facile
quindi questo classico super ovvio come a
richiesta si sta facendo strada attraverso il
sistema e poi all’improvviso
qualcuno ha preso come un tempo lungo e il
risultati dei tu conosci i servizi
in basso dipendono tutti da loro
quello e tu sai che è davvero
semplice come niente trucchi
entriamo e capiremo
qual è il motivo ogni tanto e poi quella cosa
è troppo lento ma qui è più difficile
che c’è un grande fan fuori e
risulta che è tutto lo stesso servizio
e quello che vedi è che sì, certo
il servizio di alto livello ci è voluto molto
sai molto che è passato molto tempo prima
Potrei rispondere ma ognuno di
chiamate di servizio individuali in questa cosa
sotto di esso sono un po ‘della stessa velocità e
sai che non sono così veloci, intendo
questo non è un non incredibilmente veloce
servizio ma non riesco a ricordare cosa
fa su ogni richiesta ma è fatta
qualcosa che sai richiede un po ‘di tempo
ma ancora prendono quasi la stessa cosa
tempo e quindi se chiedi a quella squadra come
e sembra davvero qualcosa
potrebbe essere sbagliato con la tua cosa e
faranno guardano il loro grafico e faranno
essere come nessun uomo
la nostra roba è super veloce è come davvero
coerente sta rispondendo davvero cosa
lo sai davvero molto bene ma si trasforma
fuori che c’è questo enorme fan
ora questo è un caso di fan involontario
fuori dove era il servizio di primo livello
andare a prendere una lista di cose e poi quello
lista conteneva un sacco di ID e poi
stava andando a risolvere quegli ID
come uno alla volta e così stava facendo
come un mucchio di concurrent i nostri PC
sai che puoi vedere come è come a
finestra scorrevole di voi conoscete un mucchio di
richieste in sospeso e come alcune di esse
finisci puoi sparare più di loro ma
questo è semplicemente stupido proprio come là
dovrebbe essere solo un punto finale risolto in massa
dove spedisci il tutto
comunque facciamole ID che vuoi e così via
li rimanda tutti a te, ma noi
mai avrebbe trovato questo se avesse
non è stato per tracciare perché questi
le cose in cui hanno tipo tipo
confuso un sacco di metriche comuni
quindi ecco un altro questo il the
il fan out è super veloce
err che tu sia lì è um the
le richieste sono super super veloci ma il
la quantità di loro è molte migliaia e
quello che sta succedendo qui è che c’è un ORM
coinvolto e il servizio ritorna
un oggetto che sembra un vecchio normale
oggetto che potresti ricollegare o
cambia le cose in un loop, ma si trasforma
fuori quando lo fai ogni volta che tu
cambia una di queste proprietà a causa di
la magia si trasforma in una richiesta di database
e quindi tutto ad un tratto questo apparentemente
svolta innocente di una collezione
in 10.000 richieste di database whoops so
comunque, ma puoi farlo se lo chiedi
il team di database come la tua cosa
andando saranno come si
servire richieste così veloci come te
i ragazzi non hanno nulla di cui preoccuparsi
è tutto fantastico ma a proposito
stiamo facendo come un milione sai
transazioni al secondo o qualsiasi altra cosa
perché si scopre che sono lì
inutilmente facendo questi piccoli minuscoli
piccole operazioni così probabilmente lo vorrai
vuoi ottenere una sorta di tracciamento di te
sapere per capire il fan-out
un’altra cosa sorprendente di questo è
l’ overhead da tracciare
in realtà cambia i risultati così diventa
è molto lavoro da fare in realtà
tutto questo è come tracciare roba e così tu
probabilmente vogliono non rintracciarli tutti tranne
tracciare un dato statisticamente significativo
parte di loro come l’1% o qualcosa del genere
come piuttosto basso, penso a quello che facciamo
ma davvero lo sai questo questo sei tu
sapere non troppo sorprendente ma il reale
la cosa sorprendente per me lo era comunque
implementando questo tipo di tracciamento
il comportamento richiede un contesto linguistico incrociato
propagazione e questo è nel modo di farlo
molti altri problemi che abbiamo ragione
ora che è perché abbiamo tutti quelli
lingue diverse e sono tutte
usando diversi quadri se vogliamo
avere che cosa scandagliare attraverso qualcosa
una sorta di contesto sulla richiesta
piace quale utente è o sono loro
autenticato o che geofence sono loro
o non so che ci sono tutti
queste cose che vogliamo fare e quello
diventa molto molto complicato se c’è
nessun modo per se non c’è posto dove metterlo
questo contesto in cui sai essere
propagato e specificatamente intendo se
accetti una richiesta e la fai
richieste dipendenti basate su quello
la richiesta in arrivo verrà aggiunta a questo
contesto in arrivo senza pari
comprenderlo in modo che possa esserci
campi in là che tu questo certo
che il servizio intermedio
non capisce nemmeno ma invierà
loro lungo la strada per quelli verso il basso
al di sotto di questo ci avrebbe salvato così così
molto tempo e seccature se lo avessimo aggiunto a
molto tempo fa o appena l’aggiunta delle priorità
ma non sembrava proprio così
importante e si scopre che è così correlato
tracciare, naturalmente, sta registrando un grande
sorseggiare il nome forse non è più un
sorpresa che probabilmente stai iniziando a vedere
il modello qui ma con un mucchio di
lingue diverse e gruppi di squadre
e un gruppo di persone che sono tutte molto
nuovo conosci metà del team di ingegneri
è stato qui da meno di sei mesi, in modo
come se tu sapessi che tutti sono carini
nuovo tutti potrebbero tendere ad accedere molto
diversi modi incompatibili e penso
la risposta è dare a tutti
la struttura come il mandato il
i mandati sono difficili da dare loro gli strumenti
sono così ovvi e facili da usare
non lo farebbero in nessun altro modo per ottenere
coerente e strutturato
logging e sai ovviamente più
le lingue lo rendono difficile e uniforme
anche peggio quando ci sono problemi
il logging stesso può fare lo stesso
problemi peggiori, quindi inizia qualcosa di brutto
sta succedendo è che si avvia la registrazione a
molto ora hai in realtà una novità assoluta
problema causato dalla registrazione troppo frequente
e poi quello può cascata ecc ecc così
avendo una sorta di contropressione nel
registra dove in realtà ti basta rilasciare il registro
messaggi se non riesci ad accedere abbastanza velocemente
dovrebbe averlo lentamente lo stiamo facendo
a tua conoscenza per le diverse cose
piattaforme ma desideriamo di averlo inserito
c’è prima, ma io più importante di
tutto ciò è che vorrei aver aggiunto
qualche nozione di contabilità per tutti i log
messaggi perché ciò che accade a tutti
questi registri è generalmente come sono
indicizzato da qualcosa come un alce
o uno Splunk o conosci qualcuno Hadoop
fare una specie di cosa prende tutto questo
registra i messaggi e sai che consente di costruire
indici su di loro in modo che le persone possano piacere
cercare attraverso di loro e come imparare
cose ma la quantità di dati che
la gente registra come se fosse gratis alcune persone
registrerà molto più delle altre persone
senza di te nessun intento malevolo loro
erano proprio come non lo so i registri sono
libero giusto li ho appena fatti e senza
avere un modo per tracciare
che sai quale qualcuno mandare a
bill a così quando il quando il grande
cluster elasticsearch che deve indicizzare
tutte queste cose che conosci inizia a funzionare
in problemi di capacità e ha bisogno di
potare qualcosa come qualcuno può ottenere
che come il feedback che hey forse rallenta
giù con i log già così abbiamo
abbiamo aperto la cosa
stiamo costruendo molte delle nostre nuove cose
con il lato opposto chiamato zap
registro strutturato la mia parte preferita
a questo proposito è però la velocità a zero
allocazioni su ogni registro così potresti
voglio verificarlo un’altra cosa
quello che succede quando lo sai
come se un problema ti sorprendesse, sai
che contiene sorprese è intorno al carico
test e così così vogliamo UM che vogliamo
fare questi test di carico come prima
le cose vanno in produzione ovviamente
questo ha senso solo, ma sfortunatamente
non c’è modo di costruire un test così grande
ambiente in quanto esiste una produzione
ambiente e anche peggio non c’è
modo per generare effettivamente realistico
traffico che si eserciterà tipo di tutto
dei problemi che sono
in agguato là fuori e così quello che abbiamo
ha iniziato a fare è eseguire questi test di carico
contro la produzione durante i periodi non di punta
e questo causa un sacco di strano
i problemi più grandi sono i colpi
tutte le metriche improvvisamente tutti
pensa che stiamo avendo di più
traffico rispetto a quello che effettivamente facciamo e
questo lo sai per risolverlo
siamo tornati a questa propagazione del contesto
problema di nuovo se il test di carico
produzione ma tu vuoi che tu voglia
le persone non pensano che stiamo ricevendo
sai negazione del servizio è necessario
assicurati che tutte quelle richieste
avere un qualche tipo di contesto che dice questo
è una richiesta di prova come non incrementare
i contatori e non spaventare le persone
e che deve prosciugare fino in fondo
il sistema altrimenti come qualcuno
andando a prendere qualcuno sta per diventare triste
ma quello che vogliamo veramente fare è quello che vogliamo
per eseguire il carico contro tutti i nostri servizi
tutto il tempo
anche quando c’è eccesso di capacità
perché continuiamo ad avere questi bug dove
le cose ci sono solo bug latenti
mostra quando il traffico colpisce il suo
picco quindi vogliamo mantenere i nostri sistemi vicini
le loro vette che conosci solo poco meno
loro e poi si ritirano come veri
il traffico inizia a salire ma quello giusto
rende questo problema ancora peggiore così io
Vorrei che avessimo iniziato a costruire
sistemi molto tempo fa, che sapevano
gestire questo traffico di prova e sorta di
rendi conto in modo diverso così se tu se
che hai appena visto parlare sega di KC così fosse
tu sai cose molto molto rilevanti noi
ero già super con
questa idea di test di fallimento sai
scimmia del caos, ecc. è super bello no
qui per cercare di convincerti di questo ma
una cosa sorprendente che ho trovato quando
facendo questo
non è che a tutti piace
Infatti molte persone lo odiano specialmente se
devi aggiungerlo in seguito
quindi se immagini di aver scritto il servizio
e pensi che sia grandioso e tu
metterlo in produzione e poi qualcuno
viene da te e dice oh hey a proposito
stiamo per iniziare a uccidere la vostra cosa ora
come se ti sentissi male come quello è mio
piccola ho appena passato tutto questo tempo a fare
e ora lo ucciderai ed è così
probabilmente gli utenti probabilmente stanno andando
da notare e come questo sarà
male, quindi quello che vorrei che avessimo fatto è
i test di fallimento fatti ti capita
se ti è piaciuto o no non è un
la decisione è solo una parte del processo
la produzione è non resta che basta
devono resistere a questo tipo di casualità
uccisioni e rallentamenti x ‘e tu sai
perturbante x ‘della tua operazione perché
la gente probabilmente non vorrà optare per
esso
quindi un’altra grande sorpresa erano le migrazioni
tu conosci molte volte le persone
vieni a sapere qui come un grande grande
le aziende vengono e parlano di come
incredibile è la loro tecnologia o qualsiasi altra cosa
ed è sempre come le nuove cose che hanno
sono appena arrivati ​​al lavoro , ecco perché non possono
fai un colloquio tecnico perché vogliono parlare
riguardo le loro nuove cose, intanto tu
potrebbe pensare oh no le mie cose è come
veramente brutti e vecchi e passiamo tutto il nostro
tempo facendo migrazioni ed è soprattutto
la maggior parte di noi stessi è legacy bene
nessuna sorpresa che tutta la nostra roba sia legacy
sono tutte migrazioni la maggior parte delle quali principalmente
persone che lavorano sullo storage come tutti
stanno facendo è migrazione sono solo
come una migrazione costante da uno
pezzo di eredità ad un altro non proprio così
cosa legacy qualcuno sta migrando sempre
qualcosa da qualche parte e quello sono io
abbastanza sicuro di quello che ognuno sta facendo in
nonostante ciò che si potrebbe pensare quando
le persone vengono a confortatori e ti danno
terrificanti discorsi sulla loro nuova tecnologia
perché sai cosa sono le cose vecchie
deve ancora funzionare come devi mantenere
quel lavoro che lavora non c’è
cosa in questi giorni come una finestra di manutenzione
non c’è niente come scendere a sapere
lavora sul tuo lavoro al tuo servizio come
anche le ore di punta quando diventi un
business globale non ci sono spesso volte
come se fosse sempre di punta da qualche parte
giusto e ricordo quando ho detto prima
quasi come se fosse successo
questi micro servizi immutabili quali sono
ti piace migrare
bene questo risulta essere il problema
con con facendo a sai solo
abbandonando le cose a un certo punto
mentre continuano a lavorare è a un certo punto
potrebbe essere necessario fare una sorta di a
cambiamento trasversale e quello sta andando a
essere molto costoso se la gente non lo fa
toccato quel codice in mesi e sono
paura di mai toccarlo di nuovo perché
l’ultima volta che l’abbiamo rilasciato sei stato tu
Conoscere sei mesi fa è un problema
problema e cosa vorrei davvero che io
Sapevo che i mandati per la migrazione sono
male sapevo che alla gente non sarebbe piaciuto
Lo so che è come non ho mai voglia di essere raccontata
Mi piace aggiungere su qualche nuovo sistema
ma nello specifico facendo qualcuno
cambia solo perché l’ organizzazione
ha bisogno di cambiare rispetto a offrire un nuovo
sistema che è molto meglio che esso
sarà solo essere ovvio che è necessario
salire su questa nuova cosa mi piacerebbe avere un
posizionare la priorità appropriata su come
le carote pure pure non si attaccano in qualsiasi momento
i bastoni escono è che sono convinto
cattivo intendo a meno che non sia per sicurezza
o conosci i motivi di conformità, credo
quelli sono un po ‘ come i due trionfi
carte in cui sai che probabilmente va bene
come obbligare le persone a fare cose ma come
a sai qualcuno su cui sta lavorando
architettura o infrastruttura penso
le carote sono l’unico modo per andare così
ecco un’altra sorpresa che sai
l’open source è super divertente, adatto a tutti
ama l’open source, questo lo sai il conto
ma il conto per trade-off rimane a
non unanimi , sai non comunemente
concetto capito non tutti sono d’accordo
siamo sicuri di sapere cosa dovresti
costruisci e cosa dovresti comprare tu
dovresti usare da open source o cosa?
dovresti costruire internamente ma lo farei
osserva ciò che sembra
infrastruttura tutto ciò che sembra
fa parte della piattaforma e non parte
del prodotto anche se è qualcosa
questo ha senso per te da costruire
per te stesso ad un certo punto è sulla sua
modo di diventare indifferenziati
commodity Amazon lo offrirà come
un servizio o qualcuno lo offrirà
come un servizio e alla fine questo va bene
che stai spendendo tutto il tuo tempo come
tipo di questa piattaforma che stai spendendo
tutto il tuo tempo lavorando
e qualcun altro lo farà per meno costoso e
meglio e finché hai questo
prospettiva penso che sia molto molto
sano ma quello che mi ha sorpreso
imparare è questo farà molte persone
triste molte persone investono davvero
nel loro lavoro e se stanno lavorando
un po ‘come il livello più basso
tipo di cosa platforming infrastruttura
non suona bene fino a qui
Amazon ha appena rilasciato la tua cosa come a
servizio come è ancora sorta di cercare di
razionalizzare il motivo per cui dovremmo usare il tuo
cosa privata o o qualsiasi altra cosa
questo non è questo non è ovvio ed è
di nuovo a tornare là fuori persone
l’ altra estremità di tutti questi editor di testo
sì, vorrei averlo saputo come
diversa la comprensione di questo
i trade-off sono tra quelli del nostro settore
che ci porta alla politica
quindi questi servizi rompendo tutto
fino a pezzi piccoli può permettere alle persone
giocare alla politica quindi è una politica utile
è una di queste parole divertenti come a
Molte persone buttare in giro, ma io
in realtà non penso che tutti sappiano cosa
significa che lo farò un mio collega
una definizione davvero fantastica che mi piace
dice che la politica accade ogni volta che tu
violare questa proprietà quindi se ne fai una
decisione che viola questa proprietà
dove metti i valori di te stesso
sopra quelli della tua squadra o dei valori
della tua squadra sopra quelli della compagnia
che nulla si sa decisioni che
violare questa proprietà sono la nostra politica a
cosa è che tu in molti ambienti
come la politica significa solo cose che non faccio
come se quella cosa fosse successa, non mi piace
è politica come quella è ovvia
ragione giusta ma penso seriamente come
questa questa proprietà qui è a
utile da considerare ed è uno
che abbracciando altamente modulare voi
conoscere lo sviluppo rapido assumendo persone
molto rapidamente e cercando di rilasciare
funzioni il più velocemente possibile
è lì c’è una tentazione di
iniziare a violare queste proprietà
quando tu quando valuti le cose
sai spedire le cose in un modo simile
piccoli singole realizzazioni informatiche
può essere più difficile da smistare
dare la priorità a ciò che è meglio per il
compagnia sorprendente scambio ma tu
sa tutto è un compromesso e ho
pensa di sapere se c’è se
c’è una cosa che ho imparato da
passando attraverso questo processo è questo
vorrei che sapessi come fare meglio
questi compromessi piacciono intenzionalmente
capire come quando le cose sono giuste
un po ‘come succede senza
decisione esplicita solo perché sembra
come questo è solo il modo le cose sono
andando è solo lo slancio sta andando
in quella direzione come vorrei che avessi
che avevo pensato a quale commercio
venivano realizzati anche se io
non era esplicitamente come tu lo sai
non lo stavano esplicitamente facendo comunque
questo è tutto ciò che ho grazie mille
[Applausi]
abbiamo tempo per una domanda non c’è
come 30 domande qui così giusto dato
che usi il resto del PC come fai
evitare l’accoppiamento tra i servizi come
evito come eviti
Accoppiamento oh, non lo so, voglio dire che non lo facciamo
in molti casi intendo che facciamo del nostro meglio ma
come succede come si
parte del problema, voglio dire che c’è
duplicazione a volte quando c’è
accoppiamento a volte e noi ci conosciamo
prova a come esercizio fisico sai bene
disciplina ingegneristica come noi cerchiamo di
fare test di errore e accertarsi che
come se emergessimo inaspettati
giunti ma a volte c’è solo
e soprattutto come in un velo lo sai
per come disponibilità a valle come a
molte volte non c’è proprio niente
può fare se un servizio sai che c’è
qualche servizio come tre ne conosci tre
lungo la catena che se è giù c’è
in realtà niente
non c’è una risposta utile che puoi
degradare a e quell’accoppiamento esiste appena
ma è ancora importante ricordarlo
qual è il trade-off, anche se
c’è un accoppiamento che le squadre possono ancora
possono ancora muoversi indipendentemente da loro
può ancora rilasciare i loro componenti
indipendentemente e monitorarli
capirli ecc, ma a volte lo fa
Succede, okay, grazie
votare in app ha una bella pausa

Please follow and like us: