Press "Enter" to skip to content

GOTO 2017 • Shopify’s Architecture to handle 80K RPS Celebrity Sales • Simon Eskildsen


[Musica]
grazie Kevin
il mio nome è Simone come ho detto che lavoro come un
infrastrutture guidano una società chiamata
Shopify basato sul Canada
Shopify proprio come un modo di introduzione
una società che alimenta un abbastanza grande
quantità di commercio online in realtà entrambi
qui in Scandinavia ma anche nel Nord
America quindi se hai comprato qualcosa
non è stato su Amazon, c’è un buono
probabilità che tu sia stato
attraverso un negozio Shopify e utilizzare alcuni di
l’infrastruttura che stiamo andando
parliamo di oggi, il discorso oggi sta andando
essere un livello abbastanza alto e lo farò
essere parlando allo dell’architettura che
abbiamo costruito su Shopify per supportarli
vendite molto grandi che vediamo da
alcuni dei più grandi o più grandi americani
celebrità e alcuni dei più grandi
marchi sia in Europa che nel Nord
L’America quindi stiamo andando a parlare di
soprattutto l’architettura che
ci siamo evoluti negli ultimi cinque anni
e non entreremo in profondità in nessuno
punto particolare, ma piuttosto dare un
panoramica completa di tutto il
componenti diversi come si adattano
insieme e, si spera, ispirare qualcosa
che penso possa essere sfruttato molto
di altre società in particolare SAS
aziende che possono avere un simile
architettura alla nostra
clickers che hanno problemi quindi Shopify è un
società che aiuta le persone a vendere entrambe
online e in molti altri posti e
circa cinque anni fa abbiamo affrontato un po ‘di a
bivio sulla strada che stavamo iniziando a vedere
questi clienti che erano sorta di linea
prima quando i rivenditori sono andati online circa 7
8 10 anni fa
spesso avevano avuto una presenza fisica e
poi si è trasferito online ma stavamo iniziando
vedere molti più clienti che hanno iniziato
con una presenza online e anche loro
iniziato a richiedere nuovi modi di vendere
con i social media diventa molto grande
negli ultimi dieci anni e
soprattutto cinque anni fa gli smartphone
erano nelle mani di tutti e
Instagram Facebook Twitter e così via aveva
diventare abbastanza grande e nuovo capace
modi di vendere online che persone
non era stato in grado di fare abbastanza in passato
quella che noi chiamiamo una vendita lampo e sì
l’idea di una vendita lampo sei tu
annunciare un prodotto a volte in minuti
anticipo a volte con giorni di anticipo
qualche ora in anticipo che tu sia
andando a rilasciare qualche tipo di esclusiva
prodotto in questo giorno e ora e come te
posso immaginare che possa guidare un
quantità sorprendente di traffico a uno
sito in da solo un minuto al
altro è un minuto prima di mezzogiorno e
tutto è buono ma a mezzogiorno lo hai
arrivano centinaia di migliaia di persone
nel tentativo di acquistare alcuni degli stessi
prodotti allo stesso tempo mettendo un
enorme sforzo sul sistema che puoi
immagina questo da superball
Kylie Jenner se qualcuno di voi la conosce
famoso per essere famoso e lei
fuori dalla vendita della famiglia Kardashian
rossetto e lei può guidare molto
enorme quantità di traffico come buono
e Kanye può farlo anche per questo
cinque anni fa non è molto grande
Super Bowls e cose del genere
stiamo iniziando a usare il suo modo di vendere
ma piuttosto ancora clienti che potrebbero
guidare una quantità enorme di traffico
e ci trovammo di fronte a una forchetta nel
strada diventiamo un’azienda che ci prova
per supportare queste vendite o semplicemente
dì loro di andare a cercarne un altro
piattaforma una piattaforma che in realtà no
esiste ma è una cosa molto difficile da essere
redditizio da prende migliaia di
ore di ingegneria per essere in grado di scalare
queste vendite quando hai un architetto
per questo dal primo giorno abbiamo scelto il percorso di
cercando di supportare questi abbiamo scelto di vedere
queste vendite come un modo per identificare
colli di bottiglia ed è un po ‘ un canarino
in una miniera di carbone
quanto a ciò che sta per rompere il prossimo
le vendite flash di oggi ci dicono qualcosa
su ciò che il traffico sta andando a guardare
come uno o due anni, questo era
che direzione sbagliata era così?
decisione potente al momento e così
importante per il nostro CEO che è molto
tecnico che ha scritto un interno
saggio sul perché sosteniamo questo flash di vendita
è davvero importante nella nostra azienda
La filosofia che vogliamo, come nel
la faccia delle avversità diventa più forte e
non più debole o semplicemente non usarlo come un
opportunità di crescere quando qualcosa di brutto
succede che vogliamo uscire più forti e
ha scritto un saggio sul perché le vendite flash
eravamo in un caso del genere, siamo molto forti
cultura interna di provare a iniettare
caos in varie parti del
organizzazione e cercare di uscire
più forte di conseguenza se si rilascia un pezzo
di vetro si rompe se lasci cadere una roccia
è indifferente, ma cosa puoi abbandonare?
che diventa più forte come risultato di te
sai se vai in palestra a correre
su un tapis roulant ritorni una coppia
giorni dopo e puoi correre oltre e
più veloce come si può costruire software
in questo modo e le vendite flash sono state così
cosa per la nostra organizzazione era un modo
per diventare la nostra infrastruttura
più forte solo una coppia prima di arrivare
nella carne del discorso e con questo
prefazione di come e quanto importante flash
le vendite sono state alla storia del nostro
applicazione qui è alcuni dei numeri
tenere nella parte posteriore della testa per il
scala che stiamo eseguendo a supporto
circa mezzo milione di commercianti paganti
mercanti di tutto il mondo
processiamo quasi sei miliardi di dollari
nell’ultimo trimestre arriviamo a 80.000
richieste al secondo al nostro Ruby on Rails
i processi che eseguiamo circa 42 posiziona i dispieghi a
giorno per questo e abbiamo oltre 2.000
dipendenti una grande parte di quelli
ingegneri che distribuiscono tutto il tempo
modello mentale che volevo
incorporare per questo discorso è che noi
avere circa tre diversi livelli
andando a parlare di noi abbiamo il
trafficato qui con tutto il traffico
entrare e di cui è responsabile
ricevendo le tue richieste da casa tua
rete fino al nostro
infrastruttura che serve a tornare alla pagina
stai chiedendo di parlare
sull’applicazione e sui dati è
qui che lavorano insieme per servire quelli
pagine e stiamo andando essere parlando un po ‘
su alcune di queste frecce come facciamo
failover tra regioni con zero
tempi di inattività come possiamo tagliare la nostra applicazione
e come bilanciamo quei frammenti come
alcuni negozi diventano più grandi così che Kanye e
Kylie non si trova sullo stesso grafico ma
piuttosto sparsi e come arriviamo da
il livello del traffico nella tua applicazione
regioni di layer e failover come fa tutto
di questa roba lavori insieme dovresti
avere una buona idea di come
lavora per noi alla fine di questo discorso
stiamo andando a essere di partenza per parlare
riguardo allo strappo del traffico, come ho detto
il traffico che mi strappa è lo strato che
è responsabile di come ottenere il
richiesta da A a B in questo caso da
la nostra rete domestica è la nostra rete
parlerò di come facciamo
routing globale perché questo è qualcosa
che ci troviamo di fronte un sacco di dibattito con
internamente parleremo
su una tecnologia chiamata open resti
che è assolutamente incredibile ma abbastanza
sottoutilizzato stiamo per parlare
su come ci proteggiamo dai robot
fare vendite come serviamo gli hit della cache da
i bilanciatori del carico invece del
ordini di grandezza di livello applicativo
più veloce e come acceleriamo le casse
facendo vendite molto grandi a
capire da dove viene la tua richiesta
il cliente ai nostri data center o
le regioni come le chiamiamo di cui abbiamo bisogno
capire un po ‘ di come il
Internet funziona è un livello molto alto
panoramica di come funziona Internet e
come si propagano i loro percorsi, se lo sei
Facebook o Google e tu ne hai uno
dominio e non un gruppo di clienti
puntando il loro DNS al tuo dominio allora
puoi fare un sacco di cose davvero complesse
ingegneria del traffico a livello dns ma
quando hai circa un milione di domini
da mezzo milione di clienti diversi
indicando il tuo IP hai molto
quantità limitata di controllo sul tuo
livello di traffico hai solo l’IPS
il tuo cliente che sono i clienti
indicandoci non puoi controllare
qualsiasi cosa al livello DNS così abbiamo fatto
qualcosa che non ha avuto molto uso
nel settore per quelli di voi che
conoscere le reti si chiama BGP TCP
qualsiasi casta e te lo spiego qui come
funziona come il traffico arriva dal
cliente
alle nostre regioni con questo BGP TCP
anycast quindi quello che succede è che Shopify
ha oculare come potete vedere qui abbiamo
questa barra 24 su questo blocco di 255 IP
e le nostre regioni annunceranno al
Internet che questi IPS possono essere instradati da
queste regioni quindi se l’ISP vede quell’IP
dovrebbe essere indirizzato a Shopify
regione
quindi ciò che Shopify farà è che lo faremo
collega i nostri router al nostro pezzo di ayahs
e dire che possediamo questi IPS al nostro io
Jason è un pezzo in modo forse abbiamo facciamo
dite due ISP ci colleghiamo direttamente a
dalle nostre regioni e diciamo loro se tu
incontrare questi IP inviarli a noi
perché questo è il traffico di Shopify per alcuni
Shopify immagazzina quegli occhi quegli occhi
pezzo poi dire ai loro vicini adiacenti
che gli ISP a cui sono collegati
che possono indirizzare quegli IP e loro
sapere come indirizzarli e così
si sta propagando attraverso questo intero rap
puoi pensare a questo come un po ‘di a
algoritmo di gossip in cui ogni vicino
o ogni nostro ISP lo dice costantemente
i suoi ISP vicini quali IP come esso
sa come instradare tutto questo
propagazione – puoi immaginare ISP
che vanno dall’Asia all’Europa all’America
al Sud America di DS IPS che intero
la trasmissione via internet impiega circa sette ore
minuti che è fantastico o molto
lento a seconda di dove stai arrivando
da ora abbiamo questo web connesso
come fa quel cliente a ottenere il loro
traffico verso la regione mentre fanno un
richiesta giusta così in questo caso lo sono
andando a fare un tour dei trichechi ed eccolo
indicando l’IP di proprietà di Shopify che è
parte di quel blocco che IP blocca quello
la regione sta annunciando, così è
andando al nostro ISP e poi a entrambi
deve girare a sinistra oa destra a seconda di
quale regione è più vicina a quell’ISP in
questo caso stiamo andando bene, almeno
da dove sono in piedi e la richiesta
viene quindi indirizzato alla regione in cui funziona
davvero molto bene per quando sei
indicando tutti questi domini dei clienti
direttamente agli IP e non ne hai anche tu
molto controllo su di esso così ora sappiamo come
il traffico arriva a Shopify ora voglio
per parlare un po ‘di quello che succede
quando quella richiesta entra nella nostra rete noi
usa la tecnologia chiamata open rusty
aperto arrugginita è forse uno dei
le migliori edizioni che abbiamo fatto al nostro
stack tecnologico negli ultimi quattro anni
ti permette di scrivere il tuo carico
equilibra i tuoi bilanciatori di carico nginx con
Lua puoi fare praticamente tutto
che desideri puoi personalizzare il tuo
algoritmo di bilanciamento del carico che puoi
reindirizzare ad altri data center è possibile
cambia le intestazioni che puoi ispezionare
i cookie puoi servire contenuti diversi
in base alle richieste e ai cookie che puoi fare
reti esterne puoi fare tutto questo
roba tutto nel comfort di dentro
nginx che è estremamente veloce e
estremamente stabile Credo aperta Resti è
abbastanza sottovalutato e non sento abbastanza
basta parlare su di esso, perché è così
stabile così veloce e così scalabile voglio
parla di un paio di moduli che noi
costruito con questo è diventato davvero nostro
martello e chiodo per risolvere un sacco di
problemi relativi al traffico e abbiamo ottenuto
via con l’ attesa di molte dosi di D
e dosi solo da semplici moduli Liuba
c’è molto potere essere in grado di farlo
scrivi il tuo basso livello di bilanciamento e
Ecco un esempio molto veloce di cosa
sembra che questo sia un vero scheletro
nginx config che sta solo ascoltando su a
porto e in questo caso servire alcuni
contenuto di Lua e puoi fare tutti i tipi
di cose qui che puoi fare
algoritmi personalizzati di bilanciamento basso come
puoi immaginare di fare Network IO in questo
blocca di poter fare praticamente qualsiasi cosa
quindi uno dei moduli che voglio spiegare
è che abbiamo questo grosso problema di bot
c’è sorprendentemente come abbiamo imparato
c’è un mercato secondario molto grande
per le scarpe da ginnastica quindi c’è un sacco di gente
là fuori le teste delle sneaker e loro raccolgono
scarpe da ginnastica e quando ottenere queste scarpe da ginnastica
devi essere presente quando la vendita
succede e devi essere davvero fortunato
perché c’è un inventario limitato forse
c’è sai duecentomila
persone in competizione per 5.000 paia di
scarpe quando ciò accade, c’è un
economia qui dove è possibile acquistare questi
scarpe e se le compri non le indossi
li vendi su eBay per forse due
volte tre volte quattro volte il prezzo
ovviamente i mercanti non vogliono che loro
non voglio l’addebito sul mercato di seconda mano
più di loro e non controllando
l’esperienza del cliente così erano
chiedendoci di trovare un modo per
rilevare questi robot e em bannati così noi
tirò fuori il nostro martello e chiodo arrugginito
e ha costruito alcuni moduli
ci ha aiutato a risolvere questo problema il CAF
Modulo Galaga è uno che abbiamo avuto per
da molto tempo ogni singola richiesta
entra in Shopify è bloccato in Kafka
un bus di messaggi distribuiti e tutto il
i messaggi ci sono inoltrati nei nostri dati
magazzino ma possiamo anche consumarli
messaggi in tempo reale e prendere decisioni
su di loro così puoi immaginarlo
c’è uno splendore cattolico qui e per a
checkout registriamo che il check out in
Kafka poi c’è un flusso di un flusso
aggregatore e questo è il baud squasher
ascolta Kafka e prova a tutto
di questi diversi eventi vedere se
c’è uno schema sospetto c’è
qualcosa che non sembra un umano
è molto rinfrescante una pagina
rapidamente in un modo che un umano in a
Il browser Chrome non lo farebbe mai
c’è qualcos’altro in gioco, questo è
algoritmo abbastanza sofisticato da provare
capire cosa sta succedendo non è un
modulo aperto o SD è solo un semplice
Consumatore, penso che sia scritto in questo
caso e quando trova qualcosa un IP
o gradimento degli utenti o qualcos’altro che
sembra un bot che può dire la regola
banner che è scritto nel motore
accenti solo un semplice DSL che consente
per bandire molto i vari schemi
schemi semplici come i programmi utente
l’oculare e la rondella dentata del robot possono quindi
basato sulle ipotesi formulate dal
Lo streaming CAFTA bandisce un IP o qualcos’altro
con lo stendardo delle regole su tutti i bassi
buttafuori ora possiamo rifiutare questi BOT in
pochi microsecondi e persone possono scrivere
algoritmi molto sofisticati che il
strato di compressione di bot per vietare questi BOT
molto rapidamente quando abbiamo schierato questo noi
ha visto una diminuzione piuttosto considerevole nel
richieste di importo in arrivo a Shopify e noi
dobbiamo spegnerlo di nuovo perché lo siamo
così agitato come questo era davvero troppo
ma risulta molto grande
la frazione del nostro traffico era in realtà
ho appena comprato un’altra cosa con cui lo facciamo
il resto aperto è che serviamo gli hit della cache così
possiamo se andate a consultare Shopify
prodotto c’è probabilmente qualcun altro
magari sfogliando la stessa pagina allo stesso
prodotto più tardi in modo che possiamo memorizzare nella cache se
niente cambia possiamo andare al
livello applicazione e serve quella cache
hit che è memorizzato in memcache ma noi
può fare questi ordini di grandezza più velocemente
se lo facciamo lo strato di livello nginx solo
a causa del sovraccarico di VM Ruby
e un intero stack che abbiamo lì
che è molto difficile da ottimizzare a
questo punto in modo da poter immaginare una richiesta
entrando sta ricevendo una raccolta
di pieno pieno di prodotti tricheco e
hai una mancanza di cache che vai sul web
livello applicazione, ma quando lo sei
soddisfacendo quella richiesta ottenendo tutto il
dati dagli archivi di dati e rendering
richiede di nuovo all’utente
stiamo anche riempiendo il reclutamento
riempiendo la richiesta nella cache a
qualcun altro conservatore davvero davvero
roba semplice niente di nuovo ma sul
il prossimo colpo che può succedere è che ognuno
cache che è un modulo aperto o SD lo farà
controlla la cache direttamente al minimo
rimbalzando questo livello questo è abbastanza
semplice diritto così ora si può ottenere
direttamente dalla cache e nemmeno
toccare il livello di applicazione è fare
in grado di gestire gli ordini di grandezza di più
richieste al secondo con un abbastanza piccolo
Oltre allo stack questo è di più
complesso di quello che sembra almeno per il nostro
stack perché genera e memorizza le chiavi della cache
e cose del genere si sono rivelate
essere abbastanza complesso ma per i più piccoli
le applicazioni potrebbero essere abbastanza semplici
non abbiamo questo acceso per
tutti ma abbiamo acceso
per alcuni più grandi commercianti e la ragione
perché questo è difficile per noi da accendere è
che le persone possono personalizzare su Shopify
i loro temi completamente e uscire
giocare molto bene con il caching
si è rivelata più difficile di quanto ci
ho pensato l’ultimo di cui voglio parlare
circa è il checkout alcuni
i commercianti entrano e possono guidare così tanto
traffico che non possiamo gestire l’ importo
dei diritti che possono fare alla cassa
e non è possibile incassare una scrittura, quindi è necessario
fare qualcosa ad un certo punto c’è così
molte corse che entrano nel database per
Eddy aggiungendo il checkout o correndo
script che modificano il carrello tutti questi
i tipi di operazioni molto complesse sono
ciò accade quando stai verificando
ottenere l’elaborazione delle tariffe di spedizione
i pagamenti che abbiamo a manetta esso
pochissimi commercianti hanno mai colpito questo vorrei
diciamo probabilmente meno di 10 o 20 unici
mercanti nella vita di Shopify
ho mai provato questo acceleratore ma quando è successo
Succede è molto importante che tutto
i negozi che si trovano sullo stesso grafico di
tu non soffri sotto la tua vendita quindi
quello che facciamo è che quando arriva una richiesta
per un negozio molto occupato alla cassa
metteremo questa richiesta in una coda
di nuovo accade al basso bilanciamento
tier ora mentre sei in coda
sei reindirizzato in un’area di attesa che
è completamente personalizzabile per il
Vergine di nuovo ci sforziamo duro come
possibile non mettere le persone in questo a
tutto ma abbiamo bisogno di avere una salvaguardia in
caso succede che controllano il
tasso di cui perdiamo dalla coda
con un acceleratore e poi quando il
la valvola a farfalla è fatta noi
ti reindirizzerà alla cassa
ora abbiamo parlato un po ‘ di
il traffico strappa un po ‘di apertura per prima
modulo che facciamo e come il traffico ottiene tutto
il modo di Shopify ora voglio scavare un
un po ‘ come funziona il nostro livello di applicazione
lavorare e come funziona il nostro livello dati sono
parlerò di entrambi al
stesso tempo perché sono tranquilli
mescolare un concetto molto importante per
noi siamo ciò che chiamiamo un pod un taglio
alcune aziende fanno buche c’è un frammento
ma un frammento per noi significa un mio sequel
come un iPod Sharpe relazionale a noi
comprende di più una parte per noi è un piccolo
Shopify piccolo Shopify che può
correre in qualsiasi parte del mondo può essere eseguito in un
cloud può essere eseguito nel data center può
corri ovunque
quindi un pod è un’unità isolata di Shopify
che uno o più negozi puoi
guardalo così se lo facciamo
diciamo pod 7 part 2 e part 14 tutti
avere un sacco di negozi su di loro questi
i negozi non parlano tra loro i pod
non parlano tra loro
completamente diviso e isolato da
l’un l’altro dandoci qualcosa di molto carino
capacità di ridimensionamento questo è un
principio di isolamento isolante fondamentale
che chiamiamo l’isolamento del negozio
principio tutti i negozi devono essere isolati
l’uno dall’altra se vuoi farlo
qualcosa di cross shop devi usare il
data warehouse o qualche altro meccanismo
perché fare cose attraverso centinaia di
negozi centinaia di pod in più
la regione non è qualcosa che sta per
scala almeno per fare in tempo reale così
un’altra cosa che voglio che tu noti qui è
che questi vasi non hanno le stesse dimensioni
alcuni hanno più negozi di altri e
ci occuperemo di quel problema più tardi
ma prima voglio guardare cosa c’è in a
pod così un pod è uno o più negozi cosa
vuol dire che significa tutto
i livelli stateful di quel pod sono
isolati in modo che se sono un baccello ha un
il mio sequel ha un’istanza di memcache
ha istanze di scrittori e ha cron
i lavoratori che stanno facendo un lavoro periodico così
tutti i dati di stato di tutti questi
i negozi sono condivisi tra o isolati
da tutti gli altri pod in tutto l’altro
negozi ora c’è un livello che va bene
questo è condiviso e quelli sono i lavoratori
così quando una richiesta web viene gestita o a
il lavoro è gestire è condiviso tra il
i baccelli ora perché è quello che dovrebbe fare quel livello
essere condiviso il motivo è a causa della
le vendite ricordano i profitti di questo è
che dobbiamo architetto per questi
vendite massicce e
anche la pod sta vivendo una grande vendita
una sorta di lancio di cui potrebbero aver bisogno
essere in grado di ottenere forse sessanta a
il settanta percento di tutto il lavoratore
capacità di gestire tale vendita così il
roba senza stato è condivisa e il
roba stateful è ora isolata dal pod
perché non avresti un auto scaler per
questo suona come il modo canonico
è una cosa da risolvere con una nuvola
vero autoscaler quando si ha una vendita
inizi a spendere di più
istanze il problema è che gira
quelle istanze ne prenderanno decine
di secondi e durante quel tempo sei
sta andando a servire un sacco di errori e
ho una brutta esperienza per tutto il
clienti provenienti in modo da non farlo
e forse un giorno potremo forse riuscirci
alcune cose davvero pazze, così possiamo fare soda
gira questi lavoratori abbastanza velocemente con
uno scaler automatico ma oggi non è il
caso un’altra cosa inossidabile
condiviso è il traffico qui che noi
parlato prima di dove tutto aperto
i moduli arrugginiti sono in esecuzione e il basso
rimbalzare sta accadendo un altro strumento che
Voglio solo presentarlo mentre siamo
qui per testare la lista di soggiorno qui è quello
abbiamo chiamato uno strumento di test del carico
Gengis, quello che fa Gengis è questo
esegue script Lua che definiscono un flusso
attraverso la nostra applicazione e ci permettono di
prova con una quantità sorprendente di carico
utilizzando istanze cloud cosa succede quando
inviamo ad esempio 10.000 persone per
minuto attraverso il checkout si può
puoi personalizzare questo quanto vuoi
con script Lua che ti permettono di dire
cose come oh questo cliente andrà
alla pagina del prodotto che navigherai
un po ‘ saranno un po’
un po ‘indeciso quindi ne aggiungeremo alcuni
prodotti rimuovono alcuni prodotti dalla
carrello verifica l’intera cosa e paga
per esso e poi si moltiplica che con
forse 10.000 6000 l’interfaccia per questo
è davvero semplice, abbiamo un robot lento
che ha appena risponde quando si è detto di
in coda alcuni script Lua eseguono il file JSON
qui che eri in coda descrive
con lo script Lua per utilizzare il negozio in
target per quanto tempo farlo e a cosa
valuta quante di queste esecuzioni sei tu
voglio al minuto quindi ricorda quel problema
da prima di tutti questi baccelli
di diverse dimensioni quest’anno questo è un
problema che abbiamo cercato di
indirizzo in passato quello che abbiamo fatto è
che quando avevamo bisogno di fornire un nuovo
pod perché abbiamo avuto troppi negozi noi
replicato tutto in quel vecchio pod
che volevamo
diviso a metà per un nuovo pod den per
un breve periodo di tempo vorremmo cambiare
il livello di routing ha metà dei negozi
vai al nuovo pod e l’altra metà a
il vecchio pod e poi iniziare a pulire
il vecchio pod era un po ‘un casino e un
quantità di lavoro manuale molto operativa
pensate che la lista di controllo per fare questo sia stata
come cento articoli così volevamo
cuocere rendere questo migliore e meno rischioso e
hanno meno movimenti ondulati della mano grande
per spostare tutti questi negozi tra negozi
con meno tempi morti quindi volevamo esserlo
davvero molto bravo nei negozi in movimento
tra le parti e volevamo vedere se noi
potrebbe farlo con il minimo quindi il
il minor numero di interruzioni possibili
non dovrebbe punire i grandi commercianti come
un grande negozio Shopify che potrebbe richiedere
ore di movimento e dare loro ore di
tempi di fermo anche se possono programmarlo
è un’esperienza terribile per a
mercante che forse ha un’opportunità
causa là di forse diversi milioni
dollari che stanno perdendo in questo
transizione quindi cosa fa il pod balancer
è che guarda questi baccelli e questo
guarda i negozi e poi il pod
il bilanciatore prenderà alcune decisioni in merito
come bilanciare questi pod in modo che tu possa
immagina in questo caso che vede quella parte
due è un po ‘più grande si sposta dallo scaffale
al pod 7 ma nel pod provvisorio 14 ne è cresciuto uno
di questi negozi occupa tre unità
tre unità di negozi questo potrebbe essere un negozio
che ha grandi vendite potrebbe essere un negozio
è molto grande forse questo è un negozio
che si sostituisce formando da un altro
soluzione commerciale ed è cresciuta
tremendamente di dimensioni alcuni di questi posti di lavoro
sono più grandi di altri solo in termini di
le vendite in scala di dimensioni qualunque cosa facciano e
il pod balancer continua a funzionare
giusto così si sposta da altri negozi
pod 14 su alcuni degli altri pod
ma la complessità aumenta perché tu
hanno anche iscrizioni hai nuovi negozi
arrivando e hai altri negozi
in crescita e il pod balancer mantiene solo
lavorando su di esso il pod balancer mantiene
cercando di riempire tutti questi aspetti positivi
uguale dimensione prima che avessimo questo avremmo fatto
avere alcuni baccelli che erano forse il doppio
grande come gli altri ti danno un po ‘ di a
problema di quartiere rumoroso dove su alcuni
di questi frammenti che eri
vivendo più incidenti di prima
quindi cosa succede ora quando sono tutti
riempito
bene tu crei un nuovo pod e lo siamo
lavorare quest’anno per farlo davvero
facile e gli equilibratori di cial semplicemente facendo
una decisione per creare un nuovo pod e poi
spostando i negozi
voleva essere qualcosa che è sempre acceso
e qualcosa che non dovremmo mai
toccalo crea continuamente i baccelli
questo non è qualcosa che è perfetto
eppure c’è ancora un po ‘di o
ancora qualche lavoro manuale coinvolto qui
ma questo è ciò che stiamo andando ed è
andando abbastanza bene finora voglio solo
parla un po ‘di come ci muoviamo
quei negozi da sharp -sharp come può
lo facciamo con un centro minimale come può
non puniamo questi negozi che sono molto
grande quindi se guardiamo solo due dei
i negozi di dati qui come il rosso non sono i miei
il sequel che possiamo immaginare se vogliamo muoverci
un negozio dal pod 9 al pod 23
sono un modo molto ingenuo per farlo
che hai copiato un negozio passando attraverso
ogni singolo tavolo e trovi tutto il
record che appartengono al negozio con a
query semplice come questa mi dà tutto il
ordini in cui si indovina l’ ID del negozio
io tutti i prodotti in cui il negozio
idea.this metterlo nel frammento di destinazione
e mentre ciò sta accadendo non lo fai
accettare qualsiasi diritto perché il problema è
che se hai un negozio e mentre sei
copiando quel negozio sta inserendo un assegno
ma hai appena copiato al checkout
tabella che il checkout andrà perso
quindi devi fondamentalmente bloccare il negozio
mentre lo copi per un piccolo negozio
non è un problema che potrebbe solo prendere
forse un minuto forse meno di un minuto
un paio di secondi ma per un grande negozio
questo può richiedere molto tempo se tu
non consentire alcun diritto mentre sei
copiandolo quello che stiamo lavorando ora è
non facendo questa mossa di blocco sulla serratura ma
invece guardiamo il mio sequel bin log
e trasmettere questi eventi mentre stiamo copiando
il negozio per evitare di bloccare il negozio a
avendo tempi di inattività mentre stiamo copiandolo
il registro del cestino è ciò che è nel mio sequel
vocabolario dove ogni modifica a
il database è registrato, quindi se cambi
una riga inserisce un nuovo assegno
registrati nel registro del cestino come eventi
sapere inserire un nuovo check-out per questo
negozio inserire un nuovo prodotto per questo negozio
così sta andando il pod balancer
da fare e stiamo iniziando a lavorare ora
è che il buttafuori del pod sta per
ascolta il registro del cestino e guarda il nuovo
eventi che stanno arrivando che non hanno
stato copiato in basso quindi in basso
prova a copiare Alden tutta la vecchia beta e
il registro del cestino personalizza il componente del
pod balancer sta replicando nuovi eventi
così vecchio in fondo nuovo in alto questo
significa che non dobbiamo bloccare il
negozio per un lungo periodo di tempo
ora quando è fatto e possiamo ora
immagina questo
momento discreto nel tempo in cui il negozio
è completamente replicato per ora abbiamo bisogno
per spostarlo nel nuovo pod aggiornando
le informazioni di routing su di esso così
prima abbiamo chiuso un negozio senza diritti
entriamo interrompiamo tutti i lavori su tutto il web
richieste che sta succedendo per quel negozio
per un paio di secondi poi andiamo
in un archivio dati di routing l’archivio dati
che è morto sta memorizzando che la mappatura
dal negozio al pod e dal piatto ai dati
centro e aggiorniamo l’ ID del pot del negozio in
lì subito questo si riflette e
le cose iniziano andando al nuovo pod noi
sbloccato un negozio e il negozio è stato
mosso
quindi lo rimuoviamo dal mio sequel
strato spostiamo i lavori e altre cose
che sono in Redis oltre a quello che sono
asincrono e ora il negozio è stato
completamente commosso lo moltiplichi per questo
eseguendo migliaia di questi in parallelo
e improvvisamente puoi spostare molti negozi
a molti baccelli molto molto rapidamente e
si aggiungono anche in cima a questa realizzazione
decisioni davvero buone su quali negozi
ti stai spostando a che ora di tenere tutto
quegli scaffali sono in equilibrio così ora abbiamo
abbiamo parlato un po ‘del traffico di cui abbiamo parlato
un po ‘su come il livello dell’applicazione
funziona con questi pod ora voglio parlare
parla brevemente di come li colleghiamo
due come fa il livello di traffico sa come
per indirizzare la richiesta ai pod corretti
per questo abbiamo un ottimo nome
componente chiamato ordinamento cappello o ordinamento
cappello fa è che guarda alle richieste
che stanno arrivando a Shopify
rete e cerca di capire quale
pod che appartiene alla richiesta deve
andare alla regione in cui è che pod
attivo e ha bisogno di lavorare con le cose
come i failover e le mosse dei negozi e tutti
questi diversi componenti questo è un
parte molto molto centrale del vaso
architettura e una delle prime cose
che abbiamo lavorato di nuovo così abbiamo il
strato di traffico e ne abbiamo un altro aperto
modulo lua resti chiamato cappello di smistamento cosa
l’ordinamento cappello fa è che guarda
questi sa quali baccelli sono attivi e
quali parti sono inattive quindi in una regione
un pod è attivo o inattivo c’è
sempre una coppia di repliche hot così quel piatto
due possono diventare attivi nella regione a se
c’è un gatto, una catastrofe o di cui abbiamo bisogno
fare un po ‘di manutenzione in quella regione
e naturalmente anche il contrario
quindi sono sempre impostati a coppie quindi
abbiamo questo database di routing da
prima che usiamo quando spostiamo negozi
in giro
l’ordinamento cappello è il consumatore di quel
è l’unica cosa che lo interroga e
chiede dove si trovano i negozi, quindi se
hai un cliente che sta arrivando
i loro prodotti per il negozio di sneaker comm
il cappello di smistamento chiederà il percorso
strato per instradare adesivo di comunicazione negozio sneaker
il comm del negozio restituirà l’ID di un negozio
il negozio 238 è sul piatto 2 e lo sappiamo
è attivo nella regione B, quindi l’ordinamento è avvenuto
sono stati percorsi il traffico lì questo è
molto semplice penso una coppia
centinaia di righe di Lua che interrogano questi dati
memorizzare e fare questo migliaia e
migliaia di volte al secondo questo è ciò
tutto ciò che lega tutto questo pezzo
architettura insieme e rende il
strato di traffico sposare i dati e
livello di applicazione l’ultima cosa che voglio
parlare di come li riempiamo
le regioni sopra a destra abbiamo l’attivo
pod e abbiamo il pod inattivo come si fa
li capovolgiamo e come lo facciamo?
con il minimo disturbo per questo abbiamo
il pod che muove il motore del pod muove le parti
con tra regioni con minimo
tempi di inattività siamo ora in un punto in cui
siamo sempre molto, molto vicino ad avere
quasi zero guasti regionali di downtime
questo è molto importante per noi perché
pensiamo che questa sia una cosa fondamentale
vogliamo essere in grado di fare tutto il tempo se
qualcuno vuole fare manutenzione in a
regione nuvola senza
ripercussioni che dovrebbero essere in grado di
spostare tutti i pod in un’altra regione a causa
alla tua manutenzione e spostali indietro
senza alcun rischio questo evita questo
problema di avere una stadiazione molto costosa
ambienti di produzione che emulano un
l’intero data center quando invece puoi
diventa davvero bravo a muoversi
parti tra i data center quindi cosa
il pod mover lo fa se la regione B lo è
avere qualche tipo di incidente potrebbe essere
fuori dal potere che potremmo fare
la manutenzione può essere soggetta a un
l’uragano potrebbe essere soggetto a inondazioni
qualunque cosa accada dobbiamo essere in grado di
muovere quella regione su questo è il pod
lavoro di traslochi e può farlo molto molto
rapidamente il modo in cui funziona la podmobile
che passa attraverso una serie di passaggi
alla regione di failover la prima cosa
fa disabilitare cron in entrambe le regioni così
non stiamo facendo nuovi lavori periodici
la seconda cosa che fa è che vada
torna a quel routing dati memorizza i dati
negozio che conserva tutte le informazioni
tra le mappature da negozio a pod a regione
e dove il bilanciatore del negozio o il pod
il bilanciatore stava cercando e modificando il
negozio a Padma
il pot-mover è responsabile del piatto
per mappare la regione in modo che aggiorni cosa
succede ora sta smistando cappello quella cosa
quello stava guardando le richieste e il routing
li alle rotte delle regioni appropriate
la richiesta alla nuova regione di destinazione
abbiamo quindi il failover del mio sequel verso il target
regione quella piccola animazione che era
prima non abbiamo abilitato cron e noi
trasferire i lavori che non sono ancora stati
eseguito nella fonte che è nel
fonte alla destinazione per essere poi eseguita
in seguito è abbastanza semplice ad alto livello
ovviamente c’è molto il diavolo è dentro
il dettaglio qui ma questo è al massimo
livello quello che succede quando facciamo una mossa pod
quindi per quanto riguarda gli errori, io
menzionato questi ho detto che noi
volevo minimizzare gli errori quando tu
quando si ordina il cappello inizia il percorso verso quello
nella regione attiva il database non è ancora
riscrivibile lì se qualcuno sta facendo a
controllare stanno andando avere quella
esperienza temuta che tutti in questo
probabilmente la camera ha provato il tuo controllo
fuori e si ottiene un errore indietro quando
hai appena inserito la tua carta di credito
dettagli e ora devi chiamare qualcuno
e chiedi cosa sta succedendo non vogliamo
quello scenario così ci siamo seduti e abbiamo pensato
su come possiamo risolvere il problema ancora una volta
tirò fuori il nostro martello e chiodo Resti aperto
e risolvi questo problema se hai il mio
CSI al mio sequel replicante ai dati
centri a cui non possono essere entrambi scrivibili
allo stesso tempo, uno sarà scrivibile
sarebbe leggibile che ci sarà una coppia
secondi di inattività in cui le persone hanno
queste esperienze terribili ma cosa succede se
puoi mettere in pausa la richiesta che il
trafficato qui se riesci a mettere in pausa il
richiesta di tutto ciò che non può essere servito in
la nuova regione e tu sai che sono
andando a fare un diritto che puoi fare fondamentalmente
zero fallimenti di downtime così il Pasir
il modulo interrompe la richiesta nel mezzo
di failover per evitare di servire errori così
un cliente arriva e sta cercando di farlo
creare un nuovo check out eseguendo un failover
facendo quei secondi critici in cui il
il database non è ancora scrivibile nel nuovo
regione così li aggiungiamo in una coda noi
scaricare quella coda da un acceleratore a
evitare troppe persone che arrivano al
stesso tempo e l’acceleratore è ovviamente
disattivato mentre stiamo failover del
regione e il mio Seco non è ancora finito
allora la posizione finalmente ti darà
una risposta HTTP 5 a 200 più tardi, quindi questo
invece di questo ti dispiacerebbe
err pagina quando hai inserito nel tuo
dettagli della carta di credito che stai aspettando
cinque secondi questo funziona ora ed è dentro
produzione per noi
quindi questo cambia il flusso del mover a
un po ‘tutte queste cose sono le stesse
ma lo smistamento ha avuto quando richiesto
una regione target ispeziona la richiesta
e giudica se o
non questa è una richiesta che si esibirebbe
è giusto se lo terrà
richiesta indietro al livello di rimbalzo basso
poi fallirà nella mia regione Seco
riprendi la richiesta abilita cron e poi
trasferire a posti di lavoro davvero molto semplice
e questo ci ha portato a molto molto
pochi errori nel fare errori che vogliamo essere
così sicuro di questi fallimenti che le persone
può solo emettere un comando in slack e
fallire su una regione abbiamo già questo
lavorando ma non siamo abbastanza fiduciosi
abbastanza ancora da farlo nei pod di produzione
ma ci vorranno solo poche settimane prima di noi
lì scrivi un comando e poi tu
fallire su un pod non devi preoccuparti
circa l’interruzione del cliente perché
non ci dovrebbe essere nessuno e lavoriamo duramente
il più possibile per rendere vero questo è un
nucleo primitivo dell’architettura pod
se c’è un incidente se c’è un
l’incidente qualcuno dovrebbe essere in grado di farlo
venire nel mezzo del failover notturno tutto
i baccelli e tornare a letto forse un po ‘
giorno questo sarà automatizzato ma che dis
è ancora un passo tremendo da dove siamo
Erano anni fa solo l’ultima cosa che ho
voglio notare che nessun delfino è solo un altro
uno di questi benefici secondari di
vantaggi del secondo ordine di questo pod
architettura in questo momento stiamo iniziando a
sperimentando di più con il cloud e
con questa architettura è solo un
questione di mettere un paio di nuvole in
o un paio di pod nella nuvola, ovviamente
c’è un sacco di lavoro da fare
tutte queste lacrime di stato e il
lacrime apolidi nella nuvola ma quando noi
ce l’abbiamo, possiamo muoverci gradualmente
negozi lì senza interrompere il resto
della piattaforma quindi abbiamo un po ‘di gas
pedale stiamo lentamente spostiamo negozi al
nube e come otteniamo che operativa
esperienza con il cloud possiamo muoverci tutti
di Shopify laggiù questo davvero marzo
Alla fine del mio discorso spero che tu abbia un
buona idea ora di come Shopify
funziona ad alto livello e forse alcuni di
questo puoi portare a casa ee pensare
forse un po ‘di questo sarà
applicabile e soprattutto se sei un
Società SAS molto dovrebbe essere
applicabile Ho parlato di tutto questo
componenti i pod il pod buncer il
motore di pod e cappello di smistamento grazie
tanto
discorso davvero bello Grazie Simon
hey ce ne sono anche alcuni veramente buoni
domande e uno di loro sono loro
capire come muovere le parti ma come fare
li muovi è la regione è giù
irraggiungibile sì domanda veloce così okay
lasciami tornare su questo vetrino perché
è abbastanza è abbastanza vicino qui così
la domanda è cosa succede quando quando
la regione B qui è in fiamme in quella regione
irraggiungibile come si fa non si riesce sopra bene
ci sono alcune cose che non puoi fare ma
puoi fare controlli giusti quindi il problema
uno dei problemi sarebbe bene il
database non è completamente coinvolto
l’obiettivo – nella nuova regione così tu
devo fare una chiamata di giudizio proprio a
questo punto che il MIT ha elaborato è ancora
manuale e ti dirà che sei
andando a perdere molti dati se tu
esegui questo failover sei sicuro di te
voglio farlo in modo che il motore del pod sia come
resiliente il migliore caso possibile lo farà
fai un movimento pod con tutti i lavori tutti i
i dati vengono spostati ma indica dove non può
ti farà le domande che ti chiederà
stai bene perdendo così tanto
i dati vanno bene con il non trasferimento
lavori e continuerà a funzionare al meglio
cosa sforzo che possiamo fare cool c’è
a qualcuno c’è una domanda su come
suona come il baccello più a cui rispondere
più istanze come si evita il rake
condizioni di gara tra loro e come
evitare che le conchiglie più piccole vengano spostate tutte
tempo sì, penso che lo slide sia
appropriato per dimostrarlo così quando noi
ha parlato della mossa di erba del baccello inizialmente
quello che volevamo fare è ok, andiamo
progettalo in modo che quando aggiorni il file
informazioni di routing ci sono un sacco di
abbonati uno che è responsabile
lavori di uno che è responsabile per l’arresto
cron una volta che è responsabile per il fallimento
più di una miss responsabile per l’ordinamento
cappello e poi tutti si iscrivono solo a
come tipo di sottosistema pop ma
la coordinazione carbonatica distributiva è
molto difficile quindi non volevamo fare
è troppo complesso e il ROI è giusto
non abbastanza alto quindi questo è letteralmente uno
script che è in esecuzione su una macchina
da qualche parte a destra e che la metti in macchina
funzionerà su è ovviamente resiliente a
quali letture sono giù e cose simili
ma è una macchina che fa un mucchio
di passaggi sequenziali che è resiliente
ed è molto molto semplice
sembra come eviterai questo
è una domanda in questa altra domanda
ecco la personalizzazione dell’uovo del motore
un compito per feature de Ville
di noi o operazione il compito indiano X il
murlo T oh si ok
quindi abbiamo principalmente un posto
dove gli ingegneri delle infrastrutture hanno fatto
modifiche lo strato di apertura st ma noi
ho avuto alcuni ingegneri applicativi e
fare varie modifiche per esempio a
reindirizzare le frazioni di traffico e fare
test e cose del genere
quindi direi che probabilmente è come il 90%
ingegneria delle infrastrutture a questo livello
e il 10% di ingegneria del prodotto e del prodotto
non ci sono dubbi su come farlo
si implementa la tendenza fusa all’interno di a
parte si ok
questo è quasi un discorso in sé ma
il sharding è essenzialmente suddiviso in
chiave così l’ID del negozio e ogni volta che lo fai
una query che eri sempre nel contesto
del negozio quindi puoi immaginare che se
stai facendo una richiesta di cancellazione o un lavoro tu
può solo curry i dati che appartengono a
quel negozio perché ogni query è
aggiunto all’ID del negozio, così fa
come selezionare tutto da ordini in cui negozio
idee scrivania o selezionare il prodotto dove ID è
questo e l’ID del negozio è questo così sono tutti
in sono tutti nello stesso schema noi
non eseguire centinaia o migliaia di
schemi perché quello non è qualcosa
questo non è un carico di lavoro molto normale
per il mio sequel e vogliamo il carico di lavoro
cercare di essere il più possibile normalizzati
questa è la panoramica di altissimo livello desiderata
un’altra cosa che noterò è che lo facciamo
questo grafico a livello di applicazione
non abbiamo un proxy o qualcosa del genere
che quando abbiamo implementato il sharding è così
non qualcosa che ci erano confortevoli con
quindi è il sharding a livello di applicazione
ha diviso lo schema chiave dell’ID del negozio
condiviso tra i negozi sul pod e
ogni singola tabella ha una chiave di identificazione del negozio
incorporato in modo che possiamo farlo
le query in modo efficiente sono davvero fantastiche come me
pensa ad una delle ultime due domande M
c’è solo qualcosa in realtà a
la domanda riguardo è un caffè è esso
qualcosa che sostituirà la mia scuola
pin lock per lo spostamento di negozi non lo sono
del tutto sicuro come interpretare quel
domanda, ma io darò il mio meglio se il
la domanda è se potremmo mettere il
può fare tutto il mio singolo cestino nel CAF
usa quello invece la risposta è si noi
attualmente non riguardano il registro del cestino in
in
non sono sicuro di non sapere esattamente perché non lo è
qualcosa che abbiamo davvero trovato utile
per accodare il registro del cestino funziona davvero
davvero bene per noi in questo momento spostandoci
Kafka forse è qualcosa che noi
farebbe se se questo fosse se ci fosse
altri casi d’uso per questo ma proprio ora
in realtà non lo vedo come il ROI
usare Kafka ma è stato più lungo
molto alto e penso all’ultima domanda
qualcuno ha chiesto stai esaminando
kubernetes
si si come quelle quelle piccole nuvole
regioni lì a destra che è
Criminales
serie nella produzione di sì Cosa mi va bene va bene
che ci fosse davvero un dono di salmone
mano e ricorda di scrivere nell’app
un paio di dita buone e anche il check-out
Il blog di Simon ha un blog davvero interessante
dove scrive di questo e cookie
il suo nome e lo troverete è
davvero bravo ma dammi una mano grazie
[Applausi]

Please follow and like us: