um mi piacerebbe presentarlo al primo
parla qui e uh tecnico tecnico
sessione di sblocco del torace e siamo stati
correndo come parte di q cons che anche noi
fidanzati e li abbiamo gestiti
architetture che ti sei sempre chiesto
tipi di sessioni ed è sempre fantastico
per vedere queste grandi start-up di grandi dimensioni
le aziende fanno cose davvero pazze così
ecco una storia di ridimensionamento di Pinterest
ridimensionamento da un paio di computer
Martis è stato con Pinterest dal
molto molto all’inizio quindi c’è un sacco di
storie davvero interessanti dal ridimensionamento
Gary non è così tecnico, sai tutto
strada attraverso ero seduto ultima volta che ho
guardare questo ero come prurito, come ad
cucire qui come lo hanno fatto esattamente
sharding sono questi più tecnici
dettagli ma lo sai dalla mano degli altri
è davvero bello avere questo tipo di bello
storia semplice ed è tipo di si siede in a
posizione per questa intera conferenza
sappi qui alla conferenza di cui parliamo tutti
su tutte queste nuove cose tutte queste nuove
tecnologie sofisticate e mi piace molto il
messaggio e questo discorso che devi
mantieni le cose semplici per renderle scalabili
per favore benvenuto Artie grazie ah hey
beh non devo intro me stesso ora
ma quindi sono di Pinterest stato lì per
un po ‘di tempo oggi ti porterò su un
mistico tour magico di quello che era
piace costruire immagini da terra
ascolterò la nostra evoluzione o
tecnologia e te lo mostrerò
alcune delle lezioni che abbiamo imparato e molte
dei tanti molti errori che abbiamo fatto e dei miei
la speranza è che non farai lo stesso
errori ma invece rendono tutto nuovo
errori eccitanti
quindi prima l’evoluzione in cui abbiamo iniziato
Marzo 2010 e lanciato al mondo e
tipo di tranquillamente immagino al momento noi
stavano cercando di capire come fare
il sito web in modo che cosa è stato il sito web che cosa
stiamo costruendo le immagini qui seguaci
dovremmo avere follower che sembrano
una buona idea
avremo bisogno di un feed avrà bisogno di aggregazione
avremo bisogno di tutte queste cose
e quello che di solito assomiglia è
hai due fondatori che mangiano Doritos
e ramen e hai ottenuto un ingegnere che
hanno trovato da qualche parte quello che avevamo
ed è stato davvero fantastico è davvero
divertimento perché stai provando a provare
cosa stai costruendo e ti stai muovendo
veloce e gli ingegneri divorano tutto
insieme e farlo sembrare giusto ma
i bit sottostanti sono appena tenuti
insieme ma stai cercando di essere
ottimizzazione per la velocità di progettazione finita
ingegneria ancora solo così ecco i tre
sono stati Ben Silbermann, Paolo Chiara e
Yosh nella vasino e poi per il
i prossimi nove mesi eravamo in quello che il
il fondatore chiamò che eravamo in modalità stealth
ma non perché volevamo andare
per un po ‘un po’
ingegneria poco più prodotto di
dietro le quinte avevamo scambiato il cloud
servizi in questo momento se ricordi
il servizio cloud clouds è stato in giro ma
poi stavano iniziando a tipo
davvero grande e le persone erano davvero
discutendo dovremmo essere sul cloud lei
sarebbe nei data center e penso che noi
scambiato su Amazon perché sembrava
nuovo ed eccitante penso che potremmo anche aver avuto
alcuni crediti che non conosco abbiamo iniziato a
avere un po ‘di differenziazione in
il nostro stack in modo che possiamo non lo so
sai forse avere un po ‘di più
ridondanza e cose del genere in modo che
avevamo un mazzo di ninja in cima e noi
in realtà aveva quattro motori Web in esecuzione
Python abbiamo avuto uno slave in lettura per il mio
sequel in modo da poter scaricare un po ‘
le tue letture e una coda di attività, così possiamo
inviare e-mail e Tweedy e Facebook
E’s e MySpace E e riviste live
e tutte quelle cose buone e poi abbiamo avuto
un MongoDB
scatola perché tutti hanno una scatola MongoDB
per i contatori e poi e poi mi sono unito
intorno a quel tempo e poi oh e qui noi
sono questo è un piccolo esempio di ciò che
era come questo è al nostro internazionale
la sede e all’inizio del 2011 dietro di noi è
l’appartamento che abbiamo lavorato fuori a
l’area principale che abbiamo lavorato e poi lì
c’erano due camere da letto e una camera da letto era
la nostra sala del consiglio internazionale dove avevamo
i nostri grandi incontri e l’altra stanza
era in realtà una camera da letto , quindi la cosa
la cosa accaduta è decollata ed è stato gentile
di una corsa pazzesca e non abbiamo mai dormito o
qualsiasi cosa e cosa succede durante questo
tipo di un giro è che tutto è acceso
fuoco ne avevamo solo alcuni
ingegneri e tutto si scalda noi
sono stati raddoppiando ogni mese e mezzo in modo
i tuoi database sono arrabbiati e le persone lo sono
venendo a casa tua dicendo hey se
usi solo la mia tecnologia magica
risolvi tutti i tuoi problemi
quindi sei come si si gimme gimme gimme
e quello che succede è questo e tu no
pensato per leggere questo è solo lo scopo
essere terrorizzato da esso ti darò un veloce
aspetto fatiscente abbiamo quanti
database abbiamo il mio seguito Cassandra
memcache uomo basato su ricerca elastica
e MongoDB e abbiamo tre ingegneri
quindi devi essere un esperto in tutto
questi e e noi non eravamo così era uno
di quei problemi in cui ognuno viene
lungo esso risolve il problema per una coppia
settimane
sei euforico, è fantastico e poi
quando è quando i periodi di luna di miele
su di te inizi a piangere un pochino così noi
imparato nel modo più duro
si adatterà a ciascuna di queste avrà esito negativo
quindi tienilo semplice quando è il momento
arriva sono le 3:00 e fallisce
sarebbe bello se tu potessi trovare il
rispondere abbastanza facilmente l’altra cosa che noi
imparato come siamo cresciuti e abbiamo iniziato a
diventare i più grandi utenti questi diversi
le tecnologie sono così ogni volta che eravamo
il più grande utente era tutto a
mille volte più difficile perché nessuno ha
inciampato su quelle mine per noi e
poi gli strumenti scritti mentre inciampavamo
le mine terrestri abbiamo scritto strumenti per risolverli
così qualcun altro potrebbe usarli ma noi
sono stati i primi su così tanti di questi
così tanto dolore così eccoci qua
all’inizio del 2012 e ci siamo trasferiti in Palo
Alto downtown e questo è stato enorme questo
lo spazio era incredibile c’era un’eco è
pazzo che non è durato troppo a lungo quindi il
il ridimensionamento mantenuto accaduto continuava ad accadere e
verso il gennaio 2012 abbiamo finito a
massiccia Rio Texas Oh all’incirca in giro
Da novembre a ottobre 2012 abbiamo deciso
ricollegare tutto ciò che era tutto
sparare faceva schifo era troppo dannatamente complesso
quindi abbiamo detto cosa funziona bene, quindi andrò
attraverso come abbiamo preso queste decisioni ma
siamo arrivati ai primi principi del bene
ingegneria cosa funziona e cosa è cosa
abbiamo effettivamente vinto ciò che siamo realmente
cercando di costruire e noi semplicemente siamo sbarazzati di
la maggior parte così ora abbiamo il mio sequel
Redis e memcache e davvero potremmo
ho fatto il mio sequel in memcache ma
i registri funzionano così bene che abbiamo deciso di farlo
tenere in giro per una coppia davvero
compiti importanti quindi ci siamo sbarazzati di tutto il
altre cose e poi l’ideale e qualsiasi
il progetto di scalabilità è che potresti
appena
scatole dei numeri il finanziario
la gente mi odia per averlo detto ma ma
allora se riesci a colpire quel punto hai colpito
crescita lineare o hai colpito qualche tipo di
crescita dove puoi buttare soldi al
problema e questo è un po ‘quello che abbiamo colpito
a quel punto poi abbiamo avuto il prossimo
sfida di scalabilità che non lo era
la tecnologia era gente così ora hai
ha più ingegneri quindi non sono tutti
facendo tutto tutto il tempo all’improvviso
si forse si desidera avere un’ops ragazzo
e forse vuoi avere due ragazzi
costruire dispositivi mobili e e un dato
ragazzo dell’infrastruttura o qualcosa del genere
così abbiamo iniziato a differenziare e
questo è l’ inizio di una nuova era per
la nostra azienda e ottiene solo di più
eccitante alzarsi i capelli quindi è diventato più grande
ora dobbiamo usare l’obiettivo fisheye
quindi abbatteremo il muro di mezzo e
espanderlo in quel modo e ora questo spazio
lo spazio era enorme
non abbiamo mai saputo sì enorme così abbiamo mantenuto
crescita nel 2013 tipo di crescita lineare
e abbiamo quasi colpito il nostro
scalabilità uh la cosa d’oro che vuoi
fuori dalla scalabilità che è solo push
numeri a questo punto arrivarono SSD
fuori e abbiamo continuato a spingere il numero
del mio sequel scatena il numero di memcache
Scatena il numero Redizza le scatole e lo è
non è così semplice che inizi a colpire
diventa nuovo numero di connessioni
una seccatura di rete tutte queste altre cose
ma in generale siamo passati e siamo stati gentili
di passato il database mega pain point e
ai prossimi punti mega di dolore e noi
ha iniziato a far crescere la società in termini di
la gente abbastanza veloce improvvisamente per arrotondare
tutti gli angoli hai bisogno di persone di prodotto
hai bisogno di persone che li supportino di cui hai bisogno
avvocati e finanza e e risorse umane e tutti
queste cose è solo la tua compagnia
palloncini e la sfida ora che tu
iniziamo a capirlo quando colpisci
questo sarà compreso tra 100 e 120 130 persone
in realtà vieni da te che sei stato
attraverso questo prima e loro lo faranno
dì che mi dispiace perché stai andando
attraverso un po ‘di tempo difficile quello che sei
quello che stai facendo è che ora lo stai facendo
per strutturare la tua azienda, se tu
non ce l’aveva già una compagnia
inizia con esso alcune aziende non noi
in un certo senso non è così ora dobbiamo avere un
migliorare il feedback manager della comunicazione
struttura cose come questa e quella
sempre viene fornito con alcuni problemi perché
questa persona vuole essere manager questo
la persona è un buon manager ma non lo fa
vuoi essere un manager sai tutto questo
cose e così via
la struttura con cui uscirai avrà
la sua seccatura e tu stai andando anche tu
attraverso un imbuto culturale perché sei
portando un gruppo di ingegneri che ti preoccupi
la cultura sta andando nella giusta direzione
potremmo perdere la cultura ora molti
le aziende hanno che cosa se portiamo in 20
Google ingegneri tutto in una volta e loro
cambiarlo in Google è ok tu
so che questo tipo di domande sono
gorgogliare nelle nostre teste così noi
iniziato a dividere tutto e ora noi
in realtà ha iniziato ad avere individui
squadre e questo è venuto con un sacco di
lotta ma ma quando è uscito nel
Alla fine è sembrato davvero bello iniziare a muoversi
veloce così hai l’infrastruttura dati
perché ora abbiamo una pipeline di dati completa
questa cosa non deve mai scendere
perché al momento la pipeline dei dati
va giù stai perdendo i tuoi affari
il senso di tutta la faccenda è come un
capitano che non può vedere fuori dalla barca
abbiamo un team di ricerca che è stato eccitante
per lungo tempo era mezzo quarto di
io sono un business e una piattaforma per davvero
supportare la business unit che era
iniziare a far crescere il team di spamming perché spam
è diventato un problema di crescita del web mobile noi
ha iniziato ad avere una squadra di crescita in modo che
qualcuno guarda sempre al
il problema della crescita non è mai uno dei nostri
prima iniziativa e poi
team di infrastrutture e operazioni e
quindi un 65 non ingegnere significa che odio
quel termine ma non può venire con un migliore
tutti gli avvocati di product manager del termine
i vari altri componenti che sono
assolutamente necessario per ottenere questa cosa
rotolando e poi ci siamo trasferiti a San
Francisco abbiamo finito lo spazio a Palo
contralto
grazie a Palin sicuramente, ma è diventato grande
questo spazio ci sosterrebbe per il resto
di tempo ma non non del tutto quindi avevamo bisogno di un
spazio più grande e ora questo è un vecchio
l’immagine e si sta ingrandendo così ora io
pensate una delle più grandi sfide che abbiamo
sono a questo punto siamo sempre stati
nello stesso edificio e così il contesto
passare il tempo o il tempo di carico di
parlare con la persona delle operazioni per me
usato per essere questo è mezzo secondo ora
Devo andare giù all’altro
lato e so che sembra un
problema del primo mondo ma impedisce
comunicazione di una quantità significativa
quando non ci sei abituato e ora ce l’abbiamo
ho un altro edificio e che ne dici di quando
abbiamo un edificio a New York e tu
so che questi sono i tipi di processi che noi
bisogno di costruire nella cultura della costruzione in giro
un ambiente virtuale e gestirlo
ambiente virtuale tutte queste cose
devono essere fatti molto bene e lo siamo
iniziando questo processo
ora così tecnologie questo è un duro
layout del nostro stack molto molto
livello elevato volevo tenerlo estremamente
alto livello ma dà un buon senso
per come pensiamo di cose che cerchiamo di
mantieni la sporcizia semplice e proviamo anche noi
per mantenere le cose un po ‘astratte
Qualcuno che co-chiama Pinterest comm va
in ELB siamo ospitati tutti su Amazon quindi
usiamo un paio della loro scatola magica nera
strumenti e ELB è il loro bilanciamento del carico
strumento e una delle ragioni per cui abbiamo usarlo è
in realtà ha un hardware magico
sotto e se abbiamo bisogno di deviare a
Attacco DDoS possono farlo, ma poi noi
andare in un software il nostro carico gestito
equilibratore e la ragione per cui lo facciamo
quello che ci dà un po ‘più di controllo
ELB è a scatola nera ma a questo strato noi
può fare cose come spegnere un’Università
dove uno studente di dottorato sta andando un po ‘
pazzo che è successo a coppie settimanali poi
abbiamo il nostro strato Python questo purpley
strato qui è il livello aziendale che è
è attualmente Python ma sta cambiando
è uh se vieni dal web lo farò
indirizzarti verso un’app web dove parleremo
HTML a te se vieni dal
iPhone o Android o qualcuno che lo farà
vai direttamente all’API del livello web
attualmente parla con il livello API
esclusivamente quella freccia ora ha bisogno di
vai un po ‘a sinistra e questo è bello
dà una bella astrazione strutture il
l’ elaborazione di attività a livello intero viene eseguita da a
sistema chiamato pin più tardi che è semplicemente
sul mio sequel box dove metti i compiti
un nome di un’attività da eseguire e alcune stringhe
e poi un intero mare di processi Python
li estrarrà con priorità il
motivo per cui l’abbiamo spostato per appuntare più tardi se
sei nella stessa situazione tu
può usare qualcosa chiamato Pyro’s che usa
Redis e una simile operazione funziona
molto molto bene , alla fine abbiamo deciso di farlo
aveva bisogno di uno stile un po ‘ più acido
conformità e quindi ogni immagine su
Pinterest vive in s3 ogni utente
pin generato e otteniamo la tua iniziale
immagine e quindi facciamo un sacco di
versioni diverse il piccolo il mezzo
il quadrato tutta quella roba e poi noi
Anticipa con un CDN come Akamai e poi
questa è la parte che sta diventando davvero
interessante come cresciamo abbiamo questo
livello di servizio intermedio il
scatole gialle e sono collegati a
il livello aziendale con una connessione
manager
sistema costruito attorno a Zookeeper non lo facciamo
avere qualsiasi bilanciamento del carico tra noi utilizzati
a quello era una seccatura che non vorrei
raccomandarlo essenzialmente ciò che accade è
quando una web app si sveglia dice hey I
ho bisogno di un servizio di ricerca e questa cosa
avrà una lista di loro dire qui
connettersi e si collegano direttamente se uno
di questi muore alle due estremità ci sarà
un po ‘di confusione e faremo nuove
connessioni se ne esce uno nuovo lo faremo
riequilibrare il loro – toglie un mezzo
livello di problemi con un intermediario
bilanciamento del carico è il suo piccolo
incubo perché devi dire bene
ne ho bisogno di 10 e devi farlo
mescolando e poi a volte loro semplicemente
il disordine di lavoro non ha liberato di esso e felice
da allora e poi il livello di servizio è
una sorta di dove stiamo crescendo c’è un
tutto il mare di modi diversi che le persone fanno
Questo
Facebook è un classico esempio che io non conosco
sapere esattamente come appare oggi
in questo momento, ma un paio di anni fa
erano un gigantesco codebase con pochi
servizi in modo da poterli implementare in grande
sarebbe una grande cosa e hanno avuto un
cultura intorno a cui ha funzionato ha funzionato
bene per loro
Amazon è il contrario, credo
richiedi circa 300 chiamate di servizio su Amazon
Penso che stiamo andando da qualche parte dentro
nel mezzo mi piace metterlo in una specie di
un confine di una squadra che è a senso unico
guardalo o più o meno come un prodotto
il servizio di ricerca è bello
proprietà che si ottiene da questa struttura
è il servizio di ricerca è così massiccio
motore dietro di te fai un sacco di cose
raccolta serale di dati che hai tutti
questi sistemi intelligenti non mi interessa tanto
come posso cercare Star Wars e
lavorare all’uncinetto e ottenere poca nit Yoda’s che è
tutto quello che voglio vedere così servizio di ricerca
ci fornisce che il servizio di feed è un
servizio in cui si inseriscono i pin e
esce a tutti, dovresti saperlo
Lo maneggia astratto mi siedo lontano da me
dei grandi esempi di sicurezza è il
il mio seguito è questo uno dei
i primi che abbiamo fatto e mi viene in mente
piace il codice su Apollo 13 o
come su sui satelliti dove è veramente
codice pericoloso per toccare una squadra lo farà
chiudilo a chiave scrivi tutto intorno
perché ciò che accadrà se pasticcia
quello su e questo è successo è qualcuno
commetterà un errore e lo sarà
innocuo all’inizio e poi alla fine
succederà qualcosa di brutto e il tuo nucleo
dati che per noi sarà il mio sequel ilysm
iniziare a essere corrotto e quindi abbiamo avuto un
situazione e lo mostrerò
un minuto tutte le nostre cose sono iniziate
e quello che stava succedendo era qualcuno
sarebbe estrarre i dati da una modifica grafico è
e rimetterlo al frammento in modo sbagliato
ora sono solo i dati che iniziano ad andare male
quindi quello che vuoi fare sei tu quello
uno buono per avere un servizio perché tu
può bloccarlo solo queste persone possono
toccalo sono super attento se tu
vuoi apportare eventuali modifiche
passare attraverso la NASA e tutti gli altri e
lo sai e poi abbiamo cose come
il servizio di spam che il mio team sta attualmente lavorando
su quello e una delle belle proprietà
di quello sono le velocità molto veloci di
distribuire eravamo parte del massiccio
conosci il codebase del lavello della cucina che è
per me tutto ciò che non abbiamo tirato fuori
come servizio e quando abbiamo tirato fuori il nostro
distribuire i tempi è andato da due volte al giorno, forse
forse non una volta ogni 30 secondi con
test e tutto così ci accelera
a tutti i nostri dati sono in questi quattro
i sistemi HBase sono relativamente nuovi
lo abbiamo usato per circa un anno e
una mezza ora penso, ma siamo ampiamente dentro
il mio sequel è stato migliorato e posso andare in più
se voi ragazzi siete interessati in seguito e
memcache e Redis e poi HBase è
qualcosa che stiamo usando per i nuovi sistemi
e spiegherò perché e poi anche a
cittadino di prima classe
anche se attraverso di esso lo gettò sul lato
è la nostra pipeline di dati questo è uno dei
le cose più spaventose che costruiamo è una delle
il più importante in sostanza è questo
possiamo vedere fuori dalle finestre come noi
volare così tutto ciò che accade sul
il sito viene incanalato in Kafka che è
come un gigantesco Firehose tutto entra
e puoi bere dalla manichetta antincendio
è da LinkedIn davvero buono è dentro
la stessa vena del flume inscritto ma
questo ha scalato molto bene per noi
e poi ne bevi noi abbiamo un
sistema chiamato set core quale
guarda i tronchi tagliati a pezzi e poi
li mette in s3 dove ora hai
la tua magia undici nove di magia
durata questo sistema è un po ‘spaventoso
perché se si va da nessuna parte lungo
lì i dati evaporano e basta
molto difficile tornare indietro così devi
avere una squadra molto forte in giro
quel sistema è un altro qualcosa di carino
Kafka’s puoi vedere che succede tutto
sul sito in modo da inviarlo per lo spam
elaborazione o qualsiasi tipo di flusso
elaborazione in modo che se un intero grande attacco
succede che possiamo reagire dentro
millisecondi
una volta che è un s3 puoi fare qualsiasi cosa tu
voglio con esso perché tutti parlano
noi tre in questi giorni lo mandiamo a EMR
quello è
Mappa di Amazon Riduci o invia a
q-ball che è la mappa di qualcun altro ridurre
Amazon ha anche il redshift che è un
sapore della mappa Riduci questo è un po ‘
più strutturato non puoi fare altrettanto ma
è molto più veloce quindi una volta che sei un
s3 sei a casa gratis quindi se ne sei sicuro
io ho un discorso su ciò che facciamo
fatto per il nostro sharding puoi andare a controllarlo
fuori, se vuoi, potremmo parlare
in seguito vado nel modo in cui siamo atterrati
questa mappatura abbiamo fatto come tutti gli altri
fa sono diversi sapori e perché
abbiamo scelto questo che impariamo da molti
errori e poi fatto il passo successivo così
intorno a settembre fa la coda a 11 circa quando
tutto era in fiamme e volevamo
essere architetto abbiamo avuto questo problema
di come scegliamo cosa scegliere e
questo è come abbiamo guidato il
tecnologia che useremmo e infine come
abbiamo guidato la tecnica di sharding noi
ho deciso che avevamo questo tipo di pancia
tutto ciò che era complesso era malvagio, quindi non l’abbiamo fatto
voglio farlo e tutti quelli che ho corso
in questo problema tutto il tempo oggi è
Mi chiedo perché stai usando questi no
tecnologie del segnale perché stai usando
tutte queste diverse novità davvero sorprendenti
tecnologie e questa persona sommata
va bene per me e poi ho dovuto
picchiato dopo, ha detto bene che lo sono
costruendo l’ultimo e il più grande di cui ho bisogno
usare l’ ultimo e il più grande e ya
sapere se hai bisogno di un condensatore di flusso per
fai andare la tua macchina del tempo e basta
nuovo caldo merda usa bene ma se
ne stai costruendo un altro davvero fantastico
social network o qualche altro sapore
hai bisogno di un database benché esistano
per quanto tempo non conosco 60 anni e
il mio sequel è in giro da molto tempo
tempo quindi usa che farà ciò che tu
ne ho bisogno soprattutto per cui abbiamo fatto un elenco di
domande da porsi per prima cosa
soddisfa bene le tue esigenze se non va
indietro nel tempo e bisogno di una macchina del tempo
che sta per essere un problema, ma la maggior parte di
il tempo che devi almeno assicurarti
quella cosa fondamentale colpirà così uno
esempio è il mio sequel può fare un sacco di
cose ma una cosa non va bene
è come se volessi guardare in alto
la geografia non va bene per quello che puoi
bisogno di una soluzione diversa quanto è matura
il prodotto questa è la domanda più grande
Penso che molte persone si sbagliano
specialmente quando stanno costruendo il loro
piccola piccola startup quindi ho dovuto definire
è ciò che è la maturità bene per me la maturità
è il sangue e il sudore in cui è andato
qualcosa diviso per la complessità così
sangue e sudore come il mio sequel
un buon esempio Facebook ha versato in a
molte risorse in esso hanno battuto
quella cosa in giù hanno visto ogni tipo
di
ciò può accadere e un esempio del perché il mio
sequel un esempio di maturità sei tu
può andare e trovare una risposta ad esso c’è
un sacco di cose che cadono fuori da questo
se hai un problema con il mio sequel il
risposte là fuori e la complessità è
l’altro lato di esso in modo Memcache un
esempio è una tabella hash con un socket
non puoi essere più semplice di così e
che sucker era maturo o meno sulla
settimana è stato rilasciato ed è stato
abbattuto per molti altri anni
penso che sia circa dieci anni ormai così
che nulla funziona solo tipo di sulla
capovolgere se si prende una tecnologia come
Mongo è davvero in rapida crescita
hanno molto sangue e sudore
entrarci ma è un po ‘di più
complesso e il sangue e il sudore rispetto
a qualcosa come il mio sequel molto
più piccolo quindi hai invertito questo e ora
stai dicendo andiamo al mercato e
questo è un problema che penso che abbiamo
imbattersi in così tanto arriva la maturità
molte proprietà e queste sono le prossime
un paio di pallottole per uno è comunemente
usato tipicamente quando qualcosa è maturo
la gente lo ha usato, c’è gente fuori
c’è quindi per esempio HBase che noi ora
usare non possiamo assumere perché non c’è nessuno
là fuori e se ci sono persone fuori
lì come noi ora abbiamo due homegrown
Gli esperti di HBase li manipoliamo ai loro
scrivania e non lasciarli andare contro il mio
seguito se sei nel centro di San
Francisco e tu sveni e qualcuno dice
hey abbiamo bisogno di un mio esperto di sequel
là fuori garantito in modo così che è un
davvero grande preoccupazione puoi assumerlo per questo
è una comunità attiva che ti dirò
l’esempio che ricordo con questo
era che era 2:00 e ho avuto una mia
seguito problema ho continuato a Google e io
detto che conosci l’errore della chiave di replica oh
e c’erano un milione di articoli e tu
andare in borsa e dice
ecco come lo risolvi e poi loro
ti chiamo un noob così come wow, ok, maturo
contro qualcosa come la base di menta lì
sono zero risposte là fuori, finalmente
trovato alcune piccole stanze di chat da qualche parte
e il ragazzo dormiva quando era entrato
ma era addormentato, quindi è stato fantastico
quanto è forte al fallimento, beh, mio
seguito continuerò a dire topi
la gente che fa schifo non l’ho mai persa
dati su di esso e nei giorni più tristi I
ricorda che il disco rigido si è schiantato e
c’era qualche altro problema con il
macchina riuscivo a malapena a effettuare il login ma ho ottenuto
in e ho trovato alcuni strumenti casuali alcuni
ragazzo aveva scritto perché aveva questo
problema e ho lentamente succhiato il
memoria e l’ ho preso su un’altra scatola e io
ha vissuto un altro giorno a differenza di alcuni dei
altre tecnologie man mano che crescono
Non voglio prendersela con troppi di loro
ma ti imbatti in un hard disk problematico
avere un piccolo problema è un po ‘di
corruzione e abbiamo ricevuto il CTO da noi
per la loro particolare tecnologia e dire
scusa dati GaN per fortuna non abbiamo mai
fidato di qualcosa oltre al mio segnale per
copia dorata dei nostri dati quindi in tutto il
eventi in cui abbiamo avuto dati catastrofici
perdita su queste altre tecnologie eravamo
in grado di leggere arrivare, il prossimo è come
robusto, mi dispiace, fa bene
strumenti di debug e questo viene sempre
con maturità perché qualcuno viaggia
attraverso la cosa che vogliono profilare
vogliono renderlo migliore così da ottenere
cose come i backup online
profilazione di tutte quelle cose e uomini base
è un esempio che non ho trovato
di quella roba nei miei sequel caricati
tutto ciò che vuoi è lì allora tu
devi entrare nella domanda su come
bene è scala bene il mio sequel non lo fa
scala oltre una scatola così questa è la promessa
che nessun sequel ti dà è basta aggiungere
una scatola che è fantastica vorrei che sarebbe
lavoro e funziona funziona
meglio ma ma ha il suo set di
problemi così il mio seguito che abbiamo dovuto aggiungere
un po ‘di scalabilità per farlo andare
più di una scatola e poi finalmente il
il costo giustifica che non abbiamo davvero giocato a questo
gioco ma molte persone hanno questa domanda
A proposito posso andare acquistare la grande IBM DB2 s
o gli oracoli del mondo nel nostro caso
non abbiamo davvero avere un’opzione eravamo
una piccola start-up senza finanziamenti, quindi la mia
sequel era e penso anche se avessi
i soldi penso che considererei ancora il mio
sequel ma questa è una domanda che hai
di prendere in considerazione con qualsiasi cosa si costruisce così
perché Amazon mi è stato chiesto come tanti
volte ho pensato di fare una diapositiva su di esso e
in realtà questo risale un po ‘a
i giorni in cui tutti si chiedevano se
dovremmo fare i data center così è
diventando un po ‘datato, ma penso che sia
ancora rilevante se non l’hai usato
è una varietà di server diversi e
puoi eseguire Linux o Windows che hai
l’opzione di gestirlo da soli ma
hanno anche un sacco di piccoli strumenti così
se vuoi non trattare con il tuo
database è possibile utilizzare RDS o dynamo e
RDS è come un Oracle o il mio clone sequel
e la Dinamo è come un grande tavolo sorta di
clone o una cosa ish di Cassandra che puoi
usa il bilanciamento del carico che usiamo
il loro DNS usiamo anche quello che hanno
MapReduce se volessi il primo giorno noi
l’ho usato per molto tempo ma lo ha avuto
problemi di scalabilità abbiamo dovuto andare in giro
hanno firewall di sicurezza di base e
tutto costruito attorno ad esso direi il
l’affidabilità è buona sono stato nei dati
centri sono stato in AWS e tutti
ama stracciare su AWS ma
per me è stato davvero molto bello
i nostri grandi problemi, ma abbiamo recuperato per
loro la comunità è buona e loro sono
a buon mercato ma la promessa di una nuova scatola
e secondi cambia il tuo intero mondo
soprattutto dai vecchi tempi quando
la gente ha chiesto informazioni sul data center ora se io
ho bisogno di una scatola di memcache , ora posso averla
posso prenderlo alle 2:00 non c’è dubbio in
il vecchio mondo dovrei pianificare diversi
mesi prima e spero di uscire proprio da noi
usa la route 53 per DNS se di qualcuno
ELB curioso per quel primo livello superiore
il bilanciamento del carico funziona molto bene
gestito ec2 che usiamo per quasi tutto
altro e poi usiamo s3 per le nostre immagini
nei nostri registri Python siamo principalmente a
Casa di Python ma stiamo cambiando lentamente
Amo Python, lo farei di nuovo se lo avessi
è estremamente maturo e non lo so
c’era qualche bug che abbiamo incontrato nella comunità
davvero molto bene sembrava il nostro
dev è stato molto più veloce vengo dal PHP
mondo e mi sentivo come se fosse un po ‘
un po ‘più strutturato e non troppo
strutturato al punto in cui devo
fare una fabbrica di fabbrica solo per
ottenere un oggetto fuori sembra come posso
muoviti velocemente le librerie sono molto molto
bene penso uno dei più efficaci
strumenti di prototipazione rapida che possiamo costruire
con quello è disponibile l’unico problema
con Python è che è un
linguaggio interpretato e spazzatura
collezionista non ho trovato nessuna informazione su
Google su qualcosa di simile è
generazionale cos’è così sono andato e
finalmente leggi il codice sorgente e il
Il codice sorgente per il garbage collector è
questo lungo e se qualcuno ha scritto a
Garbage Collector sai che è quello
troppo corto quindi era troppo corto e così via
quello che significava che probabilmente era stato fermato
il mondo terribilmente ed era così che è
un problema con Python quindi alla fine
devo occuparmi di quel problema ma io ci siamo
solo ora a occuparsene alla scala
siamo a così direi se stai costruendo
qualcosa di nuovo va con ciò che funziona e
ciò che è veloce in particolare per il tuo
gli sviluppatori quindi se lo fanno sono persone Ruby
Ruby, qualunque cosa funzioni, ci stiamo ora spostando
Java e andare per un paio di corso
servizi e forse per sistemi più grandi
e questo è principalmente per la velocità
ragioni uh
usiamo Python per tutto la maggior parte della nostra
servizi e ora Java e vai siamo
iniziando a usare dovunque
piccolo che abbiamo davvero bisogno di essere veloce
e che la varianza deve essere bassa quindi
stiamo davvero stringendo il nostro SLA così
è come per il nostro strato di vernice per
caricare
il bilanciamento dei nostri indicizzatori di ricerca è tutto
scritto in che hanno un sacco di
lavoro da fare e hanno un sacco di CPU
calcolo molti dei nostri sistemi da parte di
modo solo tipo di girarsi e fare a
sacco di routing quindi il calcolo della CPU
non gioca in modo da poter farla franca
Python va bene e poi il nostro massimo
sistemi di frequenza come il mio sequel
servizi e i nostri router memcache e
tutta quella roba ora si sta spostando su Java e
se non hai usato vai è abbastanza bello
Mi piace un po ‘
bel mix di Python e Ruby ma è così
compilato e ha una spazzatura crescente
collezionista e le comunità in crescita
molto molto veloce okay, quindi il mio sequel
memcache questo è una specie della
battuta finale della cosa questi ventosi
hanno appena lavorato per noi sono sopravvissuti
tutto ciò che mettiamo contro ogni altro
il sistema nel nostro stack è morto in a
modo catastrofico e posso entrare in quello
se ti piace un po ‘dopo che è
sono entrambi estremamente maturi
sono ben noti e benvoluti
tutti li amano tutti li usano
se non l’hai usato, sì, se lo sei
non solo un utente che potresti avere
lo ha sviluppato e conosci questo tipo di
racconta il tempo di risposta da richiedere
tasso diminuito per aumentare linearmente
per noi significa che non era solo uno
giorno in cui la cosa è diventata super slow come noi
è cresciuto come se fosse successo a lei
intollerabile, quindi è stato davvero bello
proprietà di una certa altra tecnologia noi
trovato tra le 18:00 e le 22:00
siamo cresciuti un po ‘e siamo passati
un po ‘di magia e questo era e noi
passato da 10 millisecondi a 4 secondi
e ha dovuto ottenere più RAM in sostanza
è molto difficile da pianificare e
mi fa sudare quindi amo questa proprietà a
ottimo supporto quindi c’è extra
il backup per i backup online funziona molto
ben si sa cima si può dire che cosa è
succedendo nel mio sequel Matt kit will
dirvi il mio sequel e memcache e
la comunità è molto attiva
Facebook usa il mio sequel e rimanda a
lo utilizziamo per una clip molto rapida
la nostra memoria principale del nostro nucleo principale
dati tutti i pin delle nostre schede utenti
commenti domini cose del genere e
ora la monetizzazione e altri dati importanti noi
separare le nostre cose in mappature e
oggetti core e spiegherò di più
questo spiega di più su ciò nel
parolacce ci sono un sacco di
vantaggi tra dietro spaccare
quei due fuori e poi lo usiamo per
cose come dati di conformità legale dove
abbiamo bisogno di conformità acida perché
altrimenti
gli avvocati mi urlano e poi mi spavento
questo è quello che è
ci ha sorpreso un po ‘questo è nuovo
non tanto sangue quanto sudore
ma la complessità è piuttosto piccola se
tu guardi mai il codice sorgente che è
un po ‘strano è abbastanza bello, ma è così
funziona è molto semplice e funziona molto
molto bene la comunità è molto buona
le persone stanno amando che la gente sta mettendo
un sacco di gente ci sono
adottandolo twitter ce l’abbiamo io io
penso che Facebook fosse un pasticcio di Twitter
in giro con esso un po ‘così grande
le persone lo stanno usando proprio ora e
facendolo male in modi nuovi, la parte interessante
a riguardo è che se non l’hai usato è così
una memoria con valore chiave memorizza fino al
disco rigido e viene fornito con un sacco di
diversi piccoli dati di tecnologie
strutture quindi se hai bisogno di un set se tu
bisogno di un elenco se avete bisogno di un ordinamento eccetera
una tabella di hash o qualsiasi di quel tipo di
roba che supportano e anche più fresco
la nuvola è i diversi tipi di
modalità persistenti hanno il tuo
modalità di durata in modo da poterlo archiviare
giù fino al disco rigido ora come il mio
sequel non si può mai memorizzarlo
un po ‘come memcache quindi se la casella
va giù evapora come un classico
cache o puoi avere istantanee e questo
è un modo per immagazzinare il cervello
ogni 2 o 3 ore o qualsiasi cosa tu abbia detto
e questo è abbastanza bello specialmente
la nuvola quando inizia il tuo vicino
festa alle 3 del mattino e la tua latenza di
il disco rigido comincia a salire se si
può fare la modalità snapshot c’è una bella
buone possibilità che tu non lo memorizzi
quel periodo di tempo contro il mio sequel volontà
fermarsi e così abbiamo fatto per il nostro
feed principali abbiamo un modello push in modo che tutti
tempo se seguo tutti voi e voi
qualcuno mette un nuovo pin arriverà
nel mio stack così snapshotting era un
modello perfetto per quello perché se io se
abbiamo un centinaio di queste scatole e
il mio muore potrei tornare per una coppia
ore e indietro nel tempo ma poi lo farà
ricostituire e semplifica davvero
l’intero modello e dà è a
trade-off di quel comportamento strano per
tempi di attività molto migliori ed è anche aperto
fonte quindi significa che puoi aggiustare le cose
Ho sistemato molte cose su Redis su
anni hanno appena colpito il nuovo
problemi lo usiamo per il nostro tutto
il grafico del follower è memorizzato in Redis e
questa è la nostra copia dorata del nostro seguace
dati così ci fidiamo di questo
e lo abbiamo fatto per circa tre
anni ora , questo significa tutto il
piccolo
relazioni e follower follower
modelli di tipo complesso è possibile
seguire le schede o gli utenti, quindi è possibile
segui gli utenti ma non quella scheda che conosci
questo tipo di complessità lo immagazziniamo
tutto in Redis memorizziamo i nostri feed pubblici
lì dentro la ragione per cui immagazziniamo il nostro pubblico
si nutre di là e non è qualcosa di simile
il mio sequel è il mio sequel che vive ancora
negli anni ’90 è uno dei suoi punti deboli
sta vivendo con la Macarena e
tutto il resto è una struttura ad albero così
questo significa ogni volta che vuoi inserire
qualcosa hai messo qualcosa in cima
bisogna camminare un albero tutto bene
costruiamo questi giorni sembra essere un po ‘
sapore del social network che è a
combattere la coda del telefono in modo da mettere in alto la lettura
la top 20 è ciò che è Twitter
è così semplice ma il mio sequel è questo
struttura ad albero e quindi è lento e
Ne ho parlato con loro , ma è così
scopre che Oracle il mio sequel è stato costruito
attorno a questa struttura ad albero dal nucleo
così è un po ‘ difficile cambiare ma
se riescono a ottenere quello fisso, penso che
potrebbe essere una grande soluzione se no che
succede ogni volta che lo inserisci è lento
non funziona molto bene per la massa
inserisce ma il redis registrato realmente ha
una vera nozione di un elenco ordinato con un
o di 1 inserto e tutto si trova nella RAM così
è velocissimo e lo usiamo per
vari meccanismi di caching anche questo è molto
bello per il caching come se lo si volesse
memorizzare la scheda di qualcuno nella lista di
i loro pin puoi farne una lista di pin
ID e puoi dire dammi il secondo
set di 50 o qualcosa
quindi perché HBase perché dopo lo straccio Don questo
tipo di tecnologia lo abbiamo portato in um
è che è uh che ha un crescita
popolazione di utenti dedicati core e
ha funzionato abbastanza bene e ne ha alcuni
belle proprietà che non potevamo
replicare con il mio sequel o una Redis
Il grosso problema con Redis è che tutto questo
deve adattarsi a Ram quindi se ne abbiamo davvero
una buona percentuale attiva dice che è del 50% 60%
meglio o qualunque cosa sia ancora grande
pezzo che non sta usando il sito e
stiamo sprecando il pavimento della RAM o se lo dimostriamo
la gente 500 dei loro piedi e vogliamo
lasciarlo andare a 10.000 non può farlo
perché si trova solo nella RAM e costa
noi un pacchetto così HBase ha quel bello
nozione di un effettivo inserimento veloce è un
O di uno spillo alla fine enormemente veloce
sistema di scrittura in modo che ora supporti il nostro
i feed a casa è molto veloce
è difficile essere noleggiati per abbiamo dovuto
crescere i nostri esperti HBase
ha un bel forte Hadoop
integrazione quindi se si vuole fare
MapReduce puoi collegarti immediatamente
e la performance è stata davvero buona
le grandi persone lo usano come Facebook
così hanno calpestati molti dei
sto iniziando a problemi
chiedo se tutti continuano a usare
ho iniziato a sentire storie che
forse stanno andando via da esso c’è
domande sulla sua scalabilità sai
la promessa è che ha una grande magia
scalabilità ed è efficiente, ma io sono
chiedendo che sto iniziando a chiedermi se questo
sta davvero accadendo e mi sto chiedendo
Voglio guardare a guardare oltre il
prossimi due anni e vedere se quella promessa
gioca le idee principali con il mio sequel
se vogliamo avere un cortometraggio nel mio sequel
abbiamo detto in numero di caselle volte 2
o forse 3 volte perché vogliamo i backup
è a volte 3 è carina
caro ma per questo se ne hai uno
anello ciclico e fai tutta questa magia
condividendo puoi davvero farlo
in teoria in più 2 per il backup o più 3
per il backup che sembra davvero fantastico
soprattutto come si diventa davvero grandi io ma
Mi chiedo se le promesse reali
giocando fuori così io farò sapere più come
Lo scopro quindi lo usiamo per i feed degli utenti
ricchi dettagli pin funziona davvero bene noi
mettere le caratteristiche di spam in esso questa cosa è
davvero bello dal punto di vista operativo, puoi solo
crea una nuova tabella e fluisce fuori
dappertutto, quindi è così bello che tu
conosce la promessa gioca fuori
scalabilità quindi questa è davvero fantastica
sistema in cui investire e poi anche noi
avere una mappatura delle relazioni degli utenti per
spilli quindi cosa è successo ad alcuni di questi
tecnologie e intendiamoci questo è ora
tre anni, quindi molti di questi hanno
è passato oltre ciò che voglio usare
questo è più di un’illustrazione di cosa
succede quando usi un prodotto che non lo è
abbastanza maturo come ti piace e tutto
queste tecnologie hanno fallito con noi
in modo massiccio in un modo o nell’altro e io
sappi che molti di loro sono andati via
passato il loro punto iniziale, quindi sarò gentile
passare attraverso alcuni di questi e rispondere a cosa
è successo con loro ma non mi riprenderò
qualsiasi individuo così hanno incontrato il tuo
necessità di tutti questi di cui avevamo bisogno
contatori o ricerca quindi sì, come è maturo
il prodotto bene questo era il problema che abbiamo
non ho risposto a questa domanda tutto ciò che avevamo
con queste persone che vengono da noi dicendo
hey usa questa tecnologia scalerà il
luna per te tutti i tuoi problemi sono
ha risolto l’iscrizione che è comunemente usata
non abbiamo davvero risposto a questa domanda
molti di loro non sono in un classico
uno
Penso che sia venuto da Zynga e penso sia
ora sta cadendo sotto il tappeto
ora non è comunemente usato ed è stato
molto difficile trovare la risposta
certamente nessuno che sapeva come usarlo
quindi quello che ho finito con certo
le tecnologie erano il mio trucco di come
per usarlo e alla fine ho pubblicato
loro per altre persone con Memphis mio
il classico preferito è stato un errore
messaggio che dice qualcosa come 0 7 EF
un B è opaca non so cosa
significa che alla fine abbiamo avuto un cheat sheet
di quello
beh, questo significa questo e così è questo
si ottiene fuori di esso
tipo di pericoloso alle 3 del mattino
la comunità attiva su molti di questi
non erano così c’erano zero risposte
per uno di questi su uno di loro intorno al 2
Sono la cosa appena rotto sai
non c’è modo di aggiustarlo si aggiunge un nuovo
scatola inizia la replica magica inizia
andando e circa il 20% ha fermato okay cosa
sai che non c’è niente da spingere
nessuno ti ha dato altri strumenti per
Spingi la cosa ha un bug cosa fai
quindi quello che ho fatto è tra le 2:00 e
6:00 del mattino quando è sorto il sole, ho capito
torna sul mio sequel memcache e poi
problema risolto come ciò che è questa tempesta
bene questi sono questa è l’intera promessa
questi sono davvero belli se funzionassero
non ha buoni strumenti di debug
non molti di questi non esistevano e non c’erano
sono stati grossi problemi in giro così tu
non riuscivo nemmeno a scoprire cosa stava succedendo
sbagliato, quindi hai un problema che non hai
sai anche qual è il problema e tu lo sei
cercando di risolverlo e sono tutti gratuiti
quindi non c’era davvero un problema qui
avevano tutti strani diversi
questi hanno diversi contratti di supporto
e alcuni di loro sono molto strani
un’altra cosa da guardare se ne hai bisogno
sostenere alcuni di questi era così strano
contratti di supporto che non potremmo nemmeno comprare
loro era o troppo costoso o
la mente è eminentemente complessa, quindi se avessi un
seconda possibilità di ricostruire tutti i Pinterest I
amore che passa attraverso questo ogni volta in a
mentre la prima cosa che avrei fatto
è messo in connessione il primo giorno in cui l’ abbiamo fatto
modi terribili abbiamo avuto il mio sequel box dove
abbiamo registrato il mio sequel è un brutto posto per
log è un albero che ha bisogno di alberi con
logging quindi quello che vorrei fare è metterlo
in Kafka e fare una piccola cosa
mettilo nel problema s3 risolto allora tu
prendi MapReduce il primo giorno impara come
usa MapReduce c’è l’SQL 101, è così
facile mi ci vuole solo un’ora
usa anche le statistiche T delle statistiche che è stato davvero
bene ci stiamo imbattendo in un paio di
problemi di scalabilità con esso solo ora ma
è lavoro
con noi per tutto il tempo da cui proviene
Etsy essenzialmente dici di inviare un contatore
in questo modo è un pacchetto UDP, quindi non lo fai
preoccuparsi di quell’altro sistema
rompendo e potresti inviare segnalini
urti incontri o è possibile determinare se
vuoi e puoi inviare i timer così tu
posso dire che questo processo ha preso così tante cose
millisecondi che è una configurazione davvero semplice
e davvero bello da avere e poi lo farei
registra anche tutto ciò che ti farà risparmiare
un giorno in cui rovini il mio sequel se
stai conservando tutte le tue cose sul mio
sequel hai corrotto i tuoi dati
accidentalmente vai ai tuoi registri i dati sono
lì da ieri e puoi
recuperarlo si ottiene anche analisi di base
su come il tuo sito sta facendo e
recuperare il recupero dai dati
corruzione l’altro che vorrei portare
su è uh Nagios o qualche tipo di avviso
il primo giorno Unione o bene non ha significato
monitor monitor un’idea è una di queste
il primo giorno perché anche se lo è
progettato per svegliarti quando c’è un
problema ti farà dormire nel
i primi giorni sarebbe stato uno dei nostri fondatori
svegliarsi ogni ora nel mezzo di
notte
roll over check Pinterest è bello
vai giù torna a dormire così quando io
l’ha portato su il primo giorno che era
come Marty posso dormire di nuovo ho iniziato
perdere il sonno ora perché è iniziato
svegliandomi altre cose che avrei
fatto abbiamo iniziato intorno abbiamo iniziato in
Settembre su quel grafico quando tutto
era già caldo, quindi quando vuoi decidere
fare per passare a questo grafico
approccio hai il problema che tu
hai già un sito che devi mantenere
stai cercando di costruire questa nuova cosa
e stai cercando di trasferire i dati
quindi stai provando a fare un piccolo extra
carica da quella cosa e mettila sopra
ecco perché è stato un incubo che vorrei
l’avevo fatto prima è un po ‘difficile
per sapere quando ma ma il mio unico suggerimento
per te è in genere ciò che accade con
qualsiasi database in particolare utilizzando il mio sequel
è la prima cosa che fai è dirti
avere un piedistallo e un tavolo da seguire
prendi il tavolo dei follower mettilo sopra
scatola oh hai doppia capacità ora
bene, questo è tutto ciò che posso chiedere
a lungo quindi la cosa tipica che fai dopo è
inizi a fare schiave leggere e tu
fai più schiavi letti e fai di più
leggi gli schiavi nel momento in cui fai il tuo
prima leggi lo schiavo che è il tuo suggerimento
dovrebbe guardare a sharding subito
infatti la bomba ad orologeria è già iniziata
il problema con gli schiavi letti c’è
molti di loro uno dei più grandi
le cose irritanti sono quelle che fanno
questi strani bug sottili che metti nuovi
cosa nel mio sequel si cancella il cache
e qualcun altro legge prima di te
in realtà sai replicare i dati
fino a leggere gli schiavi e i problemi
dolore nel culo nel momento in cui inizi
pensando di aver bisogno di farlo
che quando si dovrebbe essere guardando un
la soluzione iniziale mi invierà una cattiva volontà
festa ci siamo anche addentrati in quello no
sequel trappola a causa dei problemi che noi
erano in tutto era in fiamme uh io
vorrei guardarlo da vicino, penso
potresti voler considerare molti dei
cose che ho sentito dalle aziende
in realtà è il capovolgimento che penseresti
che nessun segnale sarebbe buono nel
i primi giorni perché risolve il tuo
problemi operativi per voi risulta
molte aziende il momento in cui è possibile
in realtà supportano un sequel di cui sono gentili
di emozionato hey possiamo averne alcuni
ingegneri che possono effettivamente supportare HBase
e possiamo usare la tecnologia per il suo
è buone proprietà nei primi giorni
quando hai due e tre ingegneri io
dire bastone con ciò che è semplice bastone con
cosa funzionerà con ciò che sarà
riparabile alle tre e quando le cose
rotto abbiamo anche usato un sacco di strano
tecnologie per test di background
elaborazione c’è un classico RabbitMQ
cluster tecnologia Abell dove si inserisce
qualcosa da una parte e viene fuori
l’altro modo troppo complesso non è stato ridimensionato
con noi siamo infine andati a Pyrus
che è solo una collezione di scatole
nutrire da Redis e l’ abbiamo imparato
Redis funziona molto bene, quindi Redis è un
mangimi giganti mettono roba sulla cima che dici
Voglio eseguire questa attività vedere un Python
i processi richiedono una corsa che non potrebbe essere
più semplice che semplifica tutto noi
aveva l’altra cosa che consiglierei è
nei primi giorni ne avevamo anche uno solo
imbuto di tutti i compiti che è stupido
si dovrebbe dividerlo fuori nel
compiti importanti e non importanti
compiti forse anche la priorità in modo uno
esempio è se vogliamo creare un nuovo
pin e avremo un paio di compiti per
facendo nuove immagini dobbiamo farlo ora
ma se abbiamo bisogno di inviare tweets che
vedo l’ora di fatto posso anche aspettare un’ora
sai se le altre cose sono rotte
vuoi essere sicuro che le cose siano esagerate
lavoro ora vorrei che avessimo assunto un tecnico
operazioni persona prima del momento
quel tizio entrò e iniziò a fare il
passi da chef e burattini in cui burattini
osserva ogni cosa in modo da poter far apparire un
casella premendo alcuni pulsanti che hanno fatto
tutto molto più facile che avevamo
questi che ho chiamato lista di controllo di Apollo 13
perché quello che potrebbe andare storto e tu potresti andare
giù i passaggi per far apparire il mio sequel
scatola e spero che li abbiate tutti tranne
ci vorrebbe anche un po ‘di tempo in modo fantoccio
fatto in modo che tutte le nostre scatole potessero
vieni piuttosto veloce se ne avessimo bisogno
cambia una proprietà incrocia tutti
loro andrebbero magicamente attraverso tutto
loro così ci ha dato la scalabilità che vorrei
aveva fatto in precedenza e unit testing
potrebbe essere stato anche un ottimo
scelta
prima piuttosto che solo sperare
al meglio e finalmente un test è
qualcosa che vorrei avessimo portato
prima è molto facile aggiungere ciò che noi
ora chiama un decisore in cui puoi crearne uno
un giorno una versione simbolo in pratica di cosa si tratta
ti permette di fare è dire di avere un intero
elenco di diversi tipi di proprietà
esperimenti o qualunque cosa tu voglia e tu
avere un piccolo trascinamento un piccolo cursore così
potresti dire questa cosa nuova di zecca che sono
portando dentro volevo portarlo fino a
Il 5% va bene funziona ora il 10% va bene funziona
ora 100% o se qualcosa se a
sistema non critico è rotto hai
uccidere interruttori in modo da poter spegnere
istantaneamente in modo da poter costruire il sistema
puoi fare un po ‘di semplice avvolgimento
Potrei anche avere una fonte aperta
non sono sicuro e quindi l’idea è che lo è
nel mio seguito sale a memcache e
tu dici che dovrei mostrarlo o meno e questo
ti dà un po ‘ ti dà un po’
instradamento all’interno del codice davvero
ultima cosa comoda in attesa
stiamo crescendo ad oltre 400 persone
ora stiamo colpendo cose come come facciamo noi
vivere virtualmente come facciamo come costruiamo
la prossima grande cosa come facciamo
più veloce in sostanza, come possiamo costruire di più
Lego in modo che possiamo costruire il prodotto
due volte più veloce e due volte più buono che è
tipo della nostra sfida attuale in modo che noi
puoi ottenere quell’imbuto andando molto velocemente se
possiamo avere 400 esperimenti in corso
una volta invece di dire 100 che ci dà un
molte più opportunità di vedere il prossimo 5%
e se possiamo continuare a sovrapporre questi 5%
andremo sulla luna e poi continueremo
per migliorare molto le nostre collaborazioni
importante perché, come abbiamo più grande
la collaborazione diventa più dura e la mia finale
piccola cosa per te è solo divertirsi
con questa cosa la cultura è un grosso problema
in molte aziende ce ne sono molte che hanno
fallito a causa della cultura tossica che hanno
costruito e ho sentito e trovato che nel
iniziando se rendi la cultura divertente
alle persone piace venire li a loro piace
trascorri le loro ore di luce con te e
a loro piace avere cose divertenti da costruzione
con te quindi se stai costruendo un nuovo
tipo di avvio di concentrarsi su quello se potete
assicurati che la tua gente stia avendo
divertente perché questa dannata cosa lotta
abbastanza difficile quindi non divertirti sul serio
prendi quel cuore ci sono delle domande
guardiano dello zoo um sì sì oh grazie così
la domanda è che c’è un altro
i mouse di tecnologie uguagliano più semplice in
la complessità e c’è una Cassandra
molto più complesso e di qualcosa
come il guardiano dello zoo, così i guardiani hanno costruito su a
Paxos ish cosa che non penso sia
effettivamente veri paxos per arrivare a
consenso e in realtà mi chiedo se
è stata la scelta giusta che sembra essere
funziona bene ma è passato molto
di seccature lo usiamo principalmente per
gestione della configurazione quindi quale casella è
vivi dove e pub / sub e questo tipo di
cosa mi chiedo se Redis potrebbe essere stato
una scelta migliore che conosci abbastanza vicino
la consistenza finale sarà questa cosa
ti dico che il momento è tutto è il
lo stesso ma tu perdi ti dividi il cervello
problemi si ottiene tutti questi altri
problemi quindi se stai attraversando il
la stessa cosa esatta per la configurazione
gestione penso che sarebbe un ottimo
domanda per chiedere so che abbiamo avuto il nostro
problemi con zookeeper ma al momento
essa sembra funzionare
Mi chiedo se qualcosa come Redis o semplicemente
indossando un s3 potrebbe andare bene si può fare
una specie di pub in sottosviluppo
ci sono una specie di semplice sondaggio
più domande fresche così se qualcuno
interessato posso uscire qui e parlare
su sharding se vuoi ottenere di più
in Nitty Gritty o in qualsiasi altro
domande che hai grazie
parla qui e uh tecnico tecnico
sessione di sblocco del torace e siamo stati
correndo come parte di q cons che anche noi
fidanzati e li abbiamo gestiti
architetture che ti sei sempre chiesto
tipi di sessioni ed è sempre fantastico
per vedere queste grandi start-up di grandi dimensioni
le aziende fanno cose davvero pazze così
ecco una storia di ridimensionamento di Pinterest
ridimensionamento da un paio di computer
Martis è stato con Pinterest dal
molto molto all’inizio quindi c’è un sacco di
storie davvero interessanti dal ridimensionamento
Gary non è così tecnico, sai tutto
strada attraverso ero seduto ultima volta che ho
guardare questo ero come prurito, come ad
cucire qui come lo hanno fatto esattamente
sharding sono questi più tecnici
dettagli ma lo sai dalla mano degli altri
è davvero bello avere questo tipo di bello
storia semplice ed è tipo di si siede in a
posizione per questa intera conferenza
sappi qui alla conferenza di cui parliamo tutti
su tutte queste nuove cose tutte queste nuove
tecnologie sofisticate e mi piace molto il
messaggio e questo discorso che devi
mantieni le cose semplici per renderle scalabili
per favore benvenuto Artie grazie ah hey
beh non devo intro me stesso ora
ma quindi sono di Pinterest stato lì per
un po ‘di tempo oggi ti porterò su un
mistico tour magico di quello che era
piace costruire immagini da terra
ascolterò la nostra evoluzione o
tecnologia e te lo mostrerò
alcune delle lezioni che abbiamo imparato e molte
dei tanti molti errori che abbiamo fatto e dei miei
la speranza è che non farai lo stesso
errori ma invece rendono tutto nuovo
errori eccitanti
quindi prima l’evoluzione in cui abbiamo iniziato
Marzo 2010 e lanciato al mondo e
tipo di tranquillamente immagino al momento noi
stavano cercando di capire come fare
il sito web in modo che cosa è stato il sito web che cosa
stiamo costruendo le immagini qui seguaci
dovremmo avere follower che sembrano
una buona idea
avremo bisogno di un feed avrà bisogno di aggregazione
avremo bisogno di tutte queste cose
e quello che di solito assomiglia è
hai due fondatori che mangiano Doritos
e ramen e hai ottenuto un ingegnere che
hanno trovato da qualche parte quello che avevamo
ed è stato davvero fantastico è davvero
divertimento perché stai provando a provare
cosa stai costruendo e ti stai muovendo
veloce e gli ingegneri divorano tutto
insieme e farlo sembrare giusto ma
i bit sottostanti sono appena tenuti
insieme ma stai cercando di essere
ottimizzazione per la velocità di progettazione finita
ingegneria ancora solo così ecco i tre
sono stati Ben Silbermann, Paolo Chiara e
Yosh nella vasino e poi per il
i prossimi nove mesi eravamo in quello che il
il fondatore chiamò che eravamo in modalità stealth
ma non perché volevamo andare
per un po ‘un po’
ingegneria poco più prodotto di
dietro le quinte avevamo scambiato il cloud
servizi in questo momento se ricordi
il servizio cloud clouds è stato in giro ma
poi stavano iniziando a tipo
davvero grande e le persone erano davvero
discutendo dovremmo essere sul cloud lei
sarebbe nei data center e penso che noi
scambiato su Amazon perché sembrava
nuovo ed eccitante penso che potremmo anche aver avuto
alcuni crediti che non conosco abbiamo iniziato a
avere un po ‘di differenziazione in
il nostro stack in modo che possiamo non lo so
sai forse avere un po ‘di più
ridondanza e cose del genere in modo che
avevamo un mazzo di ninja in cima e noi
in realtà aveva quattro motori Web in esecuzione
Python abbiamo avuto uno slave in lettura per il mio
sequel in modo da poter scaricare un po ‘
le tue letture e una coda di attività, così possiamo
inviare e-mail e Tweedy e Facebook
E’s e MySpace E e riviste live
e tutte quelle cose buone e poi abbiamo avuto
un MongoDB
scatola perché tutti hanno una scatola MongoDB
per i contatori e poi e poi mi sono unito
intorno a quel tempo e poi oh e qui noi
sono questo è un piccolo esempio di ciò che
era come questo è al nostro internazionale
la sede e all’inizio del 2011 dietro di noi è
l’appartamento che abbiamo lavorato fuori a
l’area principale che abbiamo lavorato e poi lì
c’erano due camere da letto e una camera da letto era
la nostra sala del consiglio internazionale dove avevamo
i nostri grandi incontri e l’altra stanza
era in realtà una camera da letto , quindi la cosa
la cosa accaduta è decollata ed è stato gentile
di una corsa pazzesca e non abbiamo mai dormito o
qualsiasi cosa e cosa succede durante questo
tipo di un giro è che tutto è acceso
fuoco ne avevamo solo alcuni
ingegneri e tutto si scalda noi
sono stati raddoppiando ogni mese e mezzo in modo
i tuoi database sono arrabbiati e le persone lo sono
venendo a casa tua dicendo hey se
usi solo la mia tecnologia magica
risolvi tutti i tuoi problemi
quindi sei come si si gimme gimme gimme
e quello che succede è questo e tu no
pensato per leggere questo è solo lo scopo
essere terrorizzato da esso ti darò un veloce
aspetto fatiscente abbiamo quanti
database abbiamo il mio seguito Cassandra
memcache uomo basato su ricerca elastica
e MongoDB e abbiamo tre ingegneri
quindi devi essere un esperto in tutto
questi e e noi non eravamo così era uno
di quei problemi in cui ognuno viene
lungo esso risolve il problema per una coppia
settimane
sei euforico, è fantastico e poi
quando è quando i periodi di luna di miele
su di te inizi a piangere un pochino così noi
imparato nel modo più duro
si adatterà a ciascuna di queste avrà esito negativo
quindi tienilo semplice quando è il momento
arriva sono le 3:00 e fallisce
sarebbe bello se tu potessi trovare il
rispondere abbastanza facilmente l’altra cosa che noi
imparato come siamo cresciuti e abbiamo iniziato a
diventare i più grandi utenti questi diversi
le tecnologie sono così ogni volta che eravamo
il più grande utente era tutto a
mille volte più difficile perché nessuno ha
inciampato su quelle mine per noi e
poi gli strumenti scritti mentre inciampavamo
le mine terrestri abbiamo scritto strumenti per risolverli
così qualcun altro potrebbe usarli ma noi
sono stati i primi su così tanti di questi
così tanto dolore così eccoci qua
all’inizio del 2012 e ci siamo trasferiti in Palo
Alto downtown e questo è stato enorme questo
lo spazio era incredibile c’era un’eco è
pazzo che non è durato troppo a lungo quindi il
il ridimensionamento mantenuto accaduto continuava ad accadere e
verso il gennaio 2012 abbiamo finito a
massiccia Rio Texas Oh all’incirca in giro
Da novembre a ottobre 2012 abbiamo deciso
ricollegare tutto ciò che era tutto
sparare faceva schifo era troppo dannatamente complesso
quindi abbiamo detto cosa funziona bene, quindi andrò
attraverso come abbiamo preso queste decisioni ma
siamo arrivati ai primi principi del bene
ingegneria cosa funziona e cosa è cosa
abbiamo effettivamente vinto ciò che siamo realmente
cercando di costruire e noi semplicemente siamo sbarazzati di
la maggior parte così ora abbiamo il mio sequel
Redis e memcache e davvero potremmo
ho fatto il mio sequel in memcache ma
i registri funzionano così bene che abbiamo deciso di farlo
tenere in giro per una coppia davvero
compiti importanti quindi ci siamo sbarazzati di tutto il
altre cose e poi l’ideale e qualsiasi
il progetto di scalabilità è che potresti
appena
scatole dei numeri il finanziario
la gente mi odia per averlo detto ma ma
allora se riesci a colpire quel punto hai colpito
crescita lineare o hai colpito qualche tipo di
crescita dove puoi buttare soldi al
problema e questo è un po ‘quello che abbiamo colpito
a quel punto poi abbiamo avuto il prossimo
sfida di scalabilità che non lo era
la tecnologia era gente così ora hai
ha più ingegneri quindi non sono tutti
facendo tutto tutto il tempo all’improvviso
si forse si desidera avere un’ops ragazzo
e forse vuoi avere due ragazzi
costruire dispositivi mobili e e un dato
ragazzo dell’infrastruttura o qualcosa del genere
così abbiamo iniziato a differenziare e
questo è l’ inizio di una nuova era per
la nostra azienda e ottiene solo di più
eccitante alzarsi i capelli quindi è diventato più grande
ora dobbiamo usare l’obiettivo fisheye
quindi abbatteremo il muro di mezzo e
espanderlo in quel modo e ora questo spazio
lo spazio era enorme
non abbiamo mai saputo sì enorme così abbiamo mantenuto
crescita nel 2013 tipo di crescita lineare
e abbiamo quasi colpito il nostro
scalabilità uh la cosa d’oro che vuoi
fuori dalla scalabilità che è solo push
numeri a questo punto arrivarono SSD
fuori e abbiamo continuato a spingere il numero
del mio sequel scatena il numero di memcache
Scatena il numero Redizza le scatole e lo è
non è così semplice che inizi a colpire
diventa nuovo numero di connessioni
una seccatura di rete tutte queste altre cose
ma in generale siamo passati e siamo stati gentili
di passato il database mega pain point e
ai prossimi punti mega di dolore e noi
ha iniziato a far crescere la società in termini di
la gente abbastanza veloce improvvisamente per arrotondare
tutti gli angoli hai bisogno di persone di prodotto
hai bisogno di persone che li supportino di cui hai bisogno
avvocati e finanza e e risorse umane e tutti
queste cose è solo la tua compagnia
palloncini e la sfida ora che tu
iniziamo a capirlo quando colpisci
questo sarà compreso tra 100 e 120 130 persone
in realtà vieni da te che sei stato
attraverso questo prima e loro lo faranno
dì che mi dispiace perché stai andando
attraverso un po ‘di tempo difficile quello che sei
quello che stai facendo è che ora lo stai facendo
per strutturare la tua azienda, se tu
non ce l’aveva già una compagnia
inizia con esso alcune aziende non noi
in un certo senso non è così ora dobbiamo avere un
migliorare il feedback manager della comunicazione
struttura cose come questa e quella
sempre viene fornito con alcuni problemi perché
questa persona vuole essere manager questo
la persona è un buon manager ma non lo fa
vuoi essere un manager sai tutto questo
cose e così via
la struttura con cui uscirai avrà
la sua seccatura e tu stai andando anche tu
attraverso un imbuto culturale perché sei
portando un gruppo di ingegneri che ti preoccupi
la cultura sta andando nella giusta direzione
potremmo perdere la cultura ora molti
le aziende hanno che cosa se portiamo in 20
Google ingegneri tutto in una volta e loro
cambiarlo in Google è ok tu
so che questo tipo di domande sono
gorgogliare nelle nostre teste così noi
iniziato a dividere tutto e ora noi
in realtà ha iniziato ad avere individui
squadre e questo è venuto con un sacco di
lotta ma ma quando è uscito nel
Alla fine è sembrato davvero bello iniziare a muoversi
veloce così hai l’infrastruttura dati
perché ora abbiamo una pipeline di dati completa
questa cosa non deve mai scendere
perché al momento la pipeline dei dati
va giù stai perdendo i tuoi affari
il senso di tutta la faccenda è come un
capitano che non può vedere fuori dalla barca
abbiamo un team di ricerca che è stato eccitante
per lungo tempo era mezzo quarto di
io sono un business e una piattaforma per davvero
supportare la business unit che era
iniziare a far crescere il team di spamming perché spam
è diventato un problema di crescita del web mobile noi
ha iniziato ad avere una squadra di crescita in modo che
qualcuno guarda sempre al
il problema della crescita non è mai uno dei nostri
prima iniziativa e poi
team di infrastrutture e operazioni e
quindi un 65 non ingegnere significa che odio
quel termine ma non può venire con un migliore
tutti gli avvocati di product manager del termine
i vari altri componenti che sono
assolutamente necessario per ottenere questa cosa
rotolando e poi ci siamo trasferiti a San
Francisco abbiamo finito lo spazio a Palo
contralto
grazie a Palin sicuramente, ma è diventato grande
questo spazio ci sosterrebbe per il resto
di tempo ma non non del tutto quindi avevamo bisogno di un
spazio più grande e ora questo è un vecchio
l’immagine e si sta ingrandendo così ora io
pensate una delle più grandi sfide che abbiamo
sono a questo punto siamo sempre stati
nello stesso edificio e così il contesto
passare il tempo o il tempo di carico di
parlare con la persona delle operazioni per me
usato per essere questo è mezzo secondo ora
Devo andare giù all’altro
lato e so che sembra un
problema del primo mondo ma impedisce
comunicazione di una quantità significativa
quando non ci sei abituato e ora ce l’abbiamo
ho un altro edificio e che ne dici di quando
abbiamo un edificio a New York e tu
so che questi sono i tipi di processi che noi
bisogno di costruire nella cultura della costruzione in giro
un ambiente virtuale e gestirlo
ambiente virtuale tutte queste cose
devono essere fatti molto bene e lo siamo
iniziando questo processo
ora così tecnologie questo è un duro
layout del nostro stack molto molto
livello elevato volevo tenerlo estremamente
alto livello ma dà un buon senso
per come pensiamo di cose che cerchiamo di
mantieni la sporcizia semplice e proviamo anche noi
per mantenere le cose un po ‘astratte
Qualcuno che co-chiama Pinterest comm va
in ELB siamo ospitati tutti su Amazon quindi
usiamo un paio della loro scatola magica nera
strumenti e ELB è il loro bilanciamento del carico
strumento e una delle ragioni per cui abbiamo usarlo è
in realtà ha un hardware magico
sotto e se abbiamo bisogno di deviare a
Attacco DDoS possono farlo, ma poi noi
andare in un software il nostro carico gestito
equilibratore e la ragione per cui lo facciamo
quello che ci dà un po ‘più di controllo
ELB è a scatola nera ma a questo strato noi
può fare cose come spegnere un’Università
dove uno studente di dottorato sta andando un po ‘
pazzo che è successo a coppie settimanali poi
abbiamo il nostro strato Python questo purpley
strato qui è il livello aziendale che è
è attualmente Python ma sta cambiando
è uh se vieni dal web lo farò
indirizzarti verso un’app web dove parleremo
HTML a te se vieni dal
iPhone o Android o qualcuno che lo farà
vai direttamente all’API del livello web
attualmente parla con il livello API
esclusivamente quella freccia ora ha bisogno di
vai un po ‘a sinistra e questo è bello
dà una bella astrazione strutture il
l’ elaborazione di attività a livello intero viene eseguita da a
sistema chiamato pin più tardi che è semplicemente
sul mio sequel box dove metti i compiti
un nome di un’attività da eseguire e alcune stringhe
e poi un intero mare di processi Python
li estrarrà con priorità il
motivo per cui l’abbiamo spostato per appuntare più tardi se
sei nella stessa situazione tu
può usare qualcosa chiamato Pyro’s che usa
Redis e una simile operazione funziona
molto molto bene , alla fine abbiamo deciso di farlo
aveva bisogno di uno stile un po ‘ più acido
conformità e quindi ogni immagine su
Pinterest vive in s3 ogni utente
pin generato e otteniamo la tua iniziale
immagine e quindi facciamo un sacco di
versioni diverse il piccolo il mezzo
il quadrato tutta quella roba e poi noi
Anticipa con un CDN come Akamai e poi
questa è la parte che sta diventando davvero
interessante come cresciamo abbiamo questo
livello di servizio intermedio il
scatole gialle e sono collegati a
il livello aziendale con una connessione
manager
sistema costruito attorno a Zookeeper non lo facciamo
avere qualsiasi bilanciamento del carico tra noi utilizzati
a quello era una seccatura che non vorrei
raccomandarlo essenzialmente ciò che accade è
quando una web app si sveglia dice hey I
ho bisogno di un servizio di ricerca e questa cosa
avrà una lista di loro dire qui
connettersi e si collegano direttamente se uno
di questi muore alle due estremità ci sarà
un po ‘di confusione e faremo nuove
connessioni se ne esce uno nuovo lo faremo
riequilibrare il loro – toglie un mezzo
livello di problemi con un intermediario
bilanciamento del carico è il suo piccolo
incubo perché devi dire bene
ne ho bisogno di 10 e devi farlo
mescolando e poi a volte loro semplicemente
il disordine di lavoro non ha liberato di esso e felice
da allora e poi il livello di servizio è
una sorta di dove stiamo crescendo c’è un
tutto il mare di modi diversi che le persone fanno
Questo
Facebook è un classico esempio che io non conosco
sapere esattamente come appare oggi
in questo momento, ma un paio di anni fa
erano un gigantesco codebase con pochi
servizi in modo da poterli implementare in grande
sarebbe una grande cosa e hanno avuto un
cultura intorno a cui ha funzionato ha funzionato
bene per loro
Amazon è il contrario, credo
richiedi circa 300 chiamate di servizio su Amazon
Penso che stiamo andando da qualche parte dentro
nel mezzo mi piace metterlo in una specie di
un confine di una squadra che è a senso unico
guardalo o più o meno come un prodotto
il servizio di ricerca è bello
proprietà che si ottiene da questa struttura
è il servizio di ricerca è così massiccio
motore dietro di te fai un sacco di cose
raccolta serale di dati che hai tutti
questi sistemi intelligenti non mi interessa tanto
come posso cercare Star Wars e
lavorare all’uncinetto e ottenere poca nit Yoda’s che è
tutto quello che voglio vedere così servizio di ricerca
ci fornisce che il servizio di feed è un
servizio in cui si inseriscono i pin e
esce a tutti, dovresti saperlo
Lo maneggia astratto mi siedo lontano da me
dei grandi esempi di sicurezza è il
il mio seguito è questo uno dei
i primi che abbiamo fatto e mi viene in mente
piace il codice su Apollo 13 o
come su sui satelliti dove è veramente
codice pericoloso per toccare una squadra lo farà
chiudilo a chiave scrivi tutto intorno
perché ciò che accadrà se pasticcia
quello su e questo è successo è qualcuno
commetterà un errore e lo sarà
innocuo all’inizio e poi alla fine
succederà qualcosa di brutto e il tuo nucleo
dati che per noi sarà il mio sequel ilysm
iniziare a essere corrotto e quindi abbiamo avuto un
situazione e lo mostrerò
un minuto tutte le nostre cose sono iniziate
e quello che stava succedendo era qualcuno
sarebbe estrarre i dati da una modifica grafico è
e rimetterlo al frammento in modo sbagliato
ora sono solo i dati che iniziano ad andare male
quindi quello che vuoi fare sei tu quello
uno buono per avere un servizio perché tu
può bloccarlo solo queste persone possono
toccalo sono super attento se tu
vuoi apportare eventuali modifiche
passare attraverso la NASA e tutti gli altri e
lo sai e poi abbiamo cose come
il servizio di spam che il mio team sta attualmente lavorando
su quello e una delle belle proprietà
di quello sono le velocità molto veloci di
distribuire eravamo parte del massiccio
conosci il codebase del lavello della cucina che è
per me tutto ciò che non abbiamo tirato fuori
come servizio e quando abbiamo tirato fuori il nostro
distribuire i tempi è andato da due volte al giorno, forse
forse non una volta ogni 30 secondi con
test e tutto così ci accelera
a tutti i nostri dati sono in questi quattro
i sistemi HBase sono relativamente nuovi
lo abbiamo usato per circa un anno e
una mezza ora penso, ma siamo ampiamente dentro
il mio sequel è stato migliorato e posso andare in più
se voi ragazzi siete interessati in seguito e
memcache e Redis e poi HBase è
qualcosa che stiamo usando per i nuovi sistemi
e spiegherò perché e poi anche a
cittadino di prima classe
anche se attraverso di esso lo gettò sul lato
è la nostra pipeline di dati questo è uno dei
le cose più spaventose che costruiamo è una delle
il più importante in sostanza è questo
possiamo vedere fuori dalle finestre come noi
volare così tutto ciò che accade sul
il sito viene incanalato in Kafka che è
come un gigantesco Firehose tutto entra
e puoi bere dalla manichetta antincendio
è da LinkedIn davvero buono è dentro
la stessa vena del flume inscritto ma
questo ha scalato molto bene per noi
e poi ne bevi noi abbiamo un
sistema chiamato set core quale
guarda i tronchi tagliati a pezzi e poi
li mette in s3 dove ora hai
la tua magia undici nove di magia
durata questo sistema è un po ‘spaventoso
perché se si va da nessuna parte lungo
lì i dati evaporano e basta
molto difficile tornare indietro così devi
avere una squadra molto forte in giro
quel sistema è un altro qualcosa di carino
Kafka’s puoi vedere che succede tutto
sul sito in modo da inviarlo per lo spam
elaborazione o qualsiasi tipo di flusso
elaborazione in modo che se un intero grande attacco
succede che possiamo reagire dentro
millisecondi
una volta che è un s3 puoi fare qualsiasi cosa tu
voglio con esso perché tutti parlano
noi tre in questi giorni lo mandiamo a EMR
quello è
Mappa di Amazon Riduci o invia a
q-ball che è la mappa di qualcun altro ridurre
Amazon ha anche il redshift che è un
sapore della mappa Riduci questo è un po ‘
più strutturato non puoi fare altrettanto ma
è molto più veloce quindi una volta che sei un
s3 sei a casa gratis quindi se ne sei sicuro
io ho un discorso su ciò che facciamo
fatto per il nostro sharding puoi andare a controllarlo
fuori, se vuoi, potremmo parlare
in seguito vado nel modo in cui siamo atterrati
questa mappatura abbiamo fatto come tutti gli altri
fa sono diversi sapori e perché
abbiamo scelto questo che impariamo da molti
errori e poi fatto il passo successivo così
intorno a settembre fa la coda a 11 circa quando
tutto era in fiamme e volevamo
essere architetto abbiamo avuto questo problema
di come scegliamo cosa scegliere e
questo è come abbiamo guidato il
tecnologia che useremmo e infine come
abbiamo guidato la tecnica di sharding noi
ho deciso che avevamo questo tipo di pancia
tutto ciò che era complesso era malvagio, quindi non l’abbiamo fatto
voglio farlo e tutti quelli che ho corso
in questo problema tutto il tempo oggi è
Mi chiedo perché stai usando questi no
tecnologie del segnale perché stai usando
tutte queste diverse novità davvero sorprendenti
tecnologie e questa persona sommata
va bene per me e poi ho dovuto
picchiato dopo, ha detto bene che lo sono
costruendo l’ultimo e il più grande di cui ho bisogno
usare l’ ultimo e il più grande e ya
sapere se hai bisogno di un condensatore di flusso per
fai andare la tua macchina del tempo e basta
nuovo caldo merda usa bene ma se
ne stai costruendo un altro davvero fantastico
social network o qualche altro sapore
hai bisogno di un database benché esistano
per quanto tempo non conosco 60 anni e
il mio sequel è in giro da molto tempo
tempo quindi usa che farà ciò che tu
ne ho bisogno soprattutto per cui abbiamo fatto un elenco di
domande da porsi per prima cosa
soddisfa bene le tue esigenze se non va
indietro nel tempo e bisogno di una macchina del tempo
che sta per essere un problema, ma la maggior parte di
il tempo che devi almeno assicurarti
quella cosa fondamentale colpirà così uno
esempio è il mio sequel può fare un sacco di
cose ma una cosa non va bene
è come se volessi guardare in alto
la geografia non va bene per quello che puoi
bisogno di una soluzione diversa quanto è matura
il prodotto questa è la domanda più grande
Penso che molte persone si sbagliano
specialmente quando stanno costruendo il loro
piccola piccola startup quindi ho dovuto definire
è ciò che è la maturità bene per me la maturità
è il sangue e il sudore in cui è andato
qualcosa diviso per la complessità così
sangue e sudore come il mio sequel
un buon esempio Facebook ha versato in a
molte risorse in esso hanno battuto
quella cosa in giù hanno visto ogni tipo
di
ciò può accadere e un esempio del perché il mio
sequel un esempio di maturità sei tu
può andare e trovare una risposta ad esso c’è
un sacco di cose che cadono fuori da questo
se hai un problema con il mio sequel il
risposte là fuori e la complessità è
l’altro lato di esso in modo Memcache un
esempio è una tabella hash con un socket
non puoi essere più semplice di così e
che sucker era maturo o meno sulla
settimana è stato rilasciato ed è stato
abbattuto per molti altri anni
penso che sia circa dieci anni ormai così
che nulla funziona solo tipo di sulla
capovolgere se si prende una tecnologia come
Mongo è davvero in rapida crescita
hanno molto sangue e sudore
entrarci ma è un po ‘di più
complesso e il sangue e il sudore rispetto
a qualcosa come il mio sequel molto
più piccolo quindi hai invertito questo e ora
stai dicendo andiamo al mercato e
questo è un problema che penso che abbiamo
imbattersi in così tanto arriva la maturità
molte proprietà e queste sono le prossime
un paio di pallottole per uno è comunemente
usato tipicamente quando qualcosa è maturo
la gente lo ha usato, c’è gente fuori
c’è quindi per esempio HBase che noi ora
usare non possiamo assumere perché non c’è nessuno
là fuori e se ci sono persone fuori
lì come noi ora abbiamo due homegrown
Gli esperti di HBase li manipoliamo ai loro
scrivania e non lasciarli andare contro il mio
seguito se sei nel centro di San
Francisco e tu sveni e qualcuno dice
hey abbiamo bisogno di un mio esperto di sequel
là fuori garantito in modo così che è un
davvero grande preoccupazione puoi assumerlo per questo
è una comunità attiva che ti dirò
l’esempio che ricordo con questo
era che era 2:00 e ho avuto una mia
seguito problema ho continuato a Google e io
detto che conosci l’errore della chiave di replica oh
e c’erano un milione di articoli e tu
andare in borsa e dice
ecco come lo risolvi e poi loro
ti chiamo un noob così come wow, ok, maturo
contro qualcosa come la base di menta lì
sono zero risposte là fuori, finalmente
trovato alcune piccole stanze di chat da qualche parte
e il ragazzo dormiva quando era entrato
ma era addormentato, quindi è stato fantastico
quanto è forte al fallimento, beh, mio
seguito continuerò a dire topi
la gente che fa schifo non l’ho mai persa
dati su di esso e nei giorni più tristi I
ricorda che il disco rigido si è schiantato e
c’era qualche altro problema con il
macchina riuscivo a malapena a effettuare il login ma ho ottenuto
in e ho trovato alcuni strumenti casuali alcuni
ragazzo aveva scritto perché aveva questo
problema e ho lentamente succhiato il
memoria e l’ ho preso su un’altra scatola e io
ha vissuto un altro giorno a differenza di alcuni dei
altre tecnologie man mano che crescono
Non voglio prendersela con troppi di loro
ma ti imbatti in un hard disk problematico
avere un piccolo problema è un po ‘di
corruzione e abbiamo ricevuto il CTO da noi
per la loro particolare tecnologia e dire
scusa dati GaN per fortuna non abbiamo mai
fidato di qualcosa oltre al mio segnale per
copia dorata dei nostri dati quindi in tutto il
eventi in cui abbiamo avuto dati catastrofici
perdita su queste altre tecnologie eravamo
in grado di leggere arrivare, il prossimo è come
robusto, mi dispiace, fa bene
strumenti di debug e questo viene sempre
con maturità perché qualcuno viaggia
attraverso la cosa che vogliono profilare
vogliono renderlo migliore così da ottenere
cose come i backup online
profilazione di tutte quelle cose e uomini base
è un esempio che non ho trovato
di quella roba nei miei sequel caricati
tutto ciò che vuoi è lì allora tu
devi entrare nella domanda su come
bene è scala bene il mio sequel non lo fa
scala oltre una scatola così questa è la promessa
che nessun sequel ti dà è basta aggiungere
una scatola che è fantastica vorrei che sarebbe
lavoro e funziona funziona
meglio ma ma ha il suo set di
problemi così il mio seguito che abbiamo dovuto aggiungere
un po ‘di scalabilità per farlo andare
più di una scatola e poi finalmente il
il costo giustifica che non abbiamo davvero giocato a questo
gioco ma molte persone hanno questa domanda
A proposito posso andare acquistare la grande IBM DB2 s
o gli oracoli del mondo nel nostro caso
non abbiamo davvero avere un’opzione eravamo
una piccola start-up senza finanziamenti, quindi la mia
sequel era e penso anche se avessi
i soldi penso che considererei ancora il mio
sequel ma questa è una domanda che hai
di prendere in considerazione con qualsiasi cosa si costruisce così
perché Amazon mi è stato chiesto come tanti
volte ho pensato di fare una diapositiva su di esso e
in realtà questo risale un po ‘a
i giorni in cui tutti si chiedevano se
dovremmo fare i data center così è
diventando un po ‘datato, ma penso che sia
ancora rilevante se non l’hai usato
è una varietà di server diversi e
puoi eseguire Linux o Windows che hai
l’opzione di gestirlo da soli ma
hanno anche un sacco di piccoli strumenti così
se vuoi non trattare con il tuo
database è possibile utilizzare RDS o dynamo e
RDS è come un Oracle o il mio clone sequel
e la Dinamo è come un grande tavolo sorta di
clone o una cosa ish di Cassandra che puoi
usa il bilanciamento del carico che usiamo
il loro DNS usiamo anche quello che hanno
MapReduce se volessi il primo giorno noi
l’ho usato per molto tempo ma lo ha avuto
problemi di scalabilità abbiamo dovuto andare in giro
hanno firewall di sicurezza di base e
tutto costruito attorno ad esso direi il
l’affidabilità è buona sono stato nei dati
centri sono stato in AWS e tutti
ama stracciare su AWS ma
per me è stato davvero molto bello
i nostri grandi problemi, ma abbiamo recuperato per
loro la comunità è buona e loro sono
a buon mercato ma la promessa di una nuova scatola
e secondi cambia il tuo intero mondo
soprattutto dai vecchi tempi quando
la gente ha chiesto informazioni sul data center ora se io
ho bisogno di una scatola di memcache , ora posso averla
posso prenderlo alle 2:00 non c’è dubbio in
il vecchio mondo dovrei pianificare diversi
mesi prima e spero di uscire proprio da noi
usa la route 53 per DNS se di qualcuno
ELB curioso per quel primo livello superiore
il bilanciamento del carico funziona molto bene
gestito ec2 che usiamo per quasi tutto
altro e poi usiamo s3 per le nostre immagini
nei nostri registri Python siamo principalmente a
Casa di Python ma stiamo cambiando lentamente
Amo Python, lo farei di nuovo se lo avessi
è estremamente maturo e non lo so
c’era qualche bug che abbiamo incontrato nella comunità
davvero molto bene sembrava il nostro
dev è stato molto più veloce vengo dal PHP
mondo e mi sentivo come se fosse un po ‘
un po ‘più strutturato e non troppo
strutturato al punto in cui devo
fare una fabbrica di fabbrica solo per
ottenere un oggetto fuori sembra come posso
muoviti velocemente le librerie sono molto molto
bene penso uno dei più efficaci
strumenti di prototipazione rapida che possiamo costruire
con quello è disponibile l’unico problema
con Python è che è un
linguaggio interpretato e spazzatura
collezionista non ho trovato nessuna informazione su
Google su qualcosa di simile è
generazionale cos’è così sono andato e
finalmente leggi il codice sorgente e il
Il codice sorgente per il garbage collector è
questo lungo e se qualcuno ha scritto a
Garbage Collector sai che è quello
troppo corto quindi era troppo corto e così via
quello che significava che probabilmente era stato fermato
il mondo terribilmente ed era così che è
un problema con Python quindi alla fine
devo occuparmi di quel problema ma io ci siamo
solo ora a occuparsene alla scala
siamo a così direi se stai costruendo
qualcosa di nuovo va con ciò che funziona e
ciò che è veloce in particolare per il tuo
gli sviluppatori quindi se lo fanno sono persone Ruby
Ruby, qualunque cosa funzioni, ci stiamo ora spostando
Java e andare per un paio di corso
servizi e forse per sistemi più grandi
e questo è principalmente per la velocità
ragioni uh
usiamo Python per tutto la maggior parte della nostra
servizi e ora Java e vai siamo
iniziando a usare dovunque
piccolo che abbiamo davvero bisogno di essere veloce
e che la varianza deve essere bassa quindi
stiamo davvero stringendo il nostro SLA così
è come per il nostro strato di vernice per
caricare
il bilanciamento dei nostri indicizzatori di ricerca è tutto
scritto in che hanno un sacco di
lavoro da fare e hanno un sacco di CPU
calcolo molti dei nostri sistemi da parte di
modo solo tipo di girarsi e fare a
sacco di routing quindi il calcolo della CPU
non gioca in modo da poter farla franca
Python va bene e poi il nostro massimo
sistemi di frequenza come il mio sequel
servizi e i nostri router memcache e
tutta quella roba ora si sta spostando su Java e
se non hai usato vai è abbastanza bello
Mi piace un po ‘
bel mix di Python e Ruby ma è così
compilato e ha una spazzatura crescente
collezionista e le comunità in crescita
molto molto veloce okay, quindi il mio sequel
memcache questo è una specie della
battuta finale della cosa questi ventosi
hanno appena lavorato per noi sono sopravvissuti
tutto ciò che mettiamo contro ogni altro
il sistema nel nostro stack è morto in a
modo catastrofico e posso entrare in quello
se ti piace un po ‘dopo che è
sono entrambi estremamente maturi
sono ben noti e benvoluti
tutti li amano tutti li usano
se non l’hai usato, sì, se lo sei
non solo un utente che potresti avere
lo ha sviluppato e conosci questo tipo di
racconta il tempo di risposta da richiedere
tasso diminuito per aumentare linearmente
per noi significa che non era solo uno
giorno in cui la cosa è diventata super slow come noi
è cresciuto come se fosse successo a lei
intollerabile, quindi è stato davvero bello
proprietà di una certa altra tecnologia noi
trovato tra le 18:00 e le 22:00
siamo cresciuti un po ‘e siamo passati
un po ‘di magia e questo era e noi
passato da 10 millisecondi a 4 secondi
e ha dovuto ottenere più RAM in sostanza
è molto difficile da pianificare e
mi fa sudare quindi amo questa proprietà a
ottimo supporto quindi c’è extra
il backup per i backup online funziona molto
ben si sa cima si può dire che cosa è
succedendo nel mio sequel Matt kit will
dirvi il mio sequel e memcache e
la comunità è molto attiva
Facebook usa il mio sequel e rimanda a
lo utilizziamo per una clip molto rapida
la nostra memoria principale del nostro nucleo principale
dati tutti i pin delle nostre schede utenti
commenti domini cose del genere e
ora la monetizzazione e altri dati importanti noi
separare le nostre cose in mappature e
oggetti core e spiegherò di più
questo spiega di più su ciò nel
parolacce ci sono un sacco di
vantaggi tra dietro spaccare
quei due fuori e poi lo usiamo per
cose come dati di conformità legale dove
abbiamo bisogno di conformità acida perché
altrimenti
gli avvocati mi urlano e poi mi spavento
questo è quello che è
ci ha sorpreso un po ‘questo è nuovo
non tanto sangue quanto sudore
ma la complessità è piuttosto piccola se
tu guardi mai il codice sorgente che è
un po ‘strano è abbastanza bello, ma è così
funziona è molto semplice e funziona molto
molto bene la comunità è molto buona
le persone stanno amando che la gente sta mettendo
un sacco di gente ci sono
adottandolo twitter ce l’abbiamo io io
penso che Facebook fosse un pasticcio di Twitter
in giro con esso un po ‘così grande
le persone lo stanno usando proprio ora e
facendolo male in modi nuovi, la parte interessante
a riguardo è che se non l’hai usato è così
una memoria con valore chiave memorizza fino al
disco rigido e viene fornito con un sacco di
diversi piccoli dati di tecnologie
strutture quindi se hai bisogno di un set se tu
bisogno di un elenco se avete bisogno di un ordinamento eccetera
una tabella di hash o qualsiasi di quel tipo di
roba che supportano e anche più fresco
la nuvola è i diversi tipi di
modalità persistenti hanno il tuo
modalità di durata in modo da poterlo archiviare
giù fino al disco rigido ora come il mio
sequel non si può mai memorizzarlo
un po ‘come memcache quindi se la casella
va giù evapora come un classico
cache o puoi avere istantanee e questo
è un modo per immagazzinare il cervello
ogni 2 o 3 ore o qualsiasi cosa tu abbia detto
e questo è abbastanza bello specialmente
la nuvola quando inizia il tuo vicino
festa alle 3 del mattino e la tua latenza di
il disco rigido comincia a salire se si
può fare la modalità snapshot c’è una bella
buone possibilità che tu non lo memorizzi
quel periodo di tempo contro il mio sequel volontà
fermarsi e così abbiamo fatto per il nostro
feed principali abbiamo un modello push in modo che tutti
tempo se seguo tutti voi e voi
qualcuno mette un nuovo pin arriverà
nel mio stack così snapshotting era un
modello perfetto per quello perché se io se
abbiamo un centinaio di queste scatole e
il mio muore potrei tornare per una coppia
ore e indietro nel tempo ma poi lo farà
ricostituire e semplifica davvero
l’intero modello e dà è a
trade-off di quel comportamento strano per
tempi di attività molto migliori ed è anche aperto
fonte quindi significa che puoi aggiustare le cose
Ho sistemato molte cose su Redis su
anni hanno appena colpito il nuovo
problemi lo usiamo per il nostro tutto
il grafico del follower è memorizzato in Redis e
questa è la nostra copia dorata del nostro seguace
dati così ci fidiamo di questo
e lo abbiamo fatto per circa tre
anni ora , questo significa tutto il
piccolo
relazioni e follower follower
modelli di tipo complesso è possibile
seguire le schede o gli utenti, quindi è possibile
segui gli utenti ma non quella scheda che conosci
questo tipo di complessità lo immagazziniamo
tutto in Redis memorizziamo i nostri feed pubblici
lì dentro la ragione per cui immagazziniamo il nostro pubblico
si nutre di là e non è qualcosa di simile
il mio sequel è il mio sequel che vive ancora
negli anni ’90 è uno dei suoi punti deboli
sta vivendo con la Macarena e
tutto il resto è una struttura ad albero così
questo significa ogni volta che vuoi inserire
qualcosa hai messo qualcosa in cima
bisogna camminare un albero tutto bene
costruiamo questi giorni sembra essere un po ‘
sapore del social network che è a
combattere la coda del telefono in modo da mettere in alto la lettura
la top 20 è ciò che è Twitter
è così semplice ma il mio sequel è questo
struttura ad albero e quindi è lento e
Ne ho parlato con loro , ma è così
scopre che Oracle il mio sequel è stato costruito
attorno a questa struttura ad albero dal nucleo
così è un po ‘ difficile cambiare ma
se riescono a ottenere quello fisso, penso che
potrebbe essere una grande soluzione se no che
succede ogni volta che lo inserisci è lento
non funziona molto bene per la massa
inserisce ma il redis registrato realmente ha
una vera nozione di un elenco ordinato con un
o di 1 inserto e tutto si trova nella RAM così
è velocissimo e lo usiamo per
vari meccanismi di caching anche questo è molto
bello per il caching come se lo si volesse
memorizzare la scheda di qualcuno nella lista di
i loro pin puoi farne una lista di pin
ID e puoi dire dammi il secondo
set di 50 o qualcosa
quindi perché HBase perché dopo lo straccio Don questo
tipo di tecnologia lo abbiamo portato in um
è che è uh che ha un crescita
popolazione di utenti dedicati core e
ha funzionato abbastanza bene e ne ha alcuni
belle proprietà che non potevamo
replicare con il mio sequel o una Redis
Il grosso problema con Redis è che tutto questo
deve adattarsi a Ram quindi se ne abbiamo davvero
una buona percentuale attiva dice che è del 50% 60%
meglio o qualunque cosa sia ancora grande
pezzo che non sta usando il sito e
stiamo sprecando il pavimento della RAM o se lo dimostriamo
la gente 500 dei loro piedi e vogliamo
lasciarlo andare a 10.000 non può farlo
perché si trova solo nella RAM e costa
noi un pacchetto così HBase ha quel bello
nozione di un effettivo inserimento veloce è un
O di uno spillo alla fine enormemente veloce
sistema di scrittura in modo che ora supporti il nostro
i feed a casa è molto veloce
è difficile essere noleggiati per abbiamo dovuto
crescere i nostri esperti HBase
ha un bel forte Hadoop
integrazione quindi se si vuole fare
MapReduce puoi collegarti immediatamente
e la performance è stata davvero buona
le grandi persone lo usano come Facebook
così hanno calpestati molti dei
sto iniziando a problemi
chiedo se tutti continuano a usare
ho iniziato a sentire storie che
forse stanno andando via da esso c’è
domande sulla sua scalabilità sai
la promessa è che ha una grande magia
scalabilità ed è efficiente, ma io sono
chiedendo che sto iniziando a chiedermi se questo
sta davvero accadendo e mi sto chiedendo
Voglio guardare a guardare oltre il
prossimi due anni e vedere se quella promessa
gioca le idee principali con il mio sequel
se vogliamo avere un cortometraggio nel mio sequel
abbiamo detto in numero di caselle volte 2
o forse 3 volte perché vogliamo i backup
è a volte 3 è carina
caro ma per questo se ne hai uno
anello ciclico e fai tutta questa magia
condividendo puoi davvero farlo
in teoria in più 2 per il backup o più 3
per il backup che sembra davvero fantastico
soprattutto come si diventa davvero grandi io ma
Mi chiedo se le promesse reali
giocando fuori così io farò sapere più come
Lo scopro quindi lo usiamo per i feed degli utenti
ricchi dettagli pin funziona davvero bene noi
mettere le caratteristiche di spam in esso questa cosa è
davvero bello dal punto di vista operativo, puoi solo
crea una nuova tabella e fluisce fuori
dappertutto, quindi è così bello che tu
conosce la promessa gioca fuori
scalabilità quindi questa è davvero fantastica
sistema in cui investire e poi anche noi
avere una mappatura delle relazioni degli utenti per
spilli quindi cosa è successo ad alcuni di questi
tecnologie e intendiamoci questo è ora
tre anni, quindi molti di questi hanno
è passato oltre ciò che voglio usare
questo è più di un’illustrazione di cosa
succede quando usi un prodotto che non lo è
abbastanza maturo come ti piace e tutto
queste tecnologie hanno fallito con noi
in modo massiccio in un modo o nell’altro e io
sappi che molti di loro sono andati via
passato il loro punto iniziale, quindi sarò gentile
passare attraverso alcuni di questi e rispondere a cosa
è successo con loro ma non mi riprenderò
qualsiasi individuo così hanno incontrato il tuo
necessità di tutti questi di cui avevamo bisogno
contatori o ricerca quindi sì, come è maturo
il prodotto bene questo era il problema che abbiamo
non ho risposto a questa domanda tutto ciò che avevamo
con queste persone che vengono da noi dicendo
hey usa questa tecnologia scalerà il
luna per te tutti i tuoi problemi sono
ha risolto l’iscrizione che è comunemente usata
non abbiamo davvero risposto a questa domanda
molti di loro non sono in un classico
uno
Penso che sia venuto da Zynga e penso sia
ora sta cadendo sotto il tappeto
ora non è comunemente usato ed è stato
molto difficile trovare la risposta
certamente nessuno che sapeva come usarlo
quindi quello che ho finito con certo
le tecnologie erano il mio trucco di come
per usarlo e alla fine ho pubblicato
loro per altre persone con Memphis mio
il classico preferito è stato un errore
messaggio che dice qualcosa come 0 7 EF
un B è opaca non so cosa
significa che alla fine abbiamo avuto un cheat sheet
di quello
beh, questo significa questo e così è questo
si ottiene fuori di esso
tipo di pericoloso alle 3 del mattino
la comunità attiva su molti di questi
non erano così c’erano zero risposte
per uno di questi su uno di loro intorno al 2
Sono la cosa appena rotto sai
non c’è modo di aggiustarlo si aggiunge un nuovo
scatola inizia la replica magica inizia
andando e circa il 20% ha fermato okay cosa
sai che non c’è niente da spingere
nessuno ti ha dato altri strumenti per
Spingi la cosa ha un bug cosa fai
quindi quello che ho fatto è tra le 2:00 e
6:00 del mattino quando è sorto il sole, ho capito
torna sul mio sequel memcache e poi
problema risolto come ciò che è questa tempesta
bene questi sono questa è l’intera promessa
questi sono davvero belli se funzionassero
non ha buoni strumenti di debug
non molti di questi non esistevano e non c’erano
sono stati grossi problemi in giro così tu
non riuscivo nemmeno a scoprire cosa stava succedendo
sbagliato, quindi hai un problema che non hai
sai anche qual è il problema e tu lo sei
cercando di risolverlo e sono tutti gratuiti
quindi non c’era davvero un problema qui
avevano tutti strani diversi
questi hanno diversi contratti di supporto
e alcuni di loro sono molto strani
un’altra cosa da guardare se ne hai bisogno
sostenere alcuni di questi era così strano
contratti di supporto che non potremmo nemmeno comprare
loro era o troppo costoso o
la mente è eminentemente complessa, quindi se avessi un
seconda possibilità di ricostruire tutti i Pinterest I
amore che passa attraverso questo ogni volta in a
mentre la prima cosa che avrei fatto
è messo in connessione il primo giorno in cui l’ abbiamo fatto
modi terribili abbiamo avuto il mio sequel box dove
abbiamo registrato il mio sequel è un brutto posto per
log è un albero che ha bisogno di alberi con
logging quindi quello che vorrei fare è metterlo
in Kafka e fare una piccola cosa
mettilo nel problema s3 risolto allora tu
prendi MapReduce il primo giorno impara come
usa MapReduce c’è l’SQL 101, è così
facile mi ci vuole solo un’ora
usa anche le statistiche T delle statistiche che è stato davvero
bene ci stiamo imbattendo in un paio di
problemi di scalabilità con esso solo ora ma
è lavoro
con noi per tutto il tempo da cui proviene
Etsy essenzialmente dici di inviare un contatore
in questo modo è un pacchetto UDP, quindi non lo fai
preoccuparsi di quell’altro sistema
rompendo e potresti inviare segnalini
urti incontri o è possibile determinare se
vuoi e puoi inviare i timer così tu
posso dire che questo processo ha preso così tante cose
millisecondi che è una configurazione davvero semplice
e davvero bello da avere e poi lo farei
registra anche tutto ciò che ti farà risparmiare
un giorno in cui rovini il mio sequel se
stai conservando tutte le tue cose sul mio
sequel hai corrotto i tuoi dati
accidentalmente vai ai tuoi registri i dati sono
lì da ieri e puoi
recuperarlo si ottiene anche analisi di base
su come il tuo sito sta facendo e
recuperare il recupero dai dati
corruzione l’altro che vorrei portare
su è uh Nagios o qualche tipo di avviso
il primo giorno Unione o bene non ha significato
monitor monitor un’idea è una di queste
il primo giorno perché anche se lo è
progettato per svegliarti quando c’è un
problema ti farà dormire nel
i primi giorni sarebbe stato uno dei nostri fondatori
svegliarsi ogni ora nel mezzo di
notte
roll over check Pinterest è bello
vai giù torna a dormire così quando io
l’ha portato su il primo giorno che era
come Marty posso dormire di nuovo ho iniziato
perdere il sonno ora perché è iniziato
svegliandomi altre cose che avrei
fatto abbiamo iniziato intorno abbiamo iniziato in
Settembre su quel grafico quando tutto
era già caldo, quindi quando vuoi decidere
fare per passare a questo grafico
approccio hai il problema che tu
hai già un sito che devi mantenere
stai cercando di costruire questa nuova cosa
e stai cercando di trasferire i dati
quindi stai provando a fare un piccolo extra
carica da quella cosa e mettila sopra
ecco perché è stato un incubo che vorrei
l’avevo fatto prima è un po ‘difficile
per sapere quando ma ma il mio unico suggerimento
per te è in genere ciò che accade con
qualsiasi database in particolare utilizzando il mio sequel
è la prima cosa che fai è dirti
avere un piedistallo e un tavolo da seguire
prendi il tavolo dei follower mettilo sopra
scatola oh hai doppia capacità ora
bene, questo è tutto ciò che posso chiedere
a lungo quindi la cosa tipica che fai dopo è
inizi a fare schiave leggere e tu
fai più schiavi letti e fai di più
leggi gli schiavi nel momento in cui fai il tuo
prima leggi lo schiavo che è il tuo suggerimento
dovrebbe guardare a sharding subito
infatti la bomba ad orologeria è già iniziata
il problema con gli schiavi letti c’è
molti di loro uno dei più grandi
le cose irritanti sono quelle che fanno
questi strani bug sottili che metti nuovi
cosa nel mio sequel si cancella il cache
e qualcun altro legge prima di te
in realtà sai replicare i dati
fino a leggere gli schiavi e i problemi
dolore nel culo nel momento in cui inizi
pensando di aver bisogno di farlo
che quando si dovrebbe essere guardando un
la soluzione iniziale mi invierà una cattiva volontà
festa ci siamo anche addentrati in quello no
sequel trappola a causa dei problemi che noi
erano in tutto era in fiamme uh io
vorrei guardarlo da vicino, penso
potresti voler considerare molti dei
cose che ho sentito dalle aziende
in realtà è il capovolgimento che penseresti
che nessun segnale sarebbe buono nel
i primi giorni perché risolve il tuo
problemi operativi per voi risulta
molte aziende il momento in cui è possibile
in realtà supportano un sequel di cui sono gentili
di emozionato hey possiamo averne alcuni
ingegneri che possono effettivamente supportare HBase
e possiamo usare la tecnologia per il suo
è buone proprietà nei primi giorni
quando hai due e tre ingegneri io
dire bastone con ciò che è semplice bastone con
cosa funzionerà con ciò che sarà
riparabile alle tre e quando le cose
rotto abbiamo anche usato un sacco di strano
tecnologie per test di background
elaborazione c’è un classico RabbitMQ
cluster tecnologia Abell dove si inserisce
qualcosa da una parte e viene fuori
l’altro modo troppo complesso non è stato ridimensionato
con noi siamo infine andati a Pyrus
che è solo una collezione di scatole
nutrire da Redis e l’ abbiamo imparato
Redis funziona molto bene, quindi Redis è un
mangimi giganti mettono roba sulla cima che dici
Voglio eseguire questa attività vedere un Python
i processi richiedono una corsa che non potrebbe essere
più semplice che semplifica tutto noi
aveva l’altra cosa che consiglierei è
nei primi giorni ne avevamo anche uno solo
imbuto di tutti i compiti che è stupido
si dovrebbe dividerlo fuori nel
compiti importanti e non importanti
compiti forse anche la priorità in modo uno
esempio è se vogliamo creare un nuovo
pin e avremo un paio di compiti per
facendo nuove immagini dobbiamo farlo ora
ma se abbiamo bisogno di inviare tweets che
vedo l’ora di fatto posso anche aspettare un’ora
sai se le altre cose sono rotte
vuoi essere sicuro che le cose siano esagerate
lavoro ora vorrei che avessimo assunto un tecnico
operazioni persona prima del momento
quel tizio entrò e iniziò a fare il
passi da chef e burattini in cui burattini
osserva ogni cosa in modo da poter far apparire un
casella premendo alcuni pulsanti che hanno fatto
tutto molto più facile che avevamo
questi che ho chiamato lista di controllo di Apollo 13
perché quello che potrebbe andare storto e tu potresti andare
giù i passaggi per far apparire il mio sequel
scatola e spero che li abbiate tutti tranne
ci vorrebbe anche un po ‘di tempo in modo fantoccio
fatto in modo che tutte le nostre scatole potessero
vieni piuttosto veloce se ne avessimo bisogno
cambia una proprietà incrocia tutti
loro andrebbero magicamente attraverso tutto
loro così ci ha dato la scalabilità che vorrei
aveva fatto in precedenza e unit testing
potrebbe essere stato anche un ottimo
scelta
prima piuttosto che solo sperare
al meglio e finalmente un test è
qualcosa che vorrei avessimo portato
prima è molto facile aggiungere ciò che noi
ora chiama un decisore in cui puoi crearne uno
un giorno una versione simbolo in pratica di cosa si tratta
ti permette di fare è dire di avere un intero
elenco di diversi tipi di proprietà
esperimenti o qualunque cosa tu voglia e tu
avere un piccolo trascinamento un piccolo cursore così
potresti dire questa cosa nuova di zecca che sono
portando dentro volevo portarlo fino a
Il 5% va bene funziona ora il 10% va bene funziona
ora 100% o se qualcosa se a
sistema non critico è rotto hai
uccidere interruttori in modo da poter spegnere
istantaneamente in modo da poter costruire il sistema
puoi fare un po ‘di semplice avvolgimento
Potrei anche avere una fonte aperta
non sono sicuro e quindi l’idea è che lo è
nel mio seguito sale a memcache e
tu dici che dovrei mostrarlo o meno e questo
ti dà un po ‘ ti dà un po’
instradamento all’interno del codice davvero
ultima cosa comoda in attesa
stiamo crescendo ad oltre 400 persone
ora stiamo colpendo cose come come facciamo noi
vivere virtualmente come facciamo come costruiamo
la prossima grande cosa come facciamo
più veloce in sostanza, come possiamo costruire di più
Lego in modo che possiamo costruire il prodotto
due volte più veloce e due volte più buono che è
tipo della nostra sfida attuale in modo che noi
puoi ottenere quell’imbuto andando molto velocemente se
possiamo avere 400 esperimenti in corso
una volta invece di dire 100 che ci dà un
molte più opportunità di vedere il prossimo 5%
e se possiamo continuare a sovrapporre questi 5%
andremo sulla luna e poi continueremo
per migliorare molto le nostre collaborazioni
importante perché, come abbiamo più grande
la collaborazione diventa più dura e la mia finale
piccola cosa per te è solo divertirsi
con questa cosa la cultura è un grosso problema
in molte aziende ce ne sono molte che hanno
fallito a causa della cultura tossica che hanno
costruito e ho sentito e trovato che nel
iniziando se rendi la cultura divertente
alle persone piace venire li a loro piace
trascorri le loro ore di luce con te e
a loro piace avere cose divertenti da costruzione
con te quindi se stai costruendo un nuovo
tipo di avvio di concentrarsi su quello se potete
assicurati che la tua gente stia avendo
divertente perché questa dannata cosa lotta
abbastanza difficile quindi non divertirti sul serio
prendi quel cuore ci sono delle domande
guardiano dello zoo um sì sì oh grazie così
la domanda è che c’è un altro
i mouse di tecnologie uguagliano più semplice in
la complessità e c’è una Cassandra
molto più complesso e di qualcosa
come il guardiano dello zoo, così i guardiani hanno costruito su a
Paxos ish cosa che non penso sia
effettivamente veri paxos per arrivare a
consenso e in realtà mi chiedo se
è stata la scelta giusta che sembra essere
funziona bene ma è passato molto
di seccature lo usiamo principalmente per
gestione della configurazione quindi quale casella è
vivi dove e pub / sub e questo tipo di
cosa mi chiedo se Redis potrebbe essere stato
una scelta migliore che conosci abbastanza vicino
la consistenza finale sarà questa cosa
ti dico che il momento è tutto è il
lo stesso ma tu perdi ti dividi il cervello
problemi si ottiene tutti questi altri
problemi quindi se stai attraversando il
la stessa cosa esatta per la configurazione
gestione penso che sarebbe un ottimo
domanda per chiedere so che abbiamo avuto il nostro
problemi con zookeeper ma al momento
essa sembra funzionare
Mi chiedo se qualcosa come Redis o semplicemente
indossando un s3 potrebbe andare bene si può fare
una specie di pub in sottosviluppo
ci sono una specie di semplice sondaggio
più domande fresche così se qualcuno
interessato posso uscire qui e parlare
su sharding se vuoi ottenere di più
in Nitty Gritty o in qualsiasi altro
domande che hai grazie
Please follow and like us: