[Musica]
ciao a tutti di nuovo tutti quelli che non l’hanno fatto
rendere al keynote in precedenza sei
uno dei piccoli eventi che non ha funzionato
accadono cose di cui stavamo parlando
pregiudizi di selezione per le persone che non lo facevano
tornare al mio keynote ma comunque sono
passerò parlando del caos
l’architettura adesso per me questo è
questo è davvero il risultato
modello di disponibilità per un nativo del cloud
applicazioni se stai cercando di costruire
roba che è davvero presa da cloud native
vantaggio di tutte le cose bene come
si dovrebbe pensare alla destra
modello per la costruzione altamente disponibile
applicazioni allora così sarò partono
con alcune domande perché indietro quando io
era un architetto in generale che conoscevo
l’ architetto generale di Netflix e mio
il lavoro quindi non era quello di dire alla gente che cosa
l’architettura dovrebbe essere, erano gli Stati Uniti
domande imbarazzanti per le persone e provare e ottenere
le persone per ricordare questi imbarazzanti
domande e chiedetevi a vicenda quelli
domande imbarazzanti e che hanno aiutato a guidare
le persone in una buona architettura
certamente ne esaminiamo alcuni
domande e questo è questo è uno di
quelle domande che cosa dovrebbe il vostro sistema
fai quando qualcosa fallisce e il solito
risposte non voglio che fallisca e
poi vai in giro ora un paio d’ore
dopo si ammette finalmente che cosa succede se
quando fallisce dovrebbe fare qualcosa e
Dovrà fare uno dei due
cose e sarà necessario
basta perché non sei sicuro di quale stato
è tutto dentro e questo è preoccupante
perché fare le cose per iniziare o è
andando a continuare con qualche tipo di
funzionalità ridotta tutto bene e
forse puoi nascondere il fallimento abbastanza se
stai attento per assicurartelo
porta avanti o ignora il fatto che
qualcosa è fallito, quindi c’è quel tipo
della cosa ma questo è fondamentalmente il
due scelte che ottieni e andiamo un po ‘
più specifico della ricerca delle autorizzazioni
fallisce qual è la cosa giusta da fare lì
questo diventa un po ‘più di applicazione
dipendente
perché molto spesso la gente se ne va
qualcosa non funziona è per un’eccezione
questo è solo un codice in uscita se questo
fallisce l’eccezione Babar qualunque lingua
sei dentro di te, dico che non sono riuscito a leggere il
cosa sono andato al campo ho letto il
dati che mi aspettavo di vedere, quindi sto andando
per tipo di gettare un’eccezione e fermarsi
e poi qualche errore di ritorno su invio
eseguire il backup di 500 o qualcosa di nuovo su
il cliente, ma come era
qualcosa ci è voluto un po ‘di tempo
con Netflix perché il costo dell’errore
su Netflix è che non ci riesci
guarda un film ma se non sei sicuro di se
qualcuno è in realtà dovrebbe essere in grado
per guardare un film, ma sembra plausibile
come sembrano avere un biscotto
forse non è aggiornato e tu
vuoi riconvalidare quel cookie e te
non è possibile riconvalidare il cookie, quindi cosa?
il costo di continuare come si arriva a
guarda un film gratis e non è così
troppo costoso , possiamo permetterci di farlo
guardi un film gratis perché è così
colpa nostra che non possiamo dire se tu
dovrebbe essere in grado di fare le cose questa cosa
o no così che funziona per Netflix ora se
sei nel settore bancario e stai cercando di
spostare un trilione di dollari da un account
ad un altro probabilmente la cosa migliore da fare
è fermare questo punto piuttosto che andare
solo andando ad ipotizzare che anche se io
non posso dire se i sistemi di frode
probabilmente dovrei semplicemente smettere tutto
destra
o forse se la maggior parte delle mie transazioni
sono transazioni davvero piccole e posso
coprirlo come il marketing il
problema di marketing il colpo di marketing da
dall’avere un’interruzione e pisciare fuori
clienti fermando forse meno di
la probabilità attuale che qualcuno sia
cercando di fare una transazione fraudolenta in
il sistema in modo forse si dovrebbe solo
continua e lascia che passi attraverso però
i sistemi di frode si abbassano e ne conosco uno
questo è il nostro sistema di pagamento online dove
questo era in realtà l’algoritmo se
qualcosa se non potevano dire che
sarebbe solo continuare e se ci fosse
un po ‘di frode hanno appena mangiato la forchetta, intendo
c’è un costo di fare
affari, prendi il budget
e dì sì, la nostra frode era più giusta
ora perché il nostro sistema è di nuovo inattivo
è colpa nostra che non potevi farlo
quindi pensa a questo pensa a ciò che è
il costo effettivo può coprire quel costo
nel business stesso
o vuoi essere in grado di fare solo un affare
con esso o è la cosa giusta da fare
in realtà inizio e c’è una bella bella a
bella carta su questo di Pat inferno ed è
tipo di lui in una zona correlata è cosa
i ricordi suppongono e si scusano e lui è
davvero parlando di sistemi di database
sistema di database un sistema che dice per favore
ricorda questa cosa per me e poi morso
in seguito dici che puoi ricordare questo
cosa e indovina cosa hai chiesto cosa
l’hai detto l’ ultima volta o forse solo
mi sono scusato di non aver idea di cosa
stai parlando di tutto bene quelli sono
i tre risultati che puoi ottenere
o le tre fasi di trattare con il
database e che uno dei punti lui
fa nella sua carta è che a volte il
codice che usi per provare a gestire il
l’eccezione è in realtà così complessa e così
mal testato che è ma di solito
fa scoppiare e rende peggiore e il migliore
la cosa potrebbe essere solo dire di chiamarlo
numero del servizio clienti e qualcuno
simpatico ti parlerà e
le persone sono molto adattabili possono
gestire più problemi e hanno
non muoiono cordoni al telefono
giusto perché hai colpito un percorso di codice
che non era mai stato eseguito prima di allora
è una specie di persone incoraggianti a pensare
sulle conseguenze e anche su quello
l’escalation o l’essere umano è effettivamente dentro
molti casi un buon risultato o un buon modo
di scusarsi con il cliente che loro
non poteva ottenere qualcosa che non lo fa
lavoro ogni volta ma è ed è a
piccolo scritto su quello che c’è
un’altra mia domanda preferita
avere un centro dati di backup e, naturalmente
hai un centro dati di backup, se tu
stavano facendo un po ‘interessante il
importante pezzo di lavoro a tutti
fa e poi la domanda di follow-up come
spesso non ci riesci, questo è dove
la gente inizia a sembrare preoccupata di averne una
pochi sapete che poche persone ci provano, no
molto spesso o mai
Non ho mai sentito molto e poi come
spesso cadi sull’intero dato
centro in una volta e alcuni altamente regolamentati
industrie questo accade forse una volta a
anno o forse anche questo o non lo siamo
lavorarci o una volta è come noi
ho appena trascorso nove mesi a pianificarlo
e sono riuscito a farlo con successo
la prima volta un paio di settimane fa, sono molto
orgoglioso giusto ok che era bello e cosa
successo hanno trovato tutti i tipi di
problemi e loro non vogliono farlo
ancora
è difficile, così lo chiamo
teatro della disponibilità di cui hai sentito parlare
teatro della sicurezza questo è dove si prende
le scarpe in aeroporto perché è così
ti fa sentire tutti più sicuri
un modo strano anche se non è mai e
hanno salvato qualcuno di proprietà o
problemi all’aeroporto questo sei tu
spendere tutti i soldi su un altamente
disponibile centro dati di backup che tu
spero che non riuscirai mai a farlo
giusto ma hai passato il
moti hai spuntato le scatole che hai
il tuo centro dati di backup, ma se mai
in realtà provalo e usalo con rabbia
in un mondo di dolore e spenderete
giorni cercando di riavere tutto
funzionando correttamente nel nuovo data center e
un’altra cosa che ho scoperto quando ho
vissuto attraverso questo quando ero a eBay
abbiamo fallito e ci sono voluti un giorno o due
perché non eravamo pronti per questo e
poi quando il fallimento ha richiesto un mese o
due non ha la stessa quantità di
tempo di fallire indietro ci vogliono ordini di
grandezza più lunga perché il sistema è
ora in questo incredibilmente fragile
stato senza documenti in cui è atterrato come
un risultato di un’interruzione e di commutazione
torna al tuo centro dati principale senza
causare un’altra interruzione è incredibilmente
problema delicato e tutti sono occupati e
tutto è fuori di testa ed è a
cosa veramente dolorosa quindi è così
doloroso per il failover è ancora di più
doloroso per fallire, quindi quello che abbiamo è
questa fiaba c’era una volta in
teoria se tutto funziona perfettamente noi
avere un piano per sopravvivere ai disastri che noi
pensato in anticipo questo è solo è
una bella idea
a differenza della maggior parte delle fiabe ha un piuttosto
finale infelice però perché è davvero così
in pratica hai capito
non lavorare fuori perché il problema è questo
la cosa che è andata storta non è la cosa
hai pensato in anticipo e tutto
non funziona perfettamente in realtà il tuo
sistemi di disaster recovery e failover
i percorsi del codice e i processi sono i
parte meno testata di tutto il tuo
ambiente per quasi tutti giusto
non appena inizi ad entrare in alcuni
le modalità di test le cose vanno storte quel composto
il problema solo perché tutto è
accumulare nel passare attraverso esorcizzante
codice che non è mai stato testato
come se guardassi la copertura del test sì
la mia copertura di prova tradizionale potrebbe essere
piuttosto bene qual è il tuo errore di gestione
copertura del test del codice terribile e il
combinatoria di ciò che potrebbe andare
sbagliato
ancora peggio quindi è come se lo sapessi
è davvero difficile da gestire così
ecco alcune cose vere che vanno storte
qualcuno qui mai dimentica di rinnovare un
nome di dominio è un po ‘fastidioso se
è il tuo dominio personale o qualcosa del genere
ma se sei un rivenditore SAS questo è successo
l’anno scorso ma praticamente quello che ho
ricorda che questo è stato l’amministratore delegato che lo ha twittato
era l’unico veicolo che avevano lasciato che
avevano il loro nome sul marchio così ha preso
la società per account Twitter che era
non legati alla loro nome di dominio ero
tweeting dispiace raffica dispiace siamo
lavorando su di esso stiamo cercando di prenderci
backup no non puoi inviarci nessuna email via email
i nostri sistemi interni stanno lavorando no
non abbiamo un canale lento abbiamo no
capacità di fare qualsiasi cosa nel tutto
compagnia perché tutto nel
la compagnia era quella società denominata comm e
la società denominata comm non è più un
dominio registrato quindi tutto si ferma
come questo è come questo è anche un altro
problema interessante risulta il
il modo più veloce per rompere qualsiasi cosa è il DNS
lo prendi semplicemente DNS e ti scherzi con te
può prendere qualsiasi cosa sia
l’anello debole in quasi tutto il online
sistemi che abbiamo costruito e tu vedi questo
e ancora una volta così pensa a questo cosa
faresti come potresti farlo
più robusto quindi pensi bene se
avresti pensato che questo attraverso te
forse avere un secondo un secondo indirizzo DNS
che tutto sarebbe fallito per te
conosci il nome della compagnia di backup e tutto
il tuo codice cliente e tutto il tuo failover
è una sorta di reindirizzamento integrato
il tuo sistema che forse è il tuo web
le pagine hanno collegamenti o qualcosa che c’è
qualcosa che in qualche modo sa reindirizzare
a questo puoi eseguirlo nei test ma tu
ora hai un completo completo
sistema in cui ora hai un ridondante
nome nel tuo ambiente DNS e tu
potrebbe ospitare quel nome in un DNS diverso
fornitore giusto così ora che hai ottenuto
I fornitori DNS occasionalmente hanno problemi
quindi ora stai lavorando con due diversi
Fornitori DNS due nomi diversi che hai
costruito o il codice si prova si può
in realtà dimostrano che questo funziona e questo
tutta la classe dei problemi se ne va e io
pensare perché il DNS è un collegamento così debole
solo voluto portare questo uno è
qualcosa a cui ho pensato abbastanza
un po
è una specie di problema gestire più persone
Venditori DNS ed è uno degli open
progetti di origine in cui sono stato coinvolto
costruendo quando ero a Netflix cosa
chiamato denominatore è una libreria Java
con driver per molti DNS diversi
fornitori ma con API standard e a
Modello di oggetto DNA DNA molto ben progettato
la carità è una cosa molto standardizzata
la maggior parte delle librerie per esso sono
piuttosto traballante, ma se si sta facendo questo in
Java c’è che c’è una bella biblioteca
là fuori non penso nulla di ciò che Netflix
è attualmente in manutenzione era per lo più
io e Adrian Cole ce l’abbiamo costruita e noi
entrambi hanno lasciato così ma è ancora là fuori così
questa è una cosa che va storta, sì
il modo in cui non fare questo assicurati di te
rinnova le tue voci DNS ah ok prima
la gente lo ha visto tutti come te
non ho visto questo quindi non sei veramente
eseguire qualsiasi cosa su larga scala perché è
così frequenti tante interruzioni sono causate
da un certificato hanno timeout e
lo si installa e pochi anni dopo
colpisce la fine e qualcosa smette di funzionare
quindi di solito c’è un’interruzione totale del sistema
abbiamo avuto vari giochi e dividere i dispositivi
i tipi di dispositivi scadono perché
abbiamo avuto il taglio se ci pensi
come funziona Netflix in streaming su a
dispositivo come una console di gioco o qualcosa del genere
e il venditore di quel dispositivo ti dà
una chiave per autenticare ciò che è a
console valida e timeout di tali tasti
devono essere rinnovati e cose del genere
quindi i tasti di rotazione automatica devono essere cont
si trasforma in un fatto interessante da
essere bravi e c’è una parola che AWS ha
recentemente costruito alcuni prodotti che
ruotare automaticamente le chiavi o qualsiasi altra cosa
frequenza che vuoi ogni poche ore
lo sta attraversando in modo dinamico
completamente automatico tutto si esaurisce
quindi va bene, ma pensaci
certificato equivoca la sicurezza
certificati e chiavi come un modo che tu
può avere interruzioni che dovresti essere
tenendo traccia abbiamo anche costruito uno strumento aquilone uno
delle cose che la scimmia della sicurezza ha fatto
uno degli strumenti di automazione di Netflix
che guardava tutte le chiavi che potevano
trova guardato le date e se l’ha ottenuto
vicino a una data che inizierebbe a inviare
avvisi e urlando a voi che questo
la cosa deve essere risolta presto così
puoi costruire un monitoraggio per un in
un sistema che va e in qualche modo trova tutto
di queste chiavi nella tua
il tuo sistema in modo che quello qui sia un altro
Ho un amico che lavora a New York
e ha avuto una brutta giornata con tutti i dati
centro allagato quando è un data center
allagato non funziona molto bene
i computer subacquei sono qualcosa che a
alcuni di noi hanno dovuto lavorare su questo
gli ci è voluto un po ‘per riaverlo
perché questo è lo scenario di test
che non hanno testato molto spesso correttamente
quindi queste cose accadono ad AWS che abbiamo
queste zone in ogni regione e abbiamo messo
le zone tra 10 e 100 chilometri
a parte che ci sia abbastanza vicino insieme
avere una latenza abbastanza bassa da fare
scrive sincrono su di loro ma lontano
abbastanza a parte che non sono nel
lo stesso tornado traccia inondata di pianura senza potere
griglia sai che la gente sta scavando
cavi e cavi di alimentazione e tutti quelli
cose che sai l’ aereo si schianta tutto
cose che potrebbero portare fuori un edificio
fare in modo che le nostre zone
tre zone in una regione che noi
in genere costruire abbastanza distanti così se
guardi come se avessimo una regione
a Parigi e c’è come se tu prendessi Parigi
c’è come se fossero tutti diversi
angoli di Parigi proprio lì in tutto
è un po ‘come noi
non dire alle persone dove sono
per ragioni di sicurezza ma loro sono te
sai che vuoi renderli abbastanza lontani
a parte questo se perdi solo te
ne sono rimasti due che tutto può funzionare
e poi sai solo che sarà
fastidioso che torni da questo
conferenza e qualcosa si romperà
orribilmente giusto questo succederà
quindi come puoi affrontarlo e questo è
questo è un ottimo consiglio
Chris Pinkham costruito il primo
versione di AWS ec2 circa 10 10 anni fa
e sono stato abbastanza a lungo ne conosci solo alcuni
anni dopo ero a una conferenza
e parlando con lui e questa è una frase
è venuto con te non puoi legiferare
contro il fallimento a cui non riesci a pensare
tutto ciò che potrebbe andare storto e scrivere
una regola che dice questo non dovrebbe accadere
ci sono troppe cose in modi diversi
può andare storto, così ha detto che dovevi
concentrarsi invece sul rilevamento rapido e
risposta e se sei molto bravo
nel rilevare che qualcosa è andato storto
e molto veloce nel rispondervi
può gestire qualsiasi cosa venga lanciata
tu e questa è la base questo è il
La filosofia dietro il modo in cui gestisce il suo AWS
incidente
sai che ovviamente ti prendi cura di
roba ovvia ma se pensi al
conosci l’esempio che ho avuto questa mattina
questi sono esempi della deriva in fallimento
problemi che non sono mai accaduti nel 95
milioni di ore di volo e poi il
l’aereo si schianta contro quelli che non eri tu
non può legiferare contro questo fallimento
perché sai che è come 30
anni dopo hanno costruito l’aereo loro
avere un problema ma se avessero avuto di meglio
risposta di rilevamento allora forse lo farebbero
sono stato in grado di trovare quel problema
quello non è mai accaduto prima e questo è
il tipo di cosa che stai cercando e
allora sai che il tuo sistema funziona affatto
quindi questo è un problema di maggiore visibilità e
come dovrebbe recuperare dopo il
il fallimento se ne va subito
il problema di questi data center
failover e quindi non essere in grado di fallire
torna facilmente come si risincronizza
i tuoi dati in seguito
alcuni di voi potrebbero essere stati nei discorsi di Kyle
ieri era quassù in realtà
non molte persone nel suo discorso
deludente che Cal Kingsbury e
peter baelish
ha scritto un bel documento nella coda ACM
bender ha chiamato la rete è affidabile di
Naturalmente la rete non è affidabile e
questo è il punto in cui questo è il primo
fallacia del calcolo distribuito tutto
Giusto , sai , sai
la larghezza di banda è infinita e la latenza è
zero e cose ma la rete è
affidabile è il primo errore ed è a
grande carta elenca tutti i modi oh
è solo un elenco di casi studio di casi
dove le persone sono state scoperte dal fatto
quella rete partiziona e si comporta
stranamente ed è un ottimo modo di
pensando a questo e questo è un
rete tra il cliente e te
e tu, il tuo cloud o il cloud
tra le tue macchine diverse nella tua
data center o c’è un sacco di
diverse reti qui il più il
più vicino si può raggiungere una rete
il sistema è probabilmente seduto al
console di un PC o qualcosa che sei
non c’è rete che funziona
a livello locale e non è molto
sistema utile perché i tuoi clienti sono
più lontano da dove hai avuto il tuo
i miei computer parlano stamattina
il keynote riguardava principalmente questo libro in
Capitolo due quindi non entrerò in quello
grande dettaglio oltre a quello che dico
la gente non leggere questo su aerei
perché ha degli incidenti aerei in esso e
questa mattina è stata la storia di quelli
l’aereo si schianta rilasciare è un altro
libro davvero interessante il primo
l’edizione di questo è uno dei libri I
ha dato a battere Christensen e bench mouse
e andarono e costruirono degli isterici che
è il codice dell’interruttore che è stato mantenuto
abbastanza noto ora e l’intera idea
degli interruttori automatici provenivano dal primo
rilascio al libro ma è stato bello avere
un’implementazione di esso e di essere per essere
una specie di parte di questo ruolo come
l’architetto doveva dare i libri giusti a
le persone giuste e, si spera, al
momento giusto o abbastanza presto che hanno ottenuto
le idee e poi hanno funzionato così
sai che puoi dire che ero lì
alla nascita dell’idea e poi
non ho avuto niente a che fare con il
implementazione di esso ma assicurandoti
nutrire le idee giuste per le persone giuste
fare le domande giuste è una specie di una
delle cose che mi piace fare secondo
edizione è uscito abbastanza recentemente e a
un sacco di grandi aggiornamenti in questo
e, si spera, quando vai a
Conference, la Michael non è in questo uno
ma ha detto un sacco di go-to e Q con
tipo di conferenza è sicuramente la pena
vedendo così parlerò di caos
architettura e il mio modo di pensare
questo è che ci sono quattro strati a
squadre ed è anche un’attitudine
passiamo attraverso questi strati di base
infrastrutture e servizi dell’edificio
blocca i mattoncini Lego che stai costruendo
fuori fuori la cosa chiave qui che si desidera
assicurati di avere più di un modo per
fare tutto e più di un posto per
mettere tutto a destra in modo che vogliamo
ci sono tutte queste cose che ho
Mettiamo solo alcune delle regioni che abbiamo
non vuoi avere un singolo punto di
fallimento quindi forse vuoi zone e
regioni e forse diversi modi di
fare le cose, è bello
di base
la maggior parte delle persone ottiene quella parte difficile
è il livello successivo perché ora hai
per capire come si interconnette
queste cose come connetti il tuo
clienti a questi posti ridondanti e
come cambi le cose e questo significa
se cambierai clienti da
essere assistito in un luogo a
un altro i dati devono essere lì a
serviteli ora se questa è zone in a
regione che è sincrono i dati
già lì ma se stai andando croce
regione devi ora venire con alcuni
cross area o cross data center
modello di replica e si potrebbe
capire la coerenza finale della latenza
tutte queste cose e devi fare
instradamento del traffico quindi se qualcosa va
in basso devi reindirizzare i clienti
da qualche altra parte e poi quando arriva
di nuovo in su devi fare questo anti
recupero di entropia perché il tuo sistema è
ora in uno stato incoerente hai
aggiornamenti qui ma perché il
la rete era inattiva o il sistema era inattivo
non vede l’aggiornamento, quindi cos’è
il tuo sistema per fare l’anti entropia
recupero e recupero di tutto
in posizione calkins abbiamo parlato un bel po ‘
di alcuni di questi ieri se tu
guarda se usi qualcosa come Cassandra
hanno un algoritmo anti entropia che
corre continuamente e poi c’è un po ‘
di una versione quotidiana di ciò che genera
Alberi di Merkle e li combina per capire
fuori per mantenere tutto in sincrono ma
questo è il tipo di modello automatizzato o
forse è proprio come Reese in un
disco giusto se si conosce il mirroring
i dischi questo scende voi lo sostituisci tu
è sufficiente copiare tutto su di esso potrebbe
sia così semplice, pensa a questo livello
ancora questa è la parte meno testata
di qualsiasi sistema giusto a trovare troviamo in
casi generali che stai costruendo molto
sistema disponibile ma se non lo sei
testarlo spesso e in concerti di
modi interessanti in cui non sei veramente
gestendo tutta la gestione del codice di errore
percorsi e persone e processi
coinvolto nel far sì che tu possa
reindirizzare le cose e far funzionare tutto
questo è il livello di commutazione sopra quello che noi
avere applicazioni e cosa fai
non era un’applicazione se si ottiene un
errore o ottiene una risposta molto lenta
o c’è che lo perde gocce a
connessione intendo normale uso tuo
l’applicazione esegue semplicemente non hai
questo problema, ma è abbastanza facile da
prova questi sono particolarmente se è un
micro servizio un micro servizio ne fa uno
cosa così ha un singolo verbo o nome
o qualunque cosa faccia e ha un
serie piuttosto limitata di dipendenze e
se è solo come posso fare questa cosa
è realisticamente facile da testare e tu
può alimentarlo dati cattivi e assicurarsi che
fa la cosa giusta e restituisce il
Voglio dire , restituisce qualcosa
interessante o non semplicemente crollare
un mucchio o forse scrivere i dati sbagliati
nel posto sbagliato che vuoi evitare
corruzione, vuoi evitare qualsiasi cosa
sembra corruzione dei dati silenziosa ma
questo è
se tu se lo stai facendo con a
l’app monolitica ha ottenuto qui a
cento cose diverse e ha
tutte queste API non ci sono molte e
molte cose sono molto più complesse
motivo del comportamento di un’app che
fa più di una cosa quindi questa è una
dei motivi per cui i microservizi aiutano
costruisci questi sistemi più affidabili
perché puoi ragionare sul comportamento di
ogni singolo componente separatamente
e puoi testarli separatamente che puoi
scorrere su di loro separatamente in modo che sia il
applicazione e soprattutto che ci sono
queste cose fastidiose chiamavano
operatori e utenti ma persone giuste e
quando i sistemi sono in ripresa da
i problemi iniziano a comportarsi diversamente
dal modo in cui normalmente li vedi
operare e la gente interverrà quindi
e romperli come il sistema che era
come lottare per sopravvivere ed è così
facendo sta facendo del suo meglio per recuperare e
ti eserciti su tutti quei percorsi di codice
si comporta in modo strano hai qualcosa
riavviare questo e poi quello
di solito lo peggiora in a
riavvio del sistema distribuito forse il migliore
cosa da fare sul tuo PC o sul tuo telefono ma
in un sistema distribuito di solito lo fa
è peggio e dovrebbe essere un ultimo
cosa resort ci sono un sacco di casi a
molte applicazioni non riavviabili
risulta così tanti esempi di questo
potrebbe il mio tipo di esempio preferito I
penso sia il disastro nucleare di Chernobyl
molte persone ne hanno sentito parlare io sono te
conosco il reattore fuso sì, ma perché
si è sciolto non si è sciolto
poiché il reattore ha fallito, ha reagito
sciolto perché gli operatori erano
eseguendo alcuni test e durante il test
si sono confusi su quello che stava succedendo
e loro e ha iniziato a uscire
controllo
e perché erano nel mezzo di un
test e non l’hanno mai visto andare
controllo ha iniziato a ignorare gli allarmi e
treno e appena diventato confuso e il
la cosa è completamente fuori controllo e
sciolto , ma la causa iniziale era
che stavano facendo alcuni test e
poi si sono confusi forse potevo
perchè hai ragione ma pensi che quello
problema causato era se c’era abbastanza
usabilità nel design e tu conosci il
le cause risalgono a un lungo cammino ma tu sai
la cosa reale che ha provocato
questo l’ultimo grilletto era che loro loro
si sono confusi quando ne stavano eseguendo alcuni
prova per dimostrare che stava funzionando quello
stava funzionando bene
questo è un altro esempio dovrebbe questo
mattina in modo ogni volta che si va in un
costruendo vedi gli ascensori
non usare gli ascensori in caso di incendio
e vedi nel parcheggio c’è un
punto di raccolta tutte queste cose che sappiamo
lo facciamo è un po ‘noioso fino al
la costruzione è davvero in fiamme e poi tu
uscire in sicurezza e le persone sopravvivono così
questo è questo è il test delle persone
è universale è ovunque nel mondo
mondo sappiamo come salvare vite umane
avere risposte standardizzate a a
tipo specifico di incidente e modi per
sai gli allarmi antincendio , sappiamo cosa sono
l’allarme antincendio suona come e sappiamo cosa
noi dovremmo fare il bene in modo che il
la domanda quindi è chi gestisce il sorteggio del fuoco
480 nella propria infrastruttura cosa fa
l’allarme suona come tutti sanno
cosa fare quando si verifica l’allarme
sapere dove andare cosa fare come trovare
i cruscotti giusto Come per accedere al
sistemi giusti come chiamare il giusto
numero di telefono come comportarsi su quel telefono
in quella conference call dove sei
parlando di cosa sta succedendo
lavoro veloce risoluzione questo è tutto
puoi praticare questo è il livello di persone
quindi la mia risposta è questa che dovresti
probabilmente hanno un team di ingegneri del caos
è bello avere una squadra separata
ma potrebbe essere solo qualcosa che le persone
fai e forse c’è qualcuno e il tuo
la compagnia è la persona che risolve sempre
quando le cose si rompono forse non lo fanno
in realtà non hanno quel titolo ma
sono effettivamente l’ ingegnere del caos
e c’è un grande libro che puoi ottenere
copia firmata di questo a pranzo da KC e
era uno degli autori principali su questo
e questo è un po ‘come dargli un nome e
un insieme di principi base che hanno
loro là il loro intero ethos e il
come pensi a questo, quindi vado
analizzalo un po ‘di più
c’è una serie di strumenti e questi
gli strumenti funzionano a questi diversi livelli
e devi pensare a tutto questo
livelli così un giorno di gioco è come ti alleni
persone e se non fai nient’altro se tu
avere l’applicazione più fragile che
non fai scazzottate di caos di te
sapere non toccare il mio esercizio app il
la gente dice che andiamo a prendere
tutti quanti simuleremo cosa
succede quando c’è un’interruzione e noi siamo
andando a farti attraverso un allenamento
programma in cui tutti sono addestrati
da fare e come gestirlo puoi chiamare
è un giorno di gioco o un programma di allenamento o
qualunque cosa potremmo dire solo se
sono le uniche persone dovrebbero
essere on-call in un vero evento dovrebbe avere
passato attraverso questa formazione così parte di
il tuo onboarding di persone Orem imbarco
le persone a gestire l’infrastruttura critica
è che hanno attraversato un qualche tipo
dell’esercizio che dice che questo è il modo in cui corriamo
questo e questo è ciò che è previsto e
questo è dove tutti i cruscotti sono e
questo è il modo in cui accedi a questo gioco
canale e hai le tue credenziali
e tutte le cose di cui hai bisogno sono a
mano e tu corri questi allenamenti
le cose abbastanza spesso quando vai
ti ricordi come funziona proprio tu
non voglio che questa sia una volta all’anno
cosa perché ti dimenticherai e il tutto
delle credenziali verranno sono cambiati e
i cruscotti avranno cambiato sono
tutte quelle cose giuste per quel giorno di gioco
il livello è dove vorrei iniziare una volta
ottenere quello fatto il giorno della partita sarà
esporre che abbiamo dati di monitoraggio cattivi okay
possiamo andare a riparare che puoi iniziare a fare
il tuo sistema è più osservabile e puoi farlo
lavorare per rispondere rapidamente anche dal
maggior parte del codice fragili più sorta di
cose di sistema rotte dove non puoi
cambia il codice sorgente o quello o il
installazione a tutti puoi ancora
rispondere più rapidamente ad esso in modo che sia
dove vorrei iniziare
e poi l’ applicazione che puoi iniziare
testare che per le modalità di errore assicurarsi
ce l’ hai nella tua suite di test con
test canarino tipo di cose prova il
commutazione livello questo è più disastro
test di failover di ripristino come cose
quella
tirando fuori quello che tira tirando i fili
nel centro dati o spegnendo
reti così l’esercito di scimmie è un insieme di
applicazioni aperte da Netflix
che è una scimmia del caos e un intero
un sacco di cose che vanno in giro cancellando
macchine e dimostrando che hai
resilienza a tutto il punto del caos
scimmia non era solo per raccogliere il tuo
macchine era per assicurarsi che tu fossi
usando scalari di ordine come il nostro standard
la pratica era che tutte le macchine dovrebbero essere dentro
un gruppo di scale di ordine e la tua scala
dovrei dire che dovrebbero essercene sei
macchine e se uccidi uno l’ordine
scala dovrebbe dire ok va perso
Farò un altro giusto che fosse
quale scimmia di mucca è stata progettata per testarlo
è stato rinforzato il modello architettonico
di avere scalari e stateless automatici
macchine quindi nessuna sessione stato no
nozioni di stato delle applicazioni insegnate a
disco locale è possibile eliminare una macchina e
hai solo richieste stato e se il
richiesta non ha risposto è possibile uccidere il
Macchina e qualcuno riproverà
in un’altra macchina e quella richiesta lo farà
succedere qualche altra parte destra se
Vai alla vostra vostra richiesta si scrive
dati in modo che tu possa diventare idempotente
richieste e cose ma c’è questo è
tipo di schema che stavamo cercando
incoraggiare semplicemente avendo una scimmia del caos
occasionalmente cancellando le macchine che causava
un mucchio dei giusti algoritmi
algoritmi di sistemi distribuiti per funzionare
kit di strumenti per vacche di cui hai sentito parlare da Russ
prima se eri nel discorso precedente
progetto open source a cui stiamo iniziando
capire come usarlo per pochi
cose diverse in cui sarò
Copenhagen la prossima settimana per il cubo conf
Sono il rappresentante di Xen CF per
AWS e stiamo guardando omicidio o
kubernetes work care toolkit ha driver
per kubernetes e driver per ec2 e
quello che stiamo cercando di ottenere è il punto
dove puoi impostare alcuni test standard
quale saprai pasticciare con i tuoi baccelli
e fare cose fanno esperimenti mucche al
livello di kubernetes che è molto portabile
e standard che chiunque potrebbe
si applicano a qualsiasi applicazione e poi a noi
voglio andare sotto il cofano e indicato
le tue istanze di ec2 e in realtà ci provano
abbattere dire il tuo ID di accettazione o il tuo
padroneggia e assicurati che i kuberneti
si sta recuperando o partiziona uno di
le zone su cui stiamo girando su tre
zone kubernetes così tu voglia
fondamentalmente essere in grado di simulare il
vari fallimenti e lo dimostrano
Il piano di controllo di Kubernetes continua a funzionare
e mostra anche cosa succede se
le applicazioni falliscono e penso che il
cosa interessante è uno è coop Nate è
molto standard attraverso molti venditori così
possiamo lavorare in modo collaborativo con un sacco di
la gente e poi anche quel caos parla
è un progetto open source che ha un
bella API per progettare queste cose così
questa è un’area di lavoro interessante e
è uno dei motivi per cui siamo stati
passare un po ‘di tempo con Russ e
Sylvain recentemente cap è il caos
piattaforma di automazione
è un tour di Netflix che funziona alla fine
La cosa che ho sentito sono stati 1500 test automatici a
giorno ho un’ipotesi che se mi colpisco
a questo servizio i clienti non dovrebbero
preavviso quindi andrò a colpire quel servizio
e se poi sto misurando questa metrica
e se vedo qualcosa
dimenare nella metrica del cliente mi fermo
immediatamente e dì ok ecco
qualcosa che è losco come il perché quando tu
colpisci questa cosa o genera errori in
questa parte del sistema i clienti
notato come se ci fosse qualcosa di rotto
nel modo in cui è impostata la nostra configurazione
in su o sono stati introdotti bug così
hanno tutte queste affermazioni riguardo al
capacità di assorbire il fallimento all’interno del
sistema e gremlin sono qui al
conferenza uno degli sponsor che hanno
una piattaforma automatizzata per fare molto
test di caos invasivi dettagliati e
iniettare le cose in modo che ottengano IP
tavoli e blocchi il traffico come faranno
traffico DNS del blog o si riempiranno a
la loro roba di scuola come quella e poi se
si accorgono di qualsiasi problema si ritirino
con molta attenzione e fanno anche molto
molto sicurezza questo è un vettore di attacco a
il tuo sistema se ne hai la possibilità
fai questo così lo fanno in modo molto sicuro
certo senso è un prodotto commerciale
quindi pensa a quell stroke è un
toolkit open source per la gestione di
idee generali che stai provando a testare
contro e gremlin è molto di più
prodotto di progetto indurito per sicuro
e in modo sicuro l’ iniezione di fallimenti in
sistemi in modo che sia il team di progettazione di Cass
l’altra squadra penso che è interessante è
la squadra di sicurezza rossa e molte aziende
ora hanno squadre rosse questa è la squadra
il cui lavoro è cercare di entrare nel tuo
sistema è un po ‘ come un’estensione di
gli elementi del test di penetrazione, ma invece
di come ogni sei mesi circa
programmazione che stai pagando fuori
azienda per eseguire un pen-test questo è un
cosa continua questa è una squadra che è
cercare di infrangere ogni giorno giusto splendere
le luci delle luci shannon di dentro lo fanno
molto lunedì mattina entrano e dicono
ben vediamo ciò che gli sviluppatori hanno fatto
la settimana scorsa oh, c’è un altro bug che abbiamo
qui siamo arrivati qui e poi li hanno
aveva una piccola relazione e poi il
gli sviluppatori arrivano a risolvere il problema giusto o
forse se è davvero brutto forse chiudono
giù o torna al precedente
versione o qualcosa del genere, ma questo è un po ‘
lo schema in cui sono li ‘
cercando aggressivamente di trovare qualsiasi tipo di
modo lì hanno su eventuali punti deboli
hai nel loro sistema ogni volta
c’è una nuova una nuova pubblicazione su
un nuovo bug di sicurezza che conosci tutti questi
bug di sicurezza che accadono vanno bene
vediamo se siamo suscettibili a questo
uno e possono trovare i collegamenti deboli e
liberatene subito se non lo sei
facendo questo hai solo la sicurezza
squadra – cercando di renderlo sicuro voi
non so davvero quanto siano bravi
ti serve questo tipo di contraddittorio
cosa così che l’ingegneria delle mucche è
sorta di squadra contraddittorio – il
disponibilità che le persone cercano di fare
le tue app disponibili e il caos il
il team di sicurezza sta facendo questo su on
il tipo di perché è davvero lo stesso
cosa sei tu sei forte come il tuo
collegamento più debole e che si applica a
sicurezza e disponibilità ma
disponibilità è più eventi casuali e
sicurezza che le persone possono scoprire
fallimento qualche difetto latente nel vostro sistema
e sfruttarlo senza averne nessuno
vicino alla casualità, quindi è a
un po ‘ diverso dal loro modo di
sorgono quindi non c’è i due sistemi
team di sicurezza ci sono alcuni interessanti
strumenti qui a livello di persone giusto come
molte persone come le nuove prendono il tuo laptop
diventa di proprietà occasionalmente si ottiene il
brutto pop-up che dice per favore mandaci un po ‘
Bitcoin eo forse anche tu no
rendilo conto ma tutti i tuoi dati sono in corso
esfiltrato in qualche altro paese dove
i tuoi concorrenti lo stanno raccogliendo
questo perché hai fatto clic su un link tu
non dovevano fare clic su di te no
rendersi conto di così sicuro che ava è in realtà un
simula l’e-mail di spear phishing
li invierà ai tuoi dipendenti e dirà
hey clicca su questo link per questa cosa
sai gratis qualsiasi altra cosa e se si fa clic
su di esso dice no che non dovresti avere
cliccato su questo link questo è stato un brutto
email e stai cercando di allenare il
i dipendenti devono essere iperattivi a cosa
lo fanno quando sono sulle loro macchine
dove importa Netflix che abbiamo fatto
qualcosa di simile ma abbiamo anche avuto
Le chiavi USB che gironzolavano andavamo via
loro stesi in giro nella caffetteria e
se lo hai inserito nel tuo computer portatile
apparirà mancante che non dovresti avere
collegalo al tuo laptop perché io
solo ora possiedo il tuo laptop per favore
li riceverai in ricezione se trovi una USB
caso quindi questo è condizionamento umano è
necessario dove facciamo molto di questo tipo
di roba Amazon è bravo a farlo
in particolare a causa di tutti i dati
che teniamo e la fiducia che abbiamo in
il nostro sistema
molto visitare vigili su questo un’altra
livello giù scimmia infezione questo è uno
delle scimmie più spaventose che ho sentito
come una bussola gorg nostra decorazione e loro
prenderà in realtà il tuo intero
la rete lo fa bene e lo faranno
dirti cosa stanno facendo è che lo facciano
sono alti e corrono
fondamentalmente salta da una macchina all’altra
usando gli exploit in realtà tutti i tuoi
infrastruttura genera una bella mappa
della tua infrastruttura che potresti
essere una cosa utile
ci sono penetrazione e sono a
compagnia di sicurezza sono un po ‘spaventosi
sono una di queste compagnie israeliane
dove sono abituati a fare questo viviamo
per un decennio e ora lo fanno per sempre
piuttosto che farlo per l’israeliano
militare , ma se vuoi davvero essere
sicuro che le tue macchine non siano impossibili
di proprietà di un gruppo probabilmente vale la pena
arrugginendo l’avrei eseguito in modo molto isolato
testare l’ambiente giusto e se passa
che poi magari provi la produzione solo per
assicurati di essere al sicuro ma ne conosci qualcuno
questi strumenti erano un po ‘spaventosi per Carole
lo slinger è davvero interessante
un altro progetto open-source penso che
era figlio di UnitedHealth ed è il
primo progetto open source in uscita
una società sanitaria fresca gente casuale
che non ti aspetteresti di avere aperto
i programmi sorgente ora stanno ottenendo
sufficientemente ispirato da quello che sono
sporgere un progetto open source che
fa qualcosa di interessante, quindi questo è
l’ applicazione della politica ha diritto a
politica, ma il miglior esempio che abbiamo s3
secchio quindi tutti hanno secchi s3
perché usano AWS e quei secchi
non dovrebbero essere leggibili dal
mondo giusto, quindi abbiamo questa politica e
poi da qualche parte hai un po ‘di software
sta cercando di far rispettare questa politica
quello che farà il cursore del caos è che lo farà
creare un secchio s3 che stia bene
leggibile e poi sedersi e andare fatto
il sistema di polizze lo avverte correttamente
crea eccezioni politiche
a livello di codice
per verificare che l’applicazione della politica
il sistema è la magrezza corretta che se ne accorge
quelli in quelle forze dell’ordine sono
accadendo proprio questo è l’idea di esso
è una specie di piccolo tour e poi
alcuni parafanghi in questo attacco di base IQ e
una violazione sicura che andrà e ti aiuterà
gestisci la tua squadra rossa
okay, l’ atteggiamento qui è un po ‘
rompilo per renderlo migliore ma è così
rompilo davvero per renderlo più sicuro e
Parlerò questa mattina sulla sicurezza, dove io
parlato di Todd Conklin ha scritto a
prenota sui morti ma ha un grande successo
podcast urbano ascolta il suo podcast per a
un paio d’ anni ho fatto una registrazione con
lui sulle mucche scimmia una volta e io sono
pianificando di fare un’altra registrazione con
lui presto e poi i giornali poveri che erano
CTO di Etsy ha fatto un sacco di lavoro
fattori umani e affidabilità e sicurezza
e c’è un rapporto sui punti di Stella
è un URL quindi il report dei punti è molto lungo
nome di dominio che indirizza il dominio ma vai
leggi questo molte informazioni utili e
è il riunire il
leader della sicurezza con il software
persone a tipo di combinare i pensieri
e e capire cosa dovremmo davvero
fare per costruire sistemi sicuri e come
stiamo parlando di cose come
automobili auto-guida che non crash e
uccidere le persone aerei che non crash
droni che non volano nelle persone
ci sono molte aree ora dove siamo
entrare nei sistemi software che sono
costruendo molta sicurezza critica
ambienti così sono Todd e John
c’è un altro altro autore che ho
menzionato è Sydney Decker e questo è
questa è una frase interessante che ero
leggendo il suo libro più recente che è
ha chiamato l’anarchico della sicurezza e ha mantenuto
parlando dell’ammissibilità sinottica e
dice questa frase su ogni pagina in
il libro di cui parla così non farlo
penso che sia un non essere illeggibile e
alla fine capirai di cosa si tratta
parlando e è sempre bene Pro
per una conferenza con una nuova frase a
confondere i tuoi colleghi con questo significa te
non è possibile scrivere esattamente cosa succede
significa che l’uomo è il the
il manuale di sicurezza dice se lo fa
un libro di corsa proprio in fondo questo dice
tu corri libri non funzionano questo è il motivo per cui corri
i libri non funzionano perché il libro delle corse è
cercando di gestire qualcosa che è di più
complesso di quanto sia possibile scrivere
è facile che ci siano le permutazioni
esplosione di permutazione della complessità in
il numero di combinazioni di cose
ciò può accadere significa che non puoi
annota ogni possibile cosa
potrebbe succedere, così lo attraversi un po ‘
e poi finisci okay non c’è
regola per questo diritto quindi significa che il
umano a quel punto deve iniziare a usare
giudizio ma se sono stati addestrati a
seguire il processo che hanno ricevuto
non usare il loro giudizio perché
dovrebbero seguire le regole ma
cosa succede quando finisci le regole
tutto ad un tratto si deve usare il vostro
giudizio e il punto di questo libro è
che dovresti usare di più il giudizio
dovresti dire che questo è un sistema in cui
Ho intenzione di usare il giudizio umano per
fare la cosa giusta e di capire
cosa fare piuttosto che fare affidamento sul nostro
la capacità di scrivere in giù così che cosa questo
significa che la sicurezza del sistema è un emergente
proprietà di un sistema e gli umani lo sono
parte di quel sistema e il modo in cui
feedback nel modo in cui lo tracciano ora
questo è un altro aspetto di questo
che stiamo iniziando ad automatizzare alcuni
delle cose che fanno questi umani così come fanno
costruisci un sistema software che
gestisce combinazioni incerte e strane
e combinatorics quindi c’è un sacco di
sfide qui penso che questo è un
libro interessante e anarchico della sicurezza
è un anarchico nel senso che lui
pensa che non crede nel
le regole che le persone stanno mettendo dentro è un
anarchico in questo senso non è Aniki
è un’anarchia anarchica
Anika è qualcuno che non gli piace
regole centralizzate è questo è il
punto che sta facendo
quindi i fallimenti non sono una cosa fondamentale
ha una causa principale che non è loro non
non sono causati dall’avere un componente
fallire o un fallimento umano sono un problema
di mancanza di margine di sicurezza perché tu
dovrebbe aver progettato il sistema per consentire
quelle componenti falliscono come sai
hai dischi mirror che stai assumendo a
il disco fallirà senza influenzare il
resto del sistema giusto ma se tu
un’interruzione perché i dischi non sono riusciti
questo significa che non hai messo abbastanza
ridondanza e non abbiamo costruito il giusto
un modo per aggirarlo così che era la mancanza
di margine di sicurezza come un piccolo pensiero
esperimento qui sono in realtà più o meno
sul bordo di una scogliera qui, ma vediamo come
mi sono accecato bendato me stesso e
iniziato a vagare per questo stadio e
c’è una specie di scogliera qui non lo faccio
voglio cadere da questa scogliera, quindi se lo sono
mi sto avvicinando e ho gli occhi
Chiuso andrò tutto bene
vicino ancora
è così sicuro voglio quanto mi avvicino
voglio essere quanto lontano posso andare in nessuno
dimensione senza cadere dalla scogliera
giusto quindi devi essere abbastanza attento
l’altra cosa che potresti fare è decollare
la benda e dì ok posso vedere il
bordo ora giusto quindi se stai costruendo un
sistema come puoi rendere il vecchio
confini i tuoi margini di sicurezza
diritto osservabile in alcuni casi che facciamo
come se stessimo guardando CPU occupata correttamente
e tu non vuoi che la tua macchina
sovraccarico stai guardando quanto inattivo
tempo hai e lo sai quando
la Macchina sale sopra sai 80 90
per cento occupato smette di funzionare bene così
questo è il tuo margine di sicurezza hai 20
30 percento CPU Headroom e tu puoi
misuralo e puoi monitorarlo e
puoi seguire quelle cose ma molto
del tempo per costruire sistemi dove
non sappiamo ciò che il margine di sicurezza è
e devi iniettare errori per trovare
fuori cosa succede e per scoprire come
molto margine effettivo hai perché
da qualche parte nel sistema c’è una cosa
quello sta andando a corto di discussioni come
c’è sempre quella cosa che si esaurisce
di discussioni quando tutto diventa lento
perché quando tu quando il sistema rallenta
giù pensa che i processi si aggrappino a
discussioni più a lungo e in quel momento
sei in una discussione quindi c’è un generico
il problema succede sempre, lo farai
lo trovi così ma questi sono tutti invisibili
limiti che non hai notato perché in
operazione normale non lo fanno
costringendoti così devi testarli
cose così che stiamo davvero parlando
qui è l’ipotesi che testiamo noi
pensiamo che abbiamo un margine di sicurezza
davvero con attenzione prova senza in
produzione senza causare problemi
l’obiettivo qui non è mai quello di causare un problema
ma per essere fatto in produzione, così siamo
davvero sicuro che il nostro sistema di produzione
è quello che deve essere affidabile
sì, puoi eseguire questi test che puoi eseguire
questo in un ambiente di test ma il tuo test
l’ambiente non ha bisogno di essere affidabile
è solo che sai darti una prima
passare l’approssimazione che non hai
rotto qualcosa e forse lo uso per
eseguendo il debug dei test, i test
loro stessi ma in produzione voi davvero
Devo eseguire questa roba per saperlo
la produzione è di andare a lavorare in modo solo un
wrap-up su quale test del caos è garantito
questi quattro livelli hai esperienza
roba che esegue applicazioni robuste voi
avere un tessuto di commutazione affidabile e
è in esecuzione su un servizio ridondante
fondazione qualunque cosa accada
cloud o data center o altro
e cosa sta realmente accadendo in
l’industria sta vedendo questo davvero
costoso recupero di emergenza personalizzato
sistemi in cui si deve quello che io chiamo
data center artigianali a fiocco di neve che
sono in stati casuali sono molto difficili
fare fallimenti di disaster recovery tra
loro ma per i conti cloud sono identici
hanno le stesse API che puoi distribuire
le stesse cose per loro è molto di più
affidabile è molto più automatico e
è molto più possibile ora prendere
disaster recovery da qualcosa che è
difficile da fare costoso e difficile da
qualcosa che è facile da realizzare
corri e puoi eseguirlo tutti i giorni o tu
può essere eseguito ogni poche settimane, piuttosto che
essere qualcosa che hai paura di fare una volta
un anno e questo torna ad alcuni di
quei principi come in continuo
consegna se fa male farlo più spesso
fino a quando non capiscono come farlo
smettila di farti male è la stessa persona che siamo
fare il disaster recovery continuo in
nello stesso modo in cui stavamo continuando
consegna del codice piuttosto che una sorta di
versioni annuali monolitiche a cascata
giusto è lo stesso principio di essere
applicato qui così è e penso
adesso siamo a pranzo, ma lo sono
felice di fare alcune domande e lo farò
essere qui tutto il pomeriggio per di più
discussione così va bene che è interessante
tu
ciao a tutti di nuovo tutti quelli che non l’hanno fatto
rendere al keynote in precedenza sei
uno dei piccoli eventi che non ha funzionato
accadono cose di cui stavamo parlando
pregiudizi di selezione per le persone che non lo facevano
tornare al mio keynote ma comunque sono
passerò parlando del caos
l’architettura adesso per me questo è
questo è davvero il risultato
modello di disponibilità per un nativo del cloud
applicazioni se stai cercando di costruire
roba che è davvero presa da cloud native
vantaggio di tutte le cose bene come
si dovrebbe pensare alla destra
modello per la costruzione altamente disponibile
applicazioni allora così sarò partono
con alcune domande perché indietro quando io
era un architetto in generale che conoscevo
l’ architetto generale di Netflix e mio
il lavoro quindi non era quello di dire alla gente che cosa
l’architettura dovrebbe essere, erano gli Stati Uniti
domande imbarazzanti per le persone e provare e ottenere
le persone per ricordare questi imbarazzanti
domande e chiedetevi a vicenda quelli
domande imbarazzanti e che hanno aiutato a guidare
le persone in una buona architettura
certamente ne esaminiamo alcuni
domande e questo è questo è uno di
quelle domande che cosa dovrebbe il vostro sistema
fai quando qualcosa fallisce e il solito
risposte non voglio che fallisca e
poi vai in giro ora un paio d’ore
dopo si ammette finalmente che cosa succede se
quando fallisce dovrebbe fare qualcosa e
Dovrà fare uno dei due
cose e sarà necessario
basta perché non sei sicuro di quale stato
è tutto dentro e questo è preoccupante
perché fare le cose per iniziare o è
andando a continuare con qualche tipo di
funzionalità ridotta tutto bene e
forse puoi nascondere il fallimento abbastanza se
stai attento per assicurartelo
porta avanti o ignora il fatto che
qualcosa è fallito, quindi c’è quel tipo
della cosa ma questo è fondamentalmente il
due scelte che ottieni e andiamo un po ‘
più specifico della ricerca delle autorizzazioni
fallisce qual è la cosa giusta da fare lì
questo diventa un po ‘più di applicazione
dipendente
perché molto spesso la gente se ne va
qualcosa non funziona è per un’eccezione
questo è solo un codice in uscita se questo
fallisce l’eccezione Babar qualunque lingua
sei dentro di te, dico che non sono riuscito a leggere il
cosa sono andato al campo ho letto il
dati che mi aspettavo di vedere, quindi sto andando
per tipo di gettare un’eccezione e fermarsi
e poi qualche errore di ritorno su invio
eseguire il backup di 500 o qualcosa di nuovo su
il cliente, ma come era
qualcosa ci è voluto un po ‘di tempo
con Netflix perché il costo dell’errore
su Netflix è che non ci riesci
guarda un film ma se non sei sicuro di se
qualcuno è in realtà dovrebbe essere in grado
per guardare un film, ma sembra plausibile
come sembrano avere un biscotto
forse non è aggiornato e tu
vuoi riconvalidare quel cookie e te
non è possibile riconvalidare il cookie, quindi cosa?
il costo di continuare come si arriva a
guarda un film gratis e non è così
troppo costoso , possiamo permetterci di farlo
guardi un film gratis perché è così
colpa nostra che non possiamo dire se tu
dovrebbe essere in grado di fare le cose questa cosa
o no così che funziona per Netflix ora se
sei nel settore bancario e stai cercando di
spostare un trilione di dollari da un account
ad un altro probabilmente la cosa migliore da fare
è fermare questo punto piuttosto che andare
solo andando ad ipotizzare che anche se io
non posso dire se i sistemi di frode
probabilmente dovrei semplicemente smettere tutto
destra
o forse se la maggior parte delle mie transazioni
sono transazioni davvero piccole e posso
coprirlo come il marketing il
problema di marketing il colpo di marketing da
dall’avere un’interruzione e pisciare fuori
clienti fermando forse meno di
la probabilità attuale che qualcuno sia
cercando di fare una transazione fraudolenta in
il sistema in modo forse si dovrebbe solo
continua e lascia che passi attraverso però
i sistemi di frode si abbassano e ne conosco uno
questo è il nostro sistema di pagamento online dove
questo era in realtà l’algoritmo se
qualcosa se non potevano dire che
sarebbe solo continuare e se ci fosse
un po ‘di frode hanno appena mangiato la forchetta, intendo
c’è un costo di fare
affari, prendi il budget
e dì sì, la nostra frode era più giusta
ora perché il nostro sistema è di nuovo inattivo
è colpa nostra che non potevi farlo
quindi pensa a questo pensa a ciò che è
il costo effettivo può coprire quel costo
nel business stesso
o vuoi essere in grado di fare solo un affare
con esso o è la cosa giusta da fare
in realtà inizio e c’è una bella bella a
bella carta su questo di Pat inferno ed è
tipo di lui in una zona correlata è cosa
i ricordi suppongono e si scusano e lui è
davvero parlando di sistemi di database
sistema di database un sistema che dice per favore
ricorda questa cosa per me e poi morso
in seguito dici che puoi ricordare questo
cosa e indovina cosa hai chiesto cosa
l’hai detto l’ ultima volta o forse solo
mi sono scusato di non aver idea di cosa
stai parlando di tutto bene quelli sono
i tre risultati che puoi ottenere
o le tre fasi di trattare con il
database e che uno dei punti lui
fa nella sua carta è che a volte il
codice che usi per provare a gestire il
l’eccezione è in realtà così complessa e così
mal testato che è ma di solito
fa scoppiare e rende peggiore e il migliore
la cosa potrebbe essere solo dire di chiamarlo
numero del servizio clienti e qualcuno
simpatico ti parlerà e
le persone sono molto adattabili possono
gestire più problemi e hanno
non muoiono cordoni al telefono
giusto perché hai colpito un percorso di codice
che non era mai stato eseguito prima di allora
è una specie di persone incoraggianti a pensare
sulle conseguenze e anche su quello
l’escalation o l’essere umano è effettivamente dentro
molti casi un buon risultato o un buon modo
di scusarsi con il cliente che loro
non poteva ottenere qualcosa che non lo fa
lavoro ogni volta ma è ed è a
piccolo scritto su quello che c’è
un’altra mia domanda preferita
avere un centro dati di backup e, naturalmente
hai un centro dati di backup, se tu
stavano facendo un po ‘interessante il
importante pezzo di lavoro a tutti
fa e poi la domanda di follow-up come
spesso non ci riesci, questo è dove
la gente inizia a sembrare preoccupata di averne una
pochi sapete che poche persone ci provano, no
molto spesso o mai
Non ho mai sentito molto e poi come
spesso cadi sull’intero dato
centro in una volta e alcuni altamente regolamentati
industrie questo accade forse una volta a
anno o forse anche questo o non lo siamo
lavorarci o una volta è come noi
ho appena trascorso nove mesi a pianificarlo
e sono riuscito a farlo con successo
la prima volta un paio di settimane fa, sono molto
orgoglioso giusto ok che era bello e cosa
successo hanno trovato tutti i tipi di
problemi e loro non vogliono farlo
ancora
è difficile, così lo chiamo
teatro della disponibilità di cui hai sentito parlare
teatro della sicurezza questo è dove si prende
le scarpe in aeroporto perché è così
ti fa sentire tutti più sicuri
un modo strano anche se non è mai e
hanno salvato qualcuno di proprietà o
problemi all’aeroporto questo sei tu
spendere tutti i soldi su un altamente
disponibile centro dati di backup che tu
spero che non riuscirai mai a farlo
giusto ma hai passato il
moti hai spuntato le scatole che hai
il tuo centro dati di backup, ma se mai
in realtà provalo e usalo con rabbia
in un mondo di dolore e spenderete
giorni cercando di riavere tutto
funzionando correttamente nel nuovo data center e
un’altra cosa che ho scoperto quando ho
vissuto attraverso questo quando ero a eBay
abbiamo fallito e ci sono voluti un giorno o due
perché non eravamo pronti per questo e
poi quando il fallimento ha richiesto un mese o
due non ha la stessa quantità di
tempo di fallire indietro ci vogliono ordini di
grandezza più lunga perché il sistema è
ora in questo incredibilmente fragile
stato senza documenti in cui è atterrato come
un risultato di un’interruzione e di commutazione
torna al tuo centro dati principale senza
causare un’altra interruzione è incredibilmente
problema delicato e tutti sono occupati e
tutto è fuori di testa ed è a
cosa veramente dolorosa quindi è così
doloroso per il failover è ancora di più
doloroso per fallire, quindi quello che abbiamo è
questa fiaba c’era una volta in
teoria se tutto funziona perfettamente noi
avere un piano per sopravvivere ai disastri che noi
pensato in anticipo questo è solo è
una bella idea
a differenza della maggior parte delle fiabe ha un piuttosto
finale infelice però perché è davvero così
in pratica hai capito
non lavorare fuori perché il problema è questo
la cosa che è andata storta non è la cosa
hai pensato in anticipo e tutto
non funziona perfettamente in realtà il tuo
sistemi di disaster recovery e failover
i percorsi del codice e i processi sono i
parte meno testata di tutto il tuo
ambiente per quasi tutti giusto
non appena inizi ad entrare in alcuni
le modalità di test le cose vanno storte quel composto
il problema solo perché tutto è
accumulare nel passare attraverso esorcizzante
codice che non è mai stato testato
come se guardassi la copertura del test sì
la mia copertura di prova tradizionale potrebbe essere
piuttosto bene qual è il tuo errore di gestione
copertura del test del codice terribile e il
combinatoria di ciò che potrebbe andare
sbagliato
ancora peggio quindi è come se lo sapessi
è davvero difficile da gestire così
ecco alcune cose vere che vanno storte
qualcuno qui mai dimentica di rinnovare un
nome di dominio è un po ‘fastidioso se
è il tuo dominio personale o qualcosa del genere
ma se sei un rivenditore SAS questo è successo
l’anno scorso ma praticamente quello che ho
ricorda che questo è stato l’amministratore delegato che lo ha twittato
era l’unico veicolo che avevano lasciato che
avevano il loro nome sul marchio così ha preso
la società per account Twitter che era
non legati alla loro nome di dominio ero
tweeting dispiace raffica dispiace siamo
lavorando su di esso stiamo cercando di prenderci
backup no non puoi inviarci nessuna email via email
i nostri sistemi interni stanno lavorando no
non abbiamo un canale lento abbiamo no
capacità di fare qualsiasi cosa nel tutto
compagnia perché tutto nel
la compagnia era quella società denominata comm e
la società denominata comm non è più un
dominio registrato quindi tutto si ferma
come questo è come questo è anche un altro
problema interessante risulta il
il modo più veloce per rompere qualsiasi cosa è il DNS
lo prendi semplicemente DNS e ti scherzi con te
può prendere qualsiasi cosa sia
l’anello debole in quasi tutto il online
sistemi che abbiamo costruito e tu vedi questo
e ancora una volta così pensa a questo cosa
faresti come potresti farlo
più robusto quindi pensi bene se
avresti pensato che questo attraverso te
forse avere un secondo un secondo indirizzo DNS
che tutto sarebbe fallito per te
conosci il nome della compagnia di backup e tutto
il tuo codice cliente e tutto il tuo failover
è una sorta di reindirizzamento integrato
il tuo sistema che forse è il tuo web
le pagine hanno collegamenti o qualcosa che c’è
qualcosa che in qualche modo sa reindirizzare
a questo puoi eseguirlo nei test ma tu
ora hai un completo completo
sistema in cui ora hai un ridondante
nome nel tuo ambiente DNS e tu
potrebbe ospitare quel nome in un DNS diverso
fornitore giusto così ora che hai ottenuto
I fornitori DNS occasionalmente hanno problemi
quindi ora stai lavorando con due diversi
Fornitori DNS due nomi diversi che hai
costruito o il codice si prova si può
in realtà dimostrano che questo funziona e questo
tutta la classe dei problemi se ne va e io
pensare perché il DNS è un collegamento così debole
solo voluto portare questo uno è
qualcosa a cui ho pensato abbastanza
un po
è una specie di problema gestire più persone
Venditori DNS ed è uno degli open
progetti di origine in cui sono stato coinvolto
costruendo quando ero a Netflix cosa
chiamato denominatore è una libreria Java
con driver per molti DNS diversi
fornitori ma con API standard e a
Modello di oggetto DNA DNA molto ben progettato
la carità è una cosa molto standardizzata
la maggior parte delle librerie per esso sono
piuttosto traballante, ma se si sta facendo questo in
Java c’è che c’è una bella biblioteca
là fuori non penso nulla di ciò che Netflix
è attualmente in manutenzione era per lo più
io e Adrian Cole ce l’abbiamo costruita e noi
entrambi hanno lasciato così ma è ancora là fuori così
questa è una cosa che va storta, sì
il modo in cui non fare questo assicurati di te
rinnova le tue voci DNS ah ok prima
la gente lo ha visto tutti come te
non ho visto questo quindi non sei veramente
eseguire qualsiasi cosa su larga scala perché è
così frequenti tante interruzioni sono causate
da un certificato hanno timeout e
lo si installa e pochi anni dopo
colpisce la fine e qualcosa smette di funzionare
quindi di solito c’è un’interruzione totale del sistema
abbiamo avuto vari giochi e dividere i dispositivi
i tipi di dispositivi scadono perché
abbiamo avuto il taglio se ci pensi
come funziona Netflix in streaming su a
dispositivo come una console di gioco o qualcosa del genere
e il venditore di quel dispositivo ti dà
una chiave per autenticare ciò che è a
console valida e timeout di tali tasti
devono essere rinnovati e cose del genere
quindi i tasti di rotazione automatica devono essere cont
si trasforma in un fatto interessante da
essere bravi e c’è una parola che AWS ha
recentemente costruito alcuni prodotti che
ruotare automaticamente le chiavi o qualsiasi altra cosa
frequenza che vuoi ogni poche ore
lo sta attraversando in modo dinamico
completamente automatico tutto si esaurisce
quindi va bene, ma pensaci
certificato equivoca la sicurezza
certificati e chiavi come un modo che tu
può avere interruzioni che dovresti essere
tenendo traccia abbiamo anche costruito uno strumento aquilone uno
delle cose che la scimmia della sicurezza ha fatto
uno degli strumenti di automazione di Netflix
che guardava tutte le chiavi che potevano
trova guardato le date e se l’ha ottenuto
vicino a una data che inizierebbe a inviare
avvisi e urlando a voi che questo
la cosa deve essere risolta presto così
puoi costruire un monitoraggio per un in
un sistema che va e in qualche modo trova tutto
di queste chiavi nella tua
il tuo sistema in modo che quello qui sia un altro
Ho un amico che lavora a New York
e ha avuto una brutta giornata con tutti i dati
centro allagato quando è un data center
allagato non funziona molto bene
i computer subacquei sono qualcosa che a
alcuni di noi hanno dovuto lavorare su questo
gli ci è voluto un po ‘per riaverlo
perché questo è lo scenario di test
che non hanno testato molto spesso correttamente
quindi queste cose accadono ad AWS che abbiamo
queste zone in ogni regione e abbiamo messo
le zone tra 10 e 100 chilometri
a parte che ci sia abbastanza vicino insieme
avere una latenza abbastanza bassa da fare
scrive sincrono su di loro ma lontano
abbastanza a parte che non sono nel
lo stesso tornado traccia inondata di pianura senza potere
griglia sai che la gente sta scavando
cavi e cavi di alimentazione e tutti quelli
cose che sai l’ aereo si schianta tutto
cose che potrebbero portare fuori un edificio
fare in modo che le nostre zone
tre zone in una regione che noi
in genere costruire abbastanza distanti così se
guardi come se avessimo una regione
a Parigi e c’è come se tu prendessi Parigi
c’è come se fossero tutti diversi
angoli di Parigi proprio lì in tutto
è un po ‘come noi
non dire alle persone dove sono
per ragioni di sicurezza ma loro sono te
sai che vuoi renderli abbastanza lontani
a parte questo se perdi solo te
ne sono rimasti due che tutto può funzionare
e poi sai solo che sarà
fastidioso che torni da questo
conferenza e qualcosa si romperà
orribilmente giusto questo succederà
quindi come puoi affrontarlo e questo è
questo è un ottimo consiglio
Chris Pinkham costruito il primo
versione di AWS ec2 circa 10 10 anni fa
e sono stato abbastanza a lungo ne conosci solo alcuni
anni dopo ero a una conferenza
e parlando con lui e questa è una frase
è venuto con te non puoi legiferare
contro il fallimento a cui non riesci a pensare
tutto ciò che potrebbe andare storto e scrivere
una regola che dice questo non dovrebbe accadere
ci sono troppe cose in modi diversi
può andare storto, così ha detto che dovevi
concentrarsi invece sul rilevamento rapido e
risposta e se sei molto bravo
nel rilevare che qualcosa è andato storto
e molto veloce nel rispondervi
può gestire qualsiasi cosa venga lanciata
tu e questa è la base questo è il
La filosofia dietro il modo in cui gestisce il suo AWS
incidente
sai che ovviamente ti prendi cura di
roba ovvia ma se pensi al
conosci l’esempio che ho avuto questa mattina
questi sono esempi della deriva in fallimento
problemi che non sono mai accaduti nel 95
milioni di ore di volo e poi il
l’aereo si schianta contro quelli che non eri tu
non può legiferare contro questo fallimento
perché sai che è come 30
anni dopo hanno costruito l’aereo loro
avere un problema ma se avessero avuto di meglio
risposta di rilevamento allora forse lo farebbero
sono stato in grado di trovare quel problema
quello non è mai accaduto prima e questo è
il tipo di cosa che stai cercando e
allora sai che il tuo sistema funziona affatto
quindi questo è un problema di maggiore visibilità e
come dovrebbe recuperare dopo il
il fallimento se ne va subito
il problema di questi data center
failover e quindi non essere in grado di fallire
torna facilmente come si risincronizza
i tuoi dati in seguito
alcuni di voi potrebbero essere stati nei discorsi di Kyle
ieri era quassù in realtà
non molte persone nel suo discorso
deludente che Cal Kingsbury e
peter baelish
ha scritto un bel documento nella coda ACM
bender ha chiamato la rete è affidabile di
Naturalmente la rete non è affidabile e
questo è il punto in cui questo è il primo
fallacia del calcolo distribuito tutto
Giusto , sai , sai
la larghezza di banda è infinita e la latenza è
zero e cose ma la rete è
affidabile è il primo errore ed è a
grande carta elenca tutti i modi oh
è solo un elenco di casi studio di casi
dove le persone sono state scoperte dal fatto
quella rete partiziona e si comporta
stranamente ed è un ottimo modo di
pensando a questo e questo è un
rete tra il cliente e te
e tu, il tuo cloud o il cloud
tra le tue macchine diverse nella tua
data center o c’è un sacco di
diverse reti qui il più il
più vicino si può raggiungere una rete
il sistema è probabilmente seduto al
console di un PC o qualcosa che sei
non c’è rete che funziona
a livello locale e non è molto
sistema utile perché i tuoi clienti sono
più lontano da dove hai avuto il tuo
i miei computer parlano stamattina
il keynote riguardava principalmente questo libro in
Capitolo due quindi non entrerò in quello
grande dettaglio oltre a quello che dico
la gente non leggere questo su aerei
perché ha degli incidenti aerei in esso e
questa mattina è stata la storia di quelli
l’aereo si schianta rilasciare è un altro
libro davvero interessante il primo
l’edizione di questo è uno dei libri I
ha dato a battere Christensen e bench mouse
e andarono e costruirono degli isterici che
è il codice dell’interruttore che è stato mantenuto
abbastanza noto ora e l’intera idea
degli interruttori automatici provenivano dal primo
rilascio al libro ma è stato bello avere
un’implementazione di esso e di essere per essere
una specie di parte di questo ruolo come
l’architetto doveva dare i libri giusti a
le persone giuste e, si spera, al
momento giusto o abbastanza presto che hanno ottenuto
le idee e poi hanno funzionato così
sai che puoi dire che ero lì
alla nascita dell’idea e poi
non ho avuto niente a che fare con il
implementazione di esso ma assicurandoti
nutrire le idee giuste per le persone giuste
fare le domande giuste è una specie di una
delle cose che mi piace fare secondo
edizione è uscito abbastanza recentemente e a
un sacco di grandi aggiornamenti in questo
e, si spera, quando vai a
Conference, la Michael non è in questo uno
ma ha detto un sacco di go-to e Q con
tipo di conferenza è sicuramente la pena
vedendo così parlerò di caos
architettura e il mio modo di pensare
questo è che ci sono quattro strati a
squadre ed è anche un’attitudine
passiamo attraverso questi strati di base
infrastrutture e servizi dell’edificio
blocca i mattoncini Lego che stai costruendo
fuori fuori la cosa chiave qui che si desidera
assicurati di avere più di un modo per
fare tutto e più di un posto per
mettere tutto a destra in modo che vogliamo
ci sono tutte queste cose che ho
Mettiamo solo alcune delle regioni che abbiamo
non vuoi avere un singolo punto di
fallimento quindi forse vuoi zone e
regioni e forse diversi modi di
fare le cose, è bello
di base
la maggior parte delle persone ottiene quella parte difficile
è il livello successivo perché ora hai
per capire come si interconnette
queste cose come connetti il tuo
clienti a questi posti ridondanti e
come cambi le cose e questo significa
se cambierai clienti da
essere assistito in un luogo a
un altro i dati devono essere lì a
serviteli ora se questa è zone in a
regione che è sincrono i dati
già lì ma se stai andando croce
regione devi ora venire con alcuni
cross area o cross data center
modello di replica e si potrebbe
capire la coerenza finale della latenza
tutte queste cose e devi fare
instradamento del traffico quindi se qualcosa va
in basso devi reindirizzare i clienti
da qualche altra parte e poi quando arriva
di nuovo in su devi fare questo anti
recupero di entropia perché il tuo sistema è
ora in uno stato incoerente hai
aggiornamenti qui ma perché il
la rete era inattiva o il sistema era inattivo
non vede l’aggiornamento, quindi cos’è
il tuo sistema per fare l’anti entropia
recupero e recupero di tutto
in posizione calkins abbiamo parlato un bel po ‘
di alcuni di questi ieri se tu
guarda se usi qualcosa come Cassandra
hanno un algoritmo anti entropia che
corre continuamente e poi c’è un po ‘
di una versione quotidiana di ciò che genera
Alberi di Merkle e li combina per capire
fuori per mantenere tutto in sincrono ma
questo è il tipo di modello automatizzato o
forse è proprio come Reese in un
disco giusto se si conosce il mirroring
i dischi questo scende voi lo sostituisci tu
è sufficiente copiare tutto su di esso potrebbe
sia così semplice, pensa a questo livello
ancora questa è la parte meno testata
di qualsiasi sistema giusto a trovare troviamo in
casi generali che stai costruendo molto
sistema disponibile ma se non lo sei
testarlo spesso e in concerti di
modi interessanti in cui non sei veramente
gestendo tutta la gestione del codice di errore
percorsi e persone e processi
coinvolto nel far sì che tu possa
reindirizzare le cose e far funzionare tutto
questo è il livello di commutazione sopra quello che noi
avere applicazioni e cosa fai
non era un’applicazione se si ottiene un
errore o ottiene una risposta molto lenta
o c’è che lo perde gocce a
connessione intendo normale uso tuo
l’applicazione esegue semplicemente non hai
questo problema, ma è abbastanza facile da
prova questi sono particolarmente se è un
micro servizio un micro servizio ne fa uno
cosa così ha un singolo verbo o nome
o qualunque cosa faccia e ha un
serie piuttosto limitata di dipendenze e
se è solo come posso fare questa cosa
è realisticamente facile da testare e tu
può alimentarlo dati cattivi e assicurarsi che
fa la cosa giusta e restituisce il
Voglio dire , restituisce qualcosa
interessante o non semplicemente crollare
un mucchio o forse scrivere i dati sbagliati
nel posto sbagliato che vuoi evitare
corruzione, vuoi evitare qualsiasi cosa
sembra corruzione dei dati silenziosa ma
questo è
se tu se lo stai facendo con a
l’app monolitica ha ottenuto qui a
cento cose diverse e ha
tutte queste API non ci sono molte e
molte cose sono molto più complesse
motivo del comportamento di un’app che
fa più di una cosa quindi questa è una
dei motivi per cui i microservizi aiutano
costruisci questi sistemi più affidabili
perché puoi ragionare sul comportamento di
ogni singolo componente separatamente
e puoi testarli separatamente che puoi
scorrere su di loro separatamente in modo che sia il
applicazione e soprattutto che ci sono
queste cose fastidiose chiamavano
operatori e utenti ma persone giuste e
quando i sistemi sono in ripresa da
i problemi iniziano a comportarsi diversamente
dal modo in cui normalmente li vedi
operare e la gente interverrà quindi
e romperli come il sistema che era
come lottare per sopravvivere ed è così
facendo sta facendo del suo meglio per recuperare e
ti eserciti su tutti quei percorsi di codice
si comporta in modo strano hai qualcosa
riavviare questo e poi quello
di solito lo peggiora in a
riavvio del sistema distribuito forse il migliore
cosa da fare sul tuo PC o sul tuo telefono ma
in un sistema distribuito di solito lo fa
è peggio e dovrebbe essere un ultimo
cosa resort ci sono un sacco di casi a
molte applicazioni non riavviabili
risulta così tanti esempi di questo
potrebbe il mio tipo di esempio preferito I
penso sia il disastro nucleare di Chernobyl
molte persone ne hanno sentito parlare io sono te
conosco il reattore fuso sì, ma perché
si è sciolto non si è sciolto
poiché il reattore ha fallito, ha reagito
sciolto perché gli operatori erano
eseguendo alcuni test e durante il test
si sono confusi su quello che stava succedendo
e loro e ha iniziato a uscire
controllo
e perché erano nel mezzo di un
test e non l’hanno mai visto andare
controllo ha iniziato a ignorare gli allarmi e
treno e appena diventato confuso e il
la cosa è completamente fuori controllo e
sciolto , ma la causa iniziale era
che stavano facendo alcuni test e
poi si sono confusi forse potevo
perchè hai ragione ma pensi che quello
problema causato era se c’era abbastanza
usabilità nel design e tu conosci il
le cause risalgono a un lungo cammino ma tu sai
la cosa reale che ha provocato
questo l’ultimo grilletto era che loro loro
si sono confusi quando ne stavano eseguendo alcuni
prova per dimostrare che stava funzionando quello
stava funzionando bene
questo è un altro esempio dovrebbe questo
mattina in modo ogni volta che si va in un
costruendo vedi gli ascensori
non usare gli ascensori in caso di incendio
e vedi nel parcheggio c’è un
punto di raccolta tutte queste cose che sappiamo
lo facciamo è un po ‘noioso fino al
la costruzione è davvero in fiamme e poi tu
uscire in sicurezza e le persone sopravvivono così
questo è questo è il test delle persone
è universale è ovunque nel mondo
mondo sappiamo come salvare vite umane
avere risposte standardizzate a a
tipo specifico di incidente e modi per
sai gli allarmi antincendio , sappiamo cosa sono
l’allarme antincendio suona come e sappiamo cosa
noi dovremmo fare il bene in modo che il
la domanda quindi è chi gestisce il sorteggio del fuoco
480 nella propria infrastruttura cosa fa
l’allarme suona come tutti sanno
cosa fare quando si verifica l’allarme
sapere dove andare cosa fare come trovare
i cruscotti giusto Come per accedere al
sistemi giusti come chiamare il giusto
numero di telefono come comportarsi su quel telefono
in quella conference call dove sei
parlando di cosa sta succedendo
lavoro veloce risoluzione questo è tutto
puoi praticare questo è il livello di persone
quindi la mia risposta è questa che dovresti
probabilmente hanno un team di ingegneri del caos
è bello avere una squadra separata
ma potrebbe essere solo qualcosa che le persone
fai e forse c’è qualcuno e il tuo
la compagnia è la persona che risolve sempre
quando le cose si rompono forse non lo fanno
in realtà non hanno quel titolo ma
sono effettivamente l’ ingegnere del caos
e c’è un grande libro che puoi ottenere
copia firmata di questo a pranzo da KC e
era uno degli autori principali su questo
e questo è un po ‘come dargli un nome e
un insieme di principi base che hanno
loro là il loro intero ethos e il
come pensi a questo, quindi vado
analizzalo un po ‘di più
c’è una serie di strumenti e questi
gli strumenti funzionano a questi diversi livelli
e devi pensare a tutto questo
livelli così un giorno di gioco è come ti alleni
persone e se non fai nient’altro se tu
avere l’applicazione più fragile che
non fai scazzottate di caos di te
sapere non toccare il mio esercizio app il
la gente dice che andiamo a prendere
tutti quanti simuleremo cosa
succede quando c’è un’interruzione e noi siamo
andando a farti attraverso un allenamento
programma in cui tutti sono addestrati
da fare e come gestirlo puoi chiamare
è un giorno di gioco o un programma di allenamento o
qualunque cosa potremmo dire solo se
sono le uniche persone dovrebbero
essere on-call in un vero evento dovrebbe avere
passato attraverso questa formazione così parte di
il tuo onboarding di persone Orem imbarco
le persone a gestire l’infrastruttura critica
è che hanno attraversato un qualche tipo
dell’esercizio che dice che questo è il modo in cui corriamo
questo e questo è ciò che è previsto e
questo è dove tutti i cruscotti sono e
questo è il modo in cui accedi a questo gioco
canale e hai le tue credenziali
e tutte le cose di cui hai bisogno sono a
mano e tu corri questi allenamenti
le cose abbastanza spesso quando vai
ti ricordi come funziona proprio tu
non voglio che questa sia una volta all’anno
cosa perché ti dimenticherai e il tutto
delle credenziali verranno sono cambiati e
i cruscotti avranno cambiato sono
tutte quelle cose giuste per quel giorno di gioco
il livello è dove vorrei iniziare una volta
ottenere quello fatto il giorno della partita sarà
esporre che abbiamo dati di monitoraggio cattivi okay
possiamo andare a riparare che puoi iniziare a fare
il tuo sistema è più osservabile e puoi farlo
lavorare per rispondere rapidamente anche dal
maggior parte del codice fragili più sorta di
cose di sistema rotte dove non puoi
cambia il codice sorgente o quello o il
installazione a tutti puoi ancora
rispondere più rapidamente ad esso in modo che sia
dove vorrei iniziare
e poi l’ applicazione che puoi iniziare
testare che per le modalità di errore assicurarsi
ce l’ hai nella tua suite di test con
test canarino tipo di cose prova il
commutazione livello questo è più disastro
test di failover di ripristino come cose
quella
tirando fuori quello che tira tirando i fili
nel centro dati o spegnendo
reti così l’esercito di scimmie è un insieme di
applicazioni aperte da Netflix
che è una scimmia del caos e un intero
un sacco di cose che vanno in giro cancellando
macchine e dimostrando che hai
resilienza a tutto il punto del caos
scimmia non era solo per raccogliere il tuo
macchine era per assicurarsi che tu fossi
usando scalari di ordine come il nostro standard
la pratica era che tutte le macchine dovrebbero essere dentro
un gruppo di scale di ordine e la tua scala
dovrei dire che dovrebbero essercene sei
macchine e se uccidi uno l’ordine
scala dovrebbe dire ok va perso
Farò un altro giusto che fosse
quale scimmia di mucca è stata progettata per testarlo
è stato rinforzato il modello architettonico
di avere scalari e stateless automatici
macchine quindi nessuna sessione stato no
nozioni di stato delle applicazioni insegnate a
disco locale è possibile eliminare una macchina e
hai solo richieste stato e se il
richiesta non ha risposto è possibile uccidere il
Macchina e qualcuno riproverà
in un’altra macchina e quella richiesta lo farà
succedere qualche altra parte destra se
Vai alla vostra vostra richiesta si scrive
dati in modo che tu possa diventare idempotente
richieste e cose ma c’è questo è
tipo di schema che stavamo cercando
incoraggiare semplicemente avendo una scimmia del caos
occasionalmente cancellando le macchine che causava
un mucchio dei giusti algoritmi
algoritmi di sistemi distribuiti per funzionare
kit di strumenti per vacche di cui hai sentito parlare da Russ
prima se eri nel discorso precedente
progetto open source a cui stiamo iniziando
capire come usarlo per pochi
cose diverse in cui sarò
Copenhagen la prossima settimana per il cubo conf
Sono il rappresentante di Xen CF per
AWS e stiamo guardando omicidio o
kubernetes work care toolkit ha driver
per kubernetes e driver per ec2 e
quello che stiamo cercando di ottenere è il punto
dove puoi impostare alcuni test standard
quale saprai pasticciare con i tuoi baccelli
e fare cose fanno esperimenti mucche al
livello di kubernetes che è molto portabile
e standard che chiunque potrebbe
si applicano a qualsiasi applicazione e poi a noi
voglio andare sotto il cofano e indicato
le tue istanze di ec2 e in realtà ci provano
abbattere dire il tuo ID di accettazione o il tuo
padroneggia e assicurati che i kuberneti
si sta recuperando o partiziona uno di
le zone su cui stiamo girando su tre
zone kubernetes così tu voglia
fondamentalmente essere in grado di simulare il
vari fallimenti e lo dimostrano
Il piano di controllo di Kubernetes continua a funzionare
e mostra anche cosa succede se
le applicazioni falliscono e penso che il
cosa interessante è uno è coop Nate è
molto standard attraverso molti venditori così
possiamo lavorare in modo collaborativo con un sacco di
la gente e poi anche quel caos parla
è un progetto open source che ha un
bella API per progettare queste cose così
questa è un’area di lavoro interessante e
è uno dei motivi per cui siamo stati
passare un po ‘di tempo con Russ e
Sylvain recentemente cap è il caos
piattaforma di automazione
è un tour di Netflix che funziona alla fine
La cosa che ho sentito sono stati 1500 test automatici a
giorno ho un’ipotesi che se mi colpisco
a questo servizio i clienti non dovrebbero
preavviso quindi andrò a colpire quel servizio
e se poi sto misurando questa metrica
e se vedo qualcosa
dimenare nella metrica del cliente mi fermo
immediatamente e dì ok ecco
qualcosa che è losco come il perché quando tu
colpisci questa cosa o genera errori in
questa parte del sistema i clienti
notato come se ci fosse qualcosa di rotto
nel modo in cui è impostata la nostra configurazione
in su o sono stati introdotti bug così
hanno tutte queste affermazioni riguardo al
capacità di assorbire il fallimento all’interno del
sistema e gremlin sono qui al
conferenza uno degli sponsor che hanno
una piattaforma automatizzata per fare molto
test di caos invasivi dettagliati e
iniettare le cose in modo che ottengano IP
tavoli e blocchi il traffico come faranno
traffico DNS del blog o si riempiranno a
la loro roba di scuola come quella e poi se
si accorgono di qualsiasi problema si ritirino
con molta attenzione e fanno anche molto
molto sicurezza questo è un vettore di attacco a
il tuo sistema se ne hai la possibilità
fai questo così lo fanno in modo molto sicuro
certo senso è un prodotto commerciale
quindi pensa a quell stroke è un
toolkit open source per la gestione di
idee generali che stai provando a testare
contro e gremlin è molto di più
prodotto di progetto indurito per sicuro
e in modo sicuro l’ iniezione di fallimenti in
sistemi in modo che sia il team di progettazione di Cass
l’altra squadra penso che è interessante è
la squadra di sicurezza rossa e molte aziende
ora hanno squadre rosse questa è la squadra
il cui lavoro è cercare di entrare nel tuo
sistema è un po ‘ come un’estensione di
gli elementi del test di penetrazione, ma invece
di come ogni sei mesi circa
programmazione che stai pagando fuori
azienda per eseguire un pen-test questo è un
cosa continua questa è una squadra che è
cercare di infrangere ogni giorno giusto splendere
le luci delle luci shannon di dentro lo fanno
molto lunedì mattina entrano e dicono
ben vediamo ciò che gli sviluppatori hanno fatto
la settimana scorsa oh, c’è un altro bug che abbiamo
qui siamo arrivati qui e poi li hanno
aveva una piccola relazione e poi il
gli sviluppatori arrivano a risolvere il problema giusto o
forse se è davvero brutto forse chiudono
giù o torna al precedente
versione o qualcosa del genere, ma questo è un po ‘
lo schema in cui sono li ‘
cercando aggressivamente di trovare qualsiasi tipo di
modo lì hanno su eventuali punti deboli
hai nel loro sistema ogni volta
c’è una nuova una nuova pubblicazione su
un nuovo bug di sicurezza che conosci tutti questi
bug di sicurezza che accadono vanno bene
vediamo se siamo suscettibili a questo
uno e possono trovare i collegamenti deboli e
liberatene subito se non lo sei
facendo questo hai solo la sicurezza
squadra – cercando di renderlo sicuro voi
non so davvero quanto siano bravi
ti serve questo tipo di contraddittorio
cosa così che l’ingegneria delle mucche è
sorta di squadra contraddittorio – il
disponibilità che le persone cercano di fare
le tue app disponibili e il caos il
il team di sicurezza sta facendo questo su on
il tipo di perché è davvero lo stesso
cosa sei tu sei forte come il tuo
collegamento più debole e che si applica a
sicurezza e disponibilità ma
disponibilità è più eventi casuali e
sicurezza che le persone possono scoprire
fallimento qualche difetto latente nel vostro sistema
e sfruttarlo senza averne nessuno
vicino alla casualità, quindi è a
un po ‘ diverso dal loro modo di
sorgono quindi non c’è i due sistemi
team di sicurezza ci sono alcuni interessanti
strumenti qui a livello di persone giusto come
molte persone come le nuove prendono il tuo laptop
diventa di proprietà occasionalmente si ottiene il
brutto pop-up che dice per favore mandaci un po ‘
Bitcoin eo forse anche tu no
rendilo conto ma tutti i tuoi dati sono in corso
esfiltrato in qualche altro paese dove
i tuoi concorrenti lo stanno raccogliendo
questo perché hai fatto clic su un link tu
non dovevano fare clic su di te no
rendersi conto di così sicuro che ava è in realtà un
simula l’e-mail di spear phishing
li invierà ai tuoi dipendenti e dirà
hey clicca su questo link per questa cosa
sai gratis qualsiasi altra cosa e se si fa clic
su di esso dice no che non dovresti avere
cliccato su questo link questo è stato un brutto
email e stai cercando di allenare il
i dipendenti devono essere iperattivi a cosa
lo fanno quando sono sulle loro macchine
dove importa Netflix che abbiamo fatto
qualcosa di simile ma abbiamo anche avuto
Le chiavi USB che gironzolavano andavamo via
loro stesi in giro nella caffetteria e
se lo hai inserito nel tuo computer portatile
apparirà mancante che non dovresti avere
collegalo al tuo laptop perché io
solo ora possiedo il tuo laptop per favore
li riceverai in ricezione se trovi una USB
caso quindi questo è condizionamento umano è
necessario dove facciamo molto di questo tipo
di roba Amazon è bravo a farlo
in particolare a causa di tutti i dati
che teniamo e la fiducia che abbiamo in
il nostro sistema
molto visitare vigili su questo un’altra
livello giù scimmia infezione questo è uno
delle scimmie più spaventose che ho sentito
come una bussola gorg nostra decorazione e loro
prenderà in realtà il tuo intero
la rete lo fa bene e lo faranno
dirti cosa stanno facendo è che lo facciano
sono alti e corrono
fondamentalmente salta da una macchina all’altra
usando gli exploit in realtà tutti i tuoi
infrastruttura genera una bella mappa
della tua infrastruttura che potresti
essere una cosa utile
ci sono penetrazione e sono a
compagnia di sicurezza sono un po ‘spaventosi
sono una di queste compagnie israeliane
dove sono abituati a fare questo viviamo
per un decennio e ora lo fanno per sempre
piuttosto che farlo per l’israeliano
militare , ma se vuoi davvero essere
sicuro che le tue macchine non siano impossibili
di proprietà di un gruppo probabilmente vale la pena
arrugginendo l’avrei eseguito in modo molto isolato
testare l’ambiente giusto e se passa
che poi magari provi la produzione solo per
assicurati di essere al sicuro ma ne conosci qualcuno
questi strumenti erano un po ‘spaventosi per Carole
lo slinger è davvero interessante
un altro progetto open-source penso che
era figlio di UnitedHealth ed è il
primo progetto open source in uscita
una società sanitaria fresca gente casuale
che non ti aspetteresti di avere aperto
i programmi sorgente ora stanno ottenendo
sufficientemente ispirato da quello che sono
sporgere un progetto open source che
fa qualcosa di interessante, quindi questo è
l’ applicazione della politica ha diritto a
politica, ma il miglior esempio che abbiamo s3
secchio quindi tutti hanno secchi s3
perché usano AWS e quei secchi
non dovrebbero essere leggibili dal
mondo giusto, quindi abbiamo questa politica e
poi da qualche parte hai un po ‘di software
sta cercando di far rispettare questa politica
quello che farà il cursore del caos è che lo farà
creare un secchio s3 che stia bene
leggibile e poi sedersi e andare fatto
il sistema di polizze lo avverte correttamente
crea eccezioni politiche
a livello di codice
per verificare che l’applicazione della politica
il sistema è la magrezza corretta che se ne accorge
quelli in quelle forze dell’ordine sono
accadendo proprio questo è l’idea di esso
è una specie di piccolo tour e poi
alcuni parafanghi in questo attacco di base IQ e
una violazione sicura che andrà e ti aiuterà
gestisci la tua squadra rossa
okay, l’ atteggiamento qui è un po ‘
rompilo per renderlo migliore ma è così
rompilo davvero per renderlo più sicuro e
Parlerò questa mattina sulla sicurezza, dove io
parlato di Todd Conklin ha scritto a
prenota sui morti ma ha un grande successo
podcast urbano ascolta il suo podcast per a
un paio d’ anni ho fatto una registrazione con
lui sulle mucche scimmia una volta e io sono
pianificando di fare un’altra registrazione con
lui presto e poi i giornali poveri che erano
CTO di Etsy ha fatto un sacco di lavoro
fattori umani e affidabilità e sicurezza
e c’è un rapporto sui punti di Stella
è un URL quindi il report dei punti è molto lungo
nome di dominio che indirizza il dominio ma vai
leggi questo molte informazioni utili e
è il riunire il
leader della sicurezza con il software
persone a tipo di combinare i pensieri
e e capire cosa dovremmo davvero
fare per costruire sistemi sicuri e come
stiamo parlando di cose come
automobili auto-guida che non crash e
uccidere le persone aerei che non crash
droni che non volano nelle persone
ci sono molte aree ora dove siamo
entrare nei sistemi software che sono
costruendo molta sicurezza critica
ambienti così sono Todd e John
c’è un altro altro autore che ho
menzionato è Sydney Decker e questo è
questa è una frase interessante che ero
leggendo il suo libro più recente che è
ha chiamato l’anarchico della sicurezza e ha mantenuto
parlando dell’ammissibilità sinottica e
dice questa frase su ogni pagina in
il libro di cui parla così non farlo
penso che sia un non essere illeggibile e
alla fine capirai di cosa si tratta
parlando e è sempre bene Pro
per una conferenza con una nuova frase a
confondere i tuoi colleghi con questo significa te
non è possibile scrivere esattamente cosa succede
significa che l’uomo è il the
il manuale di sicurezza dice se lo fa
un libro di corsa proprio in fondo questo dice
tu corri libri non funzionano questo è il motivo per cui corri
i libri non funzionano perché il libro delle corse è
cercando di gestire qualcosa che è di più
complesso di quanto sia possibile scrivere
è facile che ci siano le permutazioni
esplosione di permutazione della complessità in
il numero di combinazioni di cose
ciò può accadere significa che non puoi
annota ogni possibile cosa
potrebbe succedere, così lo attraversi un po ‘
e poi finisci okay non c’è
regola per questo diritto quindi significa che il
umano a quel punto deve iniziare a usare
giudizio ma se sono stati addestrati a
seguire il processo che hanno ricevuto
non usare il loro giudizio perché
dovrebbero seguire le regole ma
cosa succede quando finisci le regole
tutto ad un tratto si deve usare il vostro
giudizio e il punto di questo libro è
che dovresti usare di più il giudizio
dovresti dire che questo è un sistema in cui
Ho intenzione di usare il giudizio umano per
fare la cosa giusta e di capire
cosa fare piuttosto che fare affidamento sul nostro
la capacità di scrivere in giù così che cosa questo
significa che la sicurezza del sistema è un emergente
proprietà di un sistema e gli umani lo sono
parte di quel sistema e il modo in cui
feedback nel modo in cui lo tracciano ora
questo è un altro aspetto di questo
che stiamo iniziando ad automatizzare alcuni
delle cose che fanno questi umani così come fanno
costruisci un sistema software che
gestisce combinazioni incerte e strane
e combinatorics quindi c’è un sacco di
sfide qui penso che questo è un
libro interessante e anarchico della sicurezza
è un anarchico nel senso che lui
pensa che non crede nel
le regole che le persone stanno mettendo dentro è un
anarchico in questo senso non è Aniki
è un’anarchia anarchica
Anika è qualcuno che non gli piace
regole centralizzate è questo è il
punto che sta facendo
quindi i fallimenti non sono una cosa fondamentale
ha una causa principale che non è loro non
non sono causati dall’avere un componente
fallire o un fallimento umano sono un problema
di mancanza di margine di sicurezza perché tu
dovrebbe aver progettato il sistema per consentire
quelle componenti falliscono come sai
hai dischi mirror che stai assumendo a
il disco fallirà senza influenzare il
resto del sistema giusto ma se tu
un’interruzione perché i dischi non sono riusciti
questo significa che non hai messo abbastanza
ridondanza e non abbiamo costruito il giusto
un modo per aggirarlo così che era la mancanza
di margine di sicurezza come un piccolo pensiero
esperimento qui sono in realtà più o meno
sul bordo di una scogliera qui, ma vediamo come
mi sono accecato bendato me stesso e
iniziato a vagare per questo stadio e
c’è una specie di scogliera qui non lo faccio
voglio cadere da questa scogliera, quindi se lo sono
mi sto avvicinando e ho gli occhi
Chiuso andrò tutto bene
vicino ancora
è così sicuro voglio quanto mi avvicino
voglio essere quanto lontano posso andare in nessuno
dimensione senza cadere dalla scogliera
giusto quindi devi essere abbastanza attento
l’altra cosa che potresti fare è decollare
la benda e dì ok posso vedere il
bordo ora giusto quindi se stai costruendo un
sistema come puoi rendere il vecchio
confini i tuoi margini di sicurezza
diritto osservabile in alcuni casi che facciamo
come se stessimo guardando CPU occupata correttamente
e tu non vuoi che la tua macchina
sovraccarico stai guardando quanto inattivo
tempo hai e lo sai quando
la Macchina sale sopra sai 80 90
per cento occupato smette di funzionare bene così
questo è il tuo margine di sicurezza hai 20
30 percento CPU Headroom e tu puoi
misuralo e puoi monitorarlo e
puoi seguire quelle cose ma molto
del tempo per costruire sistemi dove
non sappiamo ciò che il margine di sicurezza è
e devi iniettare errori per trovare
fuori cosa succede e per scoprire come
molto margine effettivo hai perché
da qualche parte nel sistema c’è una cosa
quello sta andando a corto di discussioni come
c’è sempre quella cosa che si esaurisce
di discussioni quando tutto diventa lento
perché quando tu quando il sistema rallenta
giù pensa che i processi si aggrappino a
discussioni più a lungo e in quel momento
sei in una discussione quindi c’è un generico
il problema succede sempre, lo farai
lo trovi così ma questi sono tutti invisibili
limiti che non hai notato perché in
operazione normale non lo fanno
costringendoti così devi testarli
cose così che stiamo davvero parlando
qui è l’ipotesi che testiamo noi
pensiamo che abbiamo un margine di sicurezza
davvero con attenzione prova senza in
produzione senza causare problemi
l’obiettivo qui non è mai quello di causare un problema
ma per essere fatto in produzione, così siamo
davvero sicuro che il nostro sistema di produzione
è quello che deve essere affidabile
sì, puoi eseguire questi test che puoi eseguire
questo in un ambiente di test ma il tuo test
l’ambiente non ha bisogno di essere affidabile
è solo che sai darti una prima
passare l’approssimazione che non hai
rotto qualcosa e forse lo uso per
eseguendo il debug dei test, i test
loro stessi ma in produzione voi davvero
Devo eseguire questa roba per saperlo
la produzione è di andare a lavorare in modo solo un
wrap-up su quale test del caos è garantito
questi quattro livelli hai esperienza
roba che esegue applicazioni robuste voi
avere un tessuto di commutazione affidabile e
è in esecuzione su un servizio ridondante
fondazione qualunque cosa accada
cloud o data center o altro
e cosa sta realmente accadendo in
l’industria sta vedendo questo davvero
costoso recupero di emergenza personalizzato
sistemi in cui si deve quello che io chiamo
data center artigianali a fiocco di neve che
sono in stati casuali sono molto difficili
fare fallimenti di disaster recovery tra
loro ma per i conti cloud sono identici
hanno le stesse API che puoi distribuire
le stesse cose per loro è molto di più
affidabile è molto più automatico e
è molto più possibile ora prendere
disaster recovery da qualcosa che è
difficile da fare costoso e difficile da
qualcosa che è facile da realizzare
corri e puoi eseguirlo tutti i giorni o tu
può essere eseguito ogni poche settimane, piuttosto che
essere qualcosa che hai paura di fare una volta
un anno e questo torna ad alcuni di
quei principi come in continuo
consegna se fa male farlo più spesso
fino a quando non capiscono come farlo
smettila di farti male è la stessa persona che siamo
fare il disaster recovery continuo in
nello stesso modo in cui stavamo continuando
consegna del codice piuttosto che una sorta di
versioni annuali monolitiche a cascata
giusto è lo stesso principio di essere
applicato qui così è e penso
adesso siamo a pranzo, ma lo sono
felice di fare alcune domande e lo farò
essere qui tutto il pomeriggio per di più
discussione così va bene che è interessante
tu
Please follow and like us: