[Musica]
buon giorno sono io sono Bryan Cantrell I
apparentemente sono ancora perseguitato da
Commenti di Usenet che ho fatto più di 20 anni fa
quindi tutto dura per sempre
mente
quindi ho intenzione di presentare questo
mattina su un argomento vicino e caro al mio
cuore anche se spesso induce
arresto cardiaco o si sente in quel modo e
questo è il debugging di più
debugging condizioni stressanti possibili
sotto il debug del fuoco quando i sistemi hanno
debug fallito durante un’interruzione
e la genesi di questo è molto
giornata molto pessima che ne abbiamo avute parecchie
anni fa , questo è un registro IRC che ho
l’ho redatto leggermente e ho ovviamente
cambiato il nome quindi questo è un interno
Il registro IRC che mostra questo è giusto prima
disastro colpisce qui quando uno dei
l’operatore dice che riavvierò a
mazzo di Arby’s Arby’s di Richmond vuoto
B è un tipo di nodo di calcolo che abbiamo
a Giant um sto solo ricevendo una lista
in questo momento e devo dirvi che
Joanne è un’azienda di cloud pubblico quindi sì
competiamo con AWS e Google e
Azure e così via, quindi abbiamo il nostro
cloud pubblico e questo è un operatore di
quel cloud pubblico in procinto di riavviarne alcuni
di questi nodi vuoti per portarli su
una nuova immagine di piattaforma non un’altra
l’operatore dice che va bene, lasciami fare
so cosa fare e lo farò
verso la fine del mio turno e un paio di
ore e poi si vede circa sette
qualche minuto dopo un altro operatore che dice um
noi est si sta riavviando um
punto interrogativo a cui qualcuno risponde
interrogativo punto interrogativo come quello che
quello è il in the parse che cosa fa anche questo
significa come noi est quello che è un dato
centro come noi non è così
abbiamo esaminato le macchine non i data center
non è una cosa
e poi l’operatore tre aiuti lo farà
utili tagli e incolla nel messaggio
che ha appena visto sul nodo principale che
è un po ‘ il nodo amministrativo
in un centro dati che dice che la testa
il nodo si sta spegnendo ora qualcosa
che abbiamo praticamente mai facciamo disconnettersi ora
o rischio che i tuoi file vengano danneggiati
Certo che è questo è il classico
e agente e stupido in realtà unità cosa
hai ancora questo messaggio, io no
sa nemmeno comunque così sembra proprio come
è una tale minaccia così vaga
che il sistema sta facendo come me se tu
non disconnetterti, ti punirò di
corrompere in modo casuale i file um tua
in realtà i tuoi file non lo sono
andando a essere danneggiato e tu in realtà
non è nemmeno necessario disconnettersi a proposito
perché il sistema farà attenzione
di cose da solo in modo che tu possa effettivamente
solo se vuoi rimanere connesso e modificare
via perché stiamo andando giù comunque io sono
al quale uno degli ingegneri dice così
qui puoi vedere un timestamp di ostacoli
dice WTF una delle cose che abbiamo
forse non è utile averlo goduto noi
avere questo è il nostro pre allentamento allentato quelli
sono il nostro canale jabber qui e abbiamo ottenuto un
bot che è stato nel corso degli anni il bot
credo di aver superato il venditore
singolarità del bot in realtà è che non lo facciamo
in realtà pagato un bot ma non lo farebbe
sorprendimi se il bot richiede effettivamente
uno stipendio ad un certo punto quindi abbiamo aggiunto
tutti i tipi di logica strana al bot uno
delle cose che qualcuno ha aggiunto
il modo è quando qualcuno dice WTF
bot prende una frase a caso dalla chat
su tutta la sua storia in cui qualcuno
ha usato la parola cazzo e lo offre
su questo è un esempio nel bada ha
diversi comportamenti dove a causa di
Certo che il bot ovviamente ha no
i neuroni specchio hanno effettivamente il bot
non ha empatia che il corpo non conosce
se questo è un buon momento per dire questo
o un brutto momento per dire questo o un
estremamente brutto tempo questo è così il bot
andrà ad aggiungere in realtà sarà e quello
non ha modo di valutare se qualcuno e
questo è in realtà in questo caso siamo
solo stordito, non proprio infuriato ma
un’altra cosa che piace al bot
è corretto qualcuno che dice Linux –
intendi un buon nuovo Linux e va bene
mandorla e Linux spesso si presentano un po ‘
di una schiuma o goditela così qualcuno lo farà
già essere spumoso e essere come dio dannazione
Linux è come se tu volessi farlo
stai zitto , non sicuro, ma qualcuno cancella il
ma sto cancellando il bot che sto cancellando
il bot in questo momento l’ho avuto con il
bot quindi il bot non ha senso
dell’ingegnere di cronometraggio dice WTF come oh the
caso che soffia questo cazzo di ufficio
spingendo file di grandi dimensioni come yeah ah ah
ha bot chiuso io sono un altro operatore
come cosa e, naturalmente , essere il primo
l’ingegnere dice quale IV io adoro il
Infatti ha digitato quello che tutti sono
pensando a qualsiasi interruzione, per favore non farlo
sii per favore non essere me per favore non essere
io che penso che tu stia parlando
personalmente um se sono come sono in viaggio
attraverso la vita nessuno è più tollerante
un fallimento di sistemi di quanto lo sono se vado a
controlla nel mio volo oh mio dio mi dispiace
quindi stiamo avendo problemi con il computer
come va bene, prenditi il tuo tempo, per favore
per favore , per favore , non essere me, per favore
sii per favore non essere me per favore non essere
per favore, non essere me per favore, non essere me
per favore non essere me per favore, Dio non essere
io e ah
e questo non è l’ingegnere che è
dicendo per favore non essere me è il primo
operatore e realtà così III pensano che
ci sono un paio di cose fondamentali
per sottolineare che questo è in realtà um
questo è un candore piuttosto sorprendente perché
questo ragazzo si rende conto che lui solo
accidentalmente nuked il centro dati e
non c’era alcun tentativo di intendere questo
fondamentalmente il modo più breve possibile
potrebbe esprimere ciò giusto non c’è
provare a piacere non c’è fiorito
lingua qui
no come deliberata ambiguità è solo
come se fossi io sono diventato la morte
distruttore di data center su Twitch
ingegnere uno che ha il tipo di
paranoia residua che esiste in molti se
non molti ingegneri hanno chiesto il ragionevole
la domanda per limitare il suo cenno è tutto a posto
un atto di sabotaggio sei tu non lo so
uh
e dice che stavo riavviando a
Richmond va benone e si è dimenticato di farlo
mettere meno n ne parleremo a
un pochino mi sono incasinato
Mi dispiace davvero veramente dispiaciuto di essere
che si tengono sì mi dispiace sì sì, lo siamo
a questo punto come non sei nemmeno uguale
non sei nemmeno arrabbiato se sei terrorizzato
Sono terrorizzato, um
operatore cinque una volta non so perché
pensa all’operatore cinque, immagino solo voglia
per sentirlo direttamente come se fossi appena arrivato
la nota principale o hai tutto quello orientale
è entusiasta di questo e in realtà leggo
in realtà perché ha un sacco di novità
macchine di idee ma ecco cosa ho fatto
ah e a questo punto il supporto
il personale si è reso conto di aspettare un minuto
qualcosa di molto brutto sta succedendo così
per il personale che arriva alla chat allo stesso modo
quindi tutto il lievito verrà riavviato e
ti presenta ma leggi solo del buono
Di noi è un tipo, quindi …
sono
Non ho mai avuto un più viscerale
pensato che stavo per vomitare su
la mia tastiera um perché lo sapevo
questo era molto male molto molto molto male e
che stavamo andando in totale sconosciuto
terra per molti motivi um così um
e lascerò che me ne vada
ragioni per cui questa è terra totalmente sconosciuta
qui in un secondo ma questo era assolutamente
terrificante questo non è proprio come lo siamo noi
andando a riavviare la macchina lo so
siamo noi a mostrarti ancora esattamente così
questo è grazie al registro ha il
il fungo è felice e così è stato il primo
tutto appena prima di parlare di tipo di
i dettagli del perché era così
terrificante quasi istantaneamente e
in realtà penso che sia così siamo noi
riavviato a ciò che riavviamo a questo
in realtà accade a che cosa circa 2014 così
siamo al 2019 a soli cinque minuti dall’inizio
questo e uno degli operatori penso
dice hey non abbiamo bisogno di una post-morte
questo ovviamente siamo ovviamente a
post mortem, ma credo che questa era una sorta di
interessante ho quasi fatto esattamente
cosa ha fatto un certo numero di volte
ehm e poi penso che questo sia un po ‘
interessante in termini di come il
aspetti emotivi di trattare con uno di
queste interruzioni sono … sai come si guarda
guarda cosa funziona sul recupero
e tu sai che ci aiuterebbe
e devo dire l’ interruzione completa il
l’operatore che ha fatto questo era proprio come
utile come potrebbe essere lui o
lei potrebbe essere un ospite
loro erano così disponibili come loro
potrebbe essere così um penso che sia un po ‘
sai interessante come guardare solo aiuto
noi fuori penso anche che sia gentile
di questo non sta dicendo che non è così
importa o sai che andrà bene perché
come ora non starò bene, importa
male, ma non preoccuparti di questo come solo
aiutarci a recuperare aiutarci a recuperare um che faccio
amo come se non vedessi nessun avviso come
perché non vedo niente o è come
sì quelli sono tutti i
su di noi uno è su e quindi ecco perché
non vedrai nulla di fuori
il sistema perché il sistema ha ora
andato totalmente al 100% dardo su e quello di
Ovviamente i tweet iniziano ad arrivare e così via
che otto minuti in questo i tweet
stanno arrivando e quindi perché siamo stati fortunati
bene eravamo o eravamo o come potevamo
questo è stato così cattivo perché ero così
terrorizzato perché stavo per vomitare
con la mia tastiera butto la mia tastiera
perché questa è una nuvola e noi siamo la
software che abbiamo costruito per questo
chiamato il software open source è Triton
un complicato sistema distribuito e in
particolare quando siamo nel modo in cui siamo in grado
per espandere il cloud e creare un cloud
fuori rapidamente è quando creiamo rack e
cavo un sacco di nodi di calcolo non lo facciamo
in realtà installa il sistema operativo
su uno qualsiasi di questi nodi hanno solo folletto
avvio di un nodo principale ottengono a
immagine della piattaforma che eseguono la RAM
residenti e corrono che è grande e
è stata una grande vittoria in molti
molte dimensioni e poi c’è questo
dimensione perché per conoscere anche
quale piattaforma per avviare un nodo di calcolo
che il nodo principale dovrebbe essere Boudicca
codice che parla a un sistema distribuito a
capire bene nodo quali elaborazione sono
tu quale immagine di piattaforma stai correndo
e così via e parlerà con a
database può fare un sacco di cose lì
sono un sacco di componenti necessari per
capire che cosa si dovrebbe avviare delle
Ovviamente la cosa che stiamo per fare
scoprire è come molti di quei componenti
siamo seduti su macchine che non possiamo
avvio perché essi stessi non sono su
e ora lo avevamo considerato di sicuro
avevamo pensato che l’ avevamo provato
ma in nessun luogo vicino a questa scala e al
secondo questo è successo in realtà il
secondo, in realtà avevo un onesto
reazione di lotta o fuga onesta
dove in realtà non potevo pensare
circa 10 secondi perché il mio cervello solo
tipo di bianco è andato, ma come ho capito
che questo potrebbe essere un problema molto serio
In realtà ho ripensato a a
presentazione che avevo visto da Martin Braco
chi è qui ed era a credo che fosse
su un’interruzione di Heroku è molto molto pessimo
giorno a Heroku e un’interruzione che è durata
molto più di otto ore come ricordo
è stato 67 ore e io assolutamente
pensavo che ci fosse una probabilità del 40%
siamo in un 67 siamo nel minuto uno di a
Interruzione di 67 ore e io immediatamente
programmato per un’interruzione di 67 ore mentalmente um
e in molti modi uno ho preso un sottoinsieme
degli ingegneri e ho chiesto loro di assumere
che non possiamo avviare nessuno di questi e andare
capire come avviamo un nodo di calcolo
con un’immagine che stiamo andando a
handcraft and hand roll and boot just
facciamo solo supporre questo non sta a
lavoro ho anche iniziato a pianificare immediatamente
per fortuna questo è successo in modo simile
orario di lavoro bullseye in California ma
uno dei punti molto interessanti che
Mark aveva durante quell’interruzione stava progettando
per la gestione del sonno, perché dormire
la privazione è un giudizio importante
al potere e tu conosci uno dei migliori
cose sulla capacità di giudizio questo
sembra essere vero come il tuo
il giudizio è compromesso fin dall’inizio
giudizio di andare quando il tuo giudizio è
alterato da privazione del sonno da
bere alcolici da tutto il molto
il primo giudizio ad andare è quello raggiunto
giudizio che il tuo giudizio è compromesso
Immagino solo che sia come il modo
lavori di compromissione del giudizio suppongo che lo sia
come un po ‘come un po’
scintillio nell’occhio del giudizio compromesso
ma è come se fossi io solo mi piace
rotolare in questo modo tipo di mi piace fare casino
con un mondo come questo perché tu
sono convinto che tu stia bene è come
no no il tuo giudizio è in realtà compromesso
e tu in realtà e in particolare lì
sono e li abbiamo visti e abbiamo visto
loro di recente
ci sono molti incidenti che accadono in
la fine di un turno o quando le persone lo sono
già stanco e poi stanno alzati per
altre 12 ore ma è come te
dovrebbe essere a letto dovresti essere addormentato o
due sfere
qualcun altro da cui lavorare, così ero
già la mia mente stava già andando a tutti
tipi di posti pazzi um e per fortuna
il tutto è venuto fuori
e perché le cose che effettivamente abbiamo
dovuto firmarlo funziona davvero e
tutto ha funzionato davvero come lui
doveva funzionare come mai
successo quindi vorrei che nessuno era più
scioccato di me e in particolare
era e avrei dovuto afferrare i bacini
attacchi è piuttosto divertente per noi tra
altre cose che si uniscono alla calma non è in linea, giusto
Voglio dire che siamo tutti est
Unire la calma è andato così siamo nel
processo di fallimento del sito Web a
un altro data center solo per poterlo dire
persone come sì sappiamo che siamo in fiamme
va bene così siamo in procinto di
fallendo questo e poi quello è
fallito con successo per sempre grazie a Dio
Vado al sito web e le voci oh
è divertente perché in realtà non lo siamo
fallito su microfonico limitato se tu
non ho fallito e posso andare a
il sito è come se avessimo intenzione di amare
vivremo, vivremo
tutto ciò che Dio vivremo e così
noi essenzialmente l’ intero DC a causa di alcuni
alcuni meccanismi che avevamo aggiunti alla
sistema molto tempo fa precauzionale
meccanismi in caso di a
guasto a cascata in modo efficace il sistema
è tornato su grazie a Dio e abbiamo vissuto e
non era così male, voglio dire se le persone fossero
Insomma , era brutto e questo a tutti
era giù ed era una notizia e
così via, ma questo potrebbe essere stato così tanto
peggio questo avrebbe potuto essere così così così così
molto peggio e pensavo
è stato un campanello d’allarme perché lo abbiamo sempre fatto
sappi che le cose possono essere cattive ma lo era
per me è stato sicuramente il più stressante
Ho avuto durante un’interruzione su dove tu
aveva quella sensazione onesta di Dio che mi piaceva
Potrei non uscire da questo um potremmo
non mi riprenderò mai, potrei andare pieno
Le magnolie sul cloud ricordano quelle
gente che ha avuto un’interruzione dalla quale
non ha recuperato e quello era che avevano un
credo che fosse su uno che hanno chiamato
la tecnologia ha sbagliato, ma io
credo che un pneumatico di database e da
che non sono riusciti a recuperare, Wow come
arriviamo qui come ci è piaciuto un sacco
di ingegneri del software e
con un’attività così stressante e
la natura del software è cambiata
l’degli ultimi dieci anni e il software è
sempre più consegnato come parte di
un servizio voglio dire che è così
il vettore con cui forniamo il software
ed è sempre più automatizzato
altro il modo in cui affrontiamo tutto il
software come lo configuriamo in questo modo
lo distribuiamo come lo gestiamo
tutto automatizzato e va benissimo
giusto ma il potere del
l’automazione è parte di ciò che è tagliato contro
noi nella nostra interruzione se quella interruzione fosse stata
10 anni prima sarebbe come se fossimo
rimbalzando tutte le macchine ma non è un
grosso problema perché queste macchine hanno tutto
avere il proprio accesso al sistema operativo
è il fatto che abbiamo avuto molto
sistema automatizzato più sofisticato che
reso così così pericoloso e il nostro
l’automazione non è completa non lo siamo
effettivamente pubblicare singolarità nonostante cosa
i robot ti diranno in chat umani
sono ancora nel ciclo, anche se lo sono
lo sviluppo di software gli umani sono ancora
nel ciclo e sono qui per dirtelo
sistemi semi automatici e sono tutti
semi automatizzati questi non sono completamente
sistemi automatizzati semi-automatici
sono pieni di pericoli la storia ci dice
questo è ancora e ancora e ancora
come se fosse la maledizione dell’intermedio
sciatore se lo farai se lo scii come un
intermedio è più probabile che tu uccida
te stesso che corri su un albero perché tu
ora hai la certezza di andare più veloce ma
non l’abilità e semi automatizzato
i sistemi ci danno la sicurezza di fare
cose incredibili ma con gli umani ancora
bloccato nel ciclo in modo che capiamo
in modi che non comprendiamo e
con quell’umano quella umana pessima abilità
in un sistema che è più manuale
in realtà più sicuro una fallibilità umana in a
il sistema semi-automatico è in realtà molto
più pericoloso e guarda non sarebbe
me se non siamo andati parlare
incidenti storici proprio così chiaramente
ci sarà un po ‘di storia
gli incidenti qui su Zoomers no
riconoscilo se sei canadese
sei probabilmente canadese perché è così
un
ti dice tutto quello che dovete sapere sono
tu canadese, sì, sei come ti piace
annuisce come si, si si, lo so, ragazzi
Va bene va bene va bene va bene
benvenuto benvenuto canadese e vedilo um
ti dice tutto ciò che devi sapere che amo
Canada Ho trascorso molto tempo in Canada
ti dice tutto ciò che devi sapere
Canada che questa è una fonte di nazionale
orgoglio per il Canada che stai guardando a
fonte di orgoglio nazionale come potrebbe farlo
forse è il caso questo è ciò che è
noto come aliante Gimli quindi questo è un
aereo come 767-200 che ha avuto un quello
ha avuto un fallimento impossibile quando è finito
di carburante a 30.000 piedi e il motivo
ha lasciato il carburante a 30.000 piedi
è a causa della fallibilità umana e in
in particolare l’aeroporto di Montreal era
tagliare dalle unità imperiali a
le unità metriche hanno calcolato male qualcosa dentro
in chilogrammi vengono sepolti qualcosa dentro
chilogrammi che avrebbero dovuto essere in
sterline e ha avuto molto meno carburante
consiglio di quanto pensassero e il carburante
calibri a proposito di missus che mi piace
interessante sapere dal 737-200 lo è
la quantità di carburante che gli dici
è quando decollare va bene così
molto ho e così che questo è il
dimensione del serbatoio del gas quindi ci sono
30.000 piedi sinistra oh hai un sacco di
gas oh hai appena perso un motore lì io
andare dio bene sia oh hai perso l’altra
motore come oh mio dio e mai e poi mai
concepito dal 757-200 è 1983 Questa
è uno dei primi cockpit in vetro
non ci sono cavi in questo aereo tu
conosci un vecchio pilota che te lo diranno
il 707 era il più grande
aereo mai costruito perché era il
l’ultimo con i cavi è tutto
l’idraulica tutta la cabina di pilotaggio di vetro si oscura
perde tutto ciò che hanno perso loro
unità di potenza auxilari hanno perso tutto
potere l’unico potere che sono
effettivamente in grado di avere un po ‘di questo aereo
chiamato una turbina a pistone che loro un po ‘
Voglio dire, è come parlare di “The the”
il tuo generatore di energia di veramente ultimo
ricorrere
si tratta di un propulsore che cade fuori dalla
aereo e utilizza la velocità per fornire
potenza all’aria
sicuramente non dovresti volare
questa cosa e dal modo in cui uno dei
Aspetti interessanti di questo incidente è
mentre rallentano per planare questa cosa
in un atterraggio se mi piace la planata è a
767 non guida questo non è un
la guida er è un’era di mattoni aerodinamicamente
questa cosa è un mattone e stava cadendo
dal cielo mentre stavano perdendo
velocità aerea in realtà stavano cominciando a
perdere potere nel velivolo come erano
atterrando questa cosa atterra su un e
vecchio io su una vecchia pista che era stata
trasformato in una striscia di trascinamento e quindi a
mercato delle pulci
quindi potresti essere immaginato di essere a una pulce
mercato in Winnipeg come un silenzioso 767 cadute
verso di te e quando pensi a se
sei canadese ora stai cantando o
Il Canada nella tua testa perché e perché
è stato un incredibile atto di volo quello
hanno atterrato l’aereo e hanno messo a
mazzo di io metto altri piloti e
simulatori in questo e tutti si schiantano
e tuffarsi era pilota inusuale per
essere in grado di atterrare questo era uno scenario
che non avevano mai addestrato per loro
mai visto l’ ingegnere dire lì e
questo è il loro equivalente di riavvio
il centro dati
è come in realtà non pensare che un
era possibile in realtà si scopre che è um
è così e questo e questo è di nuovo a
pericolo di quella semi-automazione che hai
la cabina di pilotaggio di vetro ma ancora l’umano
Fallibilità Sono più vicino a casa proprio il
l’interruzione di s3 probabilmente ha colpito molte persone
in questa stanza l’interruzione di s3 da solo a
paio di mesi fa, proprio da da
Febbraio se leggi questo postmortem
in realtà hanno rimbalzato le scatole sbagliate
efficacemente era efficacemente a
umano nel ciclo che ha specificato il
macchine sbagliate la chiave è che siamo sempre
andando ad avere un essere umano nel circuito non fare
pensi di far uscire l’umano
di loop avremo sempre un loop umano
perché c’è un software di scrittura umana
ad una estremità di esso
quindi stiamo sempre andando ad avere un essere umano in
il ciclo che avremo sempre
abbigliamento di sistemi semi-automatici come si fa
noi riusciamo a gestirli come
affidabile come robusto come è debuggable
di nuovo e come funzionano i micro servizi
è come immagino che anche quest’anno sia
come le unità dispari e micro
servizi dato che la traccia è in corso
esplodere il prossimo anno quindi invierò micro
servizi attraverso la riflessione sul
complessità che aggiungono ad un sistema perché
il paradosso dei micro servizi siamo noi
sono attratti da loro per loro
semplicità uno sviluppatore e molti di noi
sono sviluppatori come oh wow che mi piace
motivo per un problema molto più piccolo
che è vero e grande, ma producono un
sistema più complicato e quale no
dire che i micro servizi sono sbagliati o
sbagliata um certamente può essere esso
portato all’estremo ma è più quello
dobbiamo essere consapevoli di ciò di cui abbiamo bisogno
per capire che stai costruendo un
sistema distribuito e quando non lo fai
aggiungere un micro servizio a un sistema perché
non vuoi lavorare con un altro
organizzazione che, a proposito, sono
convinto è come il 40 percento o più di
il boom dei micro servizi è
conflitto inter-organizzativo una volta che lo farò
scopare quei ragazzi che costruiremo da soli
cosa è un micro servizio sì sì il
con i micro servizi nessuno deve essere dentro
carica e penso che alcuni
le organizzazioni hanno preso questo a fare
qualunque cosa diavolo vogliono ogni volta
vogliono ma poi stanno cedendo a
sistema molto più complicato open source
è anche esasperato che così ora
ovviamente amo di nuovo l’ open source è così
critico ma ne consente molti altri
tipi di scelte è aumentato
complessità ancora una volta e al
le stesse astrazioni stanno diventando
più robusti sono robusti ma come il
le astrazioni diventano guasti più robusti
diventa raro che è grande ma il
i fallimenti peggiorano e di nuovo questo è
che maledizione del di tale intermedio
sciatore come il fallimento come le astrazioni
diventare più robusti siamo tentati di
credo che i sistemi siano infallibili
eppure non sono infallibili in effetti
loro sono più
pericoloso che stiamo pensando di
loro come infallibili e il fatto che
abbiamo un sistema distribuito qui e
questi fallimenti quando tutto questo sistema
fallisce probabilmente avrai
guasti nei sotto componenti disgiunti
servizi disgiunti distruggono i micro servizi
un errore in un micro servizio
inducendo un fallimento in un’altra induzione a
fallimento e un altro diventare realtà
fallimento a cascata e incidenze di ragazzi
e questo è stato ovviamente questo era un
tweet da un paio di anni fa che quello
ho retweetato un sacco su questo ogni noi
sostituito il nostro modello di micro servizi ma
ogni interruzione potrebbe essere più simile a un omicidio
mistero ora ero ovvio penso che sia
divertente penso che probabilmente mi è piaciuto o
lo ho ritwittato da solo ma come se fossi nessuno
chi è stato in un’interruzione sa che
l’interruzione non sembra un omicidio
il mistero non sembra Miss Marple
investigare in un bizzarro inglese
città per vedere whodunit che non è quello che un
interruzione si sente come aprile questo è
la produzione è una guerra di guerra è un inferno
un’interruzione della produzione non si avverte
come un omicidio intendo dire che è quello che
ci piacerebbe a me giusto e soprattutto
quando inizia un sistema grande e complicato
per fallire si tratta spesso di avvisi sui profitti
sparare ovunque avvisi che sono quello
sono un po ‘fuorviato un po’ di confusione
tutti cercano di capire cosa c’è
andare sul caos totale ogni ingegnere
dicendo a se stessi per favore non essere me
per favore non essere me per favore, non essere me stesso
così su questo è per me è ciò che i signori dei lettori
più simile e il software moderno
modalità di guasto sembra più come questo
ti riconosco questo è questo è il
blackout nel 1965 grande nord-est
blackout scattato e questo sistema di alimentazione
quali sistemi di potere sono complicate su così
c’era effettivamente un interruttore in
Quebec che è stato o stato di New York in
ricordare che non era che è stato fissato a un
livello
non era una specie di livello datato
rendersi conto che potrebbero effettivamente carichi normali
vai così in alto che sono le persone di novembre
ci sono un sacco di illuminare un sacco di
le persone che riscaldano stanno attirando molto
potere e questo particolare inerte I
in realtà corti che colpisce il suo interruttore
si spegne da solo uno dei
sfide dei sistemi di distribuzione di energia
è che i poteri devono andare da qualche altra parte
dal modo in cui i microservizi hanno lo stesso
problema che il tuo micro servizio decide
si spegne quel carico va da qualche parte
altro e tutto il carico ora va avanti
e se si sta facendo buio a causa di
carica tu sei diventato buio al peggio
possibile ora e ora gli altri entrano
i legami sono molto più probabili a se stessi
diventa buio e genera ancora più carico per
il resto del sistema, quindi questo è questo
tipo di questo errore come oh, io ho bene
preso un centinaio di questi non importa
se uno di loro muore come bene, dipende
sul perché quello è morto
forse no ma ma dovresti capire
perché è morto perché se è morto perché
era sovraccarico che poteva essere vero
canarino che indica che c’è in realtà
un problema molto più serio e tu hai
generato più carico e hai questo
potenziale
fallimento in corso su dove tu in realtà
avere un fallimento sistemico totale in questo
riguardo ritengo che questo sia in realtà il
metafora più adatta al software moderno
distribuzioni di software di sistemi di distribuzione
sai che si tratta di Three Mile Island
Ho sentito qualcuno ha detto questo è il questo è
una delle pochissime foto scattate all’interno
la sala di controllo durante l’ incidente a
Tre Mile Island um e qui è il
Microservizi Three Mile Island
architettura quindi ho intenzione di darti
qualche veloce istruzione su Three Mile
Isola perché vedrai molto
di paralleli quindi se guardiamo un po ‘finita
qui a destra si vede che
demineralizzare ER e quella pompa di condensa
su questo tutto è iniziato a causa di alcuni
manutenzione ordinaria dov’erano
eseguire l’aspirazione automatica su una carica Postgres
no no scusami mi dispiace um loro uh
loro stavano pulendo il
demineralizzare l’ atomizzatore terrestre
usa le resine per demineralizzarlo e queste
le resine possono essere unite insieme e ottenere
bloccato non riescono a cancellare questa cosa così
decidono di mettere un po ‘d’aria lì dentro
spara un po ‘d’aria lì dentro per tipo di ottenere
queste resine hanno scollinato l’aria
finisce per entrare in uno dei controlli
linee per quella pompa di condensa che
pompa di condensa va offline che è
in realtà va bene intendo non ok ma è così
va bene ci sono le pompe ausiliarie
che dovrebbero effettivamente iniziare
pompando acqua in quel momento per raffreddare il
reattore tutte e tre le pompe ausiliarie
hanno chiuso le valvole perché tutto
tre erano offline per manutenzione è
come se non avessero controllato il database
backup sì non avevano controllato il
backup di database giusto qualcosa che noi
abbiamo visto di recente il laboratorio get
interruzione in cui questo è molto comune
modalità di errore quando hai ausiliario
sistemi quando si dispone di sistemi di backup
questi sistemi spesso non sono controllati e
quando falliscono spesso falliscono silenziosamente
o falliscono – si, lo sappiamo
la pompa ausiliaria è offline ma è così
bene perché la pompa ausiliaria è bene
di nuovo è come quel micro servizio
che si blocca è come se andasse bene ma tu
iniziato a compromettere la tua affidabilità
con tutti e tre offline e uno dei
importanti risultati di questo è che il
il reattore avrebbe dovuto essere messo offline
se tutti e tre erano in su , siamo offline con
tutte e tre queste cose offline
il reattore inizia a riscaldarsi di nuovo non il
fine del mondo ma ma ma a te
sapere come ottenere questo è ottenere un
un po ‘eccitante e quel numero
sette verso la cima del contenimento
costruendo su quello che viene chiamato il
valvola di sicurezza pilotata che si apre
fino a far uscire tutto il calore dal
reattore e controllo reattivo del reattore
le barre entrano e il reattore si ferma
idealmente ma ha ancora molto calore okay
Fin qui tutto bene
ah la valvola di sicurezza pilotata
allora e questo è il vero io
penso che questo sarebbe l’analogo per il
modo in cui pensiamo pensiamo ai servizi
la valvola di sicurezza pilotata si chiude
quando la temperatura diventa abbastanza bassa
beh, la temperatura comincia a farsi sentire
relativamente basso ma pilotato
valvola di sfioro non chiude di nota il
leggero
che si trova sul pannello di controllo
indicando che quello pilotato
la valvola di sfioro è aperta si oscura che questo
è stato un disastro UI che la luce si oscura
non quando la valvola di sfogo si chiude quale
è quello che gli operatori hanno creduto
la luce si oscura quando il potere è stato
applicato al solenoide per chiudere il
valvola di sfiato ho detto alla valvola di sfogo a
chiudere non la valvola di sfioro è chiusa il
gli operatori venivano mentiti e loro
aveva altri modi per capire cosa fosse
andando avanti
ma non lo fecero per ragioni che sono
in realtà molto comprensibile e il
risultati finali di questo gli operatori
sono stati effettivamente ritenuti irreprensibili perché
questa era una condizione così difficile
capisci che il reattore se lo sapevi
che la valvola di sfioro era effettivamente bloccata
Aperto
poi tutto aveva senso ed eri
in realtà perdere tutto questo vapore tutto questo
refrigerante fuori e in particolare si vede
c’era quel serbatoio di scarico laggiù e
quel disco rotto tutto questo refrigerante
entra in quel serbatoio di scarico che scarica
il serbatoio trabocca le rotture del disco di rottura
e c’è l’acqua in tutto il fondo
gli avvisi alarp dell’unità di pagamento si disattivano
a proposito che tutti quegli avvisi sono in corso
ignorato perché ce ne sono tanti altri
gli avvisi si spengono e questo è il tutto
idea di come oh monitoriamo tutto
come avvisiamo tutto questo questo te
monitora ogni cosa su ogni cosa
va bene
certo, ma non pensare che i tuoi avvisi
e il tuo monitoraggio è un sostituto per
capire il modo in cui funziona il sistema
a volte abbiamo questa Chiesa di allerta
avviso e monitoraggio e crediamo
semplicemente monitorandolo semplicemente
avvertendo su di essa
abbiamo evitato il disastro che è esattamente
cosa pensava l’industria nucleare nel
fine anni settanta il tardo nucleare il
industria nucleare dal modo in cui alla fine degli anni
industria nucleare quindi l’industria nucleare
è stato distrutto da attraverso le mie palpebre e
mai recuperato anche se l’incidente
in realtà non era così serio
da un non significa che ce ne sono molti molti
abbiamo avuto molti incidenti e altro
domini che sono molto più gravi questo
l’incidente non è stato grave ma è successo
distruggere l’energia nucleare per un sacco di
ragioni per cui amo questo risultato del
il rapporto speciale perché il ragazzo fa questo
sentirsi aggiornati per noi è difficile
cosa a guardare una luce ammiccante su a
bordo o lui ripetendo il livello di allarme e
molti di loro e ne disegna immediatamente
una sorta di immagine razionale di qualcosa
accadendo e più allarmi e avvisi
hai più cose che stai creando
sovraccarico sensoriale per l’operatore e
più è probabile che sia l’operatore
guarderà un allarme o un marring
allarme che è sintomo più che causa
questo non vuol dire che dovresti
monitor ovviamente dovresti dovremmo
monitorare i nostri sistemi dovremmo avvisare su
loro non si illudono
illudetevi pensando che noi
abbiamo evitato un’interruzione come risultato così noi
soffrire di molti di questi stessi problemi
soffriamo dall’arroganza di
energia nucleare negli anni ’70 in poi
distribuire brevemente questi distribuiti
sistemi con questa idea errata
che in qualche modo non possono fallire
sono infallibili perché lo sono
in esecuzione su più di un computer così
scopre che ci sono cose che possono
influisce più di un computer fidati di me ho
sai che sono io come si dice, e allora?
significa così come facciamo effettivamente il debug
queste cose quando falliamo bene uno di
cose che dobbiamo avvolgere il nostro cervello
è che dovremo eseguirne il debugging
produzione che ti servirà come un software
sviluppatore e so come se tu sei un
sviluppatori di software come te
probabilmente andrò via posso solo andare
per favore vieni e torna al mio
piccolo non so che questo problema non può
andare via abbiamo bisogno di debug effettivamente il
software in produzione e che richiede
in realtà una domanda più profonda come facciamo noi
in realtà debuggano così in astratto
il debug è il processo tramite il quale noi
capire il sistema e io penso che
questo è che è un tipo molto importante di
differenza nel modo in cui vediamo il debug
il modo in cui è stato visto
il debugging tradizionale non è semplicemente
l’atto di far scomparire gli insetti è il
atto di comprensione acquisendo conoscenza
nuova conoscenza del modo in cui il sistema
lavori
questo è ciò che è il debug e il
comportamento che stiamo capendo è
particolare comportamento patologico che
che vogliamo evitare ora tutto questo
idea di come capire il comportamento in a
Sistema sì che abbiamo fatto che prima
questo si chiama scienza scientifica che abbiamo
il mondo naturale che vogliamo capire
che vogliamo una ragione a questo proposito che
la scienza ora il mondo naturale è reale
dolore nel culo che abbiamo come mai
si lamentano di essere un ingegnere del software
per favore perché ce l’ abbiamo così incredibilmente
facile um siamo le cose sono così a buon mercato e
malleabile per noi contro il reale
mondo il mondo reale è un tale dolore
il culo che dobbiamo fare è molto costoso
esperimenti e non puoi semplicemente andare
in un esperimento di cui non hai idea
quello che stai cercando di fare devi
essere quasi per definizione molto ipotesi
centrico devi avere una sensazione
stai facendo il check- out e quella impressione ti piace
probabilmente ha bisogno di essere giusto e poi tu
bisogno di progettare l’esperimento
invalida che centinaia è difficile è
caro abbiamo un incredibile
il software di lusso è interamente sintetico
viviamo in questo incredibilmente
lussuosi sistemi di sintesi
macchina matematica e le conclusioni
che disegniamo spesso non è veritiero
ma probabilmente vero che è un enorme
lusso e possiamo fare esperimenti così
facilmente c’è così economico da formare
esperimenti e ancora più importante
quando abbiamo domande dei nostri sistemi, noi
posso semplicemente chiedere che abbiamo scritto tutto il
il software di cui abbiamo bisogno in realtà scrivere tutto questo
So che a volte non sembra
che in realtà abbiamo scritto tutto questo
possiamo ragionare su questo non è un
sistema che si è evoluto per quattro
miliardi di anni questo è un sistema che è
ogni linea di codice che stai guardando è
meno di ciò che 60 anni e e più
di loro sono molto meno giovani
di quello che possiamo capire e noi
puoi capire il software semplicemente con
osservandolo e penso che questo sia uno di
le cose fondamentali da realizzare
debugging l’arte del debug perché io
pensa quando sei vicino a qualcuno che
capisco come debugare molto bene te
potrebbe non capire
e quello che stanno facendo e comunque
stanno tipo di farlo intenzionalmente
c’è un po ‘di legerario su
l’atto di qualcuno che può eseguire il debug molto
bene in quanto è molto facile da sapere
sono scomparsi per un po ‘
quindi voilà
Vi presento la correzione è come hai fatto
capisci che oh ha lasciato le previsioni
Oh con quello hai una moneta dietro la tua
orecchie okay, andiamo Jimmy, vuoi
come un pallone um così ci è piaciuto
tipo di presentare questa idea che siamo
come i maghi non siamo noi maghi
sono le nozze del Mago di Oz dietro a
tenda che si muove freneticamente a manovella
cercando di capire il problema quelli
che può eseguire il debug bene sapere questo quelli che
debug male non lo so perché
hanno fatto male e è da se stessi
il povero auto-riconoscimento del debug è l’atto
di fare domande e rispondendole
non indovinare quale sia la risposta che sei
giocando a 20 domande e quando vedo 20
domande intendo non 20 domande con
i miei figli che sono incredibilmente
annoying a giocare 20 domande con I’ll
essere come va bene 20 domande per bene va bene
papà
è un tasso fai a sapere come come
circa è o è un mammifero o è
un animale o è un vegetale come ciao
ma lui è in un tasso, io sono come no, no
si capisce che
è un tasso e tu sei tipo fanculo
è un tasso, ma vuoi dire che è come
non sono io e io lo farò
confessa che ho cambiato la mia risposta 20
domande solo per come periodo Keith su
la lezione più grande di come chiedere abbastanza
fare domande migliori che vuoi
forma domande non ipotesi perché
troppo spesso ciò che le persone fanno è loro per tutti
So cos’è, so che è finita
lì l’ ho risolto è stato spinto
come whoa whoa whoa whoa bene come abbiamo fatto noi
vai da te a indovinare di quello che era
avendo effetti che spingono e oh no
vederlo di nuovo quello che non l’abbiamo visto di nuovo
in realtà non è quello che è
dimostrare la tua ipotesi corretta dovremmo
fare domande e come quelle
le domande danno risposte a quelle risposte
fatti e quei fatti vincolano
ipotesi e ripetiamo questo processo di
risposte a domande che fanno di più
domande specifiche risposte più specifiche
più alcune domande di più
risposte specifiche e poi quello
il salto ipotetico spesso non è un salto
tutto è un passaggio attraverso una pozzanghera e io ho
debugato un sacco di cattivi bugs nella mia vita
questo è sempre stato il processo e
ce ne sono stati molti tanti tanti tanti
molti bug in cui il pari come ero
nanometri lontano dalla causa finale il
la causa principale non potevo ancora crederci
ed è stato solo quando hai effettivamente ottenuto
quella risposta finale oh mio dio questo è un
bug microprocessore o cosa hai
così questo è il modo in cui dividiamo tramite il debug
avendo il ciclo di domande e
risposte in questa assume molte forme che
significa che sai come facciamo come noi
fare domande su software e in
in particolare quelli di noi che sono software
gli sviluppatori come progettiamo il nostro software
rispondere a domande su se stesso che se
l’arte del debug fa domande
il mestiere di scrivere software di debugging
sta progettando il tuo software per qualcuno
altro
essere in grado di fare domande a riguardo
significa progettare per il debug di post-form
abilità quando questa cosa muore, io genero
un core dump ho lasciato il breadcrumb
attorno al mio spazio degli indirizzi per renderlo più facile
per capire o più facile da capire
cos’è successo per cui sta progettando
La strumentazione dell’istituto è l’ abilità
per strumentare qualcosa mentre ciò che è
correre su di esso sta pensando a come
qualcuno dovrebbe voler strumento questo
e facendo leva su cose come Dtrace e così via
su di esso è in fase di progettazione per il debug post hoc
post ha parlato totalmente dopo il fatto
la registrazione dei log è molto utile
giusto e tu ovviamente logging c’è
un libro paga per la registrazione pure
ma registrando e sapendo cosa registrare e
quando loggare è l’arte della scrittura
software debuggable ed è essenziale
per evitare il debugging in produzione perché
davvero non vuoi bug durante un
interruzione di fare ciò che sta creando un
cultura del debug di nuovo quando guardiamo
debug come comprensione del sistema
migliorare il sistema non semplicemente come il
processo attraverso il quale i problemi sono fatti andare
via possiamo assicurarci
nel debug possiamo pensare a questo come a
operazione di prima classe e possiamo
incoraggiare noi stessi in realtà radice
causare cose se un ingegnere odora di fumare
dovrebbero causare la causa che se questo è
che un incendio in cucina è quello
caffettiera o è che il fuoco infuria
in una cucitura di carbone che ho scoperto modo
Troppe volte la mia carriera come potrebbe questo
mai lavorare lo hai mai detto a te stesso
Dio mio
come ha fatto a girare tutto ciò che ha funzionato?
fuori chiamò per caso come mio dio
come mai funziona la ragione per cui tu
è arrivato perché c’è stato un
anomalia un fenomeno qui fuori che tu
sono stati in grado di completare richiami ma noi
deve avere una cultura organizzativa quella
incoraggia ciò che non deve essere
percepito come oh questo è il tuo 20%
progetto è come se volessi darti un pugno
la faccia che mi piace non è come una libera
attività del tempo che è una parte fondamentale del
software che stiamo fornendo e che abbiamo
per prendere il tempo extra per costruire
abilità di debug questo fa parte di un molto
idea polemica radicale che sto chiamando
fallo bene la prima volta
no no no il bene giusto la prima volta
oh, mai adesso non lo facciamo nemmeno nel modo giusto
il 15 ° tempo è come provare a farlo
giusto la prima volta
le riscritture sono molto molto costose e il
il costo della riscrittura non è mai sopportato da
il debito tecnico che lo ha indotto
il modo in cui quelle persone sono fuori e fuori
altri posti di lavoro solo per dirlo senza mezzi termini e se
ti stai chiedendo perché quando guardo a
riprendo e vedo 18 mesi 18 mesi 18
mesi 18 mesi 18 mesi ne voglio alcuni
risposte abbastanza buone possono essere buone
le risposte possono essere molto buone
risposte I’m startup fallito sorta di
fallito sorta di un fondatore storto di
cricket del fondatore storto va bene
okay, ci sono stato, lo trovo
va bene, ma quello che succede anche quello
le persone in realtà fanno un sacco di cose brutte
decisioni e passare al prossimo lavoro
e quelli che sopportano il costo di quelli
le decisioni vengono lasciate silenziosamente urlando
la loro scia quindi dobbiamo avere una cultura
questo ci incoraggia a fare le cose
correttamente la prima volta così come facciamo
durante un pozzo di interruzione
durante un’interruzione tutti stanno andando a
scoprire se sono chi loro
in realtà sono quando diciamo DevOps e
DevOps si stringe come se capissi
che è grande Sono tutto di come abbraccio up
ma alla fine della giornata mi dispiace che tu
sei uno sviluppatore o sei un operatore noi
possiamo avvicinarci molto da vicino
empatia molto stretta l’ una per l’ altra e
dovremmo, ma questo è il momento in cui
saprai quale sei il momento
hai un servizio il servizio è scaduto
ma alterato sai che il riavvio
il servizio ripristinerà il tuo servizio
clienti ma perderà informazioni
dice che non è possibile eseguire il debug se si
operatore interno sarà come lo sguardo devo
riavvialo e nel tuo sviluppatore sarà
come lo sguardo ottenuto atomo uh ottenere come devo
riavviato davvero bisogno di un secchio okay così
non devi essere intrappolato in un falso
dicotomia è necessario riavviare entrambi e
Ibaka e trova un modo come possiamo riprendere
servizio fuori perdere informazioni cosa
grado di servizio con cui possiamo riprendere
minima perdita di informazioni non lo facciamo
voglio enfatizzare il recupero con
rispetto per la comprensione del modo in cui il
sistema funziona non vogliamo credere così
in recupero che noi che effettivamente no
più a capire il sistema e che noi
credi che il software rotto possa semplicemente
essere recuperato per le cose riavviando
tutto il tempo è così
chiamò Windows e l’umanità lo fece
sperimentare e non ha funzionato bene così noi
in realtà bisogno di capire la strada
questi sistemi funzionano se lo facciamo noi
invece di incassare la guarigione
capire il software rotto noi
normalizzare software software rotto
non dovrebbe essere rotto in modo univoco tra i
le cose che facciamo software non dovrebbero essere
ha rotto due macchine matematiche prima
Dico che non si usura va bene
per favore, possiamo farlo in modo univoco e giusto
se Ingrain questa idea che il software
è sempre rotto ci sono tutti i tipi di
cose cattive che provengono da questa idea che
il software dovrebbe tollerare quell’input no
il software tient dovrebbe fallire fallire
esplicitamente se vuoi troll
sicuramente nessun ingegnere comune in no
essere produttivi per il resto della giornata
dì che faccio che posso fare NPM non è alto
invece di installare e lo farà in realtà
funziona è buono
questo è uno come il bot è allegramente
offrire cose e ottenere una parola
sega e recuperare da fallimenti fatali
no, non dovrebbe farlo se hai un non catturato
eccezione è tuo dovere verso l’umanità
muori genera tutto il tuo stato presente
la tua carcassa imbalsamata per andare a Quincy ME
Non posso fare riferimento a Quincy mu
mi dispiace che tu non abbia idea che Oakland sia io
non è colpa tua quelli di voi che sono
Millennial non è colpa tua non molto
buon spettacolo, quindi possiamo davvero fare il debug
non vogliamo prendere l’ uovo del nostro SIG
V handler che è una cazzata per a
progetto di informatica del secondo anno
non è il modo in cui dovremmo effettivamente
sviluppare software quindi l’idea del software
non dovrebbe far valere la sua correttezza
stato perché continua a morire di recente
come Linux giusto Linux per sbarazzarsi di bug
acceso perché causa troppi arresti anomali
come questi fallimenti di asserzione sono
compromettendo la nostra affidabilità è come
okay vuoi che colleghi i punti
per te quindi ci stiamo sbarazzando di loro
proprio come oh dio oh dio
Oh Lennox mi hai combinato, intendi
Camille in Excel ma sto bene
di questi anti-pattern impediscono il debug
capacità e prometto che sto saltando su
qui in termini di dopo un’interruzione di cui abbiamo bisogno
comprensione veramente completa nella parola e
sì, postmortem intendo, naturalmente, che tu voglia
scrittura di un post-mortem ma quello
postmortem è molto più importante
che capisci completamente cosa
è successo allora è che lo scrivi
quindi ti costringe a completamente
capiscilo, ecco perché lo scrivi
il write up è forzare il completamento
capendo che dobbiamo completare
capisco ed è molto difficile soprattutto
con il fallimento a cascata in realtà
svolgere tutto ciò che è andato storto e
ti chiedi perché?
queste due cose hanno fallito, ma erano
stavano dando errori, figuriamoci
perchè um e tu spesso scoprirai di nuovo
ancora più fuochi di carbone ancora più cose che
lavoro per caso e tu devi
incoraggiare i tecnici del software a
capire che i nostri stessi fallimenti
incoraggiarli a progettare per il dialogo
capacità che ci porta al vero software
robustezza che dobbiamo differenziare
fallimento operativo qualcosa è andato storto
nel sistema in senso ampio
errore programmatico per programmatico
fallimento hai bisogno di morire davvero
il fallimento operativo deve essere effettivamente
in modo da cercare è sempre sta per essere
stressante che vorrete sempre
vomitare sulla tastiera quando un servizio
è giù questo non sta andando io non sono
andando a qui per rendere questo facile non è
facile e quando un servizio è giù abbiamo
ho alcune scelte difficili da fare
Penso che il piano per una lunga interruzione del piano 2
Ho in programma di raccogliere quante più informazioni
è possibile eseguire il debug fare attenzione quando si
passi falsi sono davvero molto costosi
spesso un fallimento che vedo fuori è
è che sono esacerbati presto
passo falso guarda l’interruzione di gitlab il
database errato è stato cancellato nel gitlab
interruzione perché è stato il database sbagliato che abbiamo fatto
perché stavano avendo un altro problema
erano già in un altro problema
quello era relativamente parlando di più
problema minore e il famoso
l’operatore uno ha cancellato il database sbagliato
che è stato un atto che era che stanno facendo
che perché vogliono ottenere il sistema
backup sì, si vuole per ottenere il sistema
torna indietro ma per favore fermati e pensa per favore
vale la pena dire ok tutti via
dalla tastiera possiamo avere una chiamata in corso
per favore facciamo una telefonata e possiamo farlo
facciamo alcune idee là fuori cosa
sono alcune domande che possiamo chiedere se
a Three Mile Island che avevano fatto che
tutti via dalla console per a
in secondo luogo prendiamo un secondo e davvero
penso che avrebbero effettivamente capito
fuori che il soccorso operato dal pilota
le valvole si aprono davvero con il cambio di turno
per capirlo perché nuove menti
è entrato in microfono, aspetta un minuto
andando avanti
paralizzato dall’avere cercato squadre diverse
diverse vie di indagine e
visualizzare queste interruzioni come un’opportunità
ci permettono di capire il nostro software
e, soprattutto, sviluppare una cultura
intorno al software che valorizza il debug
abilità ora se in qualche modo non hai
ho raggiunto il mio 50mo di me e prendo no
offesa se sei proprio come sto dando
tu la tua reazione di combattimento o fuga
ma se non hai um e tu ami
debugging um ci sono sicuramente un sacco
di posti che fanno questo ma dovresti
vieni a lavorare per unirti a noi, se tu ami
debugging si unisce a noi assumere in realtà
L’ assunzione di Julia anche se non lo ami
debugging ma sul se amate
debugging e tu questo valore
abilità di debug questo è qualcosa che noi
valore molto molto e spero che tu
trova un’organizzazione ovunque tu sia
quella
questo lo valorizza e se non l’hai avuto
abbastanza di me , ma tu potresti fare un
poco più me ma non troppo di più
poi abbiamo avuto una sessione lassù con
Bridget I e con quello grazie molto
tanto
[Applausi]
buon giorno sono io sono Bryan Cantrell I
apparentemente sono ancora perseguitato da
Commenti di Usenet che ho fatto più di 20 anni fa
quindi tutto dura per sempre
mente
quindi ho intenzione di presentare questo
mattina su un argomento vicino e caro al mio
cuore anche se spesso induce
arresto cardiaco o si sente in quel modo e
questo è il debugging di più
debugging condizioni stressanti possibili
sotto il debug del fuoco quando i sistemi hanno
debug fallito durante un’interruzione
e la genesi di questo è molto
giornata molto pessima che ne abbiamo avute parecchie
anni fa , questo è un registro IRC che ho
l’ho redatto leggermente e ho ovviamente
cambiato il nome quindi questo è un interno
Il registro IRC che mostra questo è giusto prima
disastro colpisce qui quando uno dei
l’operatore dice che riavvierò a
mazzo di Arby’s Arby’s di Richmond vuoto
B è un tipo di nodo di calcolo che abbiamo
a Giant um sto solo ricevendo una lista
in questo momento e devo dirvi che
Joanne è un’azienda di cloud pubblico quindi sì
competiamo con AWS e Google e
Azure e così via, quindi abbiamo il nostro
cloud pubblico e questo è un operatore di
quel cloud pubblico in procinto di riavviarne alcuni
di questi nodi vuoti per portarli su
una nuova immagine di piattaforma non un’altra
l’operatore dice che va bene, lasciami fare
so cosa fare e lo farò
verso la fine del mio turno e un paio di
ore e poi si vede circa sette
qualche minuto dopo un altro operatore che dice um
noi est si sta riavviando um
punto interrogativo a cui qualcuno risponde
interrogativo punto interrogativo come quello che
quello è il in the parse che cosa fa anche questo
significa come noi est quello che è un dato
centro come noi non è così
abbiamo esaminato le macchine non i data center
non è una cosa
e poi l’operatore tre aiuti lo farà
utili tagli e incolla nel messaggio
che ha appena visto sul nodo principale che
è un po ‘ il nodo amministrativo
in un centro dati che dice che la testa
il nodo si sta spegnendo ora qualcosa
che abbiamo praticamente mai facciamo disconnettersi ora
o rischio che i tuoi file vengano danneggiati
Certo che è questo è il classico
e agente e stupido in realtà unità cosa
hai ancora questo messaggio, io no
sa nemmeno comunque così sembra proprio come
è una tale minaccia così vaga
che il sistema sta facendo come me se tu
non disconnetterti, ti punirò di
corrompere in modo casuale i file um tua
in realtà i tuoi file non lo sono
andando a essere danneggiato e tu in realtà
non è nemmeno necessario disconnettersi a proposito
perché il sistema farà attenzione
di cose da solo in modo che tu possa effettivamente
solo se vuoi rimanere connesso e modificare
via perché stiamo andando giù comunque io sono
al quale uno degli ingegneri dice così
qui puoi vedere un timestamp di ostacoli
dice WTF una delle cose che abbiamo
forse non è utile averlo goduto noi
avere questo è il nostro pre allentamento allentato quelli
sono il nostro canale jabber qui e abbiamo ottenuto un
bot che è stato nel corso degli anni il bot
credo di aver superato il venditore
singolarità del bot in realtà è che non lo facciamo
in realtà pagato un bot ma non lo farebbe
sorprendimi se il bot richiede effettivamente
uno stipendio ad un certo punto quindi abbiamo aggiunto
tutti i tipi di logica strana al bot uno
delle cose che qualcuno ha aggiunto
il modo è quando qualcuno dice WTF
bot prende una frase a caso dalla chat
su tutta la sua storia in cui qualcuno
ha usato la parola cazzo e lo offre
su questo è un esempio nel bada ha
diversi comportamenti dove a causa di
Certo che il bot ovviamente ha no
i neuroni specchio hanno effettivamente il bot
non ha empatia che il corpo non conosce
se questo è un buon momento per dire questo
o un brutto momento per dire questo o un
estremamente brutto tempo questo è così il bot
andrà ad aggiungere in realtà sarà e quello
non ha modo di valutare se qualcuno e
questo è in realtà in questo caso siamo
solo stordito, non proprio infuriato ma
un’altra cosa che piace al bot
è corretto qualcuno che dice Linux –
intendi un buon nuovo Linux e va bene
mandorla e Linux spesso si presentano un po ‘
di una schiuma o goditela così qualcuno lo farà
già essere spumoso e essere come dio dannazione
Linux è come se tu volessi farlo
stai zitto , non sicuro, ma qualcuno cancella il
ma sto cancellando il bot che sto cancellando
il bot in questo momento l’ho avuto con il
bot quindi il bot non ha senso
dell’ingegnere di cronometraggio dice WTF come oh the
caso che soffia questo cazzo di ufficio
spingendo file di grandi dimensioni come yeah ah ah
ha bot chiuso io sono un altro operatore
come cosa e, naturalmente , essere il primo
l’ingegnere dice quale IV io adoro il
Infatti ha digitato quello che tutti sono
pensando a qualsiasi interruzione, per favore non farlo
sii per favore non essere me per favore non essere
io che penso che tu stia parlando
personalmente um se sono come sono in viaggio
attraverso la vita nessuno è più tollerante
un fallimento di sistemi di quanto lo sono se vado a
controlla nel mio volo oh mio dio mi dispiace
quindi stiamo avendo problemi con il computer
come va bene, prenditi il tuo tempo, per favore
per favore , per favore , non essere me, per favore
sii per favore non essere me per favore non essere
per favore, non essere me per favore, non essere me
per favore non essere me per favore, Dio non essere
io e ah
e questo non è l’ingegnere che è
dicendo per favore non essere me è il primo
operatore e realtà così III pensano che
ci sono un paio di cose fondamentali
per sottolineare che questo è in realtà um
questo è un candore piuttosto sorprendente perché
questo ragazzo si rende conto che lui solo
accidentalmente nuked il centro dati e
non c’era alcun tentativo di intendere questo
fondamentalmente il modo più breve possibile
potrebbe esprimere ciò giusto non c’è
provare a piacere non c’è fiorito
lingua qui
no come deliberata ambiguità è solo
come se fossi io sono diventato la morte
distruttore di data center su Twitch
ingegnere uno che ha il tipo di
paranoia residua che esiste in molti se
non molti ingegneri hanno chiesto il ragionevole
la domanda per limitare il suo cenno è tutto a posto
un atto di sabotaggio sei tu non lo so
uh
e dice che stavo riavviando a
Richmond va benone e si è dimenticato di farlo
mettere meno n ne parleremo a
un pochino mi sono incasinato
Mi dispiace davvero veramente dispiaciuto di essere
che si tengono sì mi dispiace sì sì, lo siamo
a questo punto come non sei nemmeno uguale
non sei nemmeno arrabbiato se sei terrorizzato
Sono terrorizzato, um
operatore cinque una volta non so perché
pensa all’operatore cinque, immagino solo voglia
per sentirlo direttamente come se fossi appena arrivato
la nota principale o hai tutto quello orientale
è entusiasta di questo e in realtà leggo
in realtà perché ha un sacco di novità
macchine di idee ma ecco cosa ho fatto
ah e a questo punto il supporto
il personale si è reso conto di aspettare un minuto
qualcosa di molto brutto sta succedendo così
per il personale che arriva alla chat allo stesso modo
quindi tutto il lievito verrà riavviato e
ti presenta ma leggi solo del buono
Di noi è un tipo, quindi …
sono
Non ho mai avuto un più viscerale
pensato che stavo per vomitare su
la mia tastiera um perché lo sapevo
questo era molto male molto molto molto male e
che stavamo andando in totale sconosciuto
terra per molti motivi um così um
e lascerò che me ne vada
ragioni per cui questa è terra totalmente sconosciuta
qui in un secondo ma questo era assolutamente
terrificante questo non è proprio come lo siamo noi
andando a riavviare la macchina lo so
siamo noi a mostrarti ancora esattamente così
questo è grazie al registro ha il
il fungo è felice e così è stato il primo
tutto appena prima di parlare di tipo di
i dettagli del perché era così
terrificante quasi istantaneamente e
in realtà penso che sia così siamo noi
riavviato a ciò che riavviamo a questo
in realtà accade a che cosa circa 2014 così
siamo al 2019 a soli cinque minuti dall’inizio
questo e uno degli operatori penso
dice hey non abbiamo bisogno di una post-morte
questo ovviamente siamo ovviamente a
post mortem, ma credo che questa era una sorta di
interessante ho quasi fatto esattamente
cosa ha fatto un certo numero di volte
ehm e poi penso che questo sia un po ‘
interessante in termini di come il
aspetti emotivi di trattare con uno di
queste interruzioni sono … sai come si guarda
guarda cosa funziona sul recupero
e tu sai che ci aiuterebbe
e devo dire l’ interruzione completa il
l’operatore che ha fatto questo era proprio come
utile come potrebbe essere lui o
lei potrebbe essere un ospite
loro erano così disponibili come loro
potrebbe essere così um penso che sia un po ‘
sai interessante come guardare solo aiuto
noi fuori penso anche che sia gentile
di questo non sta dicendo che non è così
importa o sai che andrà bene perché
come ora non starò bene, importa
male, ma non preoccuparti di questo come solo
aiutarci a recuperare aiutarci a recuperare um che faccio
amo come se non vedessi nessun avviso come
perché non vedo niente o è come
sì quelli sono tutti i
su di noi uno è su e quindi ecco perché
non vedrai nulla di fuori
il sistema perché il sistema ha ora
andato totalmente al 100% dardo su e quello di
Ovviamente i tweet iniziano ad arrivare e così via
che otto minuti in questo i tweet
stanno arrivando e quindi perché siamo stati fortunati
bene eravamo o eravamo o come potevamo
questo è stato così cattivo perché ero così
terrorizzato perché stavo per vomitare
con la mia tastiera butto la mia tastiera
perché questa è una nuvola e noi siamo la
software che abbiamo costruito per questo
chiamato il software open source è Triton
un complicato sistema distribuito e in
particolare quando siamo nel modo in cui siamo in grado
per espandere il cloud e creare un cloud
fuori rapidamente è quando creiamo rack e
cavo un sacco di nodi di calcolo non lo facciamo
in realtà installa il sistema operativo
su uno qualsiasi di questi nodi hanno solo folletto
avvio di un nodo principale ottengono a
immagine della piattaforma che eseguono la RAM
residenti e corrono che è grande e
è stata una grande vittoria in molti
molte dimensioni e poi c’è questo
dimensione perché per conoscere anche
quale piattaforma per avviare un nodo di calcolo
che il nodo principale dovrebbe essere Boudicca
codice che parla a un sistema distribuito a
capire bene nodo quali elaborazione sono
tu quale immagine di piattaforma stai correndo
e così via e parlerà con a
database può fare un sacco di cose lì
sono un sacco di componenti necessari per
capire che cosa si dovrebbe avviare delle
Ovviamente la cosa che stiamo per fare
scoprire è come molti di quei componenti
siamo seduti su macchine che non possiamo
avvio perché essi stessi non sono su
e ora lo avevamo considerato di sicuro
avevamo pensato che l’ avevamo provato
ma in nessun luogo vicino a questa scala e al
secondo questo è successo in realtà il
secondo, in realtà avevo un onesto
reazione di lotta o fuga onesta
dove in realtà non potevo pensare
circa 10 secondi perché il mio cervello solo
tipo di bianco è andato, ma come ho capito
che questo potrebbe essere un problema molto serio
In realtà ho ripensato a a
presentazione che avevo visto da Martin Braco
chi è qui ed era a credo che fosse
su un’interruzione di Heroku è molto molto pessimo
giorno a Heroku e un’interruzione che è durata
molto più di otto ore come ricordo
è stato 67 ore e io assolutamente
pensavo che ci fosse una probabilità del 40%
siamo in un 67 siamo nel minuto uno di a
Interruzione di 67 ore e io immediatamente
programmato per un’interruzione di 67 ore mentalmente um
e in molti modi uno ho preso un sottoinsieme
degli ingegneri e ho chiesto loro di assumere
che non possiamo avviare nessuno di questi e andare
capire come avviamo un nodo di calcolo
con un’immagine che stiamo andando a
handcraft and hand roll and boot just
facciamo solo supporre questo non sta a
lavoro ho anche iniziato a pianificare immediatamente
per fortuna questo è successo in modo simile
orario di lavoro bullseye in California ma
uno dei punti molto interessanti che
Mark aveva durante quell’interruzione stava progettando
per la gestione del sonno, perché dormire
la privazione è un giudizio importante
al potere e tu conosci uno dei migliori
cose sulla capacità di giudizio questo
sembra essere vero come il tuo
il giudizio è compromesso fin dall’inizio
giudizio di andare quando il tuo giudizio è
alterato da privazione del sonno da
bere alcolici da tutto il molto
il primo giudizio ad andare è quello raggiunto
giudizio che il tuo giudizio è compromesso
Immagino solo che sia come il modo
lavori di compromissione del giudizio suppongo che lo sia
come un po ‘come un po’
scintillio nell’occhio del giudizio compromesso
ma è come se fossi io solo mi piace
rotolare in questo modo tipo di mi piace fare casino
con un mondo come questo perché tu
sono convinto che tu stia bene è come
no no il tuo giudizio è in realtà compromesso
e tu in realtà e in particolare lì
sono e li abbiamo visti e abbiamo visto
loro di recente
ci sono molti incidenti che accadono in
la fine di un turno o quando le persone lo sono
già stanco e poi stanno alzati per
altre 12 ore ma è come te
dovrebbe essere a letto dovresti essere addormentato o
due sfere
qualcun altro da cui lavorare, così ero
già la mia mente stava già andando a tutti
tipi di posti pazzi um e per fortuna
il tutto è venuto fuori
e perché le cose che effettivamente abbiamo
dovuto firmarlo funziona davvero e
tutto ha funzionato davvero come lui
doveva funzionare come mai
successo quindi vorrei che nessuno era più
scioccato di me e in particolare
era e avrei dovuto afferrare i bacini
attacchi è piuttosto divertente per noi tra
altre cose che si uniscono alla calma non è in linea, giusto
Voglio dire che siamo tutti est
Unire la calma è andato così siamo nel
processo di fallimento del sito Web a
un altro data center solo per poterlo dire
persone come sì sappiamo che siamo in fiamme
va bene così siamo in procinto di
fallendo questo e poi quello è
fallito con successo per sempre grazie a Dio
Vado al sito web e le voci oh
è divertente perché in realtà non lo siamo
fallito su microfonico limitato se tu
non ho fallito e posso andare a
il sito è come se avessimo intenzione di amare
vivremo, vivremo
tutto ciò che Dio vivremo e così
noi essenzialmente l’ intero DC a causa di alcuni
alcuni meccanismi che avevamo aggiunti alla
sistema molto tempo fa precauzionale
meccanismi in caso di a
guasto a cascata in modo efficace il sistema
è tornato su grazie a Dio e abbiamo vissuto e
non era così male, voglio dire se le persone fossero
Insomma , era brutto e questo a tutti
era giù ed era una notizia e
così via, ma questo potrebbe essere stato così tanto
peggio questo avrebbe potuto essere così così così così
molto peggio e pensavo
è stato un campanello d’allarme perché lo abbiamo sempre fatto
sappi che le cose possono essere cattive ma lo era
per me è stato sicuramente il più stressante
Ho avuto durante un’interruzione su dove tu
aveva quella sensazione onesta di Dio che mi piaceva
Potrei non uscire da questo um potremmo
non mi riprenderò mai, potrei andare pieno
Le magnolie sul cloud ricordano quelle
gente che ha avuto un’interruzione dalla quale
non ha recuperato e quello era che avevano un
credo che fosse su uno che hanno chiamato
la tecnologia ha sbagliato, ma io
credo che un pneumatico di database e da
che non sono riusciti a recuperare, Wow come
arriviamo qui come ci è piaciuto un sacco
di ingegneri del software e
con un’attività così stressante e
la natura del software è cambiata
l’degli ultimi dieci anni e il software è
sempre più consegnato come parte di
un servizio voglio dire che è così
il vettore con cui forniamo il software
ed è sempre più automatizzato
altro il modo in cui affrontiamo tutto il
software come lo configuriamo in questo modo
lo distribuiamo come lo gestiamo
tutto automatizzato e va benissimo
giusto ma il potere del
l’automazione è parte di ciò che è tagliato contro
noi nella nostra interruzione se quella interruzione fosse stata
10 anni prima sarebbe come se fossimo
rimbalzando tutte le macchine ma non è un
grosso problema perché queste macchine hanno tutto
avere il proprio accesso al sistema operativo
è il fatto che abbiamo avuto molto
sistema automatizzato più sofisticato che
reso così così pericoloso e il nostro
l’automazione non è completa non lo siamo
effettivamente pubblicare singolarità nonostante cosa
i robot ti diranno in chat umani
sono ancora nel ciclo, anche se lo sono
lo sviluppo di software gli umani sono ancora
nel ciclo e sono qui per dirtelo
sistemi semi automatici e sono tutti
semi automatizzati questi non sono completamente
sistemi automatizzati semi-automatici
sono pieni di pericoli la storia ci dice
questo è ancora e ancora e ancora
come se fosse la maledizione dell’intermedio
sciatore se lo farai se lo scii come un
intermedio è più probabile che tu uccida
te stesso che corri su un albero perché tu
ora hai la certezza di andare più veloce ma
non l’abilità e semi automatizzato
i sistemi ci danno la sicurezza di fare
cose incredibili ma con gli umani ancora
bloccato nel ciclo in modo che capiamo
in modi che non comprendiamo e
con quell’umano quella umana pessima abilità
in un sistema che è più manuale
in realtà più sicuro una fallibilità umana in a
il sistema semi-automatico è in realtà molto
più pericoloso e guarda non sarebbe
me se non siamo andati parlare
incidenti storici proprio così chiaramente
ci sarà un po ‘di storia
gli incidenti qui su Zoomers no
riconoscilo se sei canadese
sei probabilmente canadese perché è così
un
ti dice tutto quello che dovete sapere sono
tu canadese, sì, sei come ti piace
annuisce come si, si si, lo so, ragazzi
Va bene va bene va bene va bene
benvenuto benvenuto canadese e vedilo um
ti dice tutto ciò che devi sapere che amo
Canada Ho trascorso molto tempo in Canada
ti dice tutto ciò che devi sapere
Canada che questa è una fonte di nazionale
orgoglio per il Canada che stai guardando a
fonte di orgoglio nazionale come potrebbe farlo
forse è il caso questo è ciò che è
noto come aliante Gimli quindi questo è un
aereo come 767-200 che ha avuto un quello
ha avuto un fallimento impossibile quando è finito
di carburante a 30.000 piedi e il motivo
ha lasciato il carburante a 30.000 piedi
è a causa della fallibilità umana e in
in particolare l’aeroporto di Montreal era
tagliare dalle unità imperiali a
le unità metriche hanno calcolato male qualcosa dentro
in chilogrammi vengono sepolti qualcosa dentro
chilogrammi che avrebbero dovuto essere in
sterline e ha avuto molto meno carburante
consiglio di quanto pensassero e il carburante
calibri a proposito di missus che mi piace
interessante sapere dal 737-200 lo è
la quantità di carburante che gli dici
è quando decollare va bene così
molto ho e così che questo è il
dimensione del serbatoio del gas quindi ci sono
30.000 piedi sinistra oh hai un sacco di
gas oh hai appena perso un motore lì io
andare dio bene sia oh hai perso l’altra
motore come oh mio dio e mai e poi mai
concepito dal 757-200 è 1983 Questa
è uno dei primi cockpit in vetro
non ci sono cavi in questo aereo tu
conosci un vecchio pilota che te lo diranno
il 707 era il più grande
aereo mai costruito perché era il
l’ultimo con i cavi è tutto
l’idraulica tutta la cabina di pilotaggio di vetro si oscura
perde tutto ciò che hanno perso loro
unità di potenza auxilari hanno perso tutto
potere l’unico potere che sono
effettivamente in grado di avere un po ‘di questo aereo
chiamato una turbina a pistone che loro un po ‘
Voglio dire, è come parlare di “The the”
il tuo generatore di energia di veramente ultimo
ricorrere
si tratta di un propulsore che cade fuori dalla
aereo e utilizza la velocità per fornire
potenza all’aria
sicuramente non dovresti volare
questa cosa e dal modo in cui uno dei
Aspetti interessanti di questo incidente è
mentre rallentano per planare questa cosa
in un atterraggio se mi piace la planata è a
767 non guida questo non è un
la guida er è un’era di mattoni aerodinamicamente
questa cosa è un mattone e stava cadendo
dal cielo mentre stavano perdendo
velocità aerea in realtà stavano cominciando a
perdere potere nel velivolo come erano
atterrando questa cosa atterra su un e
vecchio io su una vecchia pista che era stata
trasformato in una striscia di trascinamento e quindi a
mercato delle pulci
quindi potresti essere immaginato di essere a una pulce
mercato in Winnipeg come un silenzioso 767 cadute
verso di te e quando pensi a se
sei canadese ora stai cantando o
Il Canada nella tua testa perché e perché
è stato un incredibile atto di volo quello
hanno atterrato l’aereo e hanno messo a
mazzo di io metto altri piloti e
simulatori in questo e tutti si schiantano
e tuffarsi era pilota inusuale per
essere in grado di atterrare questo era uno scenario
che non avevano mai addestrato per loro
mai visto l’ ingegnere dire lì e
questo è il loro equivalente di riavvio
il centro dati
è come in realtà non pensare che un
era possibile in realtà si scopre che è um
è così e questo e questo è di nuovo a
pericolo di quella semi-automazione che hai
la cabina di pilotaggio di vetro ma ancora l’umano
Fallibilità Sono più vicino a casa proprio il
l’interruzione di s3 probabilmente ha colpito molte persone
in questa stanza l’interruzione di s3 da solo a
paio di mesi fa, proprio da da
Febbraio se leggi questo postmortem
in realtà hanno rimbalzato le scatole sbagliate
efficacemente era efficacemente a
umano nel ciclo che ha specificato il
macchine sbagliate la chiave è che siamo sempre
andando ad avere un essere umano nel circuito non fare
pensi di far uscire l’umano
di loop avremo sempre un loop umano
perché c’è un software di scrittura umana
ad una estremità di esso
quindi stiamo sempre andando ad avere un essere umano in
il ciclo che avremo sempre
abbigliamento di sistemi semi-automatici come si fa
noi riusciamo a gestirli come
affidabile come robusto come è debuggable
di nuovo e come funzionano i micro servizi
è come immagino che anche quest’anno sia
come le unità dispari e micro
servizi dato che la traccia è in corso
esplodere il prossimo anno quindi invierò micro
servizi attraverso la riflessione sul
complessità che aggiungono ad un sistema perché
il paradosso dei micro servizi siamo noi
sono attratti da loro per loro
semplicità uno sviluppatore e molti di noi
sono sviluppatori come oh wow che mi piace
motivo per un problema molto più piccolo
che è vero e grande, ma producono un
sistema più complicato e quale no
dire che i micro servizi sono sbagliati o
sbagliata um certamente può essere esso
portato all’estremo ma è più quello
dobbiamo essere consapevoli di ciò di cui abbiamo bisogno
per capire che stai costruendo un
sistema distribuito e quando non lo fai
aggiungere un micro servizio a un sistema perché
non vuoi lavorare con un altro
organizzazione che, a proposito, sono
convinto è come il 40 percento o più di
il boom dei micro servizi è
conflitto inter-organizzativo una volta che lo farò
scopare quei ragazzi che costruiremo da soli
cosa è un micro servizio sì sì il
con i micro servizi nessuno deve essere dentro
carica e penso che alcuni
le organizzazioni hanno preso questo a fare
qualunque cosa diavolo vogliono ogni volta
vogliono ma poi stanno cedendo a
sistema molto più complicato open source
è anche esasperato che così ora
ovviamente amo di nuovo l’ open source è così
critico ma ne consente molti altri
tipi di scelte è aumentato
complessità ancora una volta e al
le stesse astrazioni stanno diventando
più robusti sono robusti ma come il
le astrazioni diventano guasti più robusti
diventa raro che è grande ma il
i fallimenti peggiorano e di nuovo questo è
che maledizione del di tale intermedio
sciatore come il fallimento come le astrazioni
diventare più robusti siamo tentati di
credo che i sistemi siano infallibili
eppure non sono infallibili in effetti
loro sono più
pericoloso che stiamo pensando di
loro come infallibili e il fatto che
abbiamo un sistema distribuito qui e
questi fallimenti quando tutto questo sistema
fallisce probabilmente avrai
guasti nei sotto componenti disgiunti
servizi disgiunti distruggono i micro servizi
un errore in un micro servizio
inducendo un fallimento in un’altra induzione a
fallimento e un altro diventare realtà
fallimento a cascata e incidenze di ragazzi
e questo è stato ovviamente questo era un
tweet da un paio di anni fa che quello
ho retweetato un sacco su questo ogni noi
sostituito il nostro modello di micro servizi ma
ogni interruzione potrebbe essere più simile a un omicidio
mistero ora ero ovvio penso che sia
divertente penso che probabilmente mi è piaciuto o
lo ho ritwittato da solo ma come se fossi nessuno
chi è stato in un’interruzione sa che
l’interruzione non sembra un omicidio
il mistero non sembra Miss Marple
investigare in un bizzarro inglese
città per vedere whodunit che non è quello che un
interruzione si sente come aprile questo è
la produzione è una guerra di guerra è un inferno
un’interruzione della produzione non si avverte
come un omicidio intendo dire che è quello che
ci piacerebbe a me giusto e soprattutto
quando inizia un sistema grande e complicato
per fallire si tratta spesso di avvisi sui profitti
sparare ovunque avvisi che sono quello
sono un po ‘fuorviato un po’ di confusione
tutti cercano di capire cosa c’è
andare sul caos totale ogni ingegnere
dicendo a se stessi per favore non essere me
per favore non essere me per favore, non essere me stesso
così su questo è per me è ciò che i signori dei lettori
più simile e il software moderno
modalità di guasto sembra più come questo
ti riconosco questo è questo è il
blackout nel 1965 grande nord-est
blackout scattato e questo sistema di alimentazione
quali sistemi di potere sono complicate su così
c’era effettivamente un interruttore in
Quebec che è stato o stato di New York in
ricordare che non era che è stato fissato a un
livello
non era una specie di livello datato
rendersi conto che potrebbero effettivamente carichi normali
vai così in alto che sono le persone di novembre
ci sono un sacco di illuminare un sacco di
le persone che riscaldano stanno attirando molto
potere e questo particolare inerte I
in realtà corti che colpisce il suo interruttore
si spegne da solo uno dei
sfide dei sistemi di distribuzione di energia
è che i poteri devono andare da qualche altra parte
dal modo in cui i microservizi hanno lo stesso
problema che il tuo micro servizio decide
si spegne quel carico va da qualche parte
altro e tutto il carico ora va avanti
e se si sta facendo buio a causa di
carica tu sei diventato buio al peggio
possibile ora e ora gli altri entrano
i legami sono molto più probabili a se stessi
diventa buio e genera ancora più carico per
il resto del sistema, quindi questo è questo
tipo di questo errore come oh, io ho bene
preso un centinaio di questi non importa
se uno di loro muore come bene, dipende
sul perché quello è morto
forse no ma ma dovresti capire
perché è morto perché se è morto perché
era sovraccarico che poteva essere vero
canarino che indica che c’è in realtà
un problema molto più serio e tu hai
generato più carico e hai questo
potenziale
fallimento in corso su dove tu in realtà
avere un fallimento sistemico totale in questo
riguardo ritengo che questo sia in realtà il
metafora più adatta al software moderno
distribuzioni di software di sistemi di distribuzione
sai che si tratta di Three Mile Island
Ho sentito qualcuno ha detto questo è il questo è
una delle pochissime foto scattate all’interno
la sala di controllo durante l’ incidente a
Tre Mile Island um e qui è il
Microservizi Three Mile Island
architettura quindi ho intenzione di darti
qualche veloce istruzione su Three Mile
Isola perché vedrai molto
di paralleli quindi se guardiamo un po ‘finita
qui a destra si vede che
demineralizzare ER e quella pompa di condensa
su questo tutto è iniziato a causa di alcuni
manutenzione ordinaria dov’erano
eseguire l’aspirazione automatica su una carica Postgres
no no scusami mi dispiace um loro uh
loro stavano pulendo il
demineralizzare l’ atomizzatore terrestre
usa le resine per demineralizzarlo e queste
le resine possono essere unite insieme e ottenere
bloccato non riescono a cancellare questa cosa così
decidono di mettere un po ‘d’aria lì dentro
spara un po ‘d’aria lì dentro per tipo di ottenere
queste resine hanno scollinato l’aria
finisce per entrare in uno dei controlli
linee per quella pompa di condensa che
pompa di condensa va offline che è
in realtà va bene intendo non ok ma è così
va bene ci sono le pompe ausiliarie
che dovrebbero effettivamente iniziare
pompando acqua in quel momento per raffreddare il
reattore tutte e tre le pompe ausiliarie
hanno chiuso le valvole perché tutto
tre erano offline per manutenzione è
come se non avessero controllato il database
backup sì non avevano controllato il
backup di database giusto qualcosa che noi
abbiamo visto di recente il laboratorio get
interruzione in cui questo è molto comune
modalità di errore quando hai ausiliario
sistemi quando si dispone di sistemi di backup
questi sistemi spesso non sono controllati e
quando falliscono spesso falliscono silenziosamente
o falliscono – si, lo sappiamo
la pompa ausiliaria è offline ma è così
bene perché la pompa ausiliaria è bene
di nuovo è come quel micro servizio
che si blocca è come se andasse bene ma tu
iniziato a compromettere la tua affidabilità
con tutti e tre offline e uno dei
importanti risultati di questo è che il
il reattore avrebbe dovuto essere messo offline
se tutti e tre erano in su , siamo offline con
tutte e tre queste cose offline
il reattore inizia a riscaldarsi di nuovo non il
fine del mondo ma ma ma a te
sapere come ottenere questo è ottenere un
un po ‘eccitante e quel numero
sette verso la cima del contenimento
costruendo su quello che viene chiamato il
valvola di sicurezza pilotata che si apre
fino a far uscire tutto il calore dal
reattore e controllo reattivo del reattore
le barre entrano e il reattore si ferma
idealmente ma ha ancora molto calore okay
Fin qui tutto bene
ah la valvola di sicurezza pilotata
allora e questo è il vero io
penso che questo sarebbe l’analogo per il
modo in cui pensiamo pensiamo ai servizi
la valvola di sicurezza pilotata si chiude
quando la temperatura diventa abbastanza bassa
beh, la temperatura comincia a farsi sentire
relativamente basso ma pilotato
valvola di sfioro non chiude di nota il
leggero
che si trova sul pannello di controllo
indicando che quello pilotato
la valvola di sfioro è aperta si oscura che questo
è stato un disastro UI che la luce si oscura
non quando la valvola di sfogo si chiude quale
è quello che gli operatori hanno creduto
la luce si oscura quando il potere è stato
applicato al solenoide per chiudere il
valvola di sfiato ho detto alla valvola di sfogo a
chiudere non la valvola di sfioro è chiusa il
gli operatori venivano mentiti e loro
aveva altri modi per capire cosa fosse
andando avanti
ma non lo fecero per ragioni che sono
in realtà molto comprensibile e il
risultati finali di questo gli operatori
sono stati effettivamente ritenuti irreprensibili perché
questa era una condizione così difficile
capisci che il reattore se lo sapevi
che la valvola di sfioro era effettivamente bloccata
Aperto
poi tutto aveva senso ed eri
in realtà perdere tutto questo vapore tutto questo
refrigerante fuori e in particolare si vede
c’era quel serbatoio di scarico laggiù e
quel disco rotto tutto questo refrigerante
entra in quel serbatoio di scarico che scarica
il serbatoio trabocca le rotture del disco di rottura
e c’è l’acqua in tutto il fondo
gli avvisi alarp dell’unità di pagamento si disattivano
a proposito che tutti quegli avvisi sono in corso
ignorato perché ce ne sono tanti altri
gli avvisi si spengono e questo è il tutto
idea di come oh monitoriamo tutto
come avvisiamo tutto questo questo te
monitora ogni cosa su ogni cosa
va bene
certo, ma non pensare che i tuoi avvisi
e il tuo monitoraggio è un sostituto per
capire il modo in cui funziona il sistema
a volte abbiamo questa Chiesa di allerta
avviso e monitoraggio e crediamo
semplicemente monitorandolo semplicemente
avvertendo su di essa
abbiamo evitato il disastro che è esattamente
cosa pensava l’industria nucleare nel
fine anni settanta il tardo nucleare il
industria nucleare dal modo in cui alla fine degli anni
industria nucleare quindi l’industria nucleare
è stato distrutto da attraverso le mie palpebre e
mai recuperato anche se l’incidente
in realtà non era così serio
da un non significa che ce ne sono molti molti
abbiamo avuto molti incidenti e altro
domini che sono molto più gravi questo
l’incidente non è stato grave ma è successo
distruggere l’energia nucleare per un sacco di
ragioni per cui amo questo risultato del
il rapporto speciale perché il ragazzo fa questo
sentirsi aggiornati per noi è difficile
cosa a guardare una luce ammiccante su a
bordo o lui ripetendo il livello di allarme e
molti di loro e ne disegna immediatamente
una sorta di immagine razionale di qualcosa
accadendo e più allarmi e avvisi
hai più cose che stai creando
sovraccarico sensoriale per l’operatore e
più è probabile che sia l’operatore
guarderà un allarme o un marring
allarme che è sintomo più che causa
questo non vuol dire che dovresti
monitor ovviamente dovresti dovremmo
monitorare i nostri sistemi dovremmo avvisare su
loro non si illudono
illudetevi pensando che noi
abbiamo evitato un’interruzione come risultato così noi
soffrire di molti di questi stessi problemi
soffriamo dall’arroganza di
energia nucleare negli anni ’70 in poi
distribuire brevemente questi distribuiti
sistemi con questa idea errata
che in qualche modo non possono fallire
sono infallibili perché lo sono
in esecuzione su più di un computer così
scopre che ci sono cose che possono
influisce più di un computer fidati di me ho
sai che sono io come si dice, e allora?
significa così come facciamo effettivamente il debug
queste cose quando falliamo bene uno di
cose che dobbiamo avvolgere il nostro cervello
è che dovremo eseguirne il debugging
produzione che ti servirà come un software
sviluppatore e so come se tu sei un
sviluppatori di software come te
probabilmente andrò via posso solo andare
per favore vieni e torna al mio
piccolo non so che questo problema non può
andare via abbiamo bisogno di debug effettivamente il
software in produzione e che richiede
in realtà una domanda più profonda come facciamo noi
in realtà debuggano così in astratto
il debug è il processo tramite il quale noi
capire il sistema e io penso che
questo è che è un tipo molto importante di
differenza nel modo in cui vediamo il debug
il modo in cui è stato visto
il debugging tradizionale non è semplicemente
l’atto di far scomparire gli insetti è il
atto di comprensione acquisendo conoscenza
nuova conoscenza del modo in cui il sistema
lavori
questo è ciò che è il debug e il
comportamento che stiamo capendo è
particolare comportamento patologico che
che vogliamo evitare ora tutto questo
idea di come capire il comportamento in a
Sistema sì che abbiamo fatto che prima
questo si chiama scienza scientifica che abbiamo
il mondo naturale che vogliamo capire
che vogliamo una ragione a questo proposito che
la scienza ora il mondo naturale è reale
dolore nel culo che abbiamo come mai
si lamentano di essere un ingegnere del software
per favore perché ce l’ abbiamo così incredibilmente
facile um siamo le cose sono così a buon mercato e
malleabile per noi contro il reale
mondo il mondo reale è un tale dolore
il culo che dobbiamo fare è molto costoso
esperimenti e non puoi semplicemente andare
in un esperimento di cui non hai idea
quello che stai cercando di fare devi
essere quasi per definizione molto ipotesi
centrico devi avere una sensazione
stai facendo il check- out e quella impressione ti piace
probabilmente ha bisogno di essere giusto e poi tu
bisogno di progettare l’esperimento
invalida che centinaia è difficile è
caro abbiamo un incredibile
il software di lusso è interamente sintetico
viviamo in questo incredibilmente
lussuosi sistemi di sintesi
macchina matematica e le conclusioni
che disegniamo spesso non è veritiero
ma probabilmente vero che è un enorme
lusso e possiamo fare esperimenti così
facilmente c’è così economico da formare
esperimenti e ancora più importante
quando abbiamo domande dei nostri sistemi, noi
posso semplicemente chiedere che abbiamo scritto tutto il
il software di cui abbiamo bisogno in realtà scrivere tutto questo
So che a volte non sembra
che in realtà abbiamo scritto tutto questo
possiamo ragionare su questo non è un
sistema che si è evoluto per quattro
miliardi di anni questo è un sistema che è
ogni linea di codice che stai guardando è
meno di ciò che 60 anni e e più
di loro sono molto meno giovani
di quello che possiamo capire e noi
puoi capire il software semplicemente con
osservandolo e penso che questo sia uno di
le cose fondamentali da realizzare
debugging l’arte del debug perché io
pensa quando sei vicino a qualcuno che
capisco come debugare molto bene te
potrebbe non capire
e quello che stanno facendo e comunque
stanno tipo di farlo intenzionalmente
c’è un po ‘di legerario su
l’atto di qualcuno che può eseguire il debug molto
bene in quanto è molto facile da sapere
sono scomparsi per un po ‘
quindi voilà
Vi presento la correzione è come hai fatto
capisci che oh ha lasciato le previsioni
Oh con quello hai una moneta dietro la tua
orecchie okay, andiamo Jimmy, vuoi
come un pallone um così ci è piaciuto
tipo di presentare questa idea che siamo
come i maghi non siamo noi maghi
sono le nozze del Mago di Oz dietro a
tenda che si muove freneticamente a manovella
cercando di capire il problema quelli
che può eseguire il debug bene sapere questo quelli che
debug male non lo so perché
hanno fatto male e è da se stessi
il povero auto-riconoscimento del debug è l’atto
di fare domande e rispondendole
non indovinare quale sia la risposta che sei
giocando a 20 domande e quando vedo 20
domande intendo non 20 domande con
i miei figli che sono incredibilmente
annoying a giocare 20 domande con I’ll
essere come va bene 20 domande per bene va bene
papà
è un tasso fai a sapere come come
circa è o è un mammifero o è
un animale o è un vegetale come ciao
ma lui è in un tasso, io sono come no, no
si capisce che
è un tasso e tu sei tipo fanculo
è un tasso, ma vuoi dire che è come
non sono io e io lo farò
confessa che ho cambiato la mia risposta 20
domande solo per come periodo Keith su
la lezione più grande di come chiedere abbastanza
fare domande migliori che vuoi
forma domande non ipotesi perché
troppo spesso ciò che le persone fanno è loro per tutti
So cos’è, so che è finita
lì l’ ho risolto è stato spinto
come whoa whoa whoa whoa bene come abbiamo fatto noi
vai da te a indovinare di quello che era
avendo effetti che spingono e oh no
vederlo di nuovo quello che non l’abbiamo visto di nuovo
in realtà non è quello che è
dimostrare la tua ipotesi corretta dovremmo
fare domande e come quelle
le domande danno risposte a quelle risposte
fatti e quei fatti vincolano
ipotesi e ripetiamo questo processo di
risposte a domande che fanno di più
domande specifiche risposte più specifiche
più alcune domande di più
risposte specifiche e poi quello
il salto ipotetico spesso non è un salto
tutto è un passaggio attraverso una pozzanghera e io ho
debugato un sacco di cattivi bugs nella mia vita
questo è sempre stato il processo e
ce ne sono stati molti tanti tanti tanti
molti bug in cui il pari come ero
nanometri lontano dalla causa finale il
la causa principale non potevo ancora crederci
ed è stato solo quando hai effettivamente ottenuto
quella risposta finale oh mio dio questo è un
bug microprocessore o cosa hai
così questo è il modo in cui dividiamo tramite il debug
avendo il ciclo di domande e
risposte in questa assume molte forme che
significa che sai come facciamo come noi
fare domande su software e in
in particolare quelli di noi che sono software
gli sviluppatori come progettiamo il nostro software
rispondere a domande su se stesso che se
l’arte del debug fa domande
il mestiere di scrivere software di debugging
sta progettando il tuo software per qualcuno
altro
essere in grado di fare domande a riguardo
significa progettare per il debug di post-form
abilità quando questa cosa muore, io genero
un core dump ho lasciato il breadcrumb
attorno al mio spazio degli indirizzi per renderlo più facile
per capire o più facile da capire
cos’è successo per cui sta progettando
La strumentazione dell’istituto è l’ abilità
per strumentare qualcosa mentre ciò che è
correre su di esso sta pensando a come
qualcuno dovrebbe voler strumento questo
e facendo leva su cose come Dtrace e così via
su di esso è in fase di progettazione per il debug post hoc
post ha parlato totalmente dopo il fatto
la registrazione dei log è molto utile
giusto e tu ovviamente logging c’è
un libro paga per la registrazione pure
ma registrando e sapendo cosa registrare e
quando loggare è l’arte della scrittura
software debuggable ed è essenziale
per evitare il debugging in produzione perché
davvero non vuoi bug durante un
interruzione di fare ciò che sta creando un
cultura del debug di nuovo quando guardiamo
debug come comprensione del sistema
migliorare il sistema non semplicemente come il
processo attraverso il quale i problemi sono fatti andare
via possiamo assicurarci
nel debug possiamo pensare a questo come a
operazione di prima classe e possiamo
incoraggiare noi stessi in realtà radice
causare cose se un ingegnere odora di fumare
dovrebbero causare la causa che se questo è
che un incendio in cucina è quello
caffettiera o è che il fuoco infuria
in una cucitura di carbone che ho scoperto modo
Troppe volte la mia carriera come potrebbe questo
mai lavorare lo hai mai detto a te stesso
Dio mio
come ha fatto a girare tutto ciò che ha funzionato?
fuori chiamò per caso come mio dio
come mai funziona la ragione per cui tu
è arrivato perché c’è stato un
anomalia un fenomeno qui fuori che tu
sono stati in grado di completare richiami ma noi
deve avere una cultura organizzativa quella
incoraggia ciò che non deve essere
percepito come oh questo è il tuo 20%
progetto è come se volessi darti un pugno
la faccia che mi piace non è come una libera
attività del tempo che è una parte fondamentale del
software che stiamo fornendo e che abbiamo
per prendere il tempo extra per costruire
abilità di debug questo fa parte di un molto
idea polemica radicale che sto chiamando
fallo bene la prima volta
no no no il bene giusto la prima volta
oh, mai adesso non lo facciamo nemmeno nel modo giusto
il 15 ° tempo è come provare a farlo
giusto la prima volta
le riscritture sono molto molto costose e il
il costo della riscrittura non è mai sopportato da
il debito tecnico che lo ha indotto
il modo in cui quelle persone sono fuori e fuori
altri posti di lavoro solo per dirlo senza mezzi termini e se
ti stai chiedendo perché quando guardo a
riprendo e vedo 18 mesi 18 mesi 18
mesi 18 mesi 18 mesi ne voglio alcuni
risposte abbastanza buone possono essere buone
le risposte possono essere molto buone
risposte I’m startup fallito sorta di
fallito sorta di un fondatore storto di
cricket del fondatore storto va bene
okay, ci sono stato, lo trovo
va bene, ma quello che succede anche quello
le persone in realtà fanno un sacco di cose brutte
decisioni e passare al prossimo lavoro
e quelli che sopportano il costo di quelli
le decisioni vengono lasciate silenziosamente urlando
la loro scia quindi dobbiamo avere una cultura
questo ci incoraggia a fare le cose
correttamente la prima volta così come facciamo
durante un pozzo di interruzione
durante un’interruzione tutti stanno andando a
scoprire se sono chi loro
in realtà sono quando diciamo DevOps e
DevOps si stringe come se capissi
che è grande Sono tutto di come abbraccio up
ma alla fine della giornata mi dispiace che tu
sei uno sviluppatore o sei un operatore noi
possiamo avvicinarci molto da vicino
empatia molto stretta l’ una per l’ altra e
dovremmo, ma questo è il momento in cui
saprai quale sei il momento
hai un servizio il servizio è scaduto
ma alterato sai che il riavvio
il servizio ripristinerà il tuo servizio
clienti ma perderà informazioni
dice che non è possibile eseguire il debug se si
operatore interno sarà come lo sguardo devo
riavvialo e nel tuo sviluppatore sarà
come lo sguardo ottenuto atomo uh ottenere come devo
riavviato davvero bisogno di un secchio okay così
non devi essere intrappolato in un falso
dicotomia è necessario riavviare entrambi e
Ibaka e trova un modo come possiamo riprendere
servizio fuori perdere informazioni cosa
grado di servizio con cui possiamo riprendere
minima perdita di informazioni non lo facciamo
voglio enfatizzare il recupero con
rispetto per la comprensione del modo in cui il
sistema funziona non vogliamo credere così
in recupero che noi che effettivamente no
più a capire il sistema e che noi
credi che il software rotto possa semplicemente
essere recuperato per le cose riavviando
tutto il tempo è così
chiamò Windows e l’umanità lo fece
sperimentare e non ha funzionato bene così noi
in realtà bisogno di capire la strada
questi sistemi funzionano se lo facciamo noi
invece di incassare la guarigione
capire il software rotto noi
normalizzare software software rotto
non dovrebbe essere rotto in modo univoco tra i
le cose che facciamo software non dovrebbero essere
ha rotto due macchine matematiche prima
Dico che non si usura va bene
per favore, possiamo farlo in modo univoco e giusto
se Ingrain questa idea che il software
è sempre rotto ci sono tutti i tipi di
cose cattive che provengono da questa idea che
il software dovrebbe tollerare quell’input no
il software tient dovrebbe fallire fallire
esplicitamente se vuoi troll
sicuramente nessun ingegnere comune in no
essere produttivi per il resto della giornata
dì che faccio che posso fare NPM non è alto
invece di installare e lo farà in realtà
funziona è buono
questo è uno come il bot è allegramente
offrire cose e ottenere una parola
sega e recuperare da fallimenti fatali
no, non dovrebbe farlo se hai un non catturato
eccezione è tuo dovere verso l’umanità
muori genera tutto il tuo stato presente
la tua carcassa imbalsamata per andare a Quincy ME
Non posso fare riferimento a Quincy mu
mi dispiace che tu non abbia idea che Oakland sia io
non è colpa tua quelli di voi che sono
Millennial non è colpa tua non molto
buon spettacolo, quindi possiamo davvero fare il debug
non vogliamo prendere l’ uovo del nostro SIG
V handler che è una cazzata per a
progetto di informatica del secondo anno
non è il modo in cui dovremmo effettivamente
sviluppare software quindi l’idea del software
non dovrebbe far valere la sua correttezza
stato perché continua a morire di recente
come Linux giusto Linux per sbarazzarsi di bug
acceso perché causa troppi arresti anomali
come questi fallimenti di asserzione sono
compromettendo la nostra affidabilità è come
okay vuoi che colleghi i punti
per te quindi ci stiamo sbarazzando di loro
proprio come oh dio oh dio
Oh Lennox mi hai combinato, intendi
Camille in Excel ma sto bene
di questi anti-pattern impediscono il debug
capacità e prometto che sto saltando su
qui in termini di dopo un’interruzione di cui abbiamo bisogno
comprensione veramente completa nella parola e
sì, postmortem intendo, naturalmente, che tu voglia
scrittura di un post-mortem ma quello
postmortem è molto più importante
che capisci completamente cosa
è successo allora è che lo scrivi
quindi ti costringe a completamente
capiscilo, ecco perché lo scrivi
il write up è forzare il completamento
capendo che dobbiamo completare
capisco ed è molto difficile soprattutto
con il fallimento a cascata in realtà
svolgere tutto ciò che è andato storto e
ti chiedi perché?
queste due cose hanno fallito, ma erano
stavano dando errori, figuriamoci
perchè um e tu spesso scoprirai di nuovo
ancora più fuochi di carbone ancora più cose che
lavoro per caso e tu devi
incoraggiare i tecnici del software a
capire che i nostri stessi fallimenti
incoraggiarli a progettare per il dialogo
capacità che ci porta al vero software
robustezza che dobbiamo differenziare
fallimento operativo qualcosa è andato storto
nel sistema in senso ampio
errore programmatico per programmatico
fallimento hai bisogno di morire davvero
il fallimento operativo deve essere effettivamente
in modo da cercare è sempre sta per essere
stressante che vorrete sempre
vomitare sulla tastiera quando un servizio
è giù questo non sta andando io non sono
andando a qui per rendere questo facile non è
facile e quando un servizio è giù abbiamo
ho alcune scelte difficili da fare
Penso che il piano per una lunga interruzione del piano 2
Ho in programma di raccogliere quante più informazioni
è possibile eseguire il debug fare attenzione quando si
passi falsi sono davvero molto costosi
spesso un fallimento che vedo fuori è
è che sono esacerbati presto
passo falso guarda l’interruzione di gitlab il
database errato è stato cancellato nel gitlab
interruzione perché è stato il database sbagliato che abbiamo fatto
perché stavano avendo un altro problema
erano già in un altro problema
quello era relativamente parlando di più
problema minore e il famoso
l’operatore uno ha cancellato il database sbagliato
che è stato un atto che era che stanno facendo
che perché vogliono ottenere il sistema
backup sì, si vuole per ottenere il sistema
torna indietro ma per favore fermati e pensa per favore
vale la pena dire ok tutti via
dalla tastiera possiamo avere una chiamata in corso
per favore facciamo una telefonata e possiamo farlo
facciamo alcune idee là fuori cosa
sono alcune domande che possiamo chiedere se
a Three Mile Island che avevano fatto che
tutti via dalla console per a
in secondo luogo prendiamo un secondo e davvero
penso che avrebbero effettivamente capito
fuori che il soccorso operato dal pilota
le valvole si aprono davvero con il cambio di turno
per capirlo perché nuove menti
è entrato in microfono, aspetta un minuto
andando avanti
paralizzato dall’avere cercato squadre diverse
diverse vie di indagine e
visualizzare queste interruzioni come un’opportunità
ci permettono di capire il nostro software
e, soprattutto, sviluppare una cultura
intorno al software che valorizza il debug
abilità ora se in qualche modo non hai
ho raggiunto il mio 50mo di me e prendo no
offesa se sei proprio come sto dando
tu la tua reazione di combattimento o fuga
ma se non hai um e tu ami
debugging um ci sono sicuramente un sacco
di posti che fanno questo ma dovresti
vieni a lavorare per unirti a noi, se tu ami
debugging si unisce a noi assumere in realtà
L’ assunzione di Julia anche se non lo ami
debugging ma sul se amate
debugging e tu questo valore
abilità di debug questo è qualcosa che noi
valore molto molto e spero che tu
trova un’organizzazione ovunque tu sia
quella
questo lo valorizza e se non l’hai avuto
abbastanza di me , ma tu potresti fare un
poco più me ma non troppo di più
poi abbiamo avuto una sessione lassù con
Bridget I e con quello grazie molto
tanto
[Applausi]
Please follow and like us: