quindi sì, il mio discorso di oggi è bare metal
DevOps Who am II si è trasferito qui a Chicago
saranno tre anni la prossima settimana tre
anni fa mi sono trasferito dal Regno Unito, lavoro
per una società commerciale locale chiamata diw
sì, stiamo assumendo suppongo che tutti lo siano
abituato così puoi venire e parlare con
noi fuori in qualsiasi momento chiediamo di più
domande probabilmente sarò al
clinica degli oratori ad un certo punto oggi come
bene ma sì DevOps bare metal
inizialmente il mio titolo lavorativo stava per
essere un DevOps heavy metal ma ne ho avuto un sacco
feedback che conosci molte persone
non pensare che i metalli pesanti si raffreddino
più e anche i Metallica almeno quando
Ero un adolescente era il mio metallo preferito
banda ma penso che le ruote siano cadute
con loro quando hanno fatto causa a Revlon perché
Revlon ha rilasciato un colore rossetto chiamato
Metallica e è appena andato
in discesa da lì così invece di
Sto parlando di quel metallo pesante
per parlare di questo metallo pesante
questa è una foto di una delle isole
è pieno di macchine che sembrano
dopo da abbastanza presto all’inizio
giorni di tipo di DevOps quando quando
in realtà ho un nome che ho iniziato a ottenere
un po ‘ frustrato da come l’ ipotesi
ogni volta che la gente parlava di strumenti
e tecniche e di come hai bisogno
a lavorare è l’ ipotesi di fondo
stai creando un servizio web che è
in esecuzione sulla nuvola da qualche parte
e il DevOps si applica solo a te se
hai quei limiti per me questo
è l’infrastruttura che mi occupo di noi
nessun servizio web di fronte internet che
in realtà rende le cose molto più facili da
il punto di vista della sicurezza generale non si usa
AWS più ci arriveremo un po ‘
successivamente eppure anche
con questa infrastruttura non posso fare
cosa faccio senza applicare ciò che mi piace
pensare come il modo di DevOps così il
principi fondamentali che sto per fare
contorno si applica brevemente ovunque tu sia
facendo gli scarti ma mi concentrerò
principalmente su come sono questi principi
diverso all’interno della tua infrastruttura
perché credo che le persone che
stanno facendo le app web sul cloud
sono probabilmente la minoranza di persone che
in realtà hanno bisogno di devops culture DevOps
pratiche per migliorare la propria vita
rendere i loro lavori più piacevoli e
fornire più valore alle imprese
che lavorano così per me al centro
i principi sono infrastrutture agili
essere in grado di cambiare la tua infrastruttura
intorno a te mentre stai lavorando male
trattando le tue macchine come bestiame
comunicazione di automazione così di partenza
con l’infrastruttura agile devi
usa la gestione della configurazione, indipendentemente dal fatto che tu
usando macchine fuori nel cloud se
usando i contenitori qualunque cosa tu stia usando io
penso che tu abbia ancora bisogno di avere un certo tipo
di gestione della configurazione non lo fa
cura non mi interessa, non importa cosa
sapore della gestione della configurazione
stai usando finché si adatta al tuo
testa e puoi gestire i tuoi sistemi
appropriatamente il tutto essendo quello
quando fai apparire una nuova macchina o una nuova
tipo di macchina o si reprovision il
macchina per fare un compito specifico voi
devo essere molto fiducioso che quando questo
la macchina arriva ed è pronta
produzione che sarà esattamente come te
aspettati che sia senza umani
l’intervento necessario è necessario essere in grado
per testare e ricostruire e riutilizzare
hardware anche quando hai a che fare
con il tuo hardware non puoi
sai che terminare termina una corsa
istanza e poi non pensarci più hai
ha questo hardware che sta effettivamente prendendo
lo spazio potenzialmente consumando energia e
è seduto in un libro contabile
da qualche parte lentamente depreciating ma tu
ancora bisogno di utilizzare questi principi di
testare e ricostruire regolarmente a
assicurati di non avere alcun diritto
all’interno delle immagini della macchina all’interno
configurazione con in come i tuoi sistemi
aspetto di correre e alla fine si tratta di
ricevendo feedback sui vostri sistemi
e sul completamento delle distribuzioni
più veloce e il trucco successivo in questo è quello
usa ancora le tue macchine per il trattamento del bestiame
loro come conoscete le entità usa e getta
che può andare su e giù che può fallire
non puoi ancora preoccuparti se loro se loro
scomparire di nuovo nel mio specifico
ambiente non stiamo usando i contenitori
i contenitori non hanno ancora la rete
le prestazioni di cui abbiamo bisogno, quindi non lo facciamo
avere qualsiasi coro o smartass OpenStack o
qualcosa del genere ma il principio
si applica ancora è necessario essere in grado di
tratta le tue macchine come bestiame così parte
questo però è quando non stai correndo
in contenitori quando si è in esecuzione su
bare metal è come iniziare a gestire
le immagini del tuo sistema operativo come stai
gestire andare tra l’aggiornamento o
downgrade tra versioni di
sistema operativo nel nostro caso noi
in primo luogo utilizzare un bunt al momento in cui noi
abbiamo ancora circa 1204 macchine
alcune 1404 macchine che abbiamo testato a
un po ‘con il 1604 ma non siamo abbastanza
c’è ancora principalmente a causa del grande
il male che è systemd e così ancora
pensa all’immagine del sistema operativo
la gestione che facciamo è molto simile a
come all’interno di un contesto cloud saresti
gestione delle immagini del sistema operativo
le immagini della tua macchina è che è così
molto simile ma come abbiamo fatto il bootstrap del
il sistema cambia un po ‘così dentro
il nostro processo di avvio funzionerà con tutte le nostre macchine
Pixie si avvierà così immediatamente
vieni all’inizio saranno pixie boot ma
un piano pixie boot non fornisce il
solo le informazioni che fornisce veramente
il server DHCP quando viene inizialmente
è il suo indirizzo MAC e soprattutto
quando ne hai diversi tipi
reti diversi tipi di interfacce
e le schede di rete non funzionano e tu hai
per scambiarli è così
più lungo un identificatore affidabile di questo
macchina specifica è questo indirizzo MAC così
la prima cosa che facciamo è noi
in realtà semplicemente carico della catena in I pixie
I folletti sono un bel pezzo di open source
là fuori che ti permette di fare molto
di scripting e molta automazione
intorno a come immagini il sistema superiore e
quindi quello che effettivamente facciamo è il nostro primissimo
Io script pixie che viene incatenato caricato
in realtà ha uno sguardo alla tabella DMI su
la macchina e l’altra cosa che
tira fuori e il senso per noi è il reale
numero di serie della macchina perché
che anche se non al cento per cento
garantito è molto più stabile di a
Indirizzo MAC e quindi cosa succede è
quindi usa una chiamata HTTP a un servizio web
con il numero seriale che dice proprio questo
è il numero di serie della macchina
Sono su quale configurazione ho bisogno di quello
di nuovo restituisce uno script I pixie separato
che poi viene incatenato caricato di nuovo ma
che specifica la VLAN della macchina
ha bisogno di venire su specifica il
specifica la distribuzione del sistema operativo
la versione del kernel specifica di cui abbiamo bisogno
per correre e così poi permette il
sistema per essere incatenato caricato e vieni
dritto, quindi, ci affidiamo a Debian
anello pacchetti avvio vivo per effettivamente anche
tira giù il file system di root attuale come
uno squash FS e così avendo il
kernel e il filesystem di root disaccoppiati
ci permette di testare nuovi kernel questo
una piccola quantità sorprendente di bug in
vari chicchi nel momento in cui abbiamo avuto
bug principalmente su schede di rete e
attorno ai file system con alcuni dei
abuso che mettiamo dentro i pezzi
ora ti accorgerai che ora non lo siamo
facendo qualsiasi configurazione del disco ancora ma ancora
abbiamo ancora bug di filesystem e
ci arriveremo un po ‘più tardi ma
il sistema di avvio live debian quindi carica a
squash FS un file system di squash su HTTP
n questo è il nostro vero filesystem di root
è tenuto in memoria e il nostro file di root
il sistema è appena letto dalla RAM molto
rapidamente e questa è la nostra macchina base e
dopo di che poi ne controlla alcuni
script di configurazione da ottenere quali
sarà in realtà allora
imposta il nome host per configurare il client dhcp
nel sistema operativo e configurare
le interfacce di rete quindi ce ne sono alcune
classi di macchine che probabilmente
fare legame di rete su alcuni di loro lo farà
essere in esecuzione con un concerto interfacce alcuni
di loro sarebbero in esecuzione con 10 gig
interfacce a volte ci taglieremo e
cambiare tra loro e alla fine noi
basarsi su un set di script su due basato su
in base alla configurazione della macchina e
sulla base di queste informazioni che arrivano
indietro dal servizio di configurazione HTTP
configurare la macchina cablata e
in realtà l’ ultimo passo quindi è quello di
per gestire il cliente dello chef in realtà
configurare la macchina come ne abbiamo bisogno e
che il servizio clienti dello chef sarà quindi se noi
stanno usando i dischi locali nella macchina
al momento configurerà il
dischi della macchina in quanto deve essere montato
quel file system ovunque al di sotto del
albero del filesystem abbiamo bisogno che sia e e
in questo modo gestiamo il nostro modo
macchine come sostituibili usa e getta
entità se otteniamo una nuova classe di
hardware se abbiamo bisogno di espanderci noi
basta ordinare più dello stesso tipo di
macchina dare loro lo stesso modello per
scappare e appena lassù vieni a parte
di quel cliente Chef che abbiamo ancora abbiamo
stato in esecuzione sul sistema per oltre
quattro anni e parte anche di questo
configurazione dei controller RAID nel nostro
macchine più vecchie non usiamo molti raid
controller in questi giorni la maggior parte dei nostri nostri
sistema quando abbiamo bisogno di qualche tipo di incursione
utilizzerà il raid software perché il
i processi in questi giorni sono così ridicoli
veloce a tasso di software è così così economico e
facile ma alcuni dei nostri più grandi
macchine abbiamo ancora un mix di raid
controllori e quindi abbiamo uno chef w
fornitore di risorse leggero che lo farà
effettivamente dato un po ‘di metadati di Jason
configura il controller raid come noi
ne ho bisogno, questo è probabilmente l’unico passo
ciò richiede un intervento umano
se cambi una macchina da una classe
ad un altro siamo un po ‘paranoico su
lo stato su disco quindi se il raid
la configurazione del controller è la stessa e
i file system hanno la stessa etichetta
monteremo il file system ma
se non lo è, ci fermeremo e diremo
potrebbero esserci dati preziosi su di me
non andando a soffiare via solo bisogno di un
intervallo umano
antico per andare e basta rimuovere il
filesystem rimuove la configurazione raid
eseguire di nuovo il client dello chef , tutto è
riconfigurato come abbiamo bisogno e così in quel modo
manteniamo ancora le nostre cose velocemente
e facile che ci porta nel
il lato automazione delle cose che stanno arrivando
nuovo hardware nella nostra flotta quindi sei tu
sappiamo che corriamo abbastanza diversi
classi di hardware in questo momento la maggior parte di loro
effettivamente eseguito con praticamente un
configurazione identica quindi avremo
hardware di diversi fornitori ancora
runnin con lo stesso script di avvio in esecuzione
con la stessa configurazione di chef ma
loro saranno appena cresciuti inizialmente e
l’ unica differenza potrebbe essere il tipo di
processo del numero di processi il
quantità di RAM e quindi sai fino a che punto
come configurare la macchina e portare
su quello che non è veramente importante
alla gestione della configurazione
ma la parte difficile è arrivata con il firmware
aggiornamenti e diagnostica fino al
gli aggiornamenti del firmware in particolare in esecuzione
ubuntu su alcuni degli spot
piattaforme che abbiamo da spendere
un po ‘di tempo in anticipo ed è pari
peggio con il firmware della scheda di rete
aggiornamenti abbiamo scoperto la rete
bug del firmware anche in alcuni dei nostri
controller quindi c’è qualche Browns di
scheda di rete che non toccherà più
puramente perché la qualità del
il firmware e le loro carte sono così poveri e
in realtà sembrano essere una correlazione
tra il più difficile è applicare a
aggiornamento del firmware a una scheda di rete
probabilmente il più probabile è che sia un
firmware di qualità terribile sta andando a
essere lì, in primo luogo, cosa anche
raccolta diagnostica di queste macchine
a volte siamo ancora piuttosto costosi
avere contratti di supporto su di loro così
essere in grado di inviare automaticamente
informazioni diagnostiche hardware in
li nel tuo sistema di monitoraggio a
ti dico che è successo un errore
quanto è grave il fallimento ma anche
ricevendo abbastanza datazioni che puoi
tornare ai fornitori per aiutarli
riconoscere che c’è un problema che
a volte è nascosto e quindi effettivamente spedito
fuori le sostituzioni e ottenere tutto
sostituito
l’altro lato è intorno alla comunicazione
la comunicazione ora non è più con la tua
il tuo cloud solo con il tuo provider cloud
la comunicazione ora copre cose come le nostre
team di data center e team di rete
sicurezza soprattutto come noi come stiamo ottenendo
più grande sicurezza diventa più di a
problema qualcosa di cui le persone si preoccupano di più
e anche l’acquisto e il venditore
gestione c’è un’abitudine terribile
con il tipo di fornitori di livello 1 come loro
piace chiamarsi, tutti corrono dentro
diversi cicli, quindi ciò che accadrà è
che pubblicheranno davvero
buon pezzo di hardware che un sacco di
alla gente piace e lo useranno
cercare di ottenere in persone che non sono
comprando l’hardware da loro e spesso
allora ci sarà una funzionalità in là
che ci piace una funzionalità di cui abbiamo bisogno e
andremo e lo useremo
software bene lo compreremo
piattaforma dal venditore e poi cosa
faremo è che fondamentalmente decidono
bene, ti abbiamo preso come cliente
hai intenzione di comprare da noi per sempre di più
non investiremo nel prossimo
generazioni della strada difficile e così via
accade è gentile delle loro gocce di qualità
verso il basso e sono davvero sorpreso quando
abbiamo smesso di acquistare hardware da loro
perché la loro qualità sta andando giù così
proviamo quando troviamo le persone con
venditori dal lato tecnico che tipo
di capirci nel modo in cui lavoriamo noi
cerca di mantenere una relazione in corso
in comunicazione con loro come a questi
sono le caratteristiche che sono importanti
questi sono i problemi che stiamo avendo
quindi speriamo che lo mantengano
e così alcuni dei venditori stanno iniziando
per ottenere un po ‘meglio su
mantenendo quel rapporto con noi dentro
gestione della qualità dell’hardware e
alcuni di loro non ricevono il messaggio
e costantemente stiamo ricevendo un tipo
di carosello di hardware diverso
rappresentanti dal lato del venditore
cercando di venderci hardware senza
effettivamente comprendendo il nostro business e
come lavoriamo e cosa alcuni di
i problemi sono quelli che affrontiamo
sono anche alcuni aggiuntivi
considerazioni che devi pensare
a proposito di quando hai a che fare con il tuo
hardware che non si applica molto spesso
troverete i sintomi quando si tratta
per vedere questi problemi ma lo faranno
sii molto piccolo se puoi qualcosa
effettivamente fare su di esso e queste cose
sono una rete di simpatia meccanica
monitoraggio e previsione fino a
la simpatia meccanica ti serve davvero
per capire alcuni dei meccanismi
su cosa sta succedendo sotto
tua la tua infrastruttura quando tu
specialmente quando stai cercando di ottenere come
molte prestazioni come puoi generalmente fare
io uno dei motivi principali che abbiamo ancora
gestire la nostra infrastruttura oltre al costo
ogni volta che ci viene aggiornata una piattaforma
confrontato i nostri costi contro ciò che il
fornitori di cloud hanno là fuori e siamo
costantemente circa un terzo più economico per
i nostri carichi di lavoro rispetto a ciò che il
i fornitori hanno al momento, ma io sono
dietro quello è in realtà essere in grado di
per capire cosa sta succedendo lì bene
esempio presto mentre stiamo costruendo
la nostra infrastruttura era puramente in giro
i dischi ci occupiamo di un importo ragionevole
dei dati non io non lo chiamerei noi big data
Voglio dire, abbiamo solo un petabyte o due
di dati con cui abbiamo a che fare ma
ce n’è un sacco che è ancora vivo
dischi rotanti e quindi c’era uno di
i nostri sviluppatori che hanno iniziato da giovani
stagista con noi stava cercando di muoversi
i dati da dove lo ingeriamo lo converte
e poi tiralo fuori, principalmente
intorno alla messa in scena dei dati e alla crescita
ed era frustrato per quanto fosse lento
lo streaming di dati attraverso non eravamo
saturando la nostra rete da 10 gig al
il tempo e il collo di bottiglia erano i dischi
e ci è voluto un po ‘per
capirlo soprattutto con la rotazione
dischi più diritti si provano e
scrivere in parallelo a una rotazione
sistema di file su disco più ti cerca
introdurrà la tua latenza lenta
sta per ottenere il lento il tuo disco
Rupert arriverà perché le tue teste
sono ora in cerca di tutto il tempo per tipo di
tenere il passo con i diversi flussi giusti
piuttosto che mantenere il diritto unico
Sogna su un file system se puoi farlo
modo c’è molto meno jitter sul
le teste e le cose vanno meglio così
c’è anche un’altra analogia quando
arriva a impilare le macchine virtuali
quale sam Newman usa sta gestendo il
i micro servizi tracciano ma il suo è
specificamente intorno a questo è la plastica
contenitori ma di cui stava parlando
macchine virtuali nel momento in cui siamo
lavorare insieme un client quando quando ho
era a piedi lavora con lui chi era
cercando di farlo era un sito web
necessario per scalare la loro traccia web e così via
avevano un sacco di cluster VMware a
il tempo in cui gestiamo il loro
i server di applicazioni Web e hanno deciso
beh, la nostra risposta al sito web sta diventando un
un po ‘lento non stiamo gestendo abbastanza
i clienti ciò che dobbiamo fare è che abbiamo bisogno di
fornire più macchine virtuali su
esattamente lo stesso hardware per essere in grado di
far fronte a questo carico e Sam era come
beh, questo è lo stesso che dire
beh, ho il cassetto dei calzini di cui ho bisogno
ottenere più succhia in questo cassetto in modo che il
Ho intenzione di ottenere più calze nel
cannucce in cui inserirò i divisori
il sorteggio per prendere più spazio per aiutare
me cuneo in più calzini nel negozio
non funziona in questo modo e purtroppo
sai che otteniamo lo stesso approccio quando
si tratta spesso di threading
sviluppatori junior che non hanno avuto molto
esperienza ma penseranno bene se
Ho un thread che fa qualcosa
specialmente quando si tratta di spostare i dati
in giro sto facendo un thread quindi sono
solo andando e io sto eseguendolo su 12
macchina di base quindi posso solo fare un giro 12
discussioni e ovviamente andrà 12 volte
più veloce ma non c’era un lavoro solo
recentemente stava facendo alcuni dati
convalida dove stava girando su 12
discussioni per fare qualcosa di unico passaggio
attraverso un giorno ha preso quattro e mezzo
minuti tagliandolo da 12 fili a
un minuto lo stesso identico lavoro è finito
in tre minuti, quindi puoi prenderne un po ‘
guadagni piuttosto grandi in termini di prestazioni e
throughput semplicemente fermandosi e facendo un passo
indietro e pensando a cosa sta succedendo
sotto la tua infrastruttura a
per fare ciò mantenendo alta disponibilità
in questo tipo di condizioni
a volte può essere anche difficile perché
quando le persone si stanno diffondendo
diffondendo il loro carico spesso loro
non penserò al Mandria Tonante
problema o su come il carico si sposterà se
hai un fallimento con alcuni dei tuoi
bestiame sotto sotto il carico
il prossimo pezzo di cui preoccuparsi è
networking e sai che non è solo un
questione di avere un indirizzo IP a
connettersi non è solo una questione di te
sapere come faccio a ottenere i miei dati da A a B
siamo sulla nostra terza topologia di rete per
solo la nostra infrastruttura di ricerca che io
accudire perché cresciamo come noi
scala in quanto otteniamo più macchine e
diversi tipi di carichi di lavoro a partire da
correre nel nostro ambiente come il
flussi di dati all’interno di un’infrastruttura
cambiamenti e quindi dobbiamo essere in grado di
tieni d’occhio il flusso dei dati
e dove sono i colli di bottiglia e provare
e prova a prevedere dove andremo il prossimo
i colli di bottiglia saranno così che possiamo
scala in modo appropriato che poi viene
per il cablaggio abbiamo un bel po ‘di 40
gig networking all’interno della nostra infrastruttura
pure e l’originale 40 giga
ottica di rete fondamentalmente solo per a
singolo modulo sfp in questo momento vanno per
circa un migliaio di migliaia di dollari
solo per un singolo modulo ottico piccolo
quindi se hai intenzione di eseguire una fibra da 40 gig
tra due punti ne stai spendendo tre
migliaia di dollari sull’ottica per ciascuno
scorrere su ogni interruttore e quindi sai
meno di 100 dollari per un cavo ma se
hai questi interruttori praticamente
all’interno di un taxi entro 10 metri da ciascuno
altro per meno di cento dollari
può ottenere un cavo collegato direttamente che
farà esattamente la stessa cosa così tuo
le topologie e il cablaggio sono no
più a lungo quasi come la
le macchine sono interconnesse tra ciascuna
altro ma anche devi iniziare
pensa a fisicamente nello spazio come
stai andando a spazio queste cose
in giro per ottimizzare i costi nel tuo
spese le vostre spese sul
diversi tipi di cose e anche questo
copre i protocolli quali tipi di protocolli
stai per essere eseguito
nella tua rete che tipo di
protocolli hai intenzione di utilizzare
tra la tua rete e altre reti
e come tu come scala la scala
la rete ha altri problemi che corriamo
in particolare con i cavi
ancora una volta questo torna a due problemi
con vecchio firmware nelle vecchie schede di rete
Sta pensando che conosci la pulizia
la fibra di fibra fa affidamento sulla luce e se tu
farti sapere pezzi di polvere o bit di
sporco bloccato alla fine di entrambi
ottica o sulle fibre che conosci essere
in grado di tenerli puliti dentro il tuo
l’infrastruttura è importante spesso
avrai downgrade della connessione o
le connessioni cadono da un punto di fibra di
guarda se c’è se ci sono problemi
manomissione del limite di luce ma anche
cose con nodi e nodi
nel cavo perché è in realtà
rifrangente all’interno di esso all’interno di a
anche i nodi dei cavi in fibra ottica hanno un
impatto negativo sui cavi di rame sul tuo
cavi a doppini intrecciati perché lo sai
spesso se si attorciglia un cavo troppo
lato di un collegamento può provare e downgrade del
velocità della connessione e se il tuo
l’altro lato della scheda di rete non lo è
ottenere che il messaggio in modo corretto è possibile
quindi ottenere disallineamenti di velocità e puoi
ottenere ogni sorta di altri problemi e così via
gestendo il lato fisico delle cose
sai che hai bisogno di brave persone dalla tua parte
per capire l’importanza della gestione
questi cavi e mantenere le cose pulite
e ordinato ma anche quando vedi strano
comportamento all’interno del tuo ambiente
in grado di identificare sai cosa sta causando
che in primo luogo è in realtà
davvero importante la prossima cosa che
cambia quando stai correndo con il tuo
propria infrastruttura è il vostro approccio alla
monitoraggio perché il monitoraggio è no
più a lungo sai che è l’istanza
la mia applicazione è in esecuzione
ottenere il rendimento che mi aspetto
dalla mia applicazione ma viene anche
fino al tuo hardware stesso ECC
i controlli di memoria sono qualcosa che abbiamo
si accorse
sembra avere una certa variabilità stagionale
tipo di passaggio dall’inverno alla primavera
generalmente causa una spiked con in ECC
i tassi di errore e così intorno ad aprile abbiamo avuto
probabilmente circa un periodo di sei settimane qui
dove eravamo praticamente tutti i giorni
vedere almeno un allarme aereo ECC che ero
solo un singolo avviso e tu sai che
stava tenendo traccia del tempo solare
è come se il Sole fosse abbastanza silenzioso
a quel tempo conosci l’unica cosa che
possiamo pensare che tu sappia che forse ha
è arrivato soprattutto qui a Chicago
gli inverni possono essere molto secchi con il
freddo e così come arriva la primavera
i cambiamenti di umidità potrebbero essere questo lo sai
qualcosa a che fare con i diversi tipi
di particelle cariche galleggianti attraverso
il centro dati bit e pezzi come
che così potendo dire al
la differenza tra questo è solo stagionale
variabilità o oh ho effettivamente avuto un
componente che sta fallendo ti conosco
bisogno di dati storici per essere in grado di
tendenza e traccia e per capire cosa c’è
andando avanti quando si tratta dello stesso
le cose non vanno così male
con il disco rigido è così intelligente è il modo
che ne controlli l’utilizzo mentre
tipo di informazioni sulla salute generale da
dai dischi rigidi sia spinner e SSD
e così sai che impari a raccogliere il
asciugamani diversi dai diversi hard
guida così così uno di quelli delle aree
che inizierai a vedere da dentro a
disco rigido quando ne hai uno a
controller dell’unità guasta o cavo difettoso
il tuo autista inizierà a vedere stealth
Errori di ECC dai dati in corso
scritto come un trasferimento DMA da
il controller e quindi tenendo traccia
di quelli se vedi un picco in quelli
generalmente significa che hai un
condensatore che sta fallendo in uno se
sei il tuo controller del disco e così via
abbiamo avuto un paio di quelli
ma a volte anche tu potresti essere
problemi sul disco stesso dove è
non in realtà dati correlati ma abbiamo solo
visto davvero questo con alcuni dei nostri
SSD in cui un SSD potrebbe non essere in grado di farlo
mantenere internamente il livello di potenza a
mantenere i diritti che siamo impegnati
colpendolo con e così cosa accadrà
è che il potere sarà effettivamente marrone
fuori con on sulla S
la scheda di sistema stessa e quindi uno di
gli altri attributi della colonna vertebrale sono circa
sistema inatteso ripristina e quindi l’SSD
inizierà quindi a riferire hey che ho appena fatto
riavviato me stesso non so perché ma
questo è stato un riavvio imprevisto all’interno del
guida se stesso e così rintracciando quelli
cose che puoi iniziare quindi a tracciare il
stato del proprio dei dischi fan sono
importante monitoraggio ambientale
importante anche noi non solo gestiamo
anche i nostri data center
perché siamo una società commerciale che abbiamo
macchine che sono fuori in comune
servizi e strutture di collocazione
che sono gestiti da terze parti e
purtroppo non tutti i gestori di data center sono
creato uguale quindi abbiamo avuto problemi che siamo
fuori sulla costa orientale abbiamo effettivamente avuto un
problema in cui un determinato data center
al di fuori della formazione alle ore di negoziazione così
mentre il trading andava in onda
il condizionamento funzionerebbe perfettamente
ma una volta che lo scambio è stato fatto loro loro
presupposto che la dissipazione del calore
non sarebbe un problema quindi cosa fossero
fare per risparmiare sui costi energetici erano loro
stavano effettivamente spegnendo l’aria condizionata
all’interno del data center durante la notte
ore e la cosa è quando durante un caldo
la notte d’estate le macchine sono lente
consumando un po ‘di energia e così faremmo
in realtà vedere picchi di temperatura e così
vedremmo un po ‘durante il trading
ore le cose andavano bene, ma poi le cose
si scalderebbe durante la notte e dopo pochi
pochi cicli sufficienti di questo inizio
vedi i problemi del furgone che inizi a vedere gli altri
problemi ed è stato alla fine attraverso
noi forniamo grafici di noi che monitorano i nostri
le temperature ambientali tornano al
venditori che siamo in grado di dire
guarda , possiamo vedere che stai facendo questo schifo
roba puoi vedere i problemi che tu
stai creando sai entrambi i tipi di
rimborsarci o risolvere i problemi
tu che sei dentro e quindi è importante
per capire il tipo di impatti che
queste condizioni ambientali hanno
iniziare è il monitoraggio avendo il
dati in atto non solo sul tuo
applicazioni e sistemi, ma anche
gli ambienti che sono i tuoi sistemi
correre che ti permettono di stare meglio
traccia di ciò che sta succedendo nei vostri sistemi
perché grandi fluttuazioni di potere sai
non solo accorciano il ciclo di vita
di componenti ma probabilmente circa
che ben 15 anni fa sono davvero
iniziando a sentirmi vecchio circa 15 anni fa
loro erano là era un problema dove come io
stava mantenendo un sacco di hardware Sun
e in realtà avevamo un condizionatore d’aria
fallire all’interno di un data center in un magazzino
mentre lavoravo al dettaglio al momento e
in realtà stavamo correndo con un grande figlio
6500 sistemi in modo che loro CPU blade
che montano di lato e così che cosa aveva
capita che fosse diventato così caldo con il
centro dati che il calore affonda
Simon aveva incollato sopra i processi
in realtà caduto e discesa e
che in realtà non funzionava, conosci il
scheda di sistema accanto a loro e quindi di calore
può non solo farti conoscere piccolo
pezzi di danni ai componenti che possono
in effetti elimina un intero acquirente di sistemi
ma con le ruote che letteralmente cadono
la prossima cosa è un po ‘diversa
quando stai usando il tuo hardware
previsioni in grado di capire come
la tua infrastruttura è in crescita e
intorno a ciò che i tuoi bisogni saranno
quali saranno le tue esigenze
perché quando stai finendo
il cloud si può solo far girare di nuovo
istanze e via vai e tu e
ritirarti in macchine ritirate quando
hai finito con loro è bello
abbastanza semplice ma per noi abbiamo
cose come l’acquisto di tempi di consegna
per esempio è loro che abbiamo bisogno di noi
ordinato un nuovo lotto di memoria per uno
particolare sistema in cui mettiamo l’ordine
Aprile non abbiamo ancora i sistemi
eppure dovevano essere spediti la scorsa settimana
in realtà ma avevamo ordinato un lotto di
tipo specifico di unità seagate all’interno
dentro di loro e Seagate la scorsa settimana
ha annunciato che stanno effettivamente tagliando
indietro produzione su questo e così ulteriormente
all’interno della nostra catena di approvvigionamento
i meteorologi sono stati previsti mentre vedono
voi ragazzi stavate sfogando così
molte migliaia di queste unità in
mente per tutto ad un tratto seagate te
sapere inaspettatamente ha detto che siamo solo
tagliando la produzione di questi perché
stiamo perdendo troppi soldi per loro e
quindi ora sai che dobbiamo cambiare
guidare i fornitori che stiamo cercando di fare
sai che ha un sacco di colpi
effetto contro la nostra capacità di bisogno
questi sistemi contro loro in realtà essere
disponibile sai che le unità hi sono molto
buon argomento buono un paio di anni fa lì
sono state le alluvioni a Taiwan che non solo
ha ritardato le cose abbastanza rapidamente ma ci sono voluti
molti molti mesi per la produzione a rampa
fino ai livelli in cui erano
dove le persone potrebbero effettivamente ottenere il duro
guida che ne hanno bisogno di nuovo e così via
questo tipo di rottura della supply chain voi
non so quando andrà e così
per quanto riguarda la capacità, la regola per me
è sempre assicurarsi che sei sei
mai in esecuzione al cento per cento
capacità perché hai sempre bisogno di essere
in grado di crescere con i vostri ormeggi e i vostri
picchi per essere in grado di farlo ma anche a
essere in grado di eseguire esperimenti sicuri quando
stiamo provando nuovi tipi di hardware nuovi
configurazioni o se c’è c’è un
nuovo tipo di ricerca che stiamo facendo
quello può maggio o non può durare il
tre anni che noi apprezzeremmo
il nostro hardware per essere in grado di almeno
riutilizzare l’hardware che hai tu
dovrebbe sempre pensarci
quando si tratta dei tuoi acquisti
decisioni amazon web services così dentro
la nostra infrastruttura abbiamo effettivamente iniziato
costruzione e l’infrastruttura di ricerca
quello che mi occupo di Amazon
iniziato come era nei primi giorni di epc
da Amazon e abbiamo iniziato a tenere tutto
i nostri dati in s3 hanno fatto tutte le nostre ricerche
sulle istanze di ec2 li faremo girare quando
abbiamo bisogno di loro, li spegneremo quando saremo noi
non ne avevano più bisogno e questo lavoro
davvero bene per un buon numero di
mesi e abbiamo un sacco di ricerche
fatto e pagato per se stesso ma come noi
già devono avere il centro dati
personale interno che dobbiamo già avere
le cose di networking in-house per il nostro
attività commerciali primarie che gestiscono il
numeri su e su come la nostra ricerca è stata
in crescita
inizialmente avevamo ricercatori erano giusti
provare nuovi modelli che provano nuovi
modi di ricercare nuovi modi di guardare
ai dati una volta abbiamo avuto una costante
flusso di questo è la ricerca di cui abbiamo bisogno
correre ogni notte per aiutarci a commerciare
domani che ha raggiunto la fase in cui noi
stavano facendo costantemente ricerche in corso
24 7 e in quella fase il modello amazzonico
tipo di abbattimento è davvero costruito per
quando hai bisogno di una disponibilità esplosiva così a
quella tappa i costi intorno amazon
ha iniziato a diventare abbastanza brutto anche
ora mentre ci occupiamo di nuovo hardware
Rifiuta un aggiornamento specialmente per il calcolo
confrontiamo il costo di acquisto di quello
hardware noi stessi contro quello che è lo stesso
costano oltre tre anni al nostro tipico
il carico di utilizzo sarà su Amazon e lo siamo
ancora circa un terzo più economico, ma in esecuzione
in-house che in realtà il nostro
il tipo di carico su Amazon è e così siamo
tenendo costantemente d’occhio cosa
i costi sono là fuori perché se lo fa
capisci che alcuni di questi problemi vanno
via e quindi dovremmo essere ancora in grado
per tenere d’occhio ciò che è disponibile
là fuori, ma ce ne sono ancora molti
problemi almeno nei primi giorni in cui
avevamo i nostri circuiti in Amazon
a causa della quantità di dati che noi
stavamo usando in realtà avevamo affittato
circuiti in amazon e il più grande
il problema che abbiamo avuto è stato
principalmente con s3 come amazon stava aggiungendo
nuova capacità in s3 in realtà
lanciare nuovi blocchi di indirizzi IP su nuovi
cluster di archiviazione e così manutenzione
quelle modifiche al blocco degli indirizzi IP all’interno
le nostre tabelle di routing interne in realtà
è diventato piuttosto un processo abbastanza oneroso
perché Amazon non avrebbe semplicemente ripubblicato
loro attraverso il BGP che spia sul link
ci manderebbero davvero un’e-mail
ogni settimana dice che tutti questi intervalli sono
ora disponibile attraverso questi collegamenti e
questi non lo sono e quindi se non lo facessimo
aggiorna la nostra tabella di routing in sincronizzazione
con Amazon quello che succederebbe se noi
stavano spingendo un gruppo completamente nuovo
di dati fino ad Amazon cosa succederebbe
è
in ufficio inizierebbe a lamentarsi
perché sarebbe in realtà finiscono per
fare il giro del nostro ufficio internet
connessione e spegnendo il nostro internet
cercando di ottenere i dati nella frutta s3 per
la nostra ricerca così così alla fine abbiamo trascorso
abbiamo passato un bel po ‘di tempo a saperlo
dimensionando il modo in cui volevamo archiviare il
dati internamente verso l’esterno e poi
prima di rimuovere tutti i nostri dati da s3
in realtà abbiamo disconnesso la nostra Amazon
relazione lì ma tu conosci ogni
di tanto in tanto come Amazon esce di nuovo
servizi come le nostre esigenze cambiano sai
passeremo il tempo a guardare cosa c’è fuori
solo per essere sicuro di sapere a
quello che stiamo facendo è ancora un costo
soluzione efficace e giusta per
quello che abbiamo così spesso anche se ho nel
passato quando ho parlato di DevOps che ho
ha ribadito l’importanza di chiedere
domande su non rimanere bloccati in a
solco di sto facendo in questo modo ora così questo
è il modo corretto di farlo per sempre
non è mai la mentalità giusta
essere e dovresti sempre esplorare
perché stiamo facendo le cose che siamo
facendo ciò che stanno facendo gli altri
risolvi problemi simili e lo sai essere
ci sono modi migliori in cui posso cambiare cosa
Lo faccio per ottenere un valore migliore per
l’organizzazione per cui lavoro ma
anche per rendere la mia vita più facile e più
appagante concentrarsi su diversi
problemi in nuovi nuovi problemi interessanti
ho capito di alcuni di questi
prima della qualità variabile dell’hardware
essendo la cima della lista c’è anche
lo stato quantistico di vecchie macchine lì
lo sai e questo è strettamente
accoppiato con la percezione di alcuni
parti del business che si sono deprezzate
l’hardware è gratuito è con macchine vecchie
in particolare possono avere potrebbe essere e
in esecuzione e potresti effettivamente eseguirli
attraverso una serie di cicli di riavvio e
staranno bene e quindi potrai aggiornare
e downgrade del kernel che puoi dare
loro carichi di lavoro diversi ma noi siamo
avvicinandoci alla fine di spostare effettivamente il nostro
infrastruttura di ricerca da un dato
centro ad un altro principalmente intorno al kinda
dimensioni, costi e raffreddamento
come le risorse di calcolo diventano più dense
in questi giorni sai dove abbiamo avuto il
l’infrastruttura non era in grado di farlo
forniscici la densità del raffreddamento
avevamo bisogno, ma quello che avevamo era quello che avevamo
macchine che erano state accese e
corso per te sai più di un anno a 18 anni
mesi e li abbiamo riavviati un paio di
volte ma ora dopo che li avremmo alimentati
verso il basso e spostali li ricolleghi
e loro si rifiutano di venire e così
lo sai per me
hardware ammortizzato di nuovo così come sei
trattandoli come bestiame, va bene così
hai avuto il tuo pranzo gratis questo è
morto sai mandarlo spedirlo al
cantiere di knackers e passare a quello successivo
uno ma l’hardware ammortizzato non è gratuito
perché quando ti affidi al vecchio
hardware come quello quando muore
sotto di te devi poi pensare
sulla tua previsione della supply chain
persone che stanno mentendo su quella capacità
forse e allora sai che devi
assicurati che quando quella carta muore
puoi sostituirlo e c’è anche il
il costo umano di mantenere effettivamente
quell’hardware che diagnostica l’hardware
diagnosticare i problemi e lanciare
li sopra la piattaforma e il
le modifiche al fornitore assicurano che quando
stai costruendo la tua infrastruttura quando
ti stai accertando di costruirli
blocchi che usi per ottenere il tuo
macchine nello stato che ti aspetti
che non stai strettamente accoppiando
te stesso a qualsiasi tecnologia specifica o
strumento fornitore assicurati di poter sempre
tirarli fuori e idealmente in particolare
quando stai correndo all’interno di uno chef di sistema
tutto il resto del burattino lo rende molto facile
ispeziona il tipo di macchina che sei
in questo momento il tipo di sistema che
sei dentro e poi dici solo che lo sono
correre su questo marchio di macchine di cui ho bisogno
o sai che sto usando un raid lsi
controller in questo momento ho bisogno di eseguire il
Strumenti LSI per configurarlo e quindi per me
questo avvolge ciò che DevOps non è per me
DevOps non si occupa solo di distribuzione
il cloud o due contenitori o due VM
c’è valore in tutte queste cose
ma devi essere sicuro
che il valore che ne ricava è Annie
è prezioso per te rispetto al
sforzo che ci vuole per costruire e
mantenere l’infrastruttura intorno a quelli
le cose non sono solo limitate
a siti Web o servizi Web, anche se noi
avere siti Web e servizi Web
internamente che presentiamo al nostro
clienti interni nessuno di questi è pubblico
di fronte e molto importante non lo è
solo un altro nome per i tuoi sis admins
la tua rete ammette i tuoi database ed ed
una delle altre cose che soprattutto
quando si tratta di due persone che definiscono
cos’è DevOps c’è una mailing list
le J sono un po ‘di tempo fa che c’è
c’è un sacco di noi che ce l’hanno
state facendo DevOps per molto tempo ogni
di tanto in tanto una discussione divamperà
come abbiamo bisogno di definire DevOps perché
ci sono molti venditori di olio di serpente
là fuori cercando di venderti il
DevOps e per dire DevOps è questo e così
probabilmente l’unica regola empirica è così
Devo dire che DevOps non è questo
cose perché attualmente sento che se
qualcuno viene da te e dice DevOps
questo stanno cercando di venderti
qualcosa e devi scappare
perché sai che ci stiamo ancora provando
Definisco sto ancora cercando di definire
me stesso internamente cosa DevOps è e tu
conoscimi molto di ciò che sai
rotolare in tutto il tipo di no ops
filosofia che sta arrivando là dove
si sa anche quando si sta esaurendo
all’interno di un’infrastruttura cloud di cui hai bisogno
almeno una persona all’interno della tua squadra chi
sta sviluppando software per capirti
conoscere gli aspetti di simpatia meccanica di
dove stai gestendo il tuo provisioning
queste cose come li controlli come
tu li mantieni e come tu come
pulirli alla fine perché tu
conosci con noi quando compriamo l’hardware
quell’hardware deve essere pagato per quello che ha
per essere contabilizzati , conosci un simile
cosa succede sul cloud dove
le persone gireranno su istanze e solo
lasciarli correre per anni e dimenticare
su di loro qualcuno deve ancora pagarlo
bolletta del fornitore di servizi cloud alla fine di ogni
mese e quindi è necessario per garantire che
ne stai ricavando il valore
cose alla fine
grazie a tutte le domande che hai
domande per favore mettimi nell’app
la prima domanda è anche la prego di votare se
non hai votato e per favore fornisci
commenti per battezzare che non abbiamo
sette minuti per le domande numero uno
che tipo di considerazioni di sicurezza fanno
hai tra la macchina e il tuo
config service squash FS e così via così
chiunque può entrare in possesso della zucca FS
perché è fondamentalmente una macchina orso
immagine così usiamo effettivamente Debian
bootstrap per creare quella zucca iniziale
efficiente in una directory e quindi in bundle
è molto minimale con pochi
pacchetti extra aggiunti ad esso così c’è
non c’è nulla di sensibile in là
salendo lo stack i nostri clienti chef noi
usa lo chef che ha incorporato
modello di sicurezza destinato alla gestione
l’ EAP è e i bit e pezzi noi
utilizzare sacchetti di dati crittografati e quindi non
è un pezzo in cui usiamo il criptato
sacchetti di dati per alcuni bit di
informazioni ma anche cose come la
password di root all’interno degli affari di squash
è abbastanza conosciuto ma molto presto
probabilmente molto probabilmente la prima cosa
fare in un cliente di chef correre come abbiamo impostato il
password di root, ma poi di nuovo è così
esattamente lo stesso hash in cui è seduto
et Cie shadow abbiamo lo stesso hash
che siamo lì come un testo normale
andando così puoi vedere l’hash ma ma
buon polmone buono come scoppiare un grande gruppo
all’hash spostando lo stack quando lo fa
in realtà arriva per accedere al
macchine a cui alcuni utenti hanno accesso
macchine per presentare effettivamente i loro lavori
per diagnosticare i loro lavori per ottenere i loro dati
quello che facciamo è parte dello chef
gruppi e i ruoli e il
ambienti che abbiamo in realtà
definire tutte le nostre macchine sono collegate in
la nostra Active Directory aziendale
infrastruttura e quindi definiamo bene
questi gruppi di macchine sono stato pagato
per questa unità di business quindi solo le persone
all’interno di questi gruppi è consentito registrare
dentro
le macchine usano ancora ssh per gestire tutto
che tu sai che noi teniamo traccia di
tipo di vulnerabilità del kernel locale
sfrutta quindi abbiamo riavviati a rotazione
andando avanti nella nostra infrastruttura a
aggiornare il colonnello per aggiornare il loro
è stata la roba con le labbra G all’inizio di quest’anno
per tipo di mantenere quelli così abbiamo capito
ma in definitiva il valore di attaccare
questi sistemi internamente sono piuttosto bassi
perché saranno solo membri all’interno di a
gruppo specifico a cui hai accesso
quelle macchine comunque così fortunatamente noi
non hanno più persone che cercano di ottenere
anche nella nostra infrastruttura, ma noi
tieni traccia dei registri di sudu, uno dei nostri
ricercatori in realtà quando ha scoperto
che riceviamo le email per studio
in realtà è diventato molto eccitante
il tuo Centro il tuo centro da xkcd
Ho in qualche modo dove lo zoo ha fatto questo
messaggio è stato registrato e-mail andare dentro
lì un XKCD c’è Babbo Natale
traccia di chi sta cercando di adattarsi ai sistemi
che loro non lo erano davvero
eccitato che tu sappia che ero centrato
all’interno della nostra infrastruttura e ho avuto modo di vedere
che gli avvisi pseudo di persone che cercano
fare sudo su sistemi che non lo sono
lasciato sperare che risponda al
domanda interessante, grazie alla prossima domanda
stai solo usando direttamente allegato
deposito o hai un figlio se lo sei
usando San come è stata la tua esperienza
con affidabilità si usiamo solo diretto
stoccaggio allegato non usiamo sabbie
all’interno della nostra infrastruttura probabilmente il
il più vicino che abbiamo sono le directory home
sono memorizzati su un netapp quindi abbiamo net
app per home directory e così via
su di esso sì generalmente sabbie ho
trovato per essere sopravvalutato e tipo di più
complicazione di quanto valga, ma poi
il rovescio della medaglia è il sistema principale
che abbiamo per alimentare i dati di mercato
e i dati della ricerca nel nostro computer
le note sono in realtà qualcosa che abbiamo finito
up edificio in casa in cui è è
grandi gruppi di macchine locali
fondamentalmente usando semplicemente un archivio di valori chiave
letteralmente conservando
sparando blocchi di dati attraverso
attraverso la rete sul locale
applicazioni che sono quindi in realtà solo
consumando i dati che ha l’indicizzatore
quindi abbiamo che abbiamo il nostro
protocolli e ho reso alcuni pezzi
lì intorno per mantenere effettivamente il
nodo di calcolo saturo di dati perché
la complessità e i costi generali di
le sabbie non ne valgono la pena per noi
venditori di sabbia in camera buona cosa fare
hai una virtualizzazione interna
cloud se sì cosa stai facendo ah sì
c’era il cloud di virtualizzazione interno
un palco di circa cinque anni fa forse forse
quattro anni fa, quando ci siamo alzati
OpenStack su alcune macchine più vecchie per
un po ‘e noi e lo abbiamo testato un po’
un po ‘c’era un routing asincrono
bug che abbiamo avuto tra il reale
macchine stesse che escono e poi
che i pacchetti di risposta ritornino
da internet dove era solo
causando alcuni problemi di throughput per noi così
per quanto riguarda la stabilità quando è corsa per
circa 18 mesi con pochissimo
cura e alimentazione ma alla fine noi
lo scartò perché ne avevamo solo bisogno
ritirare quell’hardware e non potremmo esserlo
preoccupato di ricostruirlo da qualche parte
altrimenti sono molto interessato ad alcuni dei
Roba con il sistema operativo intelligente
la loro containerizzazione sono stata a
grande fan delle zone solari e
virtualizzazione dato che ero un alfa
tester su solaris 10 ma tu conosci il
solo le istanze di dottore in cui ci imbattiamo
produzione sul nostro team la nostra squadra fortezza
2 server per i giochi del venerdì pomeriggio ordinati
il dottore era destinato per bene
tanto che lo hai toccato brevemente ma
quali sono i tuoi pensieri sulla piattaforma
come opzioni di servizio disponibili nel cloud
fornitori contro l’infrastruttura come a
opzioni di servizio per eseguire le proprie impostazioni
nel cloud su quale tipo di servizi
proprio come quello che c’è intorno a te
pensa di passare un oh si
Penso che Parigi sia buona, ci gioco
con esso un po ‘ per alcune delle mie parti
progetti ci sono alcuni pezzi e pezzi
come il ghiacciaio che sto guardando di nuovo
solo perché soprattutto quando si tratta di
per fare il backup su nastro, abbiamo dovuto fare una fiera
quantità di dati dal nastro di recente e
abbiamo avuto qualcosa nell’ordine di a
il tasso di fallimento del nastro del cinque percento era
in particolare è abbastanza buono per il nastro
nastri più vecchi di due anni ma è così
ancora è troppo di un fallimento per noi
e quindi mi piace tenere d’occhio quello che è fuori
c’è come giocare con quello che c’è là fuori
e e ci sono alcune cose buone che il
la cosa fondamentale è concentrarsi in definitiva sul tuo
carico di lavoro qual è il tuo profilo di carico di lavoro
assomiglia a quanto sensibili sono i tuoi dati
i tuoi dati sono là fuori non può essere fuori
lì abbiamo i regolatori di quel tipo
di coprire ciò che possiamo e non possiamo fare come
bene in alcuni casi ma c’è c’è a
molti dati come generalmente i dati di mercato
sono dati pubblici davvero dopo un certo
età almeno da un punto di scambio di
vista e quindi c’è un sacco di
cose che ci piacerebbe avere là fuori
sono puramente i costi non lo sono ancora
nel campo da baseball giusto ancora dove fa
senso per noi okay siamo fuori tempo è
ora di pranzo non so se è Chris
sto facendo una clinica di speaker, probabilmente
venendo bug lo yeah sì, probabilmente
altrimenti sarò al DOW
sta bene, grazie mille
cosa te stesso
DevOps Who am II si è trasferito qui a Chicago
saranno tre anni la prossima settimana tre
anni fa mi sono trasferito dal Regno Unito, lavoro
per una società commerciale locale chiamata diw
sì, stiamo assumendo suppongo che tutti lo siano
abituato così puoi venire e parlare con
noi fuori in qualsiasi momento chiediamo di più
domande probabilmente sarò al
clinica degli oratori ad un certo punto oggi come
bene ma sì DevOps bare metal
inizialmente il mio titolo lavorativo stava per
essere un DevOps heavy metal ma ne ho avuto un sacco
feedback che conosci molte persone
non pensare che i metalli pesanti si raffreddino
più e anche i Metallica almeno quando
Ero un adolescente era il mio metallo preferito
banda ma penso che le ruote siano cadute
con loro quando hanno fatto causa a Revlon perché
Revlon ha rilasciato un colore rossetto chiamato
Metallica e è appena andato
in discesa da lì così invece di
Sto parlando di quel metallo pesante
per parlare di questo metallo pesante
questa è una foto di una delle isole
è pieno di macchine che sembrano
dopo da abbastanza presto all’inizio
giorni di tipo di DevOps quando quando
in realtà ho un nome che ho iniziato a ottenere
un po ‘ frustrato da come l’ ipotesi
ogni volta che la gente parlava di strumenti
e tecniche e di come hai bisogno
a lavorare è l’ ipotesi di fondo
stai creando un servizio web che è
in esecuzione sulla nuvola da qualche parte
e il DevOps si applica solo a te se
hai quei limiti per me questo
è l’infrastruttura che mi occupo di noi
nessun servizio web di fronte internet che
in realtà rende le cose molto più facili da
il punto di vista della sicurezza generale non si usa
AWS più ci arriveremo un po ‘
successivamente eppure anche
con questa infrastruttura non posso fare
cosa faccio senza applicare ciò che mi piace
pensare come il modo di DevOps così il
principi fondamentali che sto per fare
contorno si applica brevemente ovunque tu sia
facendo gli scarti ma mi concentrerò
principalmente su come sono questi principi
diverso all’interno della tua infrastruttura
perché credo che le persone che
stanno facendo le app web sul cloud
sono probabilmente la minoranza di persone che
in realtà hanno bisogno di devops culture DevOps
pratiche per migliorare la propria vita
rendere i loro lavori più piacevoli e
fornire più valore alle imprese
che lavorano così per me al centro
i principi sono infrastrutture agili
essere in grado di cambiare la tua infrastruttura
intorno a te mentre stai lavorando male
trattando le tue macchine come bestiame
comunicazione di automazione così di partenza
con l’infrastruttura agile devi
usa la gestione della configurazione, indipendentemente dal fatto che tu
usando macchine fuori nel cloud se
usando i contenitori qualunque cosa tu stia usando io
penso che tu abbia ancora bisogno di avere un certo tipo
di gestione della configurazione non lo fa
cura non mi interessa, non importa cosa
sapore della gestione della configurazione
stai usando finché si adatta al tuo
testa e puoi gestire i tuoi sistemi
appropriatamente il tutto essendo quello
quando fai apparire una nuova macchina o una nuova
tipo di macchina o si reprovision il
macchina per fare un compito specifico voi
devo essere molto fiducioso che quando questo
la macchina arriva ed è pronta
produzione che sarà esattamente come te
aspettati che sia senza umani
l’intervento necessario è necessario essere in grado
per testare e ricostruire e riutilizzare
hardware anche quando hai a che fare
con il tuo hardware non puoi
sai che terminare termina una corsa
istanza e poi non pensarci più hai
ha questo hardware che sta effettivamente prendendo
lo spazio potenzialmente consumando energia e
è seduto in un libro contabile
da qualche parte lentamente depreciating ma tu
ancora bisogno di utilizzare questi principi di
testare e ricostruire regolarmente a
assicurati di non avere alcun diritto
all’interno delle immagini della macchina all’interno
configurazione con in come i tuoi sistemi
aspetto di correre e alla fine si tratta di
ricevendo feedback sui vostri sistemi
e sul completamento delle distribuzioni
più veloce e il trucco successivo in questo è quello
usa ancora le tue macchine per il trattamento del bestiame
loro come conoscete le entità usa e getta
che può andare su e giù che può fallire
non puoi ancora preoccuparti se loro se loro
scomparire di nuovo nel mio specifico
ambiente non stiamo usando i contenitori
i contenitori non hanno ancora la rete
le prestazioni di cui abbiamo bisogno, quindi non lo facciamo
avere qualsiasi coro o smartass OpenStack o
qualcosa del genere ma il principio
si applica ancora è necessario essere in grado di
tratta le tue macchine come bestiame così parte
questo però è quando non stai correndo
in contenitori quando si è in esecuzione su
bare metal è come iniziare a gestire
le immagini del tuo sistema operativo come stai
gestire andare tra l’aggiornamento o
downgrade tra versioni di
sistema operativo nel nostro caso noi
in primo luogo utilizzare un bunt al momento in cui noi
abbiamo ancora circa 1204 macchine
alcune 1404 macchine che abbiamo testato a
un po ‘con il 1604 ma non siamo abbastanza
c’è ancora principalmente a causa del grande
il male che è systemd e così ancora
pensa all’immagine del sistema operativo
la gestione che facciamo è molto simile a
come all’interno di un contesto cloud saresti
gestione delle immagini del sistema operativo
le immagini della tua macchina è che è così
molto simile ma come abbiamo fatto il bootstrap del
il sistema cambia un po ‘così dentro
il nostro processo di avvio funzionerà con tutte le nostre macchine
Pixie si avvierà così immediatamente
vieni all’inizio saranno pixie boot ma
un piano pixie boot non fornisce il
solo le informazioni che fornisce veramente
il server DHCP quando viene inizialmente
è il suo indirizzo MAC e soprattutto
quando ne hai diversi tipi
reti diversi tipi di interfacce
e le schede di rete non funzionano e tu hai
per scambiarli è così
più lungo un identificatore affidabile di questo
macchina specifica è questo indirizzo MAC così
la prima cosa che facciamo è noi
in realtà semplicemente carico della catena in I pixie
I folletti sono un bel pezzo di open source
là fuori che ti permette di fare molto
di scripting e molta automazione
intorno a come immagini il sistema superiore e
quindi quello che effettivamente facciamo è il nostro primissimo
Io script pixie che viene incatenato caricato
in realtà ha uno sguardo alla tabella DMI su
la macchina e l’altra cosa che
tira fuori e il senso per noi è il reale
numero di serie della macchina perché
che anche se non al cento per cento
garantito è molto più stabile di a
Indirizzo MAC e quindi cosa succede è
quindi usa una chiamata HTTP a un servizio web
con il numero seriale che dice proprio questo
è il numero di serie della macchina
Sono su quale configurazione ho bisogno di quello
di nuovo restituisce uno script I pixie separato
che poi viene incatenato caricato di nuovo ma
che specifica la VLAN della macchina
ha bisogno di venire su specifica il
specifica la distribuzione del sistema operativo
la versione del kernel specifica di cui abbiamo bisogno
per correre e così poi permette il
sistema per essere incatenato caricato e vieni
dritto, quindi, ci affidiamo a Debian
anello pacchetti avvio vivo per effettivamente anche
tira giù il file system di root attuale come
uno squash FS e così avendo il
kernel e il filesystem di root disaccoppiati
ci permette di testare nuovi kernel questo
una piccola quantità sorprendente di bug in
vari chicchi nel momento in cui abbiamo avuto
bug principalmente su schede di rete e
attorno ai file system con alcuni dei
abuso che mettiamo dentro i pezzi
ora ti accorgerai che ora non lo siamo
facendo qualsiasi configurazione del disco ancora ma ancora
abbiamo ancora bug di filesystem e
ci arriveremo un po ‘più tardi ma
il sistema di avvio live debian quindi carica a
squash FS un file system di squash su HTTP
n questo è il nostro vero filesystem di root
è tenuto in memoria e il nostro file di root
il sistema è appena letto dalla RAM molto
rapidamente e questa è la nostra macchina base e
dopo di che poi ne controlla alcuni
script di configurazione da ottenere quali
sarà in realtà allora
imposta il nome host per configurare il client dhcp
nel sistema operativo e configurare
le interfacce di rete quindi ce ne sono alcune
classi di macchine che probabilmente
fare legame di rete su alcuni di loro lo farà
essere in esecuzione con un concerto interfacce alcuni
di loro sarebbero in esecuzione con 10 gig
interfacce a volte ci taglieremo e
cambiare tra loro e alla fine noi
basarsi su un set di script su due basato su
in base alla configurazione della macchina e
sulla base di queste informazioni che arrivano
indietro dal servizio di configurazione HTTP
configurare la macchina cablata e
in realtà l’ ultimo passo quindi è quello di
per gestire il cliente dello chef in realtà
configurare la macchina come ne abbiamo bisogno e
che il servizio clienti dello chef sarà quindi se noi
stanno usando i dischi locali nella macchina
al momento configurerà il
dischi della macchina in quanto deve essere montato
quel file system ovunque al di sotto del
albero del filesystem abbiamo bisogno che sia e e
in questo modo gestiamo il nostro modo
macchine come sostituibili usa e getta
entità se otteniamo una nuova classe di
hardware se abbiamo bisogno di espanderci noi
basta ordinare più dello stesso tipo di
macchina dare loro lo stesso modello per
scappare e appena lassù vieni a parte
di quel cliente Chef che abbiamo ancora abbiamo
stato in esecuzione sul sistema per oltre
quattro anni e parte anche di questo
configurazione dei controller RAID nel nostro
macchine più vecchie non usiamo molti raid
controller in questi giorni la maggior parte dei nostri nostri
sistema quando abbiamo bisogno di qualche tipo di incursione
utilizzerà il raid software perché il
i processi in questi giorni sono così ridicoli
veloce a tasso di software è così così economico e
facile ma alcuni dei nostri più grandi
macchine abbiamo ancora un mix di raid
controllori e quindi abbiamo uno chef w
fornitore di risorse leggero che lo farà
effettivamente dato un po ‘di metadati di Jason
configura il controller raid come noi
ne ho bisogno, questo è probabilmente l’unico passo
ciò richiede un intervento umano
se cambi una macchina da una classe
ad un altro siamo un po ‘paranoico su
lo stato su disco quindi se il raid
la configurazione del controller è la stessa e
i file system hanno la stessa etichetta
monteremo il file system ma
se non lo è, ci fermeremo e diremo
potrebbero esserci dati preziosi su di me
non andando a soffiare via solo bisogno di un
intervallo umano
antico per andare e basta rimuovere il
filesystem rimuove la configurazione raid
eseguire di nuovo il client dello chef , tutto è
riconfigurato come abbiamo bisogno e così in quel modo
manteniamo ancora le nostre cose velocemente
e facile che ci porta nel
il lato automazione delle cose che stanno arrivando
nuovo hardware nella nostra flotta quindi sei tu
sappiamo che corriamo abbastanza diversi
classi di hardware in questo momento la maggior parte di loro
effettivamente eseguito con praticamente un
configurazione identica quindi avremo
hardware di diversi fornitori ancora
runnin con lo stesso script di avvio in esecuzione
con la stessa configurazione di chef ma
loro saranno appena cresciuti inizialmente e
l’ unica differenza potrebbe essere il tipo di
processo del numero di processi il
quantità di RAM e quindi sai fino a che punto
come configurare la macchina e portare
su quello che non è veramente importante
alla gestione della configurazione
ma la parte difficile è arrivata con il firmware
aggiornamenti e diagnostica fino al
gli aggiornamenti del firmware in particolare in esecuzione
ubuntu su alcuni degli spot
piattaforme che abbiamo da spendere
un po ‘di tempo in anticipo ed è pari
peggio con il firmware della scheda di rete
aggiornamenti abbiamo scoperto la rete
bug del firmware anche in alcuni dei nostri
controller quindi c’è qualche Browns di
scheda di rete che non toccherà più
puramente perché la qualità del
il firmware e le loro carte sono così poveri e
in realtà sembrano essere una correlazione
tra il più difficile è applicare a
aggiornamento del firmware a una scheda di rete
probabilmente il più probabile è che sia un
firmware di qualità terribile sta andando a
essere lì, in primo luogo, cosa anche
raccolta diagnostica di queste macchine
a volte siamo ancora piuttosto costosi
avere contratti di supporto su di loro così
essere in grado di inviare automaticamente
informazioni diagnostiche hardware in
li nel tuo sistema di monitoraggio a
ti dico che è successo un errore
quanto è grave il fallimento ma anche
ricevendo abbastanza datazioni che puoi
tornare ai fornitori per aiutarli
riconoscere che c’è un problema che
a volte è nascosto e quindi effettivamente spedito
fuori le sostituzioni e ottenere tutto
sostituito
l’altro lato è intorno alla comunicazione
la comunicazione ora non è più con la tua
il tuo cloud solo con il tuo provider cloud
la comunicazione ora copre cose come le nostre
team di data center e team di rete
sicurezza soprattutto come noi come stiamo ottenendo
più grande sicurezza diventa più di a
problema qualcosa di cui le persone si preoccupano di più
e anche l’acquisto e il venditore
gestione c’è un’abitudine terribile
con il tipo di fornitori di livello 1 come loro
piace chiamarsi, tutti corrono dentro
diversi cicli, quindi ciò che accadrà è
che pubblicheranno davvero
buon pezzo di hardware che un sacco di
alla gente piace e lo useranno
cercare di ottenere in persone che non sono
comprando l’hardware da loro e spesso
allora ci sarà una funzionalità in là
che ci piace una funzionalità di cui abbiamo bisogno e
andremo e lo useremo
software bene lo compreremo
piattaforma dal venditore e poi cosa
faremo è che fondamentalmente decidono
bene, ti abbiamo preso come cliente
hai intenzione di comprare da noi per sempre di più
non investiremo nel prossimo
generazioni della strada difficile e così via
accade è gentile delle loro gocce di qualità
verso il basso e sono davvero sorpreso quando
abbiamo smesso di acquistare hardware da loro
perché la loro qualità sta andando giù così
proviamo quando troviamo le persone con
venditori dal lato tecnico che tipo
di capirci nel modo in cui lavoriamo noi
cerca di mantenere una relazione in corso
in comunicazione con loro come a questi
sono le caratteristiche che sono importanti
questi sono i problemi che stiamo avendo
quindi speriamo che lo mantengano
e così alcuni dei venditori stanno iniziando
per ottenere un po ‘meglio su
mantenendo quel rapporto con noi dentro
gestione della qualità dell’hardware e
alcuni di loro non ricevono il messaggio
e costantemente stiamo ricevendo un tipo
di carosello di hardware diverso
rappresentanti dal lato del venditore
cercando di venderci hardware senza
effettivamente comprendendo il nostro business e
come lavoriamo e cosa alcuni di
i problemi sono quelli che affrontiamo
sono anche alcuni aggiuntivi
considerazioni che devi pensare
a proposito di quando hai a che fare con il tuo
hardware che non si applica molto spesso
troverete i sintomi quando si tratta
per vedere questi problemi ma lo faranno
sii molto piccolo se puoi qualcosa
effettivamente fare su di esso e queste cose
sono una rete di simpatia meccanica
monitoraggio e previsione fino a
la simpatia meccanica ti serve davvero
per capire alcuni dei meccanismi
su cosa sta succedendo sotto
tua la tua infrastruttura quando tu
specialmente quando stai cercando di ottenere come
molte prestazioni come puoi generalmente fare
io uno dei motivi principali che abbiamo ancora
gestire la nostra infrastruttura oltre al costo
ogni volta che ci viene aggiornata una piattaforma
confrontato i nostri costi contro ciò che il
fornitori di cloud hanno là fuori e siamo
costantemente circa un terzo più economico per
i nostri carichi di lavoro rispetto a ciò che il
i fornitori hanno al momento, ma io sono
dietro quello è in realtà essere in grado di
per capire cosa sta succedendo lì bene
esempio presto mentre stiamo costruendo
la nostra infrastruttura era puramente in giro
i dischi ci occupiamo di un importo ragionevole
dei dati non io non lo chiamerei noi big data
Voglio dire, abbiamo solo un petabyte o due
di dati con cui abbiamo a che fare ma
ce n’è un sacco che è ancora vivo
dischi rotanti e quindi c’era uno di
i nostri sviluppatori che hanno iniziato da giovani
stagista con noi stava cercando di muoversi
i dati da dove lo ingeriamo lo converte
e poi tiralo fuori, principalmente
intorno alla messa in scena dei dati e alla crescita
ed era frustrato per quanto fosse lento
lo streaming di dati attraverso non eravamo
saturando la nostra rete da 10 gig al
il tempo e il collo di bottiglia erano i dischi
e ci è voluto un po ‘per
capirlo soprattutto con la rotazione
dischi più diritti si provano e
scrivere in parallelo a una rotazione
sistema di file su disco più ti cerca
introdurrà la tua latenza lenta
sta per ottenere il lento il tuo disco
Rupert arriverà perché le tue teste
sono ora in cerca di tutto il tempo per tipo di
tenere il passo con i diversi flussi giusti
piuttosto che mantenere il diritto unico
Sogna su un file system se puoi farlo
modo c’è molto meno jitter sul
le teste e le cose vanno meglio così
c’è anche un’altra analogia quando
arriva a impilare le macchine virtuali
quale sam Newman usa sta gestendo il
i micro servizi tracciano ma il suo è
specificamente intorno a questo è la plastica
contenitori ma di cui stava parlando
macchine virtuali nel momento in cui siamo
lavorare insieme un client quando quando ho
era a piedi lavora con lui chi era
cercando di farlo era un sito web
necessario per scalare la loro traccia web e così via
avevano un sacco di cluster VMware a
il tempo in cui gestiamo il loro
i server di applicazioni Web e hanno deciso
beh, la nostra risposta al sito web sta diventando un
un po ‘lento non stiamo gestendo abbastanza
i clienti ciò che dobbiamo fare è che abbiamo bisogno di
fornire più macchine virtuali su
esattamente lo stesso hardware per essere in grado di
far fronte a questo carico e Sam era come
beh, questo è lo stesso che dire
beh, ho il cassetto dei calzini di cui ho bisogno
ottenere più succhia in questo cassetto in modo che il
Ho intenzione di ottenere più calze nel
cannucce in cui inserirò i divisori
il sorteggio per prendere più spazio per aiutare
me cuneo in più calzini nel negozio
non funziona in questo modo e purtroppo
sai che otteniamo lo stesso approccio quando
si tratta spesso di threading
sviluppatori junior che non hanno avuto molto
esperienza ma penseranno bene se
Ho un thread che fa qualcosa
specialmente quando si tratta di spostare i dati
in giro sto facendo un thread quindi sono
solo andando e io sto eseguendolo su 12
macchina di base quindi posso solo fare un giro 12
discussioni e ovviamente andrà 12 volte
più veloce ma non c’era un lavoro solo
recentemente stava facendo alcuni dati
convalida dove stava girando su 12
discussioni per fare qualcosa di unico passaggio
attraverso un giorno ha preso quattro e mezzo
minuti tagliandolo da 12 fili a
un minuto lo stesso identico lavoro è finito
in tre minuti, quindi puoi prenderne un po ‘
guadagni piuttosto grandi in termini di prestazioni e
throughput semplicemente fermandosi e facendo un passo
indietro e pensando a cosa sta succedendo
sotto la tua infrastruttura a
per fare ciò mantenendo alta disponibilità
in questo tipo di condizioni
a volte può essere anche difficile perché
quando le persone si stanno diffondendo
diffondendo il loro carico spesso loro
non penserò al Mandria Tonante
problema o su come il carico si sposterà se
hai un fallimento con alcuni dei tuoi
bestiame sotto sotto il carico
il prossimo pezzo di cui preoccuparsi è
networking e sai che non è solo un
questione di avere un indirizzo IP a
connettersi non è solo una questione di te
sapere come faccio a ottenere i miei dati da A a B
siamo sulla nostra terza topologia di rete per
solo la nostra infrastruttura di ricerca che io
accudire perché cresciamo come noi
scala in quanto otteniamo più macchine e
diversi tipi di carichi di lavoro a partire da
correre nel nostro ambiente come il
flussi di dati all’interno di un’infrastruttura
cambiamenti e quindi dobbiamo essere in grado di
tieni d’occhio il flusso dei dati
e dove sono i colli di bottiglia e provare
e prova a prevedere dove andremo il prossimo
i colli di bottiglia saranno così che possiamo
scala in modo appropriato che poi viene
per il cablaggio abbiamo un bel po ‘di 40
gig networking all’interno della nostra infrastruttura
pure e l’originale 40 giga
ottica di rete fondamentalmente solo per a
singolo modulo sfp in questo momento vanno per
circa un migliaio di migliaia di dollari
solo per un singolo modulo ottico piccolo
quindi se hai intenzione di eseguire una fibra da 40 gig
tra due punti ne stai spendendo tre
migliaia di dollari sull’ottica per ciascuno
scorrere su ogni interruttore e quindi sai
meno di 100 dollari per un cavo ma se
hai questi interruttori praticamente
all’interno di un taxi entro 10 metri da ciascuno
altro per meno di cento dollari
può ottenere un cavo collegato direttamente che
farà esattamente la stessa cosa così tuo
le topologie e il cablaggio sono no
più a lungo quasi come la
le macchine sono interconnesse tra ciascuna
altro ma anche devi iniziare
pensa a fisicamente nello spazio come
stai andando a spazio queste cose
in giro per ottimizzare i costi nel tuo
spese le vostre spese sul
diversi tipi di cose e anche questo
copre i protocolli quali tipi di protocolli
stai per essere eseguito
nella tua rete che tipo di
protocolli hai intenzione di utilizzare
tra la tua rete e altre reti
e come tu come scala la scala
la rete ha altri problemi che corriamo
in particolare con i cavi
ancora una volta questo torna a due problemi
con vecchio firmware nelle vecchie schede di rete
Sta pensando che conosci la pulizia
la fibra di fibra fa affidamento sulla luce e se tu
farti sapere pezzi di polvere o bit di
sporco bloccato alla fine di entrambi
ottica o sulle fibre che conosci essere
in grado di tenerli puliti dentro il tuo
l’infrastruttura è importante spesso
avrai downgrade della connessione o
le connessioni cadono da un punto di fibra di
guarda se c’è se ci sono problemi
manomissione del limite di luce ma anche
cose con nodi e nodi
nel cavo perché è in realtà
rifrangente all’interno di esso all’interno di a
anche i nodi dei cavi in fibra ottica hanno un
impatto negativo sui cavi di rame sul tuo
cavi a doppini intrecciati perché lo sai
spesso se si attorciglia un cavo troppo
lato di un collegamento può provare e downgrade del
velocità della connessione e se il tuo
l’altro lato della scheda di rete non lo è
ottenere che il messaggio in modo corretto è possibile
quindi ottenere disallineamenti di velocità e puoi
ottenere ogni sorta di altri problemi e così via
gestendo il lato fisico delle cose
sai che hai bisogno di brave persone dalla tua parte
per capire l’importanza della gestione
questi cavi e mantenere le cose pulite
e ordinato ma anche quando vedi strano
comportamento all’interno del tuo ambiente
in grado di identificare sai cosa sta causando
che in primo luogo è in realtà
davvero importante la prossima cosa che
cambia quando stai correndo con il tuo
propria infrastruttura è il vostro approccio alla
monitoraggio perché il monitoraggio è no
più a lungo sai che è l’istanza
la mia applicazione è in esecuzione
ottenere il rendimento che mi aspetto
dalla mia applicazione ma viene anche
fino al tuo hardware stesso ECC
i controlli di memoria sono qualcosa che abbiamo
si accorse
sembra avere una certa variabilità stagionale
tipo di passaggio dall’inverno alla primavera
generalmente causa una spiked con in ECC
i tassi di errore e così intorno ad aprile abbiamo avuto
probabilmente circa un periodo di sei settimane qui
dove eravamo praticamente tutti i giorni
vedere almeno un allarme aereo ECC che ero
solo un singolo avviso e tu sai che
stava tenendo traccia del tempo solare
è come se il Sole fosse abbastanza silenzioso
a quel tempo conosci l’unica cosa che
possiamo pensare che tu sappia che forse ha
è arrivato soprattutto qui a Chicago
gli inverni possono essere molto secchi con il
freddo e così come arriva la primavera
i cambiamenti di umidità potrebbero essere questo lo sai
qualcosa a che fare con i diversi tipi
di particelle cariche galleggianti attraverso
il centro dati bit e pezzi come
che così potendo dire al
la differenza tra questo è solo stagionale
variabilità o oh ho effettivamente avuto un
componente che sta fallendo ti conosco
bisogno di dati storici per essere in grado di
tendenza e traccia e per capire cosa c’è
andando avanti quando si tratta dello stesso
le cose non vanno così male
con il disco rigido è così intelligente è il modo
che ne controlli l’utilizzo mentre
tipo di informazioni sulla salute generale da
dai dischi rigidi sia spinner e SSD
e così sai che impari a raccogliere il
asciugamani diversi dai diversi hard
guida così così uno di quelli delle aree
che inizierai a vedere da dentro a
disco rigido quando ne hai uno a
controller dell’unità guasta o cavo difettoso
il tuo autista inizierà a vedere stealth
Errori di ECC dai dati in corso
scritto come un trasferimento DMA da
il controller e quindi tenendo traccia
di quelli se vedi un picco in quelli
generalmente significa che hai un
condensatore che sta fallendo in uno se
sei il tuo controller del disco e così via
abbiamo avuto un paio di quelli
ma a volte anche tu potresti essere
problemi sul disco stesso dove è
non in realtà dati correlati ma abbiamo solo
visto davvero questo con alcuni dei nostri
SSD in cui un SSD potrebbe non essere in grado di farlo
mantenere internamente il livello di potenza a
mantenere i diritti che siamo impegnati
colpendolo con e così cosa accadrà
è che il potere sarà effettivamente marrone
fuori con on sulla S
la scheda di sistema stessa e quindi uno di
gli altri attributi della colonna vertebrale sono circa
sistema inatteso ripristina e quindi l’SSD
inizierà quindi a riferire hey che ho appena fatto
riavviato me stesso non so perché ma
questo è stato un riavvio imprevisto all’interno del
guida se stesso e così rintracciando quelli
cose che puoi iniziare quindi a tracciare il
stato del proprio dei dischi fan sono
importante monitoraggio ambientale
importante anche noi non solo gestiamo
anche i nostri data center
perché siamo una società commerciale che abbiamo
macchine che sono fuori in comune
servizi e strutture di collocazione
che sono gestiti da terze parti e
purtroppo non tutti i gestori di data center sono
creato uguale quindi abbiamo avuto problemi che siamo
fuori sulla costa orientale abbiamo effettivamente avuto un
problema in cui un determinato data center
al di fuori della formazione alle ore di negoziazione così
mentre il trading andava in onda
il condizionamento funzionerebbe perfettamente
ma una volta che lo scambio è stato fatto loro loro
presupposto che la dissipazione del calore
non sarebbe un problema quindi cosa fossero
fare per risparmiare sui costi energetici erano loro
stavano effettivamente spegnendo l’aria condizionata
all’interno del data center durante la notte
ore e la cosa è quando durante un caldo
la notte d’estate le macchine sono lente
consumando un po ‘di energia e così faremmo
in realtà vedere picchi di temperatura e così
vedremmo un po ‘durante il trading
ore le cose andavano bene, ma poi le cose
si scalderebbe durante la notte e dopo pochi
pochi cicli sufficienti di questo inizio
vedi i problemi del furgone che inizi a vedere gli altri
problemi ed è stato alla fine attraverso
noi forniamo grafici di noi che monitorano i nostri
le temperature ambientali tornano al
venditori che siamo in grado di dire
guarda , possiamo vedere che stai facendo questo schifo
roba puoi vedere i problemi che tu
stai creando sai entrambi i tipi di
rimborsarci o risolvere i problemi
tu che sei dentro e quindi è importante
per capire il tipo di impatti che
queste condizioni ambientali hanno
iniziare è il monitoraggio avendo il
dati in atto non solo sul tuo
applicazioni e sistemi, ma anche
gli ambienti che sono i tuoi sistemi
correre che ti permettono di stare meglio
traccia di ciò che sta succedendo nei vostri sistemi
perché grandi fluttuazioni di potere sai
non solo accorciano il ciclo di vita
di componenti ma probabilmente circa
che ben 15 anni fa sono davvero
iniziando a sentirmi vecchio circa 15 anni fa
loro erano là era un problema dove come io
stava mantenendo un sacco di hardware Sun
e in realtà avevamo un condizionatore d’aria
fallire all’interno di un data center in un magazzino
mentre lavoravo al dettaglio al momento e
in realtà stavamo correndo con un grande figlio
6500 sistemi in modo che loro CPU blade
che montano di lato e così che cosa aveva
capita che fosse diventato così caldo con il
centro dati che il calore affonda
Simon aveva incollato sopra i processi
in realtà caduto e discesa e
che in realtà non funzionava, conosci il
scheda di sistema accanto a loro e quindi di calore
può non solo farti conoscere piccolo
pezzi di danni ai componenti che possono
in effetti elimina un intero acquirente di sistemi
ma con le ruote che letteralmente cadono
la prossima cosa è un po ‘diversa
quando stai usando il tuo hardware
previsioni in grado di capire come
la tua infrastruttura è in crescita e
intorno a ciò che i tuoi bisogni saranno
quali saranno le tue esigenze
perché quando stai finendo
il cloud si può solo far girare di nuovo
istanze e via vai e tu e
ritirarti in macchine ritirate quando
hai finito con loro è bello
abbastanza semplice ma per noi abbiamo
cose come l’acquisto di tempi di consegna
per esempio è loro che abbiamo bisogno di noi
ordinato un nuovo lotto di memoria per uno
particolare sistema in cui mettiamo l’ordine
Aprile non abbiamo ancora i sistemi
eppure dovevano essere spediti la scorsa settimana
in realtà ma avevamo ordinato un lotto di
tipo specifico di unità seagate all’interno
dentro di loro e Seagate la scorsa settimana
ha annunciato che stanno effettivamente tagliando
indietro produzione su questo e così ulteriormente
all’interno della nostra catena di approvvigionamento
i meteorologi sono stati previsti mentre vedono
voi ragazzi stavate sfogando così
molte migliaia di queste unità in
mente per tutto ad un tratto seagate te
sapere inaspettatamente ha detto che siamo solo
tagliando la produzione di questi perché
stiamo perdendo troppi soldi per loro e
quindi ora sai che dobbiamo cambiare
guidare i fornitori che stiamo cercando di fare
sai che ha un sacco di colpi
effetto contro la nostra capacità di bisogno
questi sistemi contro loro in realtà essere
disponibile sai che le unità hi sono molto
buon argomento buono un paio di anni fa lì
sono state le alluvioni a Taiwan che non solo
ha ritardato le cose abbastanza rapidamente ma ci sono voluti
molti molti mesi per la produzione a rampa
fino ai livelli in cui erano
dove le persone potrebbero effettivamente ottenere il duro
guida che ne hanno bisogno di nuovo e così via
questo tipo di rottura della supply chain voi
non so quando andrà e così
per quanto riguarda la capacità, la regola per me
è sempre assicurarsi che sei sei
mai in esecuzione al cento per cento
capacità perché hai sempre bisogno di essere
in grado di crescere con i vostri ormeggi e i vostri
picchi per essere in grado di farlo ma anche a
essere in grado di eseguire esperimenti sicuri quando
stiamo provando nuovi tipi di hardware nuovi
configurazioni o se c’è c’è un
nuovo tipo di ricerca che stiamo facendo
quello può maggio o non può durare il
tre anni che noi apprezzeremmo
il nostro hardware per essere in grado di almeno
riutilizzare l’hardware che hai tu
dovrebbe sempre pensarci
quando si tratta dei tuoi acquisti
decisioni amazon web services così dentro
la nostra infrastruttura abbiamo effettivamente iniziato
costruzione e l’infrastruttura di ricerca
quello che mi occupo di Amazon
iniziato come era nei primi giorni di epc
da Amazon e abbiamo iniziato a tenere tutto
i nostri dati in s3 hanno fatto tutte le nostre ricerche
sulle istanze di ec2 li faremo girare quando
abbiamo bisogno di loro, li spegneremo quando saremo noi
non ne avevano più bisogno e questo lavoro
davvero bene per un buon numero di
mesi e abbiamo un sacco di ricerche
fatto e pagato per se stesso ma come noi
già devono avere il centro dati
personale interno che dobbiamo già avere
le cose di networking in-house per il nostro
attività commerciali primarie che gestiscono il
numeri su e su come la nostra ricerca è stata
in crescita
inizialmente avevamo ricercatori erano giusti
provare nuovi modelli che provano nuovi
modi di ricercare nuovi modi di guardare
ai dati una volta abbiamo avuto una costante
flusso di questo è la ricerca di cui abbiamo bisogno
correre ogni notte per aiutarci a commerciare
domani che ha raggiunto la fase in cui noi
stavano facendo costantemente ricerche in corso
24 7 e in quella fase il modello amazzonico
tipo di abbattimento è davvero costruito per
quando hai bisogno di una disponibilità esplosiva così a
quella tappa i costi intorno amazon
ha iniziato a diventare abbastanza brutto anche
ora mentre ci occupiamo di nuovo hardware
Rifiuta un aggiornamento specialmente per il calcolo
confrontiamo il costo di acquisto di quello
hardware noi stessi contro quello che è lo stesso
costano oltre tre anni al nostro tipico
il carico di utilizzo sarà su Amazon e lo siamo
ancora circa un terzo più economico, ma in esecuzione
in-house che in realtà il nostro
il tipo di carico su Amazon è e così siamo
tenendo costantemente d’occhio cosa
i costi sono là fuori perché se lo fa
capisci che alcuni di questi problemi vanno
via e quindi dovremmo essere ancora in grado
per tenere d’occhio ciò che è disponibile
là fuori, ma ce ne sono ancora molti
problemi almeno nei primi giorni in cui
avevamo i nostri circuiti in Amazon
a causa della quantità di dati che noi
stavamo usando in realtà avevamo affittato
circuiti in amazon e il più grande
il problema che abbiamo avuto è stato
principalmente con s3 come amazon stava aggiungendo
nuova capacità in s3 in realtà
lanciare nuovi blocchi di indirizzi IP su nuovi
cluster di archiviazione e così manutenzione
quelle modifiche al blocco degli indirizzi IP all’interno
le nostre tabelle di routing interne in realtà
è diventato piuttosto un processo abbastanza oneroso
perché Amazon non avrebbe semplicemente ripubblicato
loro attraverso il BGP che spia sul link
ci manderebbero davvero un’e-mail
ogni settimana dice che tutti questi intervalli sono
ora disponibile attraverso questi collegamenti e
questi non lo sono e quindi se non lo facessimo
aggiorna la nostra tabella di routing in sincronizzazione
con Amazon quello che succederebbe se noi
stavano spingendo un gruppo completamente nuovo
di dati fino ad Amazon cosa succederebbe
è
in ufficio inizierebbe a lamentarsi
perché sarebbe in realtà finiscono per
fare il giro del nostro ufficio internet
connessione e spegnendo il nostro internet
cercando di ottenere i dati nella frutta s3 per
la nostra ricerca così così alla fine abbiamo trascorso
abbiamo passato un bel po ‘di tempo a saperlo
dimensionando il modo in cui volevamo archiviare il
dati internamente verso l’esterno e poi
prima di rimuovere tutti i nostri dati da s3
in realtà abbiamo disconnesso la nostra Amazon
relazione lì ma tu conosci ogni
di tanto in tanto come Amazon esce di nuovo
servizi come le nostre esigenze cambiano sai
passeremo il tempo a guardare cosa c’è fuori
solo per essere sicuro di sapere a
quello che stiamo facendo è ancora un costo
soluzione efficace e giusta per
quello che abbiamo così spesso anche se ho nel
passato quando ho parlato di DevOps che ho
ha ribadito l’importanza di chiedere
domande su non rimanere bloccati in a
solco di sto facendo in questo modo ora così questo
è il modo corretto di farlo per sempre
non è mai la mentalità giusta
essere e dovresti sempre esplorare
perché stiamo facendo le cose che siamo
facendo ciò che stanno facendo gli altri
risolvi problemi simili e lo sai essere
ci sono modi migliori in cui posso cambiare cosa
Lo faccio per ottenere un valore migliore per
l’organizzazione per cui lavoro ma
anche per rendere la mia vita più facile e più
appagante concentrarsi su diversi
problemi in nuovi nuovi problemi interessanti
ho capito di alcuni di questi
prima della qualità variabile dell’hardware
essendo la cima della lista c’è anche
lo stato quantistico di vecchie macchine lì
lo sai e questo è strettamente
accoppiato con la percezione di alcuni
parti del business che si sono deprezzate
l’hardware è gratuito è con macchine vecchie
in particolare possono avere potrebbe essere e
in esecuzione e potresti effettivamente eseguirli
attraverso una serie di cicli di riavvio e
staranno bene e quindi potrai aggiornare
e downgrade del kernel che puoi dare
loro carichi di lavoro diversi ma noi siamo
avvicinandoci alla fine di spostare effettivamente il nostro
infrastruttura di ricerca da un dato
centro ad un altro principalmente intorno al kinda
dimensioni, costi e raffreddamento
come le risorse di calcolo diventano più dense
in questi giorni sai dove abbiamo avuto il
l’infrastruttura non era in grado di farlo
forniscici la densità del raffreddamento
avevamo bisogno, ma quello che avevamo era quello che avevamo
macchine che erano state accese e
corso per te sai più di un anno a 18 anni
mesi e li abbiamo riavviati un paio di
volte ma ora dopo che li avremmo alimentati
verso il basso e spostali li ricolleghi
e loro si rifiutano di venire e così
lo sai per me
hardware ammortizzato di nuovo così come sei
trattandoli come bestiame, va bene così
hai avuto il tuo pranzo gratis questo è
morto sai mandarlo spedirlo al
cantiere di knackers e passare a quello successivo
uno ma l’hardware ammortizzato non è gratuito
perché quando ti affidi al vecchio
hardware come quello quando muore
sotto di te devi poi pensare
sulla tua previsione della supply chain
persone che stanno mentendo su quella capacità
forse e allora sai che devi
assicurati che quando quella carta muore
puoi sostituirlo e c’è anche il
il costo umano di mantenere effettivamente
quell’hardware che diagnostica l’hardware
diagnosticare i problemi e lanciare
li sopra la piattaforma e il
le modifiche al fornitore assicurano che quando
stai costruendo la tua infrastruttura quando
ti stai accertando di costruirli
blocchi che usi per ottenere il tuo
macchine nello stato che ti aspetti
che non stai strettamente accoppiando
te stesso a qualsiasi tecnologia specifica o
strumento fornitore assicurati di poter sempre
tirarli fuori e idealmente in particolare
quando stai correndo all’interno di uno chef di sistema
tutto il resto del burattino lo rende molto facile
ispeziona il tipo di macchina che sei
in questo momento il tipo di sistema che
sei dentro e poi dici solo che lo sono
correre su questo marchio di macchine di cui ho bisogno
o sai che sto usando un raid lsi
controller in questo momento ho bisogno di eseguire il
Strumenti LSI per configurarlo e quindi per me
questo avvolge ciò che DevOps non è per me
DevOps non si occupa solo di distribuzione
il cloud o due contenitori o due VM
c’è valore in tutte queste cose
ma devi essere sicuro
che il valore che ne ricava è Annie
è prezioso per te rispetto al
sforzo che ci vuole per costruire e
mantenere l’infrastruttura intorno a quelli
le cose non sono solo limitate
a siti Web o servizi Web, anche se noi
avere siti Web e servizi Web
internamente che presentiamo al nostro
clienti interni nessuno di questi è pubblico
di fronte e molto importante non lo è
solo un altro nome per i tuoi sis admins
la tua rete ammette i tuoi database ed ed
una delle altre cose che soprattutto
quando si tratta di due persone che definiscono
cos’è DevOps c’è una mailing list
le J sono un po ‘di tempo fa che c’è
c’è un sacco di noi che ce l’hanno
state facendo DevOps per molto tempo ogni
di tanto in tanto una discussione divamperà
come abbiamo bisogno di definire DevOps perché
ci sono molti venditori di olio di serpente
là fuori cercando di venderti il
DevOps e per dire DevOps è questo e così
probabilmente l’unica regola empirica è così
Devo dire che DevOps non è questo
cose perché attualmente sento che se
qualcuno viene da te e dice DevOps
questo stanno cercando di venderti
qualcosa e devi scappare
perché sai che ci stiamo ancora provando
Definisco sto ancora cercando di definire
me stesso internamente cosa DevOps è e tu
conoscimi molto di ciò che sai
rotolare in tutto il tipo di no ops
filosofia che sta arrivando là dove
si sa anche quando si sta esaurendo
all’interno di un’infrastruttura cloud di cui hai bisogno
almeno una persona all’interno della tua squadra chi
sta sviluppando software per capirti
conoscere gli aspetti di simpatia meccanica di
dove stai gestendo il tuo provisioning
queste cose come li controlli come
tu li mantieni e come tu come
pulirli alla fine perché tu
conosci con noi quando compriamo l’hardware
quell’hardware deve essere pagato per quello che ha
per essere contabilizzati , conosci un simile
cosa succede sul cloud dove
le persone gireranno su istanze e solo
lasciarli correre per anni e dimenticare
su di loro qualcuno deve ancora pagarlo
bolletta del fornitore di servizi cloud alla fine di ogni
mese e quindi è necessario per garantire che
ne stai ricavando il valore
cose alla fine
grazie a tutte le domande che hai
domande per favore mettimi nell’app
la prima domanda è anche la prego di votare se
non hai votato e per favore fornisci
commenti per battezzare che non abbiamo
sette minuti per le domande numero uno
che tipo di considerazioni di sicurezza fanno
hai tra la macchina e il tuo
config service squash FS e così via così
chiunque può entrare in possesso della zucca FS
perché è fondamentalmente una macchina orso
immagine così usiamo effettivamente Debian
bootstrap per creare quella zucca iniziale
efficiente in una directory e quindi in bundle
è molto minimale con pochi
pacchetti extra aggiunti ad esso così c’è
non c’è nulla di sensibile in là
salendo lo stack i nostri clienti chef noi
usa lo chef che ha incorporato
modello di sicurezza destinato alla gestione
l’ EAP è e i bit e pezzi noi
utilizzare sacchetti di dati crittografati e quindi non
è un pezzo in cui usiamo il criptato
sacchetti di dati per alcuni bit di
informazioni ma anche cose come la
password di root all’interno degli affari di squash
è abbastanza conosciuto ma molto presto
probabilmente molto probabilmente la prima cosa
fare in un cliente di chef correre come abbiamo impostato il
password di root, ma poi di nuovo è così
esattamente lo stesso hash in cui è seduto
et Cie shadow abbiamo lo stesso hash
che siamo lì come un testo normale
andando così puoi vedere l’hash ma ma
buon polmone buono come scoppiare un grande gruppo
all’hash spostando lo stack quando lo fa
in realtà arriva per accedere al
macchine a cui alcuni utenti hanno accesso
macchine per presentare effettivamente i loro lavori
per diagnosticare i loro lavori per ottenere i loro dati
quello che facciamo è parte dello chef
gruppi e i ruoli e il
ambienti che abbiamo in realtà
definire tutte le nostre macchine sono collegate in
la nostra Active Directory aziendale
infrastruttura e quindi definiamo bene
questi gruppi di macchine sono stato pagato
per questa unità di business quindi solo le persone
all’interno di questi gruppi è consentito registrare
dentro
le macchine usano ancora ssh per gestire tutto
che tu sai che noi teniamo traccia di
tipo di vulnerabilità del kernel locale
sfrutta quindi abbiamo riavviati a rotazione
andando avanti nella nostra infrastruttura a
aggiornare il colonnello per aggiornare il loro
è stata la roba con le labbra G all’inizio di quest’anno
per tipo di mantenere quelli così abbiamo capito
ma in definitiva il valore di attaccare
questi sistemi internamente sono piuttosto bassi
perché saranno solo membri all’interno di a
gruppo specifico a cui hai accesso
quelle macchine comunque così fortunatamente noi
non hanno più persone che cercano di ottenere
anche nella nostra infrastruttura, ma noi
tieni traccia dei registri di sudu, uno dei nostri
ricercatori in realtà quando ha scoperto
che riceviamo le email per studio
in realtà è diventato molto eccitante
il tuo Centro il tuo centro da xkcd
Ho in qualche modo dove lo zoo ha fatto questo
messaggio è stato registrato e-mail andare dentro
lì un XKCD c’è Babbo Natale
traccia di chi sta cercando di adattarsi ai sistemi
che loro non lo erano davvero
eccitato che tu sappia che ero centrato
all’interno della nostra infrastruttura e ho avuto modo di vedere
che gli avvisi pseudo di persone che cercano
fare sudo su sistemi che non lo sono
lasciato sperare che risponda al
domanda interessante, grazie alla prossima domanda
stai solo usando direttamente allegato
deposito o hai un figlio se lo sei
usando San come è stata la tua esperienza
con affidabilità si usiamo solo diretto
stoccaggio allegato non usiamo sabbie
all’interno della nostra infrastruttura probabilmente il
il più vicino che abbiamo sono le directory home
sono memorizzati su un netapp quindi abbiamo net
app per home directory e così via
su di esso sì generalmente sabbie ho
trovato per essere sopravvalutato e tipo di più
complicazione di quanto valga, ma poi
il rovescio della medaglia è il sistema principale
che abbiamo per alimentare i dati di mercato
e i dati della ricerca nel nostro computer
le note sono in realtà qualcosa che abbiamo finito
up edificio in casa in cui è è
grandi gruppi di macchine locali
fondamentalmente usando semplicemente un archivio di valori chiave
letteralmente conservando
sparando blocchi di dati attraverso
attraverso la rete sul locale
applicazioni che sono quindi in realtà solo
consumando i dati che ha l’indicizzatore
quindi abbiamo che abbiamo il nostro
protocolli e ho reso alcuni pezzi
lì intorno per mantenere effettivamente il
nodo di calcolo saturo di dati perché
la complessità e i costi generali di
le sabbie non ne valgono la pena per noi
venditori di sabbia in camera buona cosa fare
hai una virtualizzazione interna
cloud se sì cosa stai facendo ah sì
c’era il cloud di virtualizzazione interno
un palco di circa cinque anni fa forse forse
quattro anni fa, quando ci siamo alzati
OpenStack su alcune macchine più vecchie per
un po ‘e noi e lo abbiamo testato un po’
un po ‘c’era un routing asincrono
bug che abbiamo avuto tra il reale
macchine stesse che escono e poi
che i pacchetti di risposta ritornino
da internet dove era solo
causando alcuni problemi di throughput per noi così
per quanto riguarda la stabilità quando è corsa per
circa 18 mesi con pochissimo
cura e alimentazione ma alla fine noi
lo scartò perché ne avevamo solo bisogno
ritirare quell’hardware e non potremmo esserlo
preoccupato di ricostruirlo da qualche parte
altrimenti sono molto interessato ad alcuni dei
Roba con il sistema operativo intelligente
la loro containerizzazione sono stata a
grande fan delle zone solari e
virtualizzazione dato che ero un alfa
tester su solaris 10 ma tu conosci il
solo le istanze di dottore in cui ci imbattiamo
produzione sul nostro team la nostra squadra fortezza
2 server per i giochi del venerdì pomeriggio ordinati
il dottore era destinato per bene
tanto che lo hai toccato brevemente ma
quali sono i tuoi pensieri sulla piattaforma
come opzioni di servizio disponibili nel cloud
fornitori contro l’infrastruttura come a
opzioni di servizio per eseguire le proprie impostazioni
nel cloud su quale tipo di servizi
proprio come quello che c’è intorno a te
pensa di passare un oh si
Penso che Parigi sia buona, ci gioco
con esso un po ‘ per alcune delle mie parti
progetti ci sono alcuni pezzi e pezzi
come il ghiacciaio che sto guardando di nuovo
solo perché soprattutto quando si tratta di
per fare il backup su nastro, abbiamo dovuto fare una fiera
quantità di dati dal nastro di recente e
abbiamo avuto qualcosa nell’ordine di a
il tasso di fallimento del nastro del cinque percento era
in particolare è abbastanza buono per il nastro
nastri più vecchi di due anni ma è così
ancora è troppo di un fallimento per noi
e quindi mi piace tenere d’occhio quello che è fuori
c’è come giocare con quello che c’è là fuori
e e ci sono alcune cose buone che il
la cosa fondamentale è concentrarsi in definitiva sul tuo
carico di lavoro qual è il tuo profilo di carico di lavoro
assomiglia a quanto sensibili sono i tuoi dati
i tuoi dati sono là fuori non può essere fuori
lì abbiamo i regolatori di quel tipo
di coprire ciò che possiamo e non possiamo fare come
bene in alcuni casi ma c’è c’è a
molti dati come generalmente i dati di mercato
sono dati pubblici davvero dopo un certo
età almeno da un punto di scambio di
vista e quindi c’è un sacco di
cose che ci piacerebbe avere là fuori
sono puramente i costi non lo sono ancora
nel campo da baseball giusto ancora dove fa
senso per noi okay siamo fuori tempo è
ora di pranzo non so se è Chris
sto facendo una clinica di speaker, probabilmente
venendo bug lo yeah sì, probabilmente
altrimenti sarò al DOW
sta bene, grazie mille
cosa te stesso
Please follow and like us: