Ciao, il mio nome è Creston, sono CTO in
questa compagnia ha chiamato umorismo e io sono qui
per parlare di capire i dati della fortuna così
prima di tutto, sarà solo molto veloce
agenda di questi prossimi 40 minuti solo a
un po ‘chi siamo, farò un super super
demo rapida per te perché questo è
davvero un discorso su questo prodotto che noi
costruito e perché l’abbiamo costruito così bene
pezzo di esso è in realtà sono i nostri
esperienze e perché siamo andati a fare
questo e poi un po ‘su come funziona
e vedremo se ci sarà più tempo
possiamo giocarci dopo
così così siamo abbastanza che siamo appena usciti
pubblica sulla nostra azienda la scorsa settimana in
Copenaghen abbiamo lavorato su questo
per nove mesi il core team è il
in tre di noi siamo in realtà Kieran
stato un manager globale per il viaggio
conferenze per gli ultimi dieci anni che ho
Sono stato co-fondatore ed è stato CTO di provare
Fork che ora è una persona di 500
negozio di consulenza per gli ultimi 20 anni così
abbiamo deciso di scoppiare in un nuovo
avvio prendendo alcuni dei nostri
esperienze quindi inizierò con a
breve demo in cui ho questo in questo
piccola demo
Ho tirando nei dati dei log da
github perché sono pubblici
disponibile c’è un feed pubblico di live
dati che escono da github che ci dice
tutte le spinte tutte le piace tutto il
i commenti sono tutti in esso in un in
flusso di eventi a cui è possibile iscriversi
da github così come un esempio di
qualcosa che molte persone possono
riferirsi a così stupido
l’API principale appare così dove noi
avere una serie temporale negli ultimi 24
ore
e poi abbiamo eventi che comp diventano
come strutture di Jason che fanno qualcosa
come questo sono solo una descrizione di
quello che è successo in questo caso è stato questo
qualcuno biforca un deposito, quindi facciamolo
vedi così allora il linguaggio qui è
in fondo è un nome che potresti chiamare a
è una presa sugli steroidi dove possiamo
veramente velocemente grep e fai base
analisi su questi dati quindi iniziamo da
alla ricerca di tutto ciò che ha a che fare con
docker va bene così qui otteniamo un evento
grafico di distribuzione sulle cose che
è accaduto sul deposito più scuro più scuro
Potrei andare a vederlo o potremmo farlo
gruppo semplice dai tipi dei tipi
di eventi accaduti a Github the
durano 24 ore quindi questi sono il numero di
il numero totale di eventi era di circa a
milioni e tu puoi prenderli e poi
ordinali e li otteniamo di più
eventi come questo o potremmo fare tutto
gli eventi di orologi che li è in quel momento che
ti piace un repo github e dici che vogliamo
al gruppo di coloro per nome repository e
ordinali in modo da ottenere il più popolare
github ripone le ultime 24 ore a quelle
che erano i più guardati e puoi
prendere questo oltre un altro intervallo di tempo e
trasformalo in un flusso di dati live così
dobbiamo solo prendere questo gasdotto nuovo corso
il live streaming da github e come questo
24 ore questo è in questo caso a 15 minuti
finestra puoi vedere il contatore
aggiorna mentre procediamo
questa volta è questa la base
idea quindi torniamo al
presentazione se io
funziona bene solo per spiegare questo
brevemente ma è così che tutto è iniziato
il perché nella costruzione di sistemi 24/7 voi
i sistemi più interessanti oggi sono
composto davvero da molti server molti
servizi di oggi sai che è micro
servizi cloud distribuiti sistemi e
le serrature sono in realtà un tempo più basso provato
comune denominatore per comprendere il
sistema cosa sta succedendo in un complesso
sistema distribuito così cominciando con
ti blocca una barriera molto bassa di
integrazione molto facile punto di integrazione
e aggregando le serrature siamo davvero noi
trovato che questa è la chiave per capire
questo tipo di sistema in modo davvero un sacco di
l’esperienza è che questo viene fatto
questo sistema abbiamo iniziato a costruire intorno
10 anni fa, che è l’equivalente di
La colonna vertebrale del NHS è quindi una prescrizione
servizio di prescrizione centrale
supervisione dei servizi di cura di
farmacie di prescrizione ecc. a
sistema centralizzato in cui abbiamo avuto
La Danimarca negli ultimi 10 anni, quindi questo
è stato uno dei nostri grandi primi grandi sai
Sistemi 24/7 che mancavano davvero
critico distribuito in molti modi così
è davvero importante averne
disponibilità
sai che hai bisogno di medici che il
pronto soccorso per essere in grado di
prescrivere farmaci anche nel mezzo di
la notte devo essere in grado di guardare
record di prescrizione della gente c’è a
molti requisiti di sicurezza che hanno reso
i DevOps sono piuttosto ingombranti
server e molti diversi tipi di
servizi in esecuzione su questi sistemi e
anche una cosa che ha complicato molto è
questo faceva parte di un sistema distribuito
dove abbiamo controllato solo una frazione di
perché c’era come 40 ish
diversi sistemi presso ospedali e e
medici e vari servizi che lo farebbero
interagire con questo e generare dati
che potrebbe inondare e causare ogni tipo di
problemi così in questo ambiente e questo
lo sapevi con quando DevOps e
i sistemi distribuiti erano davvero giusti
nuovo abbiamo deciso e scelto
uno strumento per fare aggregazione di log e
quello che abbiamo trovato qui è parte del
cose interessanti che abbiamo trovato in realtà
anche oggi molte persone non stanno usando
aggregazione dei log , quindi è il massimo
cosa importante si ottiene quando si ha un
sistema di aggregazione di registro è quello che si desidera
costruisci come un’idea di cosa è normale
quindi abbiamo impostato questo posto nel dev
squadre che mostrerebbero le dashboard di come
molte transazioni abbiamo fatto oggi cosa
che tipo di errori sono accaduti
oggi e visivamente giusto
lì davanti a te hai il senso
di normale dove prendi l’intelligenza artificiale del
cervello e raggi x una parte applicarlo lì
e così puoi immediatamente vedere il
gli sviluppatori potevano vedere immediatamente se qualcosa
era diverso e ha usato per essere così abbiamo
montare i cruscotti potrebbe essere qualcosa
come questo è solo un dashboard di esempio
non è dal sistema attuale ma
queste cose visive hai messo su quello
lo rende ci sono alcune informazioni voi
può il tuo cervello può elaborare e guardare
a e capire cosa è normale allora
delle metriche più importanti è
qualcosa come solo tu sai solo
transazioni su un oggi ciò che è
sta succedendo nel sistema così potrebbe essere
quante prescrizioni ci sono
prescritto per durante il corso della
giorno o il corso della settimana questo potrebbe
forse questa è la pausa pranzo di tutti
se ne va per la pausa pranzo, quindi è normale
fare un tuffo da queste parti e poi molto
una cosa molto facile da fare è semplicemente
aggiungi una linea di tendenza per lo stesso giorno
settimana in modo che rispetto rispetto all’ultimo
la settimana è così facile da fare
è molto facile vedere cosa succede e
poi ovviamente ogni tanto tu
prendi cose strane come il primo giorno
dopo Natale – il primo giorno dopo
Pausa di Pasqua in genere il primo giorno
dopo una pausa ci sono molte persone
tipo di stanno aggregando loro
malattie e tutti vengono al
medico sotto lunedì o martedì dopo
la pausa quindi vedrai questo tipo di
modelli così sono fuori
ogni uno ogni tanto
questo non è giusto ma in molti
casi che è una misura molto semplice per
non hai bisogno di sapere che fato di te
solo bisogno di persone che effettivamente guardano
questi grafici ogni giorno è molto molto
molto semplice quindi un’altra cosa è perché
della sicurezza qui sai che c’è
davvero dev e op sono stati davvero divisi
giusto perché questo è come spesso in a
ambiente bancario abbiamo avuto aberrazioni
completamente isolato da dev e
tutto ciò che Ops avrebbe dovuto fare quando
attraverso il sistema di ticketing quindi è necessario
per configurare questo è necessario installare
questo non si può armeggiare con
qualsiasi cosa perché ovviamente questo è
informazioni sanitarie quindi abbiamo bisogno di esatto
rintracciare chi fa cosa dentro
l’ambiente operativo così è diventato
avere accesso alle serrature nel
sistema naturalmente con un record di audit di
chi ha accesso a quali serrature cosa hanno fatto?
fare è un bel modo di leggere in sola lettura
accesso all’ambiente operativo
dove potrebbe ancora imparare molto
il sistema come funziona senza
sapendo di aver paura di toccare
qualcosa o facendo rompere le cose
nel sistema operativo quindi una cosa fondamentale
è anche in grado di con questo sistema
essere in grado di iterare ed esplorare così da te
potrebbe già avere un sistema metrico impostato
su dove hai contato sai quanto
CPU quanto disco ecc. Quanto quante
quante transazioni di vario tipo
che hai ma spesso conosci il
questo ciclo per aggiungere ulteriori informazioni
a questo o esplorare le cose è carino
lento quindi vediamo spesso che lo sai
c’è qualche squadra che andranno una volta e
imposta la dashboard e poi sai
non torni mai indietro e lo cambi ma
scopriamo che è davvero super prezioso
che tutti tutti gli sviluppatori
può andare a costruire le proprie variazioni di
cruscotti di giocare intorno con esso
e facilmente estraiamo nuovi tipi di
informazioni fuori dalla serratura
stream e potrebbe sembrare come se fosse
difficile ma in realtà non è così così
tutta questa idea di poter iterare
e hanno un tipo di approccio esplorativo
alle tue metriche per le tue serrature è um
è molto importante, quindi prendi molto
diverso e questo lo sai il nostro
il sistema sanitario era almeno questo
tipo di diversi tipi di servizi e
sistemi e puoi immaginare che mangiano per
per ottenere dati da questi due quelli giusti
c’è un modo diverso di fare vari
modi di cose in queste cose
quindi semplicemente prendendo le serrature e intendo
i file piatti che escono
questi sistemi è un modo molto semplice per
prendi queste serrature e spediscile ora
la cosa interessante è come si fa
questo in alcuni dati interessanti e
questo è un posto dove vari log
i sistemi di aggregazione differiscono abbastanza piuttosto a
un po ‘sai che in alcuni casi devi
configurare il sistema per estrarre rilevanti
informazioni quando i dati arrivano ma
alcuni di questi ti permettono anche di farlo ad hoc
e in un momento successivo estratti
i dati che vuoi e questo è questo
c’è un modo super flessibile di fare
che così tu voglia che sia lì
qualcosa abbiamo imparato che essere in grado di
torna indietro e dimmi che vorrei davvero indicizzare
quell’attributo e quello sono
qualcosa che è super facile da fare ha un
alto valore così arancione chiunque eh bene
scopre di uh sapete che c’è c’è di
corso due giocatori importanti là fuori
c’è Splunk c’è l’elastico e noi
trovato per molti molti dei nostri clienti
non erano pronti a pagare per lo sperma
sai che è valutato in base al volume e
per vari motivi l’ abbiamo trovato tu
Conosce soprattutto e conti più piccoli
difficile da elastico abbiamo anche speso a
molto tempo sai come distribuire questi
sistemi e là
sono anche un po ‘complicati da fare
per lo meno gestisci il tuo perché c’è così
molte parti mobili quindi volevamo fare
qualcosa che è semplice lo sai veloce
flessibile, economico, semplice da installare
e usa questo per ottenere tutto questo
questi benefici così così umani come il
Corbett è um, diciamo che è un momento
database di testo serio quindi è un
flusso in memoria che elabora le cose così
è come l’elaborazione avanzata degli eventi o
portando in questi idiomi e tecniche
da te lo sai dal punto di vista finanziario
sistemi di trading ad alta frequenza kw +
cose ish dove invece di fare molto
di indicizzazione in anticipo
in realtà siamo solo molto veloci nell’elaborazione
dati a forza bruta con alcuni molto molto
semplice indicizzazione ad alto livello come il tempo
l’ indice primario che abbiamo è solo
indice praticamente così tanto al centro
è che è P Jason e la cosa dell’API
e poi abbiamo creato un front-end
per questo quindi diamo un’occhiata a cosa
le domande sembrano così abbiamo costruito a
linguaggio di query a cui assomiglia
una pipeline unix che vogliamo fare in grep
ordinare in unico in qualcosa così a
query che apparirebbe simile in SQL
seleziona il tempo medio di risposta da
i servizi di back-end in cui l’URL
sembra che questo potrebbe essere una richiesta
stufato e il tempo è più grande di questo
e vogliamo raggrupparlo con il metodo
ad esempio per scrivere in questo
in questo modo nel nostro linguaggio di ricerca il
le prime cose sono i filtri su cui filtriamo
tasse e iniziare un giorno fa vogliamo
filtra che l’URL è questo
inizia con questo e poi ci limitiamo a raggruppare
per gruppo i dati per mezzo del metodo su
tempo di risposta
quindi troviamo che questo è un modo molto naturale per
pensare ad esso come uno stream processing
linguaggio che immagini un po ‘mentalmente
eventi e a tutti gli eventi del
sistema entra attraverso questa pipeline e
quelli che vengono fuori e quelli
altra estremità è la risposta del
query e che si applica sia per come un
query ad-hoc e anche per query permanenti
che si trova lì come una MapReduce
pipeline o una pipeline di elaborazione degli eventi
dove gli eventi sono alimentati in modo fondamentale
il modo in cui funziona è archiviare
segmenti in molti modi questo è come come
Kafka memorizza i suoi dati così abbiamo costruito il nostro
proprio back-end dove tu come ingerisci
dati impilati con vari attacchi
potrebbero essere tag front-end e data center
tag come questo e quindi ognuno
combinazione di tag
entra diventa un flusso di tipo di segmenti
di come un argomento di Kafka e viene memorizzato
compresso possiamo decomprimerlo a
elaborarla e quindi quando una determinata query
viene in uso che hai visto prima che ci sia un
c’è una serie di tasse e un intervallo di tempo
quello potrebbe essere il backend in questo momento
intervallo da 200 C 3 a cui capita
abbinare questi segmenti dei flussi così
abbiamo appena scelto noi solo quelli brutali
e all’interno di questi abbiamo un in ciascuno di
questi blocchi che si aggiungono a seconda
sulla compressione da qualche parte tra 50
e cento megabyte per ognuno di questi
segmenti abbiamo un piccolo indice di tempo così
possiamo anche selezionare solo una parte di
i dati in uno di questi così diverso da
che una volta, una volta, lo facciamo
in realtà, solo la forza bruta cerca e
Tornerò a come è veloce
ma perché abbiamo l’ intero set di dati
in realtà possiamo eseguire cose interessanti
come a piena velocità eseguire un regolare
espressione sopra le serrature quindi questo è
loro questo è il potere di questo
la flessibilità è così che estraiamo
potresti dire che vorremmo prendere la schiena
fine vogliamo eseguire un reg X di là
qualche ID conferenza in questa posizione in
URL e poi voglio raggruppare per quello
ID conferenza e seleziona qualcosa di giusto
quindi generi i dati da questo così dentro
molti sistemi si sarebbe questo questo
essere davvero difficile perché estrai
tu decidi cosa estrarre o cosa
indicizzare quando si ingeriscono i dati ma
qui possiamo effettivamente correre a tutta velocità
questo sì, solo un riassunto ed è
come uno stile di pipeline UNIX reattivo
elaborazione degli eventi troviamo che tu sai
molte domande che vuoi fare in queste
i sistemi hanno una componente aggregata
comunque giusto così spesso lo devi fare
scansione dei dati molte query realistiche di
Certo che è bello in un indice di termine
sistema basato su cui puoi facilmente andare
a un ID richiesta specifico trova uno specifico
registrare e naturalmente elastico o che esso
i Mi piace sono più veloci nel trovare specifici
cose ma quello che spesso accade è che vogliamo
fare un grafico sui tempi di risposta o fare
qualche strana aggregazione attraverso la nostra
selezione in modo da eseguire la scansione dei dati
comunque e poi diventa effettivamente
più veloce da fare solo assicuriamoci di farlo
letture seriali da disco e sono davvero
attento a rimanere sulla cache ecc e lo è
davvero super prezioso per avere lo schema
sulla query puoi dire estrarre i dati
dei lucchetti mentre lo stai elaborando
perché è come se fosse un momento
avendo una macchina del tempo, puoi andare
di nuovo a un anno fa e dico gee I wish I
indicizzato questo attributo, quindi come facciamo
questo um va veloce
applichiamo una buona dose di meccanica
simpatia quindi Jackie Stewart era questo
Britannico di Formula Uno pilota ed è stato
veramente famoso negli anni ’60 è andato lui lui
ha vinto tre campionati del mondo in Formula
Uno e la cosa speciale di lui dentro
in questo contesto è venuto fuori con questo
nome di simpatia meccanica che lo sostiene
sai che puoi guidare meglio che puoi essere
un pilota migliore se tu davvero
capisci la tua macchina così ha davvero speso a
molto sforzo per capire la macchina
esattamente sai che era lui stesso meccanico
potresti capire ogni aspetto di
e tu saresti uno con la macchina, quindi questo
questa idea è stata applicata nei sistemi software
certo che conosci Martin?
Thompson ha camminato in giro a parlare
sulla simpatia meccanica in termini di
computer per lo più in termini di
capire come sono le tue CPU
capire cosa caching
infrastruttura sembra come cosa
il miglior accesso ai tuoi dati lo metti in rotta
e perché c’è c’è quasi un
differenza di ordine di grandezza tra
Nexus e dati su un nucleo locale sul
cache e nella memoria principale, quindi se possibile
avere dati possiamo avere un set di dati attivo
su un nucleo che corre sai molto
molto più veloce e il trucco chiave per
far funzionare questa forza bruta velocemente
è di averlo compresso su disco caricato
su un nucleo in piccoli pezzi dove noi
facendo decomprimerlo perché il
la larghezza di banda è forse 1/10 perché siamo
10 volte perché è stato caricato compresso
poi decomprimere sul nucleo e
allora hai un accesso super veloce per eseguire a
rec X su questo piccolo pezzo una corsa
estrarre o fare confronti su pezzi di
i dati quindi è ovvio che è un
molti c’è un sacco di ingegneria che
entra in quello e anche indovinando perché
sei davvero molto difficile da fare
misura queste cose devi solo
tipo di sentire come sei arte
oggi sono il CPU ma ho questo
simpatia con il corso e tu
può andare online il mio Martin ha fatto diversi
parla di come impiegare questo e metterlo
da usare in vari contesti così è
è davvero incredibile come sia
citazione interessante la più sorprendente
realizzazione del software per computer
l’industria è la sua continua cancellazione
dei guadagni costanti e sconcertanti fatti
dal settore dell’hardware dei computer che conosci
siamo stati così impegnati che conosci in particolare
gli ultimi dieci anni che stiamo costruendo
sistemi distribuiti scalano i sistemi
e davvero non mi importa del
hardware sai che l’hardware è così
economico che possiamo solo buttare di più
hardware e sai qualche volta
questo arriva a un punto in cui diventa
totalmente ridicolo perché se lo fai
le cose per bene si può sai che puoi
salvare un ordine di grandezza sui sistemi così
la nostra attuale scoperta è conosciuta con
umorismo oh possiamo anche tu puoi salvare un
ordine di grandezza sui tuoi server giusto
puoi trasformare cinque o dieci server in
uno solo facendo la cosa giusta in modo che il
il succo è quello di ottenere la velocità grezza
nel codice conosci il set di dati attivo
di loop interni si adatta alla cache
vuoi assicurarti di non farlo
allocazioni dinamiche nel ciclo interno
una volta impostato puoi andare perché
le allocazioni implicano la sincronizzazione
senza i loro core vogliono legare il tuo
roba al centro in modo che tu non i dati
non si muove in giro specialmente sopra
i banchi di memoria dei sistemi multi-succhiati
associati con le CPU nel corso
le discussioni ipertestuali sono di ostacolo se tu
può effettivamente utilizzare la tua macchina
sai che è solo che ti capita a metà
la dimensione della cache quindi il tipo di minacce o
due minacce che girano sullo stesso core
usando compresso o è in realtà il
maggiori prestazioni ottenute vediamo
costantemente o la più grande differenza
tra diversi sistemi è quanto è buono
è così bene i dati
Comprimere i più possiamo comprimere la
migliore larghezza di banda otteniamo tutto il modo
Attraverso il sistema Iowa memoria principale
a CPU no quasi non importa come
tempo necessario per decomprimerlo
ma ovviamente la decompressione veloce è
importante e penso di averlo veloce
decompressione che sarà così
sta per essere una cosa importante nella nuova
architetture hardware in Intel
andando avanti, sono certo che stiamo andando
per vedere la decompressione supportata dall’hardware
direttamente in hardware perché è così
importante per ottenere tutto dal
lettura sequenziale macchina dal disco
è un vecchio timer quindi c’è tutto questo
trucchi nel libro che puoi puoi
ascoltare i discorsi di Martin e e
e apprendilo così ingerito come funziona
lavoro abbiamo un mucchio di ACP Jason API
oppure puoi usare vari altri strumenti come
supportiamo l’ API bulk di elastics e un file
BJP è di ridurre i battiti esistenti da
da elastico per caricare i dati in una rete di carico
flusso diretto da firewall syslog ecc
naturalmente è molto facile per noi aggiungere
nuovi tipi di cose come questa così in questo
le prestazioni questo è spesso uno dei
i punti di dolore dell’altro alternativo
soluzioni in modo da arrivare i dati vorrei solo
elaborarlo davvero minimamente e
in pratica basta comprimerlo e basta
persisteva un append-only
moda quindi non abbiamo un indice B
tavolo ordinato su dischi va bene e
puoi facilmente fare 100 concerti al giorno
core su una nota di ingest quindi questo è uh
questo è spesso un punto dolente di cui hanno bisogno
sai un sacco di grandi macchine da sedersi
lì e prendere i dati che potreste
mai guardare
quindi la pipeline è abbastanza semplice che puoi
o vai direttamente o tramite Kafka e se
tu se lo metti su una macchina della polizia
questo sta effettivamente dimostrando che noi ci proviamo
per stare fuori dal giro su questi
complessità di memorizzare tre copie e
assicurandosi che tutto sia
coerente tra diverse copie e
bit put e quant’altro sono i block stores
molto bravo a salvare copie extra di dati
Kafka è anche molto bravo a prenderlo
copie extra di dati in volo, così tu
possiamo avere come dati arriva possiamo caricarlo
attraverso l’ umorismo Kafka fa semplicemente il
elaborare e costruire questi segmenti
e poi li spinge in un blocco
memorizzare così potrebbe essere solo questo blocco negozio
un file system in una semplice configurazione e
con quello sai una volta che è un blocco
memorizzato qui possiamo agire fino in fondo
attraverso Kafka in modo che possiamo rilasciare il rilascio
che quei messaggi potrebbero essere un altro
sistema di lavorazione così in pratica ci prova
stare fuori dal giro di essere un
complesso sistema distribuito mantenendo tre
copie di tutte le serrature, ecc
voglio che possiamo scaricarlo ad altri
l’infrastruttura che lo circonda poi anche
quindi questo è ciò su cui stiamo lavorando
essere in grado di eseguire query distribuite
in realtà a questo punto non abbiamo noi
non ho alcun esempio di clienti
quindi in realtà ne abbiamo abbastanza grandi
torrenti ma noi non ne abbiamo dove
è stato un grosso problema che non possiamo
interrogare abbastanza velocemente in modo da poterlo fare
query abbastanza veloce sarà che è un
la prossima funzione principale su cui stiamo lavorando è
essere in grado di utilizzare un blocco di negozi e poi
essenzialmente hanno un numero di diverso
nodi di query che può solo leggere fuori
il box store è possibile distribuire una query
su segmenti così il prodotto che abbiamo
oggi è solo una nota che noi
consegnare sapere in linea ospitato o come
contenitore
per il download on premise è tutto
cosa importante avere questo su premise
soluzione perché molti dei nostri clienti
sai che sono in assistenza sanitaria o
sono in banca o qualcosa che vogliono
avere i propri dati Doc e come spettacolo
prima di avere un sistema demo e abbiamo
trascorso gli ultimi due mesi quasi a fare
nient’altro che scrivere tipo di documentazione
di confezionare le cose ma penso che possiamo
spendi solo cinque minuti per provare ad andare
indietro e guarda il sistema te
può ancora sentirmi così abbiamo visto qui
questa era la domanda per capire cosa c’è
caldo e non ora e arriva a github
quindi immagina che vogliamo capire
qualcosa di più complesso come piacerebbe dare
un esempio di come appare una reg X così
quindi queste domande vanno così
si può sapere che potevamo si potrebbe
visualizzali in modo diverso quindi se prendiamo
solo i 10 più interessanti e
mostra che come grafico a torta ci arriviamo
10 repos più famosi qualunque cosa possiamo
mettili su un cruscotto in modo tale da cruscotto
è solo una raccolta di risultati di query
come questo quindi questo è il solo un esempio
cruscotto che mostra la maggior parte degli osservatori
oggi questo è quello di cui abbiamo parlato
effettivo afflusso di eventi in questo momento
potrebbe accadere ecco la query che
mostra gli utenti che hanno fatto di più
commenti oggi quindi vediamo che possiamo aprire
la query qui, quindi questo prende tutto
eventi che sono eventi di commento e gruppo
dall’account di accesso contando quanti di questi
sono e poi li ordinano un altro esempio
ecco
la maggior parte ha biforcato così qui abbiamo preso
tutti gli eventi che sono biforcati in questo modo
è un po ‘se poi scrivi solo un testo
diventa solo un testo libero, se lo è
ha un uguale in esso da qualche parte qui allora
è una ricerca più diretta per quelli
attributi quindi eseguiamo una X rossa sopra
queste quattro cabine come cerchiamo di guardare
a quanto pare un evento della forcella ne sono sicuro
perdonato e questa è tutta questa informazione
ma soprattutto ha il
repository che appartiene a quelli
questo è il quarto e ha un po ‘di un
organizzazione o utente e poi il
nome del repository quindi se vogliamo estrarre
che ho appena eseguito una X rossa su tutti questi
quelli che trovano il nome del repository di
qualcosa che viene dopo che taglia così
questo è il nome in un gruppo regolare
espressione e così dopo aver fatto questo noi
non hai un attributo extra disponibile
questo è il nome del rappresentante e quindi possiamo
raggruppa per questo, quindi questo è disinteressante
chi possiede questo repo quali sono i
diversi tipi di quali sono i nomi di
repository che vengono biforcati e noi
potrei farcela per te più a lungo
tempo nell’ultima settimana, quindi questo in realtà
a seconda della complessità della query
ovviamente questo funziona facilmente 1,5 1,5 geek
di dati in discesa al secondo per core quindi
e questo è un nodo a quattro core su cui giriamo
vedi cinque gigabyte al secondo così tu
voglio gestire un sistema complesso simile I
avere un più grande ho un più grande
server qui
corriamo qui, voglio chiudere I
avere i dati github qui se voglio
per eseguire questo qui oltre questo è un po ‘
macchina più grande più grande okay dovrebbe essere
in grado di avvicinarsi a dieci settimane al secondo
– come per qualcosa di simile, quindi?
essere in grado di giocare con queste domande
e avere accesso per gli sviluppatori di tutto il
la via per questo genere di cose è lo è
super prezioso così invece di sapere
i cruscotti sono qualcosa che siamo
istituito una volta ora diventa parte del
esperienza interattiva quando siete entrambi
debugging individuazione bug e generale
monitorare il tuo sistema in modo che sia così
è qualcosa che troviamo che ha un sacco di
valore e ti dà sapere in totale
approfondimenti nel tuo sistema, ovviamente
i sistemi distributivi sono sempre
difficile e difficile da capire ma
appena può solo consente di fare un po ‘
ancora un po ‘di aiuto a riguardo quindi io
penso che sto andando a finire qui e e prendere
domande del pubblico in caso
ho un po ‘sì sì hai un modo per
invia un allarme in modo che preveda le previsioni
come dati doc non al momento siamo uno di
le prime cose nella nostra pipeline o nella nostra
sono cose da fare quindi allarmi e allarmi
sistema una delle prime cose che sarò
uscendo con così questo è il primo GA
rilascio che abbiamo avuto abbiamo lavorato
su questo per nove mesi principalmente cristiani
seduto lì dentro di me e ora abbiamo finito
gli ultimi tre o quattro tre mesi
stiamo costruendo la squadra con
risorse di marketing e molto altro da sapere
dove siamo siamo sette persone ma c’è
questo è ovvio ed è abbastanza
facile da fare qualcosa come avvisi di
Certo, ma è per questo che è uno dei
a destra abbiamo alcuni abbastanza grandi
clienti che stavamo facendo test a questo
stiamo lasciando che quei clienti effettivamente
guidare le decisioni questi i primi pochi
i clienti di grandi test in realtà guidano il
pipeline di funzionalità implementate correttamente
sì, noi siamo i benvenuti a venire e
e compralo, quindi siamo ancora nel processo
di capire cosa costa essere
per essere onesto e e in questo momento lo sai
siamo interessati ai clienti di riferimento
quindi è qualcosa che è un affare
chip con cui puoi tornare a questo
punto è più importante da ottenere
clienti di riferimento e per ottenere molto
soldi a questo punto, quindi speriamo
un prezzo di 10k euro per banconota e
molti in molti casi ne vuoi uno
giusto in modo così avremmo noi non vogliamo il volume
il prezzo che vogliamo adattare intendo il
il modello di prezzo è qualcosa che è annuale
abbonamento per eseguire il supportato
software e non è open source
ok grazie mille
questa compagnia ha chiamato umorismo e io sono qui
per parlare di capire i dati della fortuna così
prima di tutto, sarà solo molto veloce
agenda di questi prossimi 40 minuti solo a
un po ‘chi siamo, farò un super super
demo rapida per te perché questo è
davvero un discorso su questo prodotto che noi
costruito e perché l’abbiamo costruito così bene
pezzo di esso è in realtà sono i nostri
esperienze e perché siamo andati a fare
questo e poi un po ‘su come funziona
e vedremo se ci sarà più tempo
possiamo giocarci dopo
così così siamo abbastanza che siamo appena usciti
pubblica sulla nostra azienda la scorsa settimana in
Copenaghen abbiamo lavorato su questo
per nove mesi il core team è il
in tre di noi siamo in realtà Kieran
stato un manager globale per il viaggio
conferenze per gli ultimi dieci anni che ho
Sono stato co-fondatore ed è stato CTO di provare
Fork che ora è una persona di 500
negozio di consulenza per gli ultimi 20 anni così
abbiamo deciso di scoppiare in un nuovo
avvio prendendo alcuni dei nostri
esperienze quindi inizierò con a
breve demo in cui ho questo in questo
piccola demo
Ho tirando nei dati dei log da
github perché sono pubblici
disponibile c’è un feed pubblico di live
dati che escono da github che ci dice
tutte le spinte tutte le piace tutto il
i commenti sono tutti in esso in un in
flusso di eventi a cui è possibile iscriversi
da github così come un esempio di
qualcosa che molte persone possono
riferirsi a così stupido
l’API principale appare così dove noi
avere una serie temporale negli ultimi 24
ore
e poi abbiamo eventi che comp diventano
come strutture di Jason che fanno qualcosa
come questo sono solo una descrizione di
quello che è successo in questo caso è stato questo
qualcuno biforca un deposito, quindi facciamolo
vedi così allora il linguaggio qui è
in fondo è un nome che potresti chiamare a
è una presa sugli steroidi dove possiamo
veramente velocemente grep e fai base
analisi su questi dati quindi iniziamo da
alla ricerca di tutto ciò che ha a che fare con
docker va bene così qui otteniamo un evento
grafico di distribuzione sulle cose che
è accaduto sul deposito più scuro più scuro
Potrei andare a vederlo o potremmo farlo
gruppo semplice dai tipi dei tipi
di eventi accaduti a Github the
durano 24 ore quindi questi sono il numero di
il numero totale di eventi era di circa a
milioni e tu puoi prenderli e poi
ordinali e li otteniamo di più
eventi come questo o potremmo fare tutto
gli eventi di orologi che li è in quel momento che
ti piace un repo github e dici che vogliamo
al gruppo di coloro per nome repository e
ordinali in modo da ottenere il più popolare
github ripone le ultime 24 ore a quelle
che erano i più guardati e puoi
prendere questo oltre un altro intervallo di tempo e
trasformalo in un flusso di dati live così
dobbiamo solo prendere questo gasdotto nuovo corso
il live streaming da github e come questo
24 ore questo è in questo caso a 15 minuti
finestra puoi vedere il contatore
aggiorna mentre procediamo
questa volta è questa la base
idea quindi torniamo al
presentazione se io
funziona bene solo per spiegare questo
brevemente ma è così che tutto è iniziato
il perché nella costruzione di sistemi 24/7 voi
i sistemi più interessanti oggi sono
composto davvero da molti server molti
servizi di oggi sai che è micro
servizi cloud distribuiti sistemi e
le serrature sono in realtà un tempo più basso provato
comune denominatore per comprendere il
sistema cosa sta succedendo in un complesso
sistema distribuito così cominciando con
ti blocca una barriera molto bassa di
integrazione molto facile punto di integrazione
e aggregando le serrature siamo davvero noi
trovato che questa è la chiave per capire
questo tipo di sistema in modo davvero un sacco di
l’esperienza è che questo viene fatto
questo sistema abbiamo iniziato a costruire intorno
10 anni fa, che è l’equivalente di
La colonna vertebrale del NHS è quindi una prescrizione
servizio di prescrizione centrale
supervisione dei servizi di cura di
farmacie di prescrizione ecc. a
sistema centralizzato in cui abbiamo avuto
La Danimarca negli ultimi 10 anni, quindi questo
è stato uno dei nostri grandi primi grandi sai
Sistemi 24/7 che mancavano davvero
critico distribuito in molti modi così
è davvero importante averne
disponibilità
sai che hai bisogno di medici che il
pronto soccorso per essere in grado di
prescrivere farmaci anche nel mezzo di
la notte devo essere in grado di guardare
record di prescrizione della gente c’è a
molti requisiti di sicurezza che hanno reso
i DevOps sono piuttosto ingombranti
server e molti diversi tipi di
servizi in esecuzione su questi sistemi e
anche una cosa che ha complicato molto è
questo faceva parte di un sistema distribuito
dove abbiamo controllato solo una frazione di
perché c’era come 40 ish
diversi sistemi presso ospedali e e
medici e vari servizi che lo farebbero
interagire con questo e generare dati
che potrebbe inondare e causare ogni tipo di
problemi così in questo ambiente e questo
lo sapevi con quando DevOps e
i sistemi distribuiti erano davvero giusti
nuovo abbiamo deciso e scelto
uno strumento per fare aggregazione di log e
quello che abbiamo trovato qui è parte del
cose interessanti che abbiamo trovato in realtà
anche oggi molte persone non stanno usando
aggregazione dei log , quindi è il massimo
cosa importante si ottiene quando si ha un
sistema di aggregazione di registro è quello che si desidera
costruisci come un’idea di cosa è normale
quindi abbiamo impostato questo posto nel dev
squadre che mostrerebbero le dashboard di come
molte transazioni abbiamo fatto oggi cosa
che tipo di errori sono accaduti
oggi e visivamente giusto
lì davanti a te hai il senso
di normale dove prendi l’intelligenza artificiale del
cervello e raggi x una parte applicarlo lì
e così puoi immediatamente vedere il
gli sviluppatori potevano vedere immediatamente se qualcosa
era diverso e ha usato per essere così abbiamo
montare i cruscotti potrebbe essere qualcosa
come questo è solo un dashboard di esempio
non è dal sistema attuale ma
queste cose visive hai messo su quello
lo rende ci sono alcune informazioni voi
può il tuo cervello può elaborare e guardare
a e capire cosa è normale allora
delle metriche più importanti è
qualcosa come solo tu sai solo
transazioni su un oggi ciò che è
sta succedendo nel sistema così potrebbe essere
quante prescrizioni ci sono
prescritto per durante il corso della
giorno o il corso della settimana questo potrebbe
forse questa è la pausa pranzo di tutti
se ne va per la pausa pranzo, quindi è normale
fare un tuffo da queste parti e poi molto
una cosa molto facile da fare è semplicemente
aggiungi una linea di tendenza per lo stesso giorno
settimana in modo che rispetto rispetto all’ultimo
la settimana è così facile da fare
è molto facile vedere cosa succede e
poi ovviamente ogni tanto tu
prendi cose strane come il primo giorno
dopo Natale – il primo giorno dopo
Pausa di Pasqua in genere il primo giorno
dopo una pausa ci sono molte persone
tipo di stanno aggregando loro
malattie e tutti vengono al
medico sotto lunedì o martedì dopo
la pausa quindi vedrai questo tipo di
modelli così sono fuori
ogni uno ogni tanto
questo non è giusto ma in molti
casi che è una misura molto semplice per
non hai bisogno di sapere che fato di te
solo bisogno di persone che effettivamente guardano
questi grafici ogni giorno è molto molto
molto semplice quindi un’altra cosa è perché
della sicurezza qui sai che c’è
davvero dev e op sono stati davvero divisi
giusto perché questo è come spesso in a
ambiente bancario abbiamo avuto aberrazioni
completamente isolato da dev e
tutto ciò che Ops avrebbe dovuto fare quando
attraverso il sistema di ticketing quindi è necessario
per configurare questo è necessario installare
questo non si può armeggiare con
qualsiasi cosa perché ovviamente questo è
informazioni sanitarie quindi abbiamo bisogno di esatto
rintracciare chi fa cosa dentro
l’ambiente operativo così è diventato
avere accesso alle serrature nel
sistema naturalmente con un record di audit di
chi ha accesso a quali serrature cosa hanno fatto?
fare è un bel modo di leggere in sola lettura
accesso all’ambiente operativo
dove potrebbe ancora imparare molto
il sistema come funziona senza
sapendo di aver paura di toccare
qualcosa o facendo rompere le cose
nel sistema operativo quindi una cosa fondamentale
è anche in grado di con questo sistema
essere in grado di iterare ed esplorare così da te
potrebbe già avere un sistema metrico impostato
su dove hai contato sai quanto
CPU quanto disco ecc. Quanto quante
quante transazioni di vario tipo
che hai ma spesso conosci il
questo ciclo per aggiungere ulteriori informazioni
a questo o esplorare le cose è carino
lento quindi vediamo spesso che lo sai
c’è qualche squadra che andranno una volta e
imposta la dashboard e poi sai
non torni mai indietro e lo cambi ma
scopriamo che è davvero super prezioso
che tutti tutti gli sviluppatori
può andare a costruire le proprie variazioni di
cruscotti di giocare intorno con esso
e facilmente estraiamo nuovi tipi di
informazioni fuori dalla serratura
stream e potrebbe sembrare come se fosse
difficile ma in realtà non è così così
tutta questa idea di poter iterare
e hanno un tipo di approccio esplorativo
alle tue metriche per le tue serrature è um
è molto importante, quindi prendi molto
diverso e questo lo sai il nostro
il sistema sanitario era almeno questo
tipo di diversi tipi di servizi e
sistemi e puoi immaginare che mangiano per
per ottenere dati da questi due quelli giusti
c’è un modo diverso di fare vari
modi di cose in queste cose
quindi semplicemente prendendo le serrature e intendo
i file piatti che escono
questi sistemi è un modo molto semplice per
prendi queste serrature e spediscile ora
la cosa interessante è come si fa
questo in alcuni dati interessanti e
questo è un posto dove vari log
i sistemi di aggregazione differiscono abbastanza piuttosto a
un po ‘sai che in alcuni casi devi
configurare il sistema per estrarre rilevanti
informazioni quando i dati arrivano ma
alcuni di questi ti permettono anche di farlo ad hoc
e in un momento successivo estratti
i dati che vuoi e questo è questo
c’è un modo super flessibile di fare
che così tu voglia che sia lì
qualcosa abbiamo imparato che essere in grado di
torna indietro e dimmi che vorrei davvero indicizzare
quell’attributo e quello sono
qualcosa che è super facile da fare ha un
alto valore così arancione chiunque eh bene
scopre di uh sapete che c’è c’è di
corso due giocatori importanti là fuori
c’è Splunk c’è l’elastico e noi
trovato per molti molti dei nostri clienti
non erano pronti a pagare per lo sperma
sai che è valutato in base al volume e
per vari motivi l’ abbiamo trovato tu
Conosce soprattutto e conti più piccoli
difficile da elastico abbiamo anche speso a
molto tempo sai come distribuire questi
sistemi e là
sono anche un po ‘complicati da fare
per lo meno gestisci il tuo perché c’è così
molte parti mobili quindi volevamo fare
qualcosa che è semplice lo sai veloce
flessibile, economico, semplice da installare
e usa questo per ottenere tutto questo
questi benefici così così umani come il
Corbett è um, diciamo che è un momento
database di testo serio quindi è un
flusso in memoria che elabora le cose così
è come l’elaborazione avanzata degli eventi o
portando in questi idiomi e tecniche
da te lo sai dal punto di vista finanziario
sistemi di trading ad alta frequenza kw +
cose ish dove invece di fare molto
di indicizzazione in anticipo
in realtà siamo solo molto veloci nell’elaborazione
dati a forza bruta con alcuni molto molto
semplice indicizzazione ad alto livello come il tempo
l’ indice primario che abbiamo è solo
indice praticamente così tanto al centro
è che è P Jason e la cosa dell’API
e poi abbiamo creato un front-end
per questo quindi diamo un’occhiata a cosa
le domande sembrano così abbiamo costruito a
linguaggio di query a cui assomiglia
una pipeline unix che vogliamo fare in grep
ordinare in unico in qualcosa così a
query che apparirebbe simile in SQL
seleziona il tempo medio di risposta da
i servizi di back-end in cui l’URL
sembra che questo potrebbe essere una richiesta
stufato e il tempo è più grande di questo
e vogliamo raggrupparlo con il metodo
ad esempio per scrivere in questo
in questo modo nel nostro linguaggio di ricerca il
le prime cose sono i filtri su cui filtriamo
tasse e iniziare un giorno fa vogliamo
filtra che l’URL è questo
inizia con questo e poi ci limitiamo a raggruppare
per gruppo i dati per mezzo del metodo su
tempo di risposta
quindi troviamo che questo è un modo molto naturale per
pensare ad esso come uno stream processing
linguaggio che immagini un po ‘mentalmente
eventi e a tutti gli eventi del
sistema entra attraverso questa pipeline e
quelli che vengono fuori e quelli
altra estremità è la risposta del
query e che si applica sia per come un
query ad-hoc e anche per query permanenti
che si trova lì come una MapReduce
pipeline o una pipeline di elaborazione degli eventi
dove gli eventi sono alimentati in modo fondamentale
il modo in cui funziona è archiviare
segmenti in molti modi questo è come come
Kafka memorizza i suoi dati così abbiamo costruito il nostro
proprio back-end dove tu come ingerisci
dati impilati con vari attacchi
potrebbero essere tag front-end e data center
tag come questo e quindi ognuno
combinazione di tag
entra diventa un flusso di tipo di segmenti
di come un argomento di Kafka e viene memorizzato
compresso possiamo decomprimerlo a
elaborarla e quindi quando una determinata query
viene in uso che hai visto prima che ci sia un
c’è una serie di tasse e un intervallo di tempo
quello potrebbe essere il backend in questo momento
intervallo da 200 C 3 a cui capita
abbinare questi segmenti dei flussi così
abbiamo appena scelto noi solo quelli brutali
e all’interno di questi abbiamo un in ciascuno di
questi blocchi che si aggiungono a seconda
sulla compressione da qualche parte tra 50
e cento megabyte per ognuno di questi
segmenti abbiamo un piccolo indice di tempo così
possiamo anche selezionare solo una parte di
i dati in uno di questi così diverso da
che una volta, una volta, lo facciamo
in realtà, solo la forza bruta cerca e
Tornerò a come è veloce
ma perché abbiamo l’ intero set di dati
in realtà possiamo eseguire cose interessanti
come a piena velocità eseguire un regolare
espressione sopra le serrature quindi questo è
loro questo è il potere di questo
la flessibilità è così che estraiamo
potresti dire che vorremmo prendere la schiena
fine vogliamo eseguire un reg X di là
qualche ID conferenza in questa posizione in
URL e poi voglio raggruppare per quello
ID conferenza e seleziona qualcosa di giusto
quindi generi i dati da questo così dentro
molti sistemi si sarebbe questo questo
essere davvero difficile perché estrai
tu decidi cosa estrarre o cosa
indicizzare quando si ingeriscono i dati ma
qui possiamo effettivamente correre a tutta velocità
questo sì, solo un riassunto ed è
come uno stile di pipeline UNIX reattivo
elaborazione degli eventi troviamo che tu sai
molte domande che vuoi fare in queste
i sistemi hanno una componente aggregata
comunque giusto così spesso lo devi fare
scansione dei dati molte query realistiche di
Certo che è bello in un indice di termine
sistema basato su cui puoi facilmente andare
a un ID richiesta specifico trova uno specifico
registrare e naturalmente elastico o che esso
i Mi piace sono più veloci nel trovare specifici
cose ma quello che spesso accade è che vogliamo
fare un grafico sui tempi di risposta o fare
qualche strana aggregazione attraverso la nostra
selezione in modo da eseguire la scansione dei dati
comunque e poi diventa effettivamente
più veloce da fare solo assicuriamoci di farlo
letture seriali da disco e sono davvero
attento a rimanere sulla cache ecc e lo è
davvero super prezioso per avere lo schema
sulla query puoi dire estrarre i dati
dei lucchetti mentre lo stai elaborando
perché è come se fosse un momento
avendo una macchina del tempo, puoi andare
di nuovo a un anno fa e dico gee I wish I
indicizzato questo attributo, quindi come facciamo
questo um va veloce
applichiamo una buona dose di meccanica
simpatia quindi Jackie Stewart era questo
Britannico di Formula Uno pilota ed è stato
veramente famoso negli anni ’60 è andato lui lui
ha vinto tre campionati del mondo in Formula
Uno e la cosa speciale di lui dentro
in questo contesto è venuto fuori con questo
nome di simpatia meccanica che lo sostiene
sai che puoi guidare meglio che puoi essere
un pilota migliore se tu davvero
capisci la tua macchina così ha davvero speso a
molto sforzo per capire la macchina
esattamente sai che era lui stesso meccanico
potresti capire ogni aspetto di
e tu saresti uno con la macchina, quindi questo
questa idea è stata applicata nei sistemi software
certo che conosci Martin?
Thompson ha camminato in giro a parlare
sulla simpatia meccanica in termini di
computer per lo più in termini di
capire come sono le tue CPU
capire cosa caching
infrastruttura sembra come cosa
il miglior accesso ai tuoi dati lo metti in rotta
e perché c’è c’è quasi un
differenza di ordine di grandezza tra
Nexus e dati su un nucleo locale sul
cache e nella memoria principale, quindi se possibile
avere dati possiamo avere un set di dati attivo
su un nucleo che corre sai molto
molto più veloce e il trucco chiave per
far funzionare questa forza bruta velocemente
è di averlo compresso su disco caricato
su un nucleo in piccoli pezzi dove noi
facendo decomprimerlo perché il
la larghezza di banda è forse 1/10 perché siamo
10 volte perché è stato caricato compresso
poi decomprimere sul nucleo e
allora hai un accesso super veloce per eseguire a
rec X su questo piccolo pezzo una corsa
estrarre o fare confronti su pezzi di
i dati quindi è ovvio che è un
molti c’è un sacco di ingegneria che
entra in quello e anche indovinando perché
sei davvero molto difficile da fare
misura queste cose devi solo
tipo di sentire come sei arte
oggi sono il CPU ma ho questo
simpatia con il corso e tu
può andare online il mio Martin ha fatto diversi
parla di come impiegare questo e metterlo
da usare in vari contesti così è
è davvero incredibile come sia
citazione interessante la più sorprendente
realizzazione del software per computer
l’industria è la sua continua cancellazione
dei guadagni costanti e sconcertanti fatti
dal settore dell’hardware dei computer che conosci
siamo stati così impegnati che conosci in particolare
gli ultimi dieci anni che stiamo costruendo
sistemi distribuiti scalano i sistemi
e davvero non mi importa del
hardware sai che l’hardware è così
economico che possiamo solo buttare di più
hardware e sai qualche volta
questo arriva a un punto in cui diventa
totalmente ridicolo perché se lo fai
le cose per bene si può sai che puoi
salvare un ordine di grandezza sui sistemi così
la nostra attuale scoperta è conosciuta con
umorismo oh possiamo anche tu puoi salvare un
ordine di grandezza sui tuoi server giusto
puoi trasformare cinque o dieci server in
uno solo facendo la cosa giusta in modo che il
il succo è quello di ottenere la velocità grezza
nel codice conosci il set di dati attivo
di loop interni si adatta alla cache
vuoi assicurarti di non farlo
allocazioni dinamiche nel ciclo interno
una volta impostato puoi andare perché
le allocazioni implicano la sincronizzazione
senza i loro core vogliono legare il tuo
roba al centro in modo che tu non i dati
non si muove in giro specialmente sopra
i banchi di memoria dei sistemi multi-succhiati
associati con le CPU nel corso
le discussioni ipertestuali sono di ostacolo se tu
può effettivamente utilizzare la tua macchina
sai che è solo che ti capita a metà
la dimensione della cache quindi il tipo di minacce o
due minacce che girano sullo stesso core
usando compresso o è in realtà il
maggiori prestazioni ottenute vediamo
costantemente o la più grande differenza
tra diversi sistemi è quanto è buono
è così bene i dati
Comprimere i più possiamo comprimere la
migliore larghezza di banda otteniamo tutto il modo
Attraverso il sistema Iowa memoria principale
a CPU no quasi non importa come
tempo necessario per decomprimerlo
ma ovviamente la decompressione veloce è
importante e penso di averlo veloce
decompressione che sarà così
sta per essere una cosa importante nella nuova
architetture hardware in Intel
andando avanti, sono certo che stiamo andando
per vedere la decompressione supportata dall’hardware
direttamente in hardware perché è così
importante per ottenere tutto dal
lettura sequenziale macchina dal disco
è un vecchio timer quindi c’è tutto questo
trucchi nel libro che puoi puoi
ascoltare i discorsi di Martin e e
e apprendilo così ingerito come funziona
lavoro abbiamo un mucchio di ACP Jason API
oppure puoi usare vari altri strumenti come
supportiamo l’ API bulk di elastics e un file
BJP è di ridurre i battiti esistenti da
da elastico per caricare i dati in una rete di carico
flusso diretto da firewall syslog ecc
naturalmente è molto facile per noi aggiungere
nuovi tipi di cose come questa così in questo
le prestazioni questo è spesso uno dei
i punti di dolore dell’altro alternativo
soluzioni in modo da arrivare i dati vorrei solo
elaborarlo davvero minimamente e
in pratica basta comprimerlo e basta
persisteva un append-only
moda quindi non abbiamo un indice B
tavolo ordinato su dischi va bene e
puoi facilmente fare 100 concerti al giorno
core su una nota di ingest quindi questo è uh
questo è spesso un punto dolente di cui hanno bisogno
sai un sacco di grandi macchine da sedersi
lì e prendere i dati che potreste
mai guardare
quindi la pipeline è abbastanza semplice che puoi
o vai direttamente o tramite Kafka e se
tu se lo metti su una macchina della polizia
questo sta effettivamente dimostrando che noi ci proviamo
per stare fuori dal giro su questi
complessità di memorizzare tre copie e
assicurandosi che tutto sia
coerente tra diverse copie e
bit put e quant’altro sono i block stores
molto bravo a salvare copie extra di dati
Kafka è anche molto bravo a prenderlo
copie extra di dati in volo, così tu
possiamo avere come dati arriva possiamo caricarlo
attraverso l’ umorismo Kafka fa semplicemente il
elaborare e costruire questi segmenti
e poi li spinge in un blocco
memorizzare così potrebbe essere solo questo blocco negozio
un file system in una semplice configurazione e
con quello sai una volta che è un blocco
memorizzato qui possiamo agire fino in fondo
attraverso Kafka in modo che possiamo rilasciare il rilascio
che quei messaggi potrebbero essere un altro
sistema di lavorazione così in pratica ci prova
stare fuori dal giro di essere un
complesso sistema distribuito mantenendo tre
copie di tutte le serrature, ecc
voglio che possiamo scaricarlo ad altri
l’infrastruttura che lo circonda poi anche
quindi questo è ciò su cui stiamo lavorando
essere in grado di eseguire query distribuite
in realtà a questo punto non abbiamo noi
non ho alcun esempio di clienti
quindi in realtà ne abbiamo abbastanza grandi
torrenti ma noi non ne abbiamo dove
è stato un grosso problema che non possiamo
interrogare abbastanza velocemente in modo da poterlo fare
query abbastanza veloce sarà che è un
la prossima funzione principale su cui stiamo lavorando è
essere in grado di utilizzare un blocco di negozi e poi
essenzialmente hanno un numero di diverso
nodi di query che può solo leggere fuori
il box store è possibile distribuire una query
su segmenti così il prodotto che abbiamo
oggi è solo una nota che noi
consegnare sapere in linea ospitato o come
contenitore
per il download on premise è tutto
cosa importante avere questo su premise
soluzione perché molti dei nostri clienti
sai che sono in assistenza sanitaria o
sono in banca o qualcosa che vogliono
avere i propri dati Doc e come spettacolo
prima di avere un sistema demo e abbiamo
trascorso gli ultimi due mesi quasi a fare
nient’altro che scrivere tipo di documentazione
di confezionare le cose ma penso che possiamo
spendi solo cinque minuti per provare ad andare
indietro e guarda il sistema te
può ancora sentirmi così abbiamo visto qui
questa era la domanda per capire cosa c’è
caldo e non ora e arriva a github
quindi immagina che vogliamo capire
qualcosa di più complesso come piacerebbe dare
un esempio di come appare una reg X così
quindi queste domande vanno così
si può sapere che potevamo si potrebbe
visualizzali in modo diverso quindi se prendiamo
solo i 10 più interessanti e
mostra che come grafico a torta ci arriviamo
10 repos più famosi qualunque cosa possiamo
mettili su un cruscotto in modo tale da cruscotto
è solo una raccolta di risultati di query
come questo quindi questo è il solo un esempio
cruscotto che mostra la maggior parte degli osservatori
oggi questo è quello di cui abbiamo parlato
effettivo afflusso di eventi in questo momento
potrebbe accadere ecco la query che
mostra gli utenti che hanno fatto di più
commenti oggi quindi vediamo che possiamo aprire
la query qui, quindi questo prende tutto
eventi che sono eventi di commento e gruppo
dall’account di accesso contando quanti di questi
sono e poi li ordinano un altro esempio
ecco
la maggior parte ha biforcato così qui abbiamo preso
tutti gli eventi che sono biforcati in questo modo
è un po ‘se poi scrivi solo un testo
diventa solo un testo libero, se lo è
ha un uguale in esso da qualche parte qui allora
è una ricerca più diretta per quelli
attributi quindi eseguiamo una X rossa sopra
queste quattro cabine come cerchiamo di guardare
a quanto pare un evento della forcella ne sono sicuro
perdonato e questa è tutta questa informazione
ma soprattutto ha il
repository che appartiene a quelli
questo è il quarto e ha un po ‘di un
organizzazione o utente e poi il
nome del repository quindi se vogliamo estrarre
che ho appena eseguito una X rossa su tutti questi
quelli che trovano il nome del repository di
qualcosa che viene dopo che taglia così
questo è il nome in un gruppo regolare
espressione e così dopo aver fatto questo noi
non hai un attributo extra disponibile
questo è il nome del rappresentante e quindi possiamo
raggruppa per questo, quindi questo è disinteressante
chi possiede questo repo quali sono i
diversi tipi di quali sono i nomi di
repository che vengono biforcati e noi
potrei farcela per te più a lungo
tempo nell’ultima settimana, quindi questo in realtà
a seconda della complessità della query
ovviamente questo funziona facilmente 1,5 1,5 geek
di dati in discesa al secondo per core quindi
e questo è un nodo a quattro core su cui giriamo
vedi cinque gigabyte al secondo così tu
voglio gestire un sistema complesso simile I
avere un più grande ho un più grande
server qui
corriamo qui, voglio chiudere I
avere i dati github qui se voglio
per eseguire questo qui oltre questo è un po ‘
macchina più grande più grande okay dovrebbe essere
in grado di avvicinarsi a dieci settimane al secondo
– come per qualcosa di simile, quindi?
essere in grado di giocare con queste domande
e avere accesso per gli sviluppatori di tutto il
la via per questo genere di cose è lo è
super prezioso così invece di sapere
i cruscotti sono qualcosa che siamo
istituito una volta ora diventa parte del
esperienza interattiva quando siete entrambi
debugging individuazione bug e generale
monitorare il tuo sistema in modo che sia così
è qualcosa che troviamo che ha un sacco di
valore e ti dà sapere in totale
approfondimenti nel tuo sistema, ovviamente
i sistemi distributivi sono sempre
difficile e difficile da capire ma
appena può solo consente di fare un po ‘
ancora un po ‘di aiuto a riguardo quindi io
penso che sto andando a finire qui e e prendere
domande del pubblico in caso
ho un po ‘sì sì hai un modo per
invia un allarme in modo che preveda le previsioni
come dati doc non al momento siamo uno di
le prime cose nella nostra pipeline o nella nostra
sono cose da fare quindi allarmi e allarmi
sistema una delle prime cose che sarò
uscendo con così questo è il primo GA
rilascio che abbiamo avuto abbiamo lavorato
su questo per nove mesi principalmente cristiani
seduto lì dentro di me e ora abbiamo finito
gli ultimi tre o quattro tre mesi
stiamo costruendo la squadra con
risorse di marketing e molto altro da sapere
dove siamo siamo sette persone ma c’è
questo è ovvio ed è abbastanza
facile da fare qualcosa come avvisi di
Certo, ma è per questo che è uno dei
a destra abbiamo alcuni abbastanza grandi
clienti che stavamo facendo test a questo
stiamo lasciando che quei clienti effettivamente
guidare le decisioni questi i primi pochi
i clienti di grandi test in realtà guidano il
pipeline di funzionalità implementate correttamente
sì, noi siamo i benvenuti a venire e
e compralo, quindi siamo ancora nel processo
di capire cosa costa essere
per essere onesto e e in questo momento lo sai
siamo interessati ai clienti di riferimento
quindi è qualcosa che è un affare
chip con cui puoi tornare a questo
punto è più importante da ottenere
clienti di riferimento e per ottenere molto
soldi a questo punto, quindi speriamo
un prezzo di 10k euro per banconota e
molti in molti casi ne vuoi uno
giusto in modo così avremmo noi non vogliamo il volume
il prezzo che vogliamo adattare intendo il
il modello di prezzo è qualcosa che è annuale
abbonamento per eseguire il supportato
software e non è open source
ok grazie mille
Please follow and like us: