
hey, quindi il titolo sarà effettivamente
riguardo le serrature e il motivo per cui lo è
a proposito di serrature è che quando mi registro
questo discorso ho davvero pensato che sarei stato
parlando nella pista dell’ufficio sordi va bene
così così ho pensato ok bene ciò che è buono per a
le serrature astratte sorde sono sempre un bene
argomento okay e poi ho pensato alcuni
settimane fa che in realtà non lo sarò
parlando nell’astratto sordo ma lo farò
essere nella traccia di big data e analytics
e poi ho pensato bene, forse dovrei
cambia discorso ma forse no perché se
ti interessano i big data e
analisi allora probabilmente hai il
problema che devi ingerire
i dati in qualche modo devono trasformarlo
in qualche modo e poi lo metto da qualche altra parte
e questo è un dolore okay e questo discorso è
parlerò di come alleviare il dolore
stai bene qualche parola su chi sono, sono
uno sviluppatore principale elasticsearch e
è entrato a far parte di elasticsearch per un anno e mezzo
anni fa e sostanzialmente mi sono unito perché
tutti stanno facendo grandi dati e anche io
voluto fare grandi i dati sì che volevo
fare analisi dei dati e quali sono davvero
super interessato anche se devo
ammettere che ora sto facendo un sacco di cose
cose che elasticsearch così poco
un po ‘di tutto e una cosa che io
vorrei menzionare è se non ho
off spec round qualunque
e questo è un male a posto e questo è un male per
due ragioni per cui il primo è che sarò
toccando molti argomenti correlati in questo
parla quindi chiedi a me tutto quello che vuoi
elasticsearch se vuoi sapere
integrazione sanitaria sulla tua banconota da 100
il tester che funziona su AWS va bene, vedremo
circa sarò in grado di rispondere ok ma
c’è una seconda ragione per cui è così
davvero brutto e questo è perché
queste due cose sono interessate ai dati
analisi in particolare una grande analisi dei dati
e non avendo avendo uno sfondo ops
in realtà conflitto perché alcuni dei
maggiori dati che stiamo avendo mentendo
in questo momento e quella dieta ha bisogno
le analisi sono file di registro okay okay così
come risolviamo questo problema se lo sei
qualcuno come me e tu vuoi analizzare
Registra i piani quindi ho intenzione di dare un molto
breve introduzione al passo successivo che è
elasticsearch log stash e Gabanna in
solo un veloce sondaggio chi di voi ha mai
l’ho usato un bel po ‘e va bene così
questo sarà molto molto superficiale
introduzione ai principianti e cosa
questo è tutto okay quindi forse quelli
potrebbe solo alzare la mano potrebbe non essere
super interessato ma poi parlerò
un po ‘di analisi con
elasticsearch e poi lo farò vedere
sei Cabana per la quale ne sono usciti pochi
settimane fa e ancora non meglio che è
la parte di visualizzazione di questo insieme
impilare bene, quindi cosa succede così è
fondamentalmente tre componenti prima
componente è log stash che sarà giusto
consente di importare facilmente i dati
trasformalo e rendilo ad un altro
applicazione ha molti ingressi molti
uscite ne parlerò in un
minuto ma l’uscita che sarò
parlare di ricerca elastica il
motore di ricerca e archivio documenti e
poi una volta che hai i tuoi dati internet
e nella ricerca elastica perché elastica
la ricerca è più o meno un back-end
quello che vuoi veramente guardare al tuo
dati okay e il software che abbiamo
una ricerca elastica per quello che è chiamato
Cabana ok questo sono i tre componenti
ma prima parliamo un po ‘ di
dati così quando hai a che fare con i dati
e mi piace perdere, se si parla di
dati che arrivano sotto forma di forse
messaggi o documenti solo una unità e
contiene principalmente un testo così nel trattare
con i dati e sei davvero fortunato
allora forse si tira i dati da alcuni
una sorta di API, ad esempio, potresti tirare
per IRC o da Twitter se lo ottieni
da Twitter quello che ottieni è proprio questo
documento JSON formattato che ha tutto il
voci diverse in molte informazioni
e puoi facilmente prenderlo e metterlo
da qualche altra parte o scopri di cosa si tratta
tutto ma se non sei così fortunato
allora potresti davvero guardare
molto bene quindi diamo un’occhiata ad alcuni registri così
cosa sta succedendo su un sistema PI, quindi è il mio
sistema di blocco ora giusto quindi inizia
fuori con un timestamp qui va bene dopo
viene il nome host che ho davvero ribattezzato
il mio computer penso che ci sia un
componente che in realtà ha scritto molto in
questo caso HipChat e poi arriva un po ‘
messaggio l’ hotel e il sistema
amministratore o qualcuno che ha scritto il
software che sta effettivamente succedendo
ora va bene e questo è fondamentalmente
testo non strutturato bene così che cosa questo
sembra così se vuoi ingerire un
syslog um si sarebbe probabilmente dovuto
scrivi o di solito dovresti scrivere
un proprio piccolo strumento che analizza
il timestamp il processo il nome host
il componente e quindi forse rileva e
lo mette da qualche parte la gente ora ha
diverse applicazioni che scrivono
diversi registri e in questo discorso sarò
parlando di due set di dati, quindi sono solo
andando a mostrare un esempio di questo così uno
questo laboratorio è qui, quindi è così
diversamente non inizia con
data e ora inizia con questo numero
qui quindi questo è davvero solo un ever
aumentando l’aggiunta di ID ne viene un altro
numero in modo che possa dirmi di cosa si tratta
è anche un timestamp è UNIX
timestamp sì fantastico proprio così e poi
hai e questa è una Wikipedia
xs-large quindi questa sarebbe la richiesta
e componente Va bene così, se si desidera
passare questo anche in aggiunta alla
sizzler che abbiamo appena visto sì
giusto un’altra piccola sceneggiatura che passa
tutta questa roba, anche a destra va bene così
un altro segno di log penso che avrei questo
preparato così così chiunque altro che cosa sia
okay , una di queste voci è una
Registro Apache
okay, quindi inizia con una cosa IP
verrebbe l’identificazione dell’utente di nuovo il
timestamp la richiesta di ottenere il referrer
qui quindi abbiamo indirizzato l’utente a
questa risorsa e quindi questa è la
risorsa che è stata effettivamente richiesta
qui oops e poi arriva il vero
agente che ci ha detto qualcosa
quale browser per esempio che utente utilizza
qualsiasi altra cosa sta usando e così via e così via
avanti e come puoi immaginare intendo tale
un registro Apache ne contiene moltissimi
anche le informazioni lungo l’AP pensano
di
è possibile ottenere dalla appaiono in grado di ottenere un
l’idea da dove ciò potrebbe venir meno
sii preciso ma puoi aggiungere un accordo dove
è da te puoi sapere che tipo di bene
versioni del browser che in realtà devi
supporto sulla tua pagina web semplicemente guardando
all’agente e tutto questo ma tu ancora
dovresti ingerire tutti questi dati
okay e questo è un dolore okay e il
modo si può fare questo non è in tanto in un
in che modo bussa – bussa – in pochi
frasi è un’applicazione rubino che
ti permette di collezionare arricchire e archiviare
i dati in un modo molto semplice ed è
particolarmente progettato per i dati di grandi dimensioni
cioè se si dispone di ottenere i terabyte
di dati che stanno costantemente scorrendo dentro
okay e scalabile orizzontalmente significa come
più flussi di dati in tutto ciò che devi fare è
aggiungere più nodi e più blocchi di questo tipo
istanze e questo sarà solo in scala e
la cosa migliore è open source
è un gioco da scaricare – okay , quindi la base
idea di serrature – è che ha tre
componenti che sono completamente modulari
quindi hai un componente di input che
vorrei solo collegarmi a questa risorsa
in realtà passa il messaggio okay questo
può essere un archivio dati che può essere un
particolare file di registro può essere in realtà
qualsiasi file può essere un po ‘di monitoraggio
sistema può essere una coda come
rabbitmq tutte queste cose diverse
prendere alcuni messaggi da lì e poi a
il secondo componente è il filtro il
filtro ti permetterebbe di analizzarli
i messaggi sono per arricchirli con for
informazioni di esempio sulla GUI PE o
a proposito del programma utente come hai visto in questo
log prima di modificare questo messaggio transform
e poi lo metterò da qualche parte
altro e questo è il terzo componente
blocca ha molte uscite così puoi
scrivere in vari archivi di dati e-mail cercapersone
2d vari programmi di chat e così via e
così via e la cosa bella è
davvero modulare quindi se si desidera passare
fuori ma solo perché cambi
il tuo archivio dati non devi cambiare
l’ input nel riempimento loro realmente solo
devo cambiare l’output ok così solo a
rapido esempio su come questo aspetto del lavoro in
Pratica quindi dovrebbe cosa
scusa ok se scarichi i lucchetti – cosa
avresti capito, è solo questo tar
file okay e tutto quello che devi fare – il
le serrature sono iniziate sono solo due cose
quello è solo un pacchetto ok così è
ho appena spacchettato questa cosa e la seconda
cosa dovresti fare è che tu abbia
scrivere un piccolo file di configurazione che dice
serrature – quale componente di input che
filtra e metti effettivamente il componente di output
usare bene, guardiamo al massimo
file di configurazione semplicistico che puoi
pensaci e sarebbe così andiamo
costruire questo non è uno in questo caso , diciamo
okay e l’input è solo in piedi
quindi una volta che la lucentezza inizia, basta leggere
messaggi da standardin
sì, non farai altro che loro e poi
semplicemente emettili per metterli in risalto
quello che poteva sembrare molto interessante
ma ti sto solo mostrando
scopi di presentazione e l’unica cosa
Sto dicendo che sto cambiando anni
dammi l’output di debug così giusto così
sai cosa sta effettivamente succedendo
e questo è il punto di partenza – o lo hai
fare è dire start lock – con questo
il comando punta alla configurazione attuale
file oops e poi inizieremo e inizieremo
leggendo quello che scrivi nella parte anteriore
linea va bene così per esempio se conosco il tipo
ciao lo farà diverse cose con
questo messaggio quindi prima di tutto c’è
sta per essere un campo che viene chiamato
messaggio e che conterrà qualunque cosa
hai inserito una versione che semplicemente
era solo una cosa interna di roba finta
in modo che possiamo ignorarlo per ora
automaticamente al timestamp per te
questo è uno era questo messaggio in realtà
ricevuto e sul nome della collina in cui
la padrona di casa è stata effettivamente accettata così
questo potrebbe non essere super interessante
perché davvero ciò a cui siamo interessati
è come possiamo ottenere maggiori informazioni
per esempio questo Apache non è così
vediamo prima ok, quindi ancora una volta
mostra questo oops questo è davvero quello che
vuoi passare così quello che ti serve è
il terzo componente di cui stavo parlando
prima che questo sia questo filtro
avversario va bene così come potrebbe un filtro per
un simile blocco Apache sembra e poi
di nuovo lo farò vedere così eccoci qui
come un filtro potrebbe apparire come in realtà
amo entrare in tutti i dettagli e
spiegare tutti i diversi extra
vieni con questi filtri e come usare
loro ma io non posso se tu hai un diverso
domanda su ciò che il diverso
i filtri possono fare e che tipo di
diversi filtri che abbiamo è possibile trovare
più tardi presso lo stand elasticsearch e
chiedi a me oa uno dei miei colleghi ma per
per ora tutto ciò che devi sapere è il massimo
filtro importante per l’analisi dei file di registro
è il filtro di crock che è solo un
modo semplice per definire una sorta di regolare
espressioni e poi ne abbiamo altre due
campo per vedere quale è il campo della data ma
che se effettivamente alimenta un reale
data da una stringa sul filtro IP GU
ciò migliorerà l’IP che è stato passato
con informazioni particolari e l’utente
agente che avrà un senso di questo ugh
e file mai visto prima
okay e l’output è di nuovo inviato così
solo per mostrarti come funziona di nuovo noi
può ricominciare a toccare le serrature come abbiamo fatto noi
prima di punto ora a questo diverso
file di configurazione e quindi basta copiare e incollare
una di queste linee nel nostro standard in
e poi vedi cosa sta succedendo okay così così
ecco cosa sta effettivamente accadendo in modo che
prende questo messaggio di nuovo lo mette in a
campo che viene chiamato messaggio ma poi
questo molto di più con esso va bene Parigi è
IP rifiutato passa il timestamp cosa
in realtà Bucarest era quello che era il
Codice di stato della versione HTTP quanti byte
sono stati trasferiti chi era il referente
quale era l’agente e riguardo al
agente non solo qual è l’agente ma
anche qual è il nome dell’agente cosa
il sistema operativo era di supporto qual è il
versione maggiore e minore destra tutto il
roba interessante o per la GUI pensa
non è solo il GOP che ti dà anche
il codice paese diverso che dà
forse a volte anche un nome di città e
potrebbe anche darti un posto in zona
come l’ apprendimento della magnitudine
facciamo la longitudine che potrebbe non farlo
sii esatto ok ma se ne hai un sacco
questa risata potrebbe darti un po ‘
informazioni così e il messaggio qui è
bene non posso entrare nei dettagli
oh sì oh giusto e poi ovviamente io
significa che cerca di alimentare bene, ma se io
basta premere return non è veramente un
messaggio così loro ti diranno oh no no way
non si puo ‘fare
va bene così il messaggio qui è che hai
questi questi file di registro ne hai molti
loro e tutto quello che devi fare è scrivere
questo piccolo file di contratto che ho mostrato
prima che sia davvero molto breve e
quindi puoi ottenere tutte queste informazioni
fuori di esso va tutto bene
va bene così prima che il punto a catenella ne abbia molti
diverse uscite come l’origine dati
email e così via e così via, se vuoi
per sapere tutto su queste uscite
o ci puoi trovare allo stand o
puoi anche solo andare alle serrature –
homepage e passo controllare il
documentazione spettacolare quindi il lusso
la documentazione è straordinariamente bene
scritto penso bene quindi posso andare
c’è una lista enorme che ti dice
tutto ciò che devi sapere
tutti i diversi input e output
ok ma l’uscita parleremo
in realtà è solo elasticsearch
va bene così quando è elastica la chiesa in a
di nuovo è scritto in Java
Shaima è libero, ecco perché sono da Dino
traccia eco qui base di Jason che significa che può
ingerisci tutto ciò che entra
Jason e poi l’unica cosa e io
davvero scusa che io non ho questo
sulla diapositiva si basa sulla scena
ok, puoi pensare a quella fantastica ricerca
fondamentalmente viene distribuita la scena e
vedremo nel caso in cui non lo sapessi
è questa libreria di ricerca, questo è Apache
la libreria di ricerca va bene quindi è una ricerca
motore e proprio come le risate – lo è stato
davvero progettato per lo scrolling e
ridimensionamento orizzontale significa che se tu
archivia i tuoi documenti con elasticsearch
e sempre più flussi di dati in tutto te
è necessario aggiungere più computer
nodi di ricerca starclassic e questa volontà
scala e di nuovo è open source
portalo alla licenza okay, prendiamo un
guarda come appare Elasticsearch
di nuovo se scarichi semplicemente elasticsearch
lascia che l’ ultima volta tu abbia appena ottenuto un
verso che lontano questo è il migliore
in realtà 1.4 GHz mod ieri che io
ho dimenticato di scaricarlo quindi sarò solo
dimostrando il meglio di ciò che è anche
cool ma e proprio come prima di tutto noi
è solo dire antar e
questo è tutto
questo è tutto ciò che devi fare e poi tu
può avviare elasticsearch ora per il
scopo di questa dimostrazione ho detto
prima che gli elastici filtrino il back-end e
puoi comunicare per mangiare, per esempio
via HTTP e arricciano sì, ma non lo è
davvero bello da mostrare, quindi sono solo
andando installare una cosa per un’altra
sei così giusto per rendere più facile per voi
guarda cosa sta succedendo e basta
Marvel c’è un plug-in per
elasticsearch che ti permetterebbe di farlo
monitora elasticsearch e poi anche
è dotato di un’interfaccia utente che è bello
chiamato senso e questo lo rende facile
eseguire query contro l’ultimo
eccezione okay
La Marvel purtroppo non è gratis
anche se è libero nello sviluppo così
okay e poi di nuovo proprio come l’ultimo –
è appena iniziato con questo comando e
allora funzionerà bene così ho detto prima
E voglio solo dimostrare che questo è
effettivamente il caso e si può comunicare con esso
via KHOU quindi per esempio puoi dire okay
è davvero in esecuzione per impostazione predefinita
ascolta sulla porta 9000 207 allenandoti sì
qui va bene così ecco lo stato
il protocollo 100 è lì il nome sarà
essere sempre un supereroe Marvel
se non definisci altro, va bene
quindi in questo caso l’uomo di domani così
scusa, non ho idea di chi sia bravo
quindi questo è il sensore che ho aperto solo
a scopo dimostrativo
okay, ho detto prima solo a tutto
quello che viene nel formato JSON così per
esempio qui direbbe okay, ti do
questo documento ha solo un campo di testo
e in questo testo ciao e via
NSTIC che organizza i documenti non lo è
una sorta di unità logiche la prima
un indice e puoi a malapena pensare a un
indice come un database e quindi un tipo così
puoi riferirti a pensare a un tipo come a un tavolo
ok questo è profondo
Associazione di base quindi in questo caso io
avrebbe detto va bene io lo chiamo test indice
indice e chiamo il tipo doc e lo do
un ID dice okay ciao, dico ok
documento è lì e poi quando ero
cercalo ancora Posso eseguire a
per esempio, questa sarebbe una corrispondenza
query basta darmi tutti i documenti
che hanno ciao e il testo del campo loro
direbbe che hai usato un documento okay
se cercate saluti dire di no non c’è
nessun documento quindi questo fa parte della query
parte questo è in realtà la parte importante
che elasticsearch a meno che la ricerca
il linguaggio di query è davvero enorme
potente arriva in molti modi diversi
e non ne parlerò a
tutto così se vuoi saperne di più
ricerca elastica come funziona
è andata lì davvero buona introduzione
e ora tutto sul linguaggio di query e
tutti i diversi extra che vengono con
leggi questo libro è elastico
cerca il definito di guida dai miei due
colleghi Clinton Gormley e secondo
ritorno e questo è davvero il migliore
introduzione puoi entrare in un elastico
ricerca va tutto bene così ora siamo
in realtà pronto per ingerire questo file di registro
che ti ho mostrato prima e metterlo
in ricerca elastica quindi ora prima cosa
abbiamo bisogno di nuovo questo file di configurazione okay ma
cosa ci permette di analizzare e raccontare
ricerca elastica quindi il file del contratto
in questo caso sarebbe solo questo
oops oh yeah oh yeah ancora una volta prendiamo
dallo standard in abbiamo lo stesso
filtri che avevamo prima e l’ unico
cosa devo cambiare qui è il
l’uscita del circuito di uscita è ora
elasticsearch utilizza questo protocollo HTTP
extra non devi nemmeno aggiungere questo
linea lo sto solo aggiungendo perché lì
più avanti mostreremo Cubana per oh
e continuate a essere straniero è elasticsearch
uno prima ma blocca come per default questo
è una ricerca Penso che 1.3 un nodo così
questa è l’unica ragione per cui sto mettendo
quest’anno di solito non devi andare bene
e poi per ottenere cose in lastik
cercare di fare è solo gatto
era una legge campione e la canalizza in log
nascondilo e puntalo di nuovo verso la configurazione
file che era in questo caso questo
file di configurazione e questo è tutto e ora tutto
queste righe dal log di esempio saranno
read by log stash verrà analizzato put
in questo formato che abbiamo visto prima
convertito in un documento JSON e quindi
inviato a elasticsearch per l’indicizzazione ok
prima di guardare a questo v’è in realtà
alcune cose che dobbiamo conoscere
prima è come ho detto ricerca elastica
organizza documenti e indici e cosa
serrature – questo è per default è dice
ok basta creare un indice al giorno e
ogni volta che arriva un messaggio e questo ha
un timestamp controlla in quali giorni questo
cadrebbe e anche questo è
l’indice che questo documento sarebbe
indicizzato per ok, questo è solo un difetto
ok quindi cerchiamo di vedere se abbiamo già
qualcosa così se cerchiamo di sì c’è
alcuni documenti finora dodicimila
585 e poi siamo
può vedere che è in realtà gli stessi documenti
che abbiamo visto prima in JSON
formato e ricerca indicizzata ed elastica
e ora possiamo iniziare a fare domande
per esempio quante persone che visitano
il mio sito web utilizza Windows uh-huh cinque
mille cento no quattromila
duecento finora e quanti ne fanno
usa meno interessante quindi qual è il più
sistema operativo spesso usato che è un
domanda interessante giusta e tu
non voglio andare, voglio dire che non vuoi
per passare attraverso tutto il diverso
operazioni
sistemi raishin che sembrano ok ma
Mac e Windows e chi altro
hai invece quello che vuoi fare così
abbiamo solo il contrario quando
Dammi tutto l’operazione
sistemi che abbiamo e poi contiamo
e datemi il massimo, quindi quale
quale è stato molto spesso richiesto e
questo è ciò che chiamiamo ricerca elastica
e aggregazione di nuovo per spiegare il
dettagli della segregazione che devo
ti rimando a questo meraviglioso libro
ma non solo per un breve come funziona
tu dici okay definisci una aggregazione
dargli un nome e in questo caso lo farebbe
essere termini di aggregazione in modo che il
informazioni sul sistema operativo
per esempio lo abbiamo qui nell’utente
agente non è il nostro culo quindi dico ok solo
aggregare tutti i termini e basta usare a
user agent presso Westfield e poi conta
e poi cosa vorresti tornare?
qualcosa di simile va bene
altro non ho mai provato quell’operazione
sistema okay e poi abbiamo Windows 7
Philip Bailey bussa falso da Windows XP
e così via
okay, ci sono ovviamente più cose
che si vuole sapere si potrebbe anche
voglio sapere bene quante richieste
al giorno giusto quindi quante richieste per
giorno dovresti quindi usare un istogramma della data
si chiama data dell’istogramma di nuovo alza lo sguardo
la sintassi in questo libro meraviglioso e
poi l’ istogramma del serpente Oh vedi ok per
giorno in questo caso conta solo tutto il
documenti che mi avrebbero dato l’account
per il 24 del mio per il 25 maggio e
così via, ma potresti anche andare a
un ulteriore passo potrebbe dire okay dimmi cosa
era la richiesta più popolare per ciascuno di
in questi giorni o no, dimmi cosa è stato
la richiesta che ha causato più traffico su
oggi va bene così si finirebbe con
qualcosa di simile qui e poi posso
spiegalo, lo eseguirò così
questa è anche un’aggregazione e loro
creerebbe per me un risultato al giorno
e poi di nuovo al giorno si sarebbe diviso
questo fino alle richieste più popolari
che verrebbe quindi ordinato in base alla somma di
i morsi che sono stati effettivamente trasferiti
okay e allora possiamo dare un’occhiata a questo
e francamente se guardi che è tutto
bello che sia possibile ma è così
in realtà non molto meglio del
file di log originale che abbiamo avuto prima di me
significa così che era il più popolare
richiesta del 25 giugno nessuna idea va bene
quindi, che ci porta all’ultimo componente
che in realtà voglio parlarne
è Cubana okay che ti permetterebbe di farlo
effettivamente visualizzi tutte queste cose così
qivana di nuovo in poche parole
quindi nell’applicazione JavaScript del browser
basato su piatto angolare e t3
e parla ad Allah, quindi cerca attraverso
questa aggregazione richiede che se questo
hai appena visto prima ma te lo consente
per costruire effettivamente questa applicazione
richieste in un con una bella interfaccia utente
e poi rende anche delle belle visualizzazioni
di questi ad esempio grafici a barre o torta
grafici se tu in quello che in realtà non sono
ma sì, fino a nuovo è open source
è gratis ok quindi sì è forse
una cosa che dovrei dire a dire su
che ho detto prima è un diritto migliore
quindi questo è tutto e lo dimostrerò
ora hai intenzione di bene e bene il
la cosa è che è migliore ma l’GA è
ancora un po ‘ più lontano e nel
ultima meglio che è stato non chiarificati
solo è un migliore ma anche alcuni dei
davvero buone cose che verranno
in realtà manca in questa ultima versione così
quindi quello che ho fatto per te è che lo farò
darti una panoramica di cosa sta per fare
vieni e ho creato un piccolo Cabana
ramo per te e ci siamo appena uniti
insieme tutte le diverse richieste di pull
che mi piace è una panoramica e lo sono
scapperò da questo ramo, va bene così ora
stiamo entrando nella zona di pericolo quindi ok ok
L’ho iniziato già a destra e
in esecuzione di solito quello che si sarebbe dovuto
in realtà è di nuovo solo una scorta oscura
in elasticsearch basta scaricarlo
dalla pagina web si arriva a pungere
la tua risposta finisce e basta
iniziare come gli altri e
loro sono stati disegnati okay bene ora io sono
che va dal grugnito vediamo come questo
va bene così cerchiamo di fare ricerca
scusa tieni su un elenco predefinito FERPA su
per 5601 quando hai iniziato il primo
cose andando ci chiedono va bene così che cosa indice I
in realtà quale indice si vuole guardare
ora indicizziamo solo i file di registro e come me
detto prima che inizino con le serrature –
modello si blocca s – e fatto qualcosa
gli altri in modo Sto solo andando lasciarla qui il
di default mi durano per un nome di campo temporale
e puoi effettivamente dire ok, voglio
guarda i dati che
non ha eventi base di tempo ma per ora lo è
evento base di tempo quindi non ce ne andiamo
in questo modo, crea che la prossima cosa è
mi farai vedere bene e questo è tutto
campi che hai qui e poi c’è
tre schede che sono fondamentalmente importanti
e ne parlerò solo due
loro um
la prima è la scheda di scoperta che è giusta
una parte che ti permette di dire di capire
fuori dove i tuoi dati sono effettivamente ok così
nessun difetto di risultati è una cosa negativa
forse i miei dati sono solo un po ‘più vecchi, okay
quindi diamo uno sguardo hmm per poter dire
okay, fammi vedere cosa stava succedendo
gli ultimi 15 anni nella mia ultima sessione
malattia e poi vediamo come va bene
qualcosa è finito qui, incinta
il pentimento fu dal 2012 e così
vorrei darmi una bella panoramica su cosa
tipo di dati è così questo era giusto
aggregato a seconda di cosa
la risoluzione è e ciò che può effettivamente
rendering al giorno o, in questo caso, penso
è per 12 ore quante richieste sono arrivate
e vedi questo bello stagionale
schema qui così mi aspetterei che questo
è in realtà durante la settimana e questo è
nel fine settimana perché in un fine settimana
le persone hanno altre cose da fare allora no
visitando le pagine web va bene così questo è come
sembra e poi vi mostrerà
mostra anche tutti i diversi messaggi
per esempio qui ti darebbe un
bella panoramica di ciò che hai in questi
campi e ti mostrerà la stessa cosa
in JSON che è davvero brutto così tu
non dovrei usarlo e quindi va bene il
messaggio qui è questa è un’idea di base
darti una panoramica di ciò che è
in realtà nei dati ma se vuoi
sapere più come le cose che abbiamo appena visto
prima di quello che vuoi fare sei tu
in realtà voglio andare alla scheda di visualizzazione
e creare una visualizzazione da quello
ok ecco come sarebbe così
prima di tutto dico va bene voglio guardare
alla sessione di blocco esistono prima e
iniziamo con una barra verticale
grafico che va bene nel
cominciando essere molto poco interessante
perché in realtà solo dirmi quanti
i token sono attualmente indicizzati e quindi noi
posso aggiungere questa aggregazione che ero
parlando di prima, per esempio possiamo
dì ok
mega date istogramma sul tempo dell’asse x
gambo campo è in realtà i tipi di
campo renderlo istogramma giornaliero e poi
vediamo come questo sembra a posto e
questo è praticamente all’incirca quello che abbiamo
visto prima
in realtà mi chiedo se posso solo
si, è meglio
questo è fondamentalmente ciò che abbiamo visto prima
okay stesso modello stagionale simile ma
non molto interesse non più interessante
di quello che abbiamo visto prima così il prossimo
cosa sarà guardare è per esempio dire
ok, qual era il traffico quanti byte
sono stati effettivamente trasferiti bene così da fare
questo è possibile configurare l’ asse x confer
configurazione ixs Oh asse y
configurazione e dire che riassumere tutto
i byte al giorno va bene e questo sembra a
molto diverso e potresti notare
tutti che questo è molto diverso
da quello che abbiamo visto prima, lo faremmo
aspettarsi se il tipo di traffico di
segue lo stesso schema di a
asse generale allora questo dovrebbe essere a posto
ci aspetteremmo che questo sarebbe il caso
ma in realtà non è il caso che ci sia
qualcos’altro che succede qui sono solo
lasciandomi questo mi rende nervoso quindi il
la prossima domanda che potremmo chiedere è ok
che era la risorsa che in realtà
costare questo traffico
qual è stata la risorsa va bene così se dici
va bene dividere le barre e ordinare
per termini e per termini intendo per termini
Intendo le richieste quindi diamo un’occhiata
quello che è stato effettivamente richiesto e questo è
in realtà piuttosto interessante perché noi
può vedere qui che tutto questo traffico o
la maggior parte di questo traffico che in realtà
causato quella singola multa e ora tu
può indovinare dove è in realtà questo registro
venendo da così questo è in realtà l’ out
la vecchia pagina web di log stash va bene così
tutto questo è stato causato da questo unico file
questo è un po ‘ strano quindi la prossima cosa
potremmo voler capire va bene così
mmm
qual è l’agente che lo ha scaricato
roba era quella gente del tempo che faceva clic
sulla pagina web c’era forse a
seminario in corso a destra e tutto il
5.000 studenti che erano collegati
online sul mondo non farglielo sapere
allo stesso tempo o cosa fosse
effettivamente andando avanti , diamo un’occhiata al
Agente, sto andando bene, okay, questo è
anche piuttosto interessante quindi cosa
ci dice che è fondamentalmente tutto solo
lo chef Klein e io intendiamo quest’anno, ok
sosterrebbe che forse questo va bene
qualcuno aveva un cliente chef in esecuzione come me
ho detto che non sono una persona ops okay ma
questo qui sembra che sembra un po ‘
pesce a me va bene così la prossima domanda noi
potrebbe chiedere è ok chi lo fa magari
Posso capire un numero di telefono e chiamare
queste persone e dicono hey hai incasinato
la configurazione del tuo chef c’è a
diverso tipo di personalizzazione
possiamo effettivamente usare per questo e usare a
mappa delle tessere così mi avrebbe detto la mappa delle piastrelle
qualcosa su dove nel mondo roba
Sta succedendo Oh però come ho detto il pericolo
zona
apparentemente questo non funziona con il
risoluzione del mio schermo quindi sono terribilmente
scusa se vuoi vedere come è il momento
l’app funziona e come può darti un
meravigliosa panoramica di dove nel mondo
le persone hanno letto la tua pagina web allora
per favore trovami allo stand più tardi e
Te lo mostrerò ma qui
sfortunatamente non funzionerà è a
peccato, ma in realtà non è così male
perché sto finendo il tempo comunque
così va bene
in realtà ho detto prima che voglio mostrare
voi due set di dati ok quello era questo
Blocco Apache e l’altro era giusto
Blocco dell’accesso di Wikipedia okay quindi non posso
in realtà ti mostrano questo accesso a Wikipedia
registrarlo o indicizzarlo al volo perché è
un po ‘più grande di allora la cosa
che abbiamo appena visto, così l’ho preparato
per te va bene così comincerò
un’altra istanza di elasticsearch, quindi cosa
Ho intenzione di fare è che sto solo dicendo
dargli un sorso di un po ‘più di heap
lo spazio lo perdono è probabilmente
troppo ma meglio prevenire che curare
contro sono molte ricerche prima ma
indicò una diversa directory di dati
solo per assicurarsi che i dati che
in realtà l’ indice è caricato okay okay
mentre questo si sta avviando ho intenzione di
parla un po ‘dei dati reali
impostare quindi prima di tutto la serratura Apache
che hai visto prima, se vuoi
giocare un po ‘ma dice lock
è possibile ottenere gratuitamente su questo Web
semi clip EUCOM che è la vecchia pagina web
che in realtà ospitava i lucchetti – a quanto pare
nel 2012 e l’altro set di dati che sono
andando a mostrare che è un blocco di accesso wiki così
si può ottenere da banco Vicki – tu e
questo è un dato spettacolari set uno
di te mai visto che No Wow
okay ci sono due mesi di accesso a
Wikipedia è in realtà progettato per
in realtà è progettato per il benchmarking
il tuo server web in modo che tu possa scaricare
questo e si può ottenere un dump di Wikipedia
e quindi eseguire tutti questi commenti
contro il server e vedere se si blocca
o non va bene questo è ciò che è in origine
progettato per ma da un’analisi dei dati
prospettiva questa cosa è oro puro è
incredibile quello che puoi vedere in quello va bene
e sto solo per mostrarti e non il
intero insieme di dati perché l’intero dato
impostaci non so 500 gigabyte o
quasi un terabyte e mostrerò
voi i dinari della Wikipedia tedesca
e solo quelli solo la pagina è molto
richiesto ok così tutto ciò che inizia
con a Wikipedia una barra del tavolo
wiki questo è quello che mostrerò e
saranno 70 milioni di voci okay
vediamo se siamo qui, sì , sembra buono
okay, prima devi ricaricarlo
Cubana
questo è in realtà un indice diverso , quindi questo
è questo il nome dell’indice dove io
ce l’ ha e poi di nuovo dobbiamo capire
fuori dove i nostri dati sono effettivamente così andiamo
vedere dove questi dati in realtà va bene
ecco i nostri dati oops spiacenti
okay puoi ingrandire un po ‘lo zoom in a
poco più e poi abbiamo questo a
cosa simile che abbiamo visto prima
va bene
quindi abbiamo un modello settimanale apparentemente io
sosterrebbe che questo è probabilmente durante
la settimana e questo è nel weekend okay
e quindi anche pattern giornalieri in questo caso
quindi probabilmente questo è il giorno
probabilmente non giorno e probabilmente notte e
molte ragioni per cui questo è molto di più
impressionante qui che è per questo
Il log di Apache è perché questo è veramente
solo Wikipedia tedesco quindi ci aspetteremmo
sono davvero solo i tedeschi che accedono
questa roba o forse qualcuno da
un altro paese ma forse non così bene
e quindi possiamo fare domande
su questo in questo caso solo un mese
di Wikipedia in tedesco per esempio
potrei dire ok, quindi qual è stato il più
pagina popolare va bene e il titolo qui è
in realtà sbagliato, quindi quello che sto facendo qui è
Dico bene dividere le linee di più
pagina popolare in generale per settimane, quindi questo
era peggio prima aggregare tutte le pagine
in queste quattro settimane e poi dimmi
ok come sono questi come fa XS
evolvono nel tempo e c’è già
qualcosa di interessante possiamo vedere lì
va bene
forse non è così interessante il fatto
che la pagina principale è la più richiesta
pagina ma questo è interessante qui così
cos’è questo
qualcuno sa che puoi perché è così
il mio amico qui a posto quindi questo è un
terzo di ottobre che spiega in modo completo
lo snip qui va bene nessuno in Germania
fa qualcosa di diverso dalla festa così oh
forse non va bene, ma non è così
super interessante perché la pagina principale
solo rende tutto il resto invisibile
e così la seconda cosa che avrebbe probabilmente fare
è sbarazzarsi di tutti questi meta di Wikipedia
pagine come portale o dal momento che roba a
Wikipedia o era speciale o cos’è la pizza
o così quindi cerchiamo di filtrarli e il
modo in cui puoi farlo in comando come te
puoi semplicemente definire un filtro su questa riga in alto
qui è un linguaggio di query molto semplice quindi
ti dice solo ok e una pagina dovrebbe
non essere la pagina principale, la pagina non dovrebbe essere
speciale e così via e così via e poi
quello che otterresti è questo qui e questo
è un po ‘più interessante ora questo
ci dà le pagine più richieste ma
puoi anche vederne alcuni
qui va bene così questo picco qui per esempio
Voglio dire, questo è qualcosa che abbiamo visto
prima che la gente voglia sapere della giornata
della riunione tedesca qui è un picco così
questo è Heroes Héroes è un serio
dilettante che pochi sanno che questo eroe sa
va bene
e il 10 ottobre era in realtà il
prima data aerea del primo episodio di
la prima stagione di eroi in Germania
ed era il secondo episodio okay così
possono vedere questa correzione e presumo
questo è il re delle regine ma non lo ero
interessato perché non mi interessa davvero
Re delle Regine oh okay
anche questo è interessante qui okay
è Myanmar, quindi qualcuno sa perché c’è un
picco per il Myanmar
a questo punto si ok hanno avuto un
rivoluzione in questa parte e nel
la rivoluzione ha avuto il picco a questo punto
okay e puoi vedere anche questo in realtà
facilmente se guardi diversi diversi
argomenti correlati
qualcosa che è legato a questo te
può vedere okay Myanmar ha un picco cacciatore
inoltre ha un comportamento diverso
qui va bene e cipolla presto Suki è un
comportamento diverso qui e io probabilmente
dis pronuncia questo ma e sii un colpo di stato che
è un monaco buddista, va bene così erano le persone
guardando questa parola molto frequentemente
okay, questo è tutto interessante ma
c’è in realtà un altro modo in cui possiamo guardare
ai nostri dati così invece di chiederglielo
qual era la pagina più popolare e poi
trama questo nel tempo invece dimmi cosa
era la pagina più popolare al giorno quella
è secchio al primo al giorno e poi dare
io il termine più popolare per questi
le cose a posto così e ora sto solo andando a
mostra questo in una visione diversa non lo è
sarà in una vista curva perché come te
puoi immaginare se lo fai ogni giorno finisci
con molto più termini , più maledizione
e questo bene ti dirò qualsiasi cosa
Sono sguardo solo andando alla visualizzazione della tabella
qui è un’altra bella caratteristica di fantasia
questo sta venendo fuori con la bandiera chiave
okay, allora dimmi che pago agenti di
Apparentemente a settembre la pagina principale
qual è la pagina più importante, Jim
Morrison è stato richiesto qui bene questo è
questo interessante e stiamo andando a guardare
a questo in un minuto
19 settembre solo a pochi metri di pagine
20 settembre solo fatto di pagine e
così via e così via ancora non molto
interessante
tuttavia, quindi, quello che potremmo fare ora siamo noi
potrebbe fare la stessa cosa che ho spiegato
prima di andare a questa cosa qui vai a questo
scheda qui definire una query diversa che
metti fuori filtro tutte queste cose ma
c’è in realtà un modo più intelligente di fare
quello ed è invece di
facendo un termine aggregazione qui e giusto
conta le pagine popolari che potremmo chiedere
okay , non dirmi solo quanti
i documenti contengono questo termine o quanto spesso
questa pagina è stata richiesta ma dimmi come
molto più di loro è stato richiesto su
questo giorno e rispetto a tutti questi altri
giorni va bene e questo è ciò che chiamiamo a
analisi dei termini significativi in termini di
analisi quindi di nuovo lo faremmo
sulla pagina il campo della pagina e
che sarebbe poi mostrare una diversa
schema così di nuovo Jim Morrison a quanto pare
era popolare nel giorno giusto ma poi noi
vedere qualcosa di diverso che non sono in realtà anche
so come pronunciarlo e non posso
ti dico perché è stato popolare durante il giorno
o Howard Carbondale e il 19 di
Settembre c’è qualcosa di interessante
a quanto pare il 19 settembre era un
articolo interessante del giorno e it
fa un sacco di senso giusto
quanto in particolare potrebbe sembrare un po ‘
strano per te, ma poi tu quando vai
Wikipedia e consulta l’articolo del
giorno quello che troverai è questo sì
era l’ articolo del giorno e il 1959
va bene così questo da solo fa un sacco
senso si ottiene il 20 settembre del
20 settembre la spedizione ISS è stata
estinto anche l’articolo del giorno in cui sono
non sono assolutamente sicuro di sì
di roba quindi è interessante ma ora
concentriamoci su concentriamoci su Jim
Morrison okay, perché Jim Morrison
interessante sulla cosa e potrei
dirti che Jim Morrison non l’ha fatto
morire il giorno non ha avuto un compleanno
nel giorno in realtà non c’era nulla
e non era l’articolo del giorno va bene
quindi diamo un’occhiata più da vicino
quindi posso nuovamente guardare questo secchio
aggregazione quindi quante richieste di Jim
Morrison al giorno siamo lì e poi noi
ingrandirà questo su questo particolare
data okay allora torniamo al
scopri la mancia perché è qui che posso
pennello al momento non può interrogare il
l’ultimo ha e cerca solo per cercare
solo Tim Morrison e poi ingrandiamo
solo su questa particolare parte così il bit
è qui ok ora mentre torniamo al
visualizza la scheda possiamo vederla un po ‘
meglio va bene e questa è di nuovo la parte
dove la zona di pericolo inizia qui sarebbe
essere una cronologia molto impressionante che sarebbe
dirmi qualcosa su quanti
richieste a che ora del giorno va bene
e sfortunatamente e ora posso dimostrarlo
a te perché non è reso I
prometto che aprirò un problema e
lo sistemeremo ma praticamente pazzi
e questo è davvero un peccato perché il
cosa divertente qui è quello che vedresti
è che questo è in realtà 20 a 1 am in
la mattina questo è effettivamente a
qualcosa come le 10 e mezza va bene così
qualcosa è successo tra mezzo e mezzo
10:00 e 1:00 del mattino e
poi ho guardato il programma televisivo dal 2007
e comprare che e check it out c’era
in realtà quando hanno mandato in onda il film è
è sì e l’ho sentito fantastico
okay e questo è tutto solo con pochi
clic del mouse a 70 milioni di documenti
gira su questo piccolo computer con pochi mouse
i clic attendono alcuni secondi e poi tu
può capirlo e poi tutto quello che hai
fare è molto Google per capire perché
questo è in realtà un termine significativo ok
okay, quello era per il pericolo
zona in cui vengono visualizzati i siti di backup
caso sarebbe successo così così uno
cosa dovresti sapere, voglio dire, lo ero
postando un po ‘con i 70 milioni
termini e tutte queste um aggregazioni di termini
può essere economico okay
quindi se in realtà pensi di usarlo
il tuo cluster personale o addirittura eseguirlo
produzione e ci sono alcune cose voi
ho bisogno di saperlo e sto solo per poco
menziona le password sperando che tu
in seguito lo cercherò se davvero
usalo così prima è un filtro da filtrare
la cache delle query è una nuova funzionalità
uno per quello renderà più facile a
memorizzare i risultati delle query
e non eseguirli di nuovo se è giusto
la stessa query
il verme è una violenza interessante e oscura
che è un modo per non doverlo fare
carica tutto nella memoria ma solo
mappa della memoria tutto ok anche questo è
una funzionalità piuttosto nuova che dovresti
Verifichi davvero e poi e io sono solo
mettendo questo su una diapositiva perché io sono
dire a tutti senza di noi di cosa sono
parlando prima di passare alla
produzione con elasticsearch guarda questo
video c’è un video che ti dice
tutto su ciò che devi sapere
quello di cui hai bisogno per occuparti delle cose
quello potrebbe nuke il tuo cluster è tutto dentro
questo video va bene
guardalo bene così ho parlato un po ‘
sulle aggregazioni di base ma noi
in realtà abbiamo un po ‘di più così abbiamo
per esempio okay
la nostra aggregazione percentile che non lo è
ancora integrato nei bot Cubana su
aggregazione di analogie di account di roadmap
termini significativi che ho mostrato e poi
presto arriverà molto più bene
quindi stiamo pensando di aggiungere
correlazioni di derivati tra curve
per esempio questo mezzo farebbe la nostra cosa
essere fico se accadesse automaticamente
ok ma non è ancora sicuro che ci sia un
problema aperto se hai qualcosa che
vuoi assolutamente vedere in elasticsearch
un affondo Wow
sì con questo algoritmo e questi dati
Sarebbe fantastico avere il check- out
github emettere il suo numero 8110 e lasciarci
una nota e dì ok quando ho questo questo
è l’ algoritmo che mi sarei aspettato e lasciato
noi sappiamo cosa ne pensi perché questo è
davvero work in progress
ok e questo è tutto ciò che ho ottenuto
stiamo assumendo inutilmente per dire che penso
assumono tutti e poi
elasticsearch la società intendo era
parlando del software della compagnia
in realtà offrendo supporto e formazione
quindi nel caso in cui stai correndo a meno che il
produzione di sessioni sì, c’è una colonna
ok, è stato così tanto
Ho tre domande scritte
lì qualcuno voleva porre una domanda
ora così è successo quello che è successo
– hey fuochi di detenuto predefiniti è il
primi file di configurazione raffinati mi dispiace
non posso leggerlo più
Ho visto quattro serrature – tutto sì
in realtà c’è un non ci penso
è tutto sulla serratura – pagina posteriore
ci sono esempi per cui penso ci sia
sicuramente uno per Apache log um uno
cosa che è carina delle serrature come
c’è una grande comunità intorno ad esso, quindi se
tu se vai su Google un pochino lo farai
probabilmente trova un file di configurazione o un campione
file di configurazione per tutto solo perché
la comunità è così grande e scrive a
molti post su blog e offerte
tutto per il resto della comunità
quindi sì, cosa vuoi dire?
qualcosa su questo sono abbastanza sicuro
github nel registro può trib
repository ci sono anche alcuni esempi
file di configurazione anche lì
ah, va bene, grazie, va bene, come va?
tieni bloccato a destra sparsi attraverso
più host di lock: hai bisogno di un
messaggistica si si può usare un messaggio
grazie per questo
Voglio dire, questo è il modo in cui Luxus può leggere
per sempre grazie ce n’è anche un altro
cosa che si chiama le serrature il
spedizioniere, ma per favore non mi chiedono
i dettagli tecnici di quello che mi trova
più tardi allo stand ci sono io e altro
colleghi e quindi possiamo capirlo
ma sì, questa è l’ idea di base
useresti un sistema di accodamento di uno
modo o l’altro per quello va bene lo stesso
ultimo può essere utilizzato per il monitoraggio o a
divano analizzando per entrambi e così il
Lo sviluppo originale di Capano era
in realtà era un amministratore di sistema
Rashid Khan che ha pensato che dovrebbe essere
veramente facile e questo è il motivo per cui in realtà
costruito tenere su a3 ed è stato per
monitoraggio è possibile configurarlo in modo che
verrà caricato automaticamente ogni cinque
secondi su un minuto o qualcosa del genere
come questo e mi limiterò a mostrare sempre
la tua erba va bene così
avvisa anche sì ok attenzione okay così
gli avvisi al momento non lo sono al momento
puoi puoi visualizzare le tue cose
ma non ci sono avvisi automatici se
è un messaggio basato sulla scrittura di
Certo, puoi semplicemente bloccare le cose per quello
Sono appena uscito qualcosa per pagina 2d
ma non c’è niente come base
soglia nel potenziale ok ora invia
una mail perché la pressione della memoria è sopra
questa e quella è la soglia, okay, vedi
eh per il prossimo discorso e grazie
di nuovo per Britta grazie per essere venuto
tu
riguardo le serrature e il motivo per cui lo è
a proposito di serrature è che quando mi registro
questo discorso ho davvero pensato che sarei stato
parlando nella pista dell’ufficio sordi va bene
così così ho pensato ok bene ciò che è buono per a
le serrature astratte sorde sono sempre un bene
argomento okay e poi ho pensato alcuni
settimane fa che in realtà non lo sarò
parlando nell’astratto sordo ma lo farò
essere nella traccia di big data e analytics
e poi ho pensato bene, forse dovrei
cambia discorso ma forse no perché se
ti interessano i big data e
analisi allora probabilmente hai il
problema che devi ingerire
i dati in qualche modo devono trasformarlo
in qualche modo e poi lo metto da qualche altra parte
e questo è un dolore okay e questo discorso è
parlerò di come alleviare il dolore
stai bene qualche parola su chi sono, sono
uno sviluppatore principale elasticsearch e
è entrato a far parte di elasticsearch per un anno e mezzo
anni fa e sostanzialmente mi sono unito perché
tutti stanno facendo grandi dati e anche io
voluto fare grandi i dati sì che volevo
fare analisi dei dati e quali sono davvero
super interessato anche se devo
ammettere che ora sto facendo un sacco di cose
cose che elasticsearch così poco
un po ‘di tutto e una cosa che io
vorrei menzionare è se non ho
off spec round qualunque
e questo è un male a posto e questo è un male per
due ragioni per cui il primo è che sarò
toccando molti argomenti correlati in questo
parla quindi chiedi a me tutto quello che vuoi
elasticsearch se vuoi sapere
integrazione sanitaria sulla tua banconota da 100
il tester che funziona su AWS va bene, vedremo
circa sarò in grado di rispondere ok ma
c’è una seconda ragione per cui è così
davvero brutto e questo è perché
queste due cose sono interessate ai dati
analisi in particolare una grande analisi dei dati
e non avendo avendo uno sfondo ops
in realtà conflitto perché alcuni dei
maggiori dati che stiamo avendo mentendo
in questo momento e quella dieta ha bisogno
le analisi sono file di registro okay okay così
come risolviamo questo problema se lo sei
qualcuno come me e tu vuoi analizzare
Registra i piani quindi ho intenzione di dare un molto
breve introduzione al passo successivo che è
elasticsearch log stash e Gabanna in
solo un veloce sondaggio chi di voi ha mai
l’ho usato un bel po ‘e va bene così
questo sarà molto molto superficiale
introduzione ai principianti e cosa
questo è tutto okay quindi forse quelli
potrebbe solo alzare la mano potrebbe non essere
super interessato ma poi parlerò
un po ‘di analisi con
elasticsearch e poi lo farò vedere
sei Cabana per la quale ne sono usciti pochi
settimane fa e ancora non meglio che è
la parte di visualizzazione di questo insieme
impilare bene, quindi cosa succede così è
fondamentalmente tre componenti prima
componente è log stash che sarà giusto
consente di importare facilmente i dati
trasformalo e rendilo ad un altro
applicazione ha molti ingressi molti
uscite ne parlerò in un
minuto ma l’uscita che sarò
parlare di ricerca elastica il
motore di ricerca e archivio documenti e
poi una volta che hai i tuoi dati internet
e nella ricerca elastica perché elastica
la ricerca è più o meno un back-end
quello che vuoi veramente guardare al tuo
dati okay e il software che abbiamo
una ricerca elastica per quello che è chiamato
Cabana ok questo sono i tre componenti
ma prima parliamo un po ‘ di
dati così quando hai a che fare con i dati
e mi piace perdere, se si parla di
dati che arrivano sotto forma di forse
messaggi o documenti solo una unità e
contiene principalmente un testo così nel trattare
con i dati e sei davvero fortunato
allora forse si tira i dati da alcuni
una sorta di API, ad esempio, potresti tirare
per IRC o da Twitter se lo ottieni
da Twitter quello che ottieni è proprio questo
documento JSON formattato che ha tutto il
voci diverse in molte informazioni
e puoi facilmente prenderlo e metterlo
da qualche altra parte o scopri di cosa si tratta
tutto ma se non sei così fortunato
allora potresti davvero guardare
molto bene quindi diamo un’occhiata ad alcuni registri così
cosa sta succedendo su un sistema PI, quindi è il mio
sistema di blocco ora giusto quindi inizia
fuori con un timestamp qui va bene dopo
viene il nome host che ho davvero ribattezzato
il mio computer penso che ci sia un
componente che in realtà ha scritto molto in
questo caso HipChat e poi arriva un po ‘
messaggio l’ hotel e il sistema
amministratore o qualcuno che ha scritto il
software che sta effettivamente succedendo
ora va bene e questo è fondamentalmente
testo non strutturato bene così che cosa questo
sembra così se vuoi ingerire un
syslog um si sarebbe probabilmente dovuto
scrivi o di solito dovresti scrivere
un proprio piccolo strumento che analizza
il timestamp il processo il nome host
il componente e quindi forse rileva e
lo mette da qualche parte la gente ora ha
diverse applicazioni che scrivono
diversi registri e in questo discorso sarò
parlando di due set di dati, quindi sono solo
andando a mostrare un esempio di questo così uno
questo laboratorio è qui, quindi è così
diversamente non inizia con
data e ora inizia con questo numero
qui quindi questo è davvero solo un ever
aumentando l’aggiunta di ID ne viene un altro
numero in modo che possa dirmi di cosa si tratta
è anche un timestamp è UNIX
timestamp sì fantastico proprio così e poi
hai e questa è una Wikipedia
xs-large quindi questa sarebbe la richiesta
e componente Va bene così, se si desidera
passare questo anche in aggiunta alla
sizzler che abbiamo appena visto sì
giusto un’altra piccola sceneggiatura che passa
tutta questa roba, anche a destra va bene così
un altro segno di log penso che avrei questo
preparato così così chiunque altro che cosa sia
okay , una di queste voci è una
Registro Apache
okay, quindi inizia con una cosa IP
verrebbe l’identificazione dell’utente di nuovo il
timestamp la richiesta di ottenere il referrer
qui quindi abbiamo indirizzato l’utente a
questa risorsa e quindi questa è la
risorsa che è stata effettivamente richiesta
qui oops e poi arriva il vero
agente che ci ha detto qualcosa
quale browser per esempio che utente utilizza
qualsiasi altra cosa sta usando e così via e così via
avanti e come puoi immaginare intendo tale
un registro Apache ne contiene moltissimi
anche le informazioni lungo l’AP pensano
di
è possibile ottenere dalla appaiono in grado di ottenere un
l’idea da dove ciò potrebbe venir meno
sii preciso ma puoi aggiungere un accordo dove
è da te puoi sapere che tipo di bene
versioni del browser che in realtà devi
supporto sulla tua pagina web semplicemente guardando
all’agente e tutto questo ma tu ancora
dovresti ingerire tutti questi dati
okay e questo è un dolore okay e il
modo si può fare questo non è in tanto in un
in che modo bussa – bussa – in pochi
frasi è un’applicazione rubino che
ti permette di collezionare arricchire e archiviare
i dati in un modo molto semplice ed è
particolarmente progettato per i dati di grandi dimensioni
cioè se si dispone di ottenere i terabyte
di dati che stanno costantemente scorrendo dentro
okay e scalabile orizzontalmente significa come
più flussi di dati in tutto ciò che devi fare è
aggiungere più nodi e più blocchi di questo tipo
istanze e questo sarà solo in scala e
la cosa migliore è open source
è un gioco da scaricare – okay , quindi la base
idea di serrature – è che ha tre
componenti che sono completamente modulari
quindi hai un componente di input che
vorrei solo collegarmi a questa risorsa
in realtà passa il messaggio okay questo
può essere un archivio dati che può essere un
particolare file di registro può essere in realtà
qualsiasi file può essere un po ‘di monitoraggio
sistema può essere una coda come
rabbitmq tutte queste cose diverse
prendere alcuni messaggi da lì e poi a
il secondo componente è il filtro il
filtro ti permetterebbe di analizzarli
i messaggi sono per arricchirli con for
informazioni di esempio sulla GUI PE o
a proposito del programma utente come hai visto in questo
log prima di modificare questo messaggio transform
e poi lo metterò da qualche parte
altro e questo è il terzo componente
blocca ha molte uscite così puoi
scrivere in vari archivi di dati e-mail cercapersone
2d vari programmi di chat e così via e
così via e la cosa bella è
davvero modulare quindi se si desidera passare
fuori ma solo perché cambi
il tuo archivio dati non devi cambiare
l’ input nel riempimento loro realmente solo
devo cambiare l’output ok così solo a
rapido esempio su come questo aspetto del lavoro in
Pratica quindi dovrebbe cosa
scusa ok se scarichi i lucchetti – cosa
avresti capito, è solo questo tar
file okay e tutto quello che devi fare – il
le serrature sono iniziate sono solo due cose
quello è solo un pacchetto ok così è
ho appena spacchettato questa cosa e la seconda
cosa dovresti fare è che tu abbia
scrivere un piccolo file di configurazione che dice
serrature – quale componente di input che
filtra e metti effettivamente il componente di output
usare bene, guardiamo al massimo
file di configurazione semplicistico che puoi
pensaci e sarebbe così andiamo
costruire questo non è uno in questo caso , diciamo
okay e l’input è solo in piedi
quindi una volta che la lucentezza inizia, basta leggere
messaggi da standardin
sì, non farai altro che loro e poi
semplicemente emettili per metterli in risalto
quello che poteva sembrare molto interessante
ma ti sto solo mostrando
scopi di presentazione e l’unica cosa
Sto dicendo che sto cambiando anni
dammi l’output di debug così giusto così
sai cosa sta effettivamente succedendo
e questo è il punto di partenza – o lo hai
fare è dire start lock – con questo
il comando punta alla configurazione attuale
file oops e poi inizieremo e inizieremo
leggendo quello che scrivi nella parte anteriore
linea va bene così per esempio se conosco il tipo
ciao lo farà diverse cose con
questo messaggio quindi prima di tutto c’è
sta per essere un campo che viene chiamato
messaggio e che conterrà qualunque cosa
hai inserito una versione che semplicemente
era solo una cosa interna di roba finta
in modo che possiamo ignorarlo per ora
automaticamente al timestamp per te
questo è uno era questo messaggio in realtà
ricevuto e sul nome della collina in cui
la padrona di casa è stata effettivamente accettata così
questo potrebbe non essere super interessante
perché davvero ciò a cui siamo interessati
è come possiamo ottenere maggiori informazioni
per esempio questo Apache non è così
vediamo prima ok, quindi ancora una volta
mostra questo oops questo è davvero quello che
vuoi passare così quello che ti serve è
il terzo componente di cui stavo parlando
prima che questo sia questo filtro
avversario va bene così come potrebbe un filtro per
un simile blocco Apache sembra e poi
di nuovo lo farò vedere così eccoci qui
come un filtro potrebbe apparire come in realtà
amo entrare in tutti i dettagli e
spiegare tutti i diversi extra
vieni con questi filtri e come usare
loro ma io non posso se tu hai un diverso
domanda su ciò che il diverso
i filtri possono fare e che tipo di
diversi filtri che abbiamo è possibile trovare
più tardi presso lo stand elasticsearch e
chiedi a me oa uno dei miei colleghi ma per
per ora tutto ciò che devi sapere è il massimo
filtro importante per l’analisi dei file di registro
è il filtro di crock che è solo un
modo semplice per definire una sorta di regolare
espressioni e poi ne abbiamo altre due
campo per vedere quale è il campo della data ma
che se effettivamente alimenta un reale
data da una stringa sul filtro IP GU
ciò migliorerà l’IP che è stato passato
con informazioni particolari e l’utente
agente che avrà un senso di questo ugh
e file mai visto prima
okay e l’output è di nuovo inviato così
solo per mostrarti come funziona di nuovo noi
può ricominciare a toccare le serrature come abbiamo fatto noi
prima di punto ora a questo diverso
file di configurazione e quindi basta copiare e incollare
una di queste linee nel nostro standard in
e poi vedi cosa sta succedendo okay così così
ecco cosa sta effettivamente accadendo in modo che
prende questo messaggio di nuovo lo mette in a
campo che viene chiamato messaggio ma poi
questo molto di più con esso va bene Parigi è
IP rifiutato passa il timestamp cosa
in realtà Bucarest era quello che era il
Codice di stato della versione HTTP quanti byte
sono stati trasferiti chi era il referente
quale era l’agente e riguardo al
agente non solo qual è l’agente ma
anche qual è il nome dell’agente cosa
il sistema operativo era di supporto qual è il
versione maggiore e minore destra tutto il
roba interessante o per la GUI pensa
non è solo il GOP che ti dà anche
il codice paese diverso che dà
forse a volte anche un nome di città e
potrebbe anche darti un posto in zona
come l’ apprendimento della magnitudine
facciamo la longitudine che potrebbe non farlo
sii esatto ok ma se ne hai un sacco
questa risata potrebbe darti un po ‘
informazioni così e il messaggio qui è
bene non posso entrare nei dettagli
oh sì oh giusto e poi ovviamente io
significa che cerca di alimentare bene, ma se io
basta premere return non è veramente un
messaggio così loro ti diranno oh no no way
non si puo ‘fare
va bene così il messaggio qui è che hai
questi questi file di registro ne hai molti
loro e tutto quello che devi fare è scrivere
questo piccolo file di contratto che ho mostrato
prima che sia davvero molto breve e
quindi puoi ottenere tutte queste informazioni
fuori di esso va tutto bene
va bene così prima che il punto a catenella ne abbia molti
diverse uscite come l’origine dati
email e così via e così via, se vuoi
per sapere tutto su queste uscite
o ci puoi trovare allo stand o
puoi anche solo andare alle serrature –
homepage e passo controllare il
documentazione spettacolare quindi il lusso
la documentazione è straordinariamente bene
scritto penso bene quindi posso andare
c’è una lista enorme che ti dice
tutto ciò che devi sapere
tutti i diversi input e output
ok ma l’uscita parleremo
in realtà è solo elasticsearch
va bene così quando è elastica la chiesa in a
di nuovo è scritto in Java
Shaima è libero, ecco perché sono da Dino
traccia eco qui base di Jason che significa che può
ingerisci tutto ciò che entra
Jason e poi l’unica cosa e io
davvero scusa che io non ho questo
sulla diapositiva si basa sulla scena
ok, puoi pensare a quella fantastica ricerca
fondamentalmente viene distribuita la scena e
vedremo nel caso in cui non lo sapessi
è questa libreria di ricerca, questo è Apache
la libreria di ricerca va bene quindi è una ricerca
motore e proprio come le risate – lo è stato
davvero progettato per lo scrolling e
ridimensionamento orizzontale significa che se tu
archivia i tuoi documenti con elasticsearch
e sempre più flussi di dati in tutto te
è necessario aggiungere più computer
nodi di ricerca starclassic e questa volontà
scala e di nuovo è open source
portalo alla licenza okay, prendiamo un
guarda come appare Elasticsearch
di nuovo se scarichi semplicemente elasticsearch
lascia che l’ ultima volta tu abbia appena ottenuto un
verso che lontano questo è il migliore
in realtà 1.4 GHz mod ieri che io
ho dimenticato di scaricarlo quindi sarò solo
dimostrando il meglio di ciò che è anche
cool ma e proprio come prima di tutto noi
è solo dire antar e
questo è tutto
questo è tutto ciò che devi fare e poi tu
può avviare elasticsearch ora per il
scopo di questa dimostrazione ho detto
prima che gli elastici filtrino il back-end e
puoi comunicare per mangiare, per esempio
via HTTP e arricciano sì, ma non lo è
davvero bello da mostrare, quindi sono solo
andando installare una cosa per un’altra
sei così giusto per rendere più facile per voi
guarda cosa sta succedendo e basta
Marvel c’è un plug-in per
elasticsearch che ti permetterebbe di farlo
monitora elasticsearch e poi anche
è dotato di un’interfaccia utente che è bello
chiamato senso e questo lo rende facile
eseguire query contro l’ultimo
eccezione okay
La Marvel purtroppo non è gratis
anche se è libero nello sviluppo così
okay e poi di nuovo proprio come l’ultimo –
è appena iniziato con questo comando e
allora funzionerà bene così ho detto prima
E voglio solo dimostrare che questo è
effettivamente il caso e si può comunicare con esso
via KHOU quindi per esempio puoi dire okay
è davvero in esecuzione per impostazione predefinita
ascolta sulla porta 9000 207 allenandoti sì
qui va bene così ecco lo stato
il protocollo 100 è lì il nome sarà
essere sempre un supereroe Marvel
se non definisci altro, va bene
quindi in questo caso l’uomo di domani così
scusa, non ho idea di chi sia bravo
quindi questo è il sensore che ho aperto solo
a scopo dimostrativo
okay, ho detto prima solo a tutto
quello che viene nel formato JSON così per
esempio qui direbbe okay, ti do
questo documento ha solo un campo di testo
e in questo testo ciao e via
NSTIC che organizza i documenti non lo è
una sorta di unità logiche la prima
un indice e puoi a malapena pensare a un
indice come un database e quindi un tipo così
puoi riferirti a pensare a un tipo come a un tavolo
ok questo è profondo
Associazione di base quindi in questo caso io
avrebbe detto va bene io lo chiamo test indice
indice e chiamo il tipo doc e lo do
un ID dice okay ciao, dico ok
documento è lì e poi quando ero
cercalo ancora Posso eseguire a
per esempio, questa sarebbe una corrispondenza
query basta darmi tutti i documenti
che hanno ciao e il testo del campo loro
direbbe che hai usato un documento okay
se cercate saluti dire di no non c’è
nessun documento quindi questo fa parte della query
parte questo è in realtà la parte importante
che elasticsearch a meno che la ricerca
il linguaggio di query è davvero enorme
potente arriva in molti modi diversi
e non ne parlerò a
tutto così se vuoi saperne di più
ricerca elastica come funziona
è andata lì davvero buona introduzione
e ora tutto sul linguaggio di query e
tutti i diversi extra che vengono con
leggi questo libro è elastico
cerca il definito di guida dai miei due
colleghi Clinton Gormley e secondo
ritorno e questo è davvero il migliore
introduzione puoi entrare in un elastico
ricerca va tutto bene così ora siamo
in realtà pronto per ingerire questo file di registro
che ti ho mostrato prima e metterlo
in ricerca elastica quindi ora prima cosa
abbiamo bisogno di nuovo questo file di configurazione okay ma
cosa ci permette di analizzare e raccontare
ricerca elastica quindi il file del contratto
in questo caso sarebbe solo questo
oops oh yeah oh yeah ancora una volta prendiamo
dallo standard in abbiamo lo stesso
filtri che avevamo prima e l’ unico
cosa devo cambiare qui è il
l’uscita del circuito di uscita è ora
elasticsearch utilizza questo protocollo HTTP
extra non devi nemmeno aggiungere questo
linea lo sto solo aggiungendo perché lì
più avanti mostreremo Cubana per oh
e continuate a essere straniero è elasticsearch
uno prima ma blocca come per default questo
è una ricerca Penso che 1.3 un nodo così
questa è l’unica ragione per cui sto mettendo
quest’anno di solito non devi andare bene
e poi per ottenere cose in lastik
cercare di fare è solo gatto
era una legge campione e la canalizza in log
nascondilo e puntalo di nuovo verso la configurazione
file che era in questo caso questo
file di configurazione e questo è tutto e ora tutto
queste righe dal log di esempio saranno
read by log stash verrà analizzato put
in questo formato che abbiamo visto prima
convertito in un documento JSON e quindi
inviato a elasticsearch per l’indicizzazione ok
prima di guardare a questo v’è in realtà
alcune cose che dobbiamo conoscere
prima è come ho detto ricerca elastica
organizza documenti e indici e cosa
serrature – questo è per default è dice
ok basta creare un indice al giorno e
ogni volta che arriva un messaggio e questo ha
un timestamp controlla in quali giorni questo
cadrebbe e anche questo è
l’indice che questo documento sarebbe
indicizzato per ok, questo è solo un difetto
ok quindi cerchiamo di vedere se abbiamo già
qualcosa così se cerchiamo di sì c’è
alcuni documenti finora dodicimila
585 e poi siamo
può vedere che è in realtà gli stessi documenti
che abbiamo visto prima in JSON
formato e ricerca indicizzata ed elastica
e ora possiamo iniziare a fare domande
per esempio quante persone che visitano
il mio sito web utilizza Windows uh-huh cinque
mille cento no quattromila
duecento finora e quanti ne fanno
usa meno interessante quindi qual è il più
sistema operativo spesso usato che è un
domanda interessante giusta e tu
non voglio andare, voglio dire che non vuoi
per passare attraverso tutto il diverso
operazioni
sistemi raishin che sembrano ok ma
Mac e Windows e chi altro
hai invece quello che vuoi fare così
abbiamo solo il contrario quando
Dammi tutto l’operazione
sistemi che abbiamo e poi contiamo
e datemi il massimo, quindi quale
quale è stato molto spesso richiesto e
questo è ciò che chiamiamo ricerca elastica
e aggregazione di nuovo per spiegare il
dettagli della segregazione che devo
ti rimando a questo meraviglioso libro
ma non solo per un breve come funziona
tu dici okay definisci una aggregazione
dargli un nome e in questo caso lo farebbe
essere termini di aggregazione in modo che il
informazioni sul sistema operativo
per esempio lo abbiamo qui nell’utente
agente non è il nostro culo quindi dico ok solo
aggregare tutti i termini e basta usare a
user agent presso Westfield e poi conta
e poi cosa vorresti tornare?
qualcosa di simile va bene
altro non ho mai provato quell’operazione
sistema okay e poi abbiamo Windows 7
Philip Bailey bussa falso da Windows XP
e così via
okay, ci sono ovviamente più cose
che si vuole sapere si potrebbe anche
voglio sapere bene quante richieste
al giorno giusto quindi quante richieste per
giorno dovresti quindi usare un istogramma della data
si chiama data dell’istogramma di nuovo alza lo sguardo
la sintassi in questo libro meraviglioso e
poi l’ istogramma del serpente Oh vedi ok per
giorno in questo caso conta solo tutto il
documenti che mi avrebbero dato l’account
per il 24 del mio per il 25 maggio e
così via, ma potresti anche andare a
un ulteriore passo potrebbe dire okay dimmi cosa
era la richiesta più popolare per ciascuno di
in questi giorni o no, dimmi cosa è stato
la richiesta che ha causato più traffico su
oggi va bene così si finirebbe con
qualcosa di simile qui e poi posso
spiegalo, lo eseguirò così
questa è anche un’aggregazione e loro
creerebbe per me un risultato al giorno
e poi di nuovo al giorno si sarebbe diviso
questo fino alle richieste più popolari
che verrebbe quindi ordinato in base alla somma di
i morsi che sono stati effettivamente trasferiti
okay e allora possiamo dare un’occhiata a questo
e francamente se guardi che è tutto
bello che sia possibile ma è così
in realtà non molto meglio del
file di log originale che abbiamo avuto prima di me
significa così che era il più popolare
richiesta del 25 giugno nessuna idea va bene
quindi, che ci porta all’ultimo componente
che in realtà voglio parlarne
è Cubana okay che ti permetterebbe di farlo
effettivamente visualizzi tutte queste cose così
qivana di nuovo in poche parole
quindi nell’applicazione JavaScript del browser
basato su piatto angolare e t3
e parla ad Allah, quindi cerca attraverso
questa aggregazione richiede che se questo
hai appena visto prima ma te lo consente
per costruire effettivamente questa applicazione
richieste in un con una bella interfaccia utente
e poi rende anche delle belle visualizzazioni
di questi ad esempio grafici a barre o torta
grafici se tu in quello che in realtà non sono
ma sì, fino a nuovo è open source
è gratis ok quindi sì è forse
una cosa che dovrei dire a dire su
che ho detto prima è un diritto migliore
quindi questo è tutto e lo dimostrerò
ora hai intenzione di bene e bene il
la cosa è che è migliore ma l’GA è
ancora un po ‘ più lontano e nel
ultima meglio che è stato non chiarificati
solo è un migliore ma anche alcuni dei
davvero buone cose che verranno
in realtà manca in questa ultima versione così
quindi quello che ho fatto per te è che lo farò
darti una panoramica di cosa sta per fare
vieni e ho creato un piccolo Cabana
ramo per te e ci siamo appena uniti
insieme tutte le diverse richieste di pull
che mi piace è una panoramica e lo sono
scapperò da questo ramo, va bene così ora
stiamo entrando nella zona di pericolo quindi ok ok
L’ho iniziato già a destra e
in esecuzione di solito quello che si sarebbe dovuto
in realtà è di nuovo solo una scorta oscura
in elasticsearch basta scaricarlo
dalla pagina web si arriva a pungere
la tua risposta finisce e basta
iniziare come gli altri e
loro sono stati disegnati okay bene ora io sono
che va dal grugnito vediamo come questo
va bene così cerchiamo di fare ricerca
scusa tieni su un elenco predefinito FERPA su
per 5601 quando hai iniziato il primo
cose andando ci chiedono va bene così che cosa indice I
in realtà quale indice si vuole guardare
ora indicizziamo solo i file di registro e come me
detto prima che inizino con le serrature –
modello si blocca s – e fatto qualcosa
gli altri in modo Sto solo andando lasciarla qui il
di default mi durano per un nome di campo temporale
e puoi effettivamente dire ok, voglio
guarda i dati che
non ha eventi base di tempo ma per ora lo è
evento base di tempo quindi non ce ne andiamo
in questo modo, crea che la prossima cosa è
mi farai vedere bene e questo è tutto
campi che hai qui e poi c’è
tre schede che sono fondamentalmente importanti
e ne parlerò solo due
loro um
la prima è la scheda di scoperta che è giusta
una parte che ti permette di dire di capire
fuori dove i tuoi dati sono effettivamente ok così
nessun difetto di risultati è una cosa negativa
forse i miei dati sono solo un po ‘più vecchi, okay
quindi diamo uno sguardo hmm per poter dire
okay, fammi vedere cosa stava succedendo
gli ultimi 15 anni nella mia ultima sessione
malattia e poi vediamo come va bene
qualcosa è finito qui, incinta
il pentimento fu dal 2012 e così
vorrei darmi una bella panoramica su cosa
tipo di dati è così questo era giusto
aggregato a seconda di cosa
la risoluzione è e ciò che può effettivamente
rendering al giorno o, in questo caso, penso
è per 12 ore quante richieste sono arrivate
e vedi questo bello stagionale
schema qui così mi aspetterei che questo
è in realtà durante la settimana e questo è
nel fine settimana perché in un fine settimana
le persone hanno altre cose da fare allora no
visitando le pagine web va bene così questo è come
sembra e poi vi mostrerà
mostra anche tutti i diversi messaggi
per esempio qui ti darebbe un
bella panoramica di ciò che hai in questi
campi e ti mostrerà la stessa cosa
in JSON che è davvero brutto così tu
non dovrei usarlo e quindi va bene il
messaggio qui è questa è un’idea di base
darti una panoramica di ciò che è
in realtà nei dati ma se vuoi
sapere più come le cose che abbiamo appena visto
prima di quello che vuoi fare sei tu
in realtà voglio andare alla scheda di visualizzazione
e creare una visualizzazione da quello
ok ecco come sarebbe così
prima di tutto dico va bene voglio guardare
alla sessione di blocco esistono prima e
iniziamo con una barra verticale
grafico che va bene nel
cominciando essere molto poco interessante
perché in realtà solo dirmi quanti
i token sono attualmente indicizzati e quindi noi
posso aggiungere questa aggregazione che ero
parlando di prima, per esempio possiamo
dì ok
mega date istogramma sul tempo dell’asse x
gambo campo è in realtà i tipi di
campo renderlo istogramma giornaliero e poi
vediamo come questo sembra a posto e
questo è praticamente all’incirca quello che abbiamo
visto prima
in realtà mi chiedo se posso solo
si, è meglio
questo è fondamentalmente ciò che abbiamo visto prima
okay stesso modello stagionale simile ma
non molto interesse non più interessante
di quello che abbiamo visto prima così il prossimo
cosa sarà guardare è per esempio dire
ok, qual era il traffico quanti byte
sono stati effettivamente trasferiti bene così da fare
questo è possibile configurare l’ asse x confer
configurazione ixs Oh asse y
configurazione e dire che riassumere tutto
i byte al giorno va bene e questo sembra a
molto diverso e potresti notare
tutti che questo è molto diverso
da quello che abbiamo visto prima, lo faremmo
aspettarsi se il tipo di traffico di
segue lo stesso schema di a
asse generale allora questo dovrebbe essere a posto
ci aspetteremmo che questo sarebbe il caso
ma in realtà non è il caso che ci sia
qualcos’altro che succede qui sono solo
lasciandomi questo mi rende nervoso quindi il
la prossima domanda che potremmo chiedere è ok
che era la risorsa che in realtà
costare questo traffico
qual è stata la risorsa va bene così se dici
va bene dividere le barre e ordinare
per termini e per termini intendo per termini
Intendo le richieste quindi diamo un’occhiata
quello che è stato effettivamente richiesto e questo è
in realtà piuttosto interessante perché noi
può vedere qui che tutto questo traffico o
la maggior parte di questo traffico che in realtà
causato quella singola multa e ora tu
può indovinare dove è in realtà questo registro
venendo da così questo è in realtà l’ out
la vecchia pagina web di log stash va bene così
tutto questo è stato causato da questo unico file
questo è un po ‘ strano quindi la prossima cosa
potremmo voler capire va bene così
mmm
qual è l’agente che lo ha scaricato
roba era quella gente del tempo che faceva clic
sulla pagina web c’era forse a
seminario in corso a destra e tutto il
5.000 studenti che erano collegati
online sul mondo non farglielo sapere
allo stesso tempo o cosa fosse
effettivamente andando avanti , diamo un’occhiata al
Agente, sto andando bene, okay, questo è
anche piuttosto interessante quindi cosa
ci dice che è fondamentalmente tutto solo
lo chef Klein e io intendiamo quest’anno, ok
sosterrebbe che forse questo va bene
qualcuno aveva un cliente chef in esecuzione come me
ho detto che non sono una persona ops okay ma
questo qui sembra che sembra un po ‘
pesce a me va bene così la prossima domanda noi
potrebbe chiedere è ok chi lo fa magari
Posso capire un numero di telefono e chiamare
queste persone e dicono hey hai incasinato
la configurazione del tuo chef c’è a
diverso tipo di personalizzazione
possiamo effettivamente usare per questo e usare a
mappa delle tessere così mi avrebbe detto la mappa delle piastrelle
qualcosa su dove nel mondo roba
Sta succedendo Oh però come ho detto il pericolo
zona
apparentemente questo non funziona con il
risoluzione del mio schermo quindi sono terribilmente
scusa se vuoi vedere come è il momento
l’app funziona e come può darti un
meravigliosa panoramica di dove nel mondo
le persone hanno letto la tua pagina web allora
per favore trovami allo stand più tardi e
Te lo mostrerò ma qui
sfortunatamente non funzionerà è a
peccato, ma in realtà non è così male
perché sto finendo il tempo comunque
così va bene
in realtà ho detto prima che voglio mostrare
voi due set di dati ok quello era questo
Blocco Apache e l’altro era giusto
Blocco dell’accesso di Wikipedia okay quindi non posso
in realtà ti mostrano questo accesso a Wikipedia
registrarlo o indicizzarlo al volo perché è
un po ‘più grande di allora la cosa
che abbiamo appena visto, così l’ho preparato
per te va bene così comincerò
un’altra istanza di elasticsearch, quindi cosa
Ho intenzione di fare è che sto solo dicendo
dargli un sorso di un po ‘più di heap
lo spazio lo perdono è probabilmente
troppo ma meglio prevenire che curare
contro sono molte ricerche prima ma
indicò una diversa directory di dati
solo per assicurarsi che i dati che
in realtà l’ indice è caricato okay okay
mentre questo si sta avviando ho intenzione di
parla un po ‘dei dati reali
impostare quindi prima di tutto la serratura Apache
che hai visto prima, se vuoi
giocare un po ‘ma dice lock
è possibile ottenere gratuitamente su questo Web
semi clip EUCOM che è la vecchia pagina web
che in realtà ospitava i lucchetti – a quanto pare
nel 2012 e l’altro set di dati che sono
andando a mostrare che è un blocco di accesso wiki così
si può ottenere da banco Vicki – tu e
questo è un dato spettacolari set uno
di te mai visto che No Wow
okay ci sono due mesi di accesso a
Wikipedia è in realtà progettato per
in realtà è progettato per il benchmarking
il tuo server web in modo che tu possa scaricare
questo e si può ottenere un dump di Wikipedia
e quindi eseguire tutti questi commenti
contro il server e vedere se si blocca
o non va bene questo è ciò che è in origine
progettato per ma da un’analisi dei dati
prospettiva questa cosa è oro puro è
incredibile quello che puoi vedere in quello va bene
e sto solo per mostrarti e non il
intero insieme di dati perché l’intero dato
impostaci non so 500 gigabyte o
quasi un terabyte e mostrerò
voi i dinari della Wikipedia tedesca
e solo quelli solo la pagina è molto
richiesto ok così tutto ciò che inizia
con a Wikipedia una barra del tavolo
wiki questo è quello che mostrerò e
saranno 70 milioni di voci okay
vediamo se siamo qui, sì , sembra buono
okay, prima devi ricaricarlo
Cubana
questo è in realtà un indice diverso , quindi questo
è questo il nome dell’indice dove io
ce l’ ha e poi di nuovo dobbiamo capire
fuori dove i nostri dati sono effettivamente così andiamo
vedere dove questi dati in realtà va bene
ecco i nostri dati oops spiacenti
okay puoi ingrandire un po ‘lo zoom in a
poco più e poi abbiamo questo a
cosa simile che abbiamo visto prima
va bene
quindi abbiamo un modello settimanale apparentemente io
sosterrebbe che questo è probabilmente durante
la settimana e questo è nel weekend okay
e quindi anche pattern giornalieri in questo caso
quindi probabilmente questo è il giorno
probabilmente non giorno e probabilmente notte e
molte ragioni per cui questo è molto di più
impressionante qui che è per questo
Il log di Apache è perché questo è veramente
solo Wikipedia tedesco quindi ci aspetteremmo
sono davvero solo i tedeschi che accedono
questa roba o forse qualcuno da
un altro paese ma forse non così bene
e quindi possiamo fare domande
su questo in questo caso solo un mese
di Wikipedia in tedesco per esempio
potrei dire ok, quindi qual è stato il più
pagina popolare va bene e il titolo qui è
in realtà sbagliato, quindi quello che sto facendo qui è
Dico bene dividere le linee di più
pagina popolare in generale per settimane, quindi questo
era peggio prima aggregare tutte le pagine
in queste quattro settimane e poi dimmi
ok come sono questi come fa XS
evolvono nel tempo e c’è già
qualcosa di interessante possiamo vedere lì
va bene
forse non è così interessante il fatto
che la pagina principale è la più richiesta
pagina ma questo è interessante qui così
cos’è questo
qualcuno sa che puoi perché è così
il mio amico qui a posto quindi questo è un
terzo di ottobre che spiega in modo completo
lo snip qui va bene nessuno in Germania
fa qualcosa di diverso dalla festa così oh
forse non va bene, ma non è così
super interessante perché la pagina principale
solo rende tutto il resto invisibile
e così la seconda cosa che avrebbe probabilmente fare
è sbarazzarsi di tutti questi meta di Wikipedia
pagine come portale o dal momento che roba a
Wikipedia o era speciale o cos’è la pizza
o così quindi cerchiamo di filtrarli e il
modo in cui puoi farlo in comando come te
puoi semplicemente definire un filtro su questa riga in alto
qui è un linguaggio di query molto semplice quindi
ti dice solo ok e una pagina dovrebbe
non essere la pagina principale, la pagina non dovrebbe essere
speciale e così via e così via e poi
quello che otterresti è questo qui e questo
è un po ‘più interessante ora questo
ci dà le pagine più richieste ma
puoi anche vederne alcuni
qui va bene così questo picco qui per esempio
Voglio dire, questo è qualcosa che abbiamo visto
prima che la gente voglia sapere della giornata
della riunione tedesca qui è un picco così
questo è Heroes Héroes è un serio
dilettante che pochi sanno che questo eroe sa
va bene
e il 10 ottobre era in realtà il
prima data aerea del primo episodio di
la prima stagione di eroi in Germania
ed era il secondo episodio okay così
possono vedere questa correzione e presumo
questo è il re delle regine ma non lo ero
interessato perché non mi interessa davvero
Re delle Regine oh okay
anche questo è interessante qui okay
è Myanmar, quindi qualcuno sa perché c’è un
picco per il Myanmar
a questo punto si ok hanno avuto un
rivoluzione in questa parte e nel
la rivoluzione ha avuto il picco a questo punto
okay e puoi vedere anche questo in realtà
facilmente se guardi diversi diversi
argomenti correlati
qualcosa che è legato a questo te
può vedere okay Myanmar ha un picco cacciatore
inoltre ha un comportamento diverso
qui va bene e cipolla presto Suki è un
comportamento diverso qui e io probabilmente
dis pronuncia questo ma e sii un colpo di stato che
è un monaco buddista, va bene così erano le persone
guardando questa parola molto frequentemente
okay, questo è tutto interessante ma
c’è in realtà un altro modo in cui possiamo guardare
ai nostri dati così invece di chiederglielo
qual era la pagina più popolare e poi
trama questo nel tempo invece dimmi cosa
era la pagina più popolare al giorno quella
è secchio al primo al giorno e poi dare
io il termine più popolare per questi
le cose a posto così e ora sto solo andando a
mostra questo in una visione diversa non lo è
sarà in una vista curva perché come te
puoi immaginare se lo fai ogni giorno finisci
con molto più termini , più maledizione
e questo bene ti dirò qualsiasi cosa
Sono sguardo solo andando alla visualizzazione della tabella
qui è un’altra bella caratteristica di fantasia
questo sta venendo fuori con la bandiera chiave
okay, allora dimmi che pago agenti di
Apparentemente a settembre la pagina principale
qual è la pagina più importante, Jim
Morrison è stato richiesto qui bene questo è
questo interessante e stiamo andando a guardare
a questo in un minuto
19 settembre solo a pochi metri di pagine
20 settembre solo fatto di pagine e
così via e così via ancora non molto
interessante
tuttavia, quindi, quello che potremmo fare ora siamo noi
potrebbe fare la stessa cosa che ho spiegato
prima di andare a questa cosa qui vai a questo
scheda qui definire una query diversa che
metti fuori filtro tutte queste cose ma
c’è in realtà un modo più intelligente di fare
quello ed è invece di
facendo un termine aggregazione qui e giusto
conta le pagine popolari che potremmo chiedere
okay , non dirmi solo quanti
i documenti contengono questo termine o quanto spesso
questa pagina è stata richiesta ma dimmi come
molto più di loro è stato richiesto su
questo giorno e rispetto a tutti questi altri
giorni va bene e questo è ciò che chiamiamo a
analisi dei termini significativi in termini di
analisi quindi di nuovo lo faremmo
sulla pagina il campo della pagina e
che sarebbe poi mostrare una diversa
schema così di nuovo Jim Morrison a quanto pare
era popolare nel giorno giusto ma poi noi
vedere qualcosa di diverso che non sono in realtà anche
so come pronunciarlo e non posso
ti dico perché è stato popolare durante il giorno
o Howard Carbondale e il 19 di
Settembre c’è qualcosa di interessante
a quanto pare il 19 settembre era un
articolo interessante del giorno e it
fa un sacco di senso giusto
quanto in particolare potrebbe sembrare un po ‘
strano per te, ma poi tu quando vai
Wikipedia e consulta l’articolo del
giorno quello che troverai è questo sì
era l’ articolo del giorno e il 1959
va bene così questo da solo fa un sacco
senso si ottiene il 20 settembre del
20 settembre la spedizione ISS è stata
estinto anche l’articolo del giorno in cui sono
non sono assolutamente sicuro di sì
di roba quindi è interessante ma ora
concentriamoci su concentriamoci su Jim
Morrison okay, perché Jim Morrison
interessante sulla cosa e potrei
dirti che Jim Morrison non l’ha fatto
morire il giorno non ha avuto un compleanno
nel giorno in realtà non c’era nulla
e non era l’articolo del giorno va bene
quindi diamo un’occhiata più da vicino
quindi posso nuovamente guardare questo secchio
aggregazione quindi quante richieste di Jim
Morrison al giorno siamo lì e poi noi
ingrandirà questo su questo particolare
data okay allora torniamo al
scopri la mancia perché è qui che posso
pennello al momento non può interrogare il
l’ultimo ha e cerca solo per cercare
solo Tim Morrison e poi ingrandiamo
solo su questa particolare parte così il bit
è qui ok ora mentre torniamo al
visualizza la scheda possiamo vederla un po ‘
meglio va bene e questa è di nuovo la parte
dove la zona di pericolo inizia qui sarebbe
essere una cronologia molto impressionante che sarebbe
dirmi qualcosa su quanti
richieste a che ora del giorno va bene
e sfortunatamente e ora posso dimostrarlo
a te perché non è reso I
prometto che aprirò un problema e
lo sistemeremo ma praticamente pazzi
e questo è davvero un peccato perché il
cosa divertente qui è quello che vedresti
è che questo è in realtà 20 a 1 am in
la mattina questo è effettivamente a
qualcosa come le 10 e mezza va bene così
qualcosa è successo tra mezzo e mezzo
10:00 e 1:00 del mattino e
poi ho guardato il programma televisivo dal 2007
e comprare che e check it out c’era
in realtà quando hanno mandato in onda il film è
è sì e l’ho sentito fantastico
okay e questo è tutto solo con pochi
clic del mouse a 70 milioni di documenti
gira su questo piccolo computer con pochi mouse
i clic attendono alcuni secondi e poi tu
può capirlo e poi tutto quello che hai
fare è molto Google per capire perché
questo è in realtà un termine significativo ok
okay, quello era per il pericolo
zona in cui vengono visualizzati i siti di backup
caso sarebbe successo così così uno
cosa dovresti sapere, voglio dire, lo ero
postando un po ‘con i 70 milioni
termini e tutte queste um aggregazioni di termini
può essere economico okay
quindi se in realtà pensi di usarlo
il tuo cluster personale o addirittura eseguirlo
produzione e ci sono alcune cose voi
ho bisogno di saperlo e sto solo per poco
menziona le password sperando che tu
in seguito lo cercherò se davvero
usalo così prima è un filtro da filtrare
la cache delle query è una nuova funzionalità
uno per quello renderà più facile a
memorizzare i risultati delle query
e non eseguirli di nuovo se è giusto
la stessa query
il verme è una violenza interessante e oscura
che è un modo per non doverlo fare
carica tutto nella memoria ma solo
mappa della memoria tutto ok anche questo è
una funzionalità piuttosto nuova che dovresti
Verifichi davvero e poi e io sono solo
mettendo questo su una diapositiva perché io sono
dire a tutti senza di noi di cosa sono
parlando prima di passare alla
produzione con elasticsearch guarda questo
video c’è un video che ti dice
tutto su ciò che devi sapere
quello di cui hai bisogno per occuparti delle cose
quello potrebbe nuke il tuo cluster è tutto dentro
questo video va bene
guardalo bene così ho parlato un po ‘
sulle aggregazioni di base ma noi
in realtà abbiamo un po ‘di più così abbiamo
per esempio okay
la nostra aggregazione percentile che non lo è
ancora integrato nei bot Cubana su
aggregazione di analogie di account di roadmap
termini significativi che ho mostrato e poi
presto arriverà molto più bene
quindi stiamo pensando di aggiungere
correlazioni di derivati tra curve
per esempio questo mezzo farebbe la nostra cosa
essere fico se accadesse automaticamente
ok ma non è ancora sicuro che ci sia un
problema aperto se hai qualcosa che
vuoi assolutamente vedere in elasticsearch
un affondo Wow
sì con questo algoritmo e questi dati
Sarebbe fantastico avere il check- out
github emettere il suo numero 8110 e lasciarci
una nota e dì ok quando ho questo questo
è l’ algoritmo che mi sarei aspettato e lasciato
noi sappiamo cosa ne pensi perché questo è
davvero work in progress
ok e questo è tutto ciò che ho ottenuto
stiamo assumendo inutilmente per dire che penso
assumono tutti e poi
elasticsearch la società intendo era
parlando del software della compagnia
in realtà offrendo supporto e formazione
quindi nel caso in cui stai correndo a meno che il
produzione di sessioni sì, c’è una colonna
ok, è stato così tanto
Ho tre domande scritte
lì qualcuno voleva porre una domanda
ora così è successo quello che è successo
– hey fuochi di detenuto predefiniti è il
primi file di configurazione raffinati mi dispiace
non posso leggerlo più
Ho visto quattro serrature – tutto sì
in realtà c’è un non ci penso
è tutto sulla serratura – pagina posteriore
ci sono esempi per cui penso ci sia
sicuramente uno per Apache log um uno
cosa che è carina delle serrature come
c’è una grande comunità intorno ad esso, quindi se
tu se vai su Google un pochino lo farai
probabilmente trova un file di configurazione o un campione
file di configurazione per tutto solo perché
la comunità è così grande e scrive a
molti post su blog e offerte
tutto per il resto della comunità
quindi sì, cosa vuoi dire?
qualcosa su questo sono abbastanza sicuro
github nel registro può trib
repository ci sono anche alcuni esempi
file di configurazione anche lì
ah, va bene, grazie, va bene, come va?
tieni bloccato a destra sparsi attraverso
più host di lock: hai bisogno di un
messaggistica si si può usare un messaggio
grazie per questo
Voglio dire, questo è il modo in cui Luxus può leggere
per sempre grazie ce n’è anche un altro
cosa che si chiama le serrature il
spedizioniere, ma per favore non mi chiedono
i dettagli tecnici di quello che mi trova
più tardi allo stand ci sono io e altro
colleghi e quindi possiamo capirlo
ma sì, questa è l’ idea di base
useresti un sistema di accodamento di uno
modo o l’altro per quello va bene lo stesso
ultimo può essere utilizzato per il monitoraggio o a
divano analizzando per entrambi e così il
Lo sviluppo originale di Capano era
in realtà era un amministratore di sistema
Rashid Khan che ha pensato che dovrebbe essere
veramente facile e questo è il motivo per cui in realtà
costruito tenere su a3 ed è stato per
monitoraggio è possibile configurarlo in modo che
verrà caricato automaticamente ogni cinque
secondi su un minuto o qualcosa del genere
come questo e mi limiterò a mostrare sempre
la tua erba va bene così
avvisa anche sì ok attenzione okay così
gli avvisi al momento non lo sono al momento
puoi puoi visualizzare le tue cose
ma non ci sono avvisi automatici se
è un messaggio basato sulla scrittura di
Certo, puoi semplicemente bloccare le cose per quello
Sono appena uscito qualcosa per pagina 2d
ma non c’è niente come base
soglia nel potenziale ok ora invia
una mail perché la pressione della memoria è sopra
questa e quella è la soglia, okay, vedi
eh per il prossimo discorso e grazie
di nuovo per Britta grazie per essere venuto
tu
Please follow and like us: