microfono ok bene così sì come
Leslie ha detto che siamo qui per parlare
Cabana in particolare voglio darti un
un po ‘di storia di come mai
deve essere dove è dove è ora
e tipo di dove stiamo andando con esso
solo molto veloce, quindi so quanti
la gente ha usato gabadha nella stanza
prima d’ora quante persone erano al
elasticsearch si incontrano l’altra sera
probabilmente puoi andartene se vuoi cuz
è esattamente uguale allo stesso modo in cui l’ho fatto io
non voglio annoiarvi qui oh, va bene così
no biggie va bene così così a metà
la stanza ha già usato la cabana
che è grande ma per quelli
non lasciarmi dare un’idea di cosa
è e come è arrivato qui kabana è un
applicazione per scavare nei dati che ho usato
essere specificamente per i dati delle serie temporali
ma ora ci occupiamo solo di
tutto è stato creato perché lo ero
lavorando a una catena di giornali nel
Stati Uniti ed era questa società che possedeva un
un sacco di giornali che conosco tutti
piace pensare alla nostra piccola città natale
giornale come un gruppo di persone dentro
una piccola stanza che scavava sporcizia su cosa
non che non fosse questa compagnia che avevano
decine di giornali attraverso noi come
puoi immaginare ci sono due cose in
l’industria dei giornali adesso a
nessuno legge i giornali e B quando tu
leggerli li leggi sul
Internet e così questa azienda ha generato
una quantità enorme di traffico web molto
più di quanto penseresti queste cose
tendeva a venire da te sai tipo
fonti di riferimento e non abbiamo avuto tendenza
ottenere un sacco di traffico diretto ma
tuttavia abbiamo avuto un sacco di traffico uh
ed era un traffico molto pungente
come nessuno va e legge ogni singolo
notizie ogni giorno solo perché
vogliono sapere tutto su cosa
i giornalisti pensano di leggere qualcosa
perché è interessante che lo leggano
perché i loro amici hanno detto qualcosa
ne
e sono finiti lì e loro
finì lì in una volta e così eravamo
costantemente avendo a che fare con questo e
probabilmente sei come oh, tu sei il tuo
infrastruttura per affrontare è
probabilmente fantastico non è stato bello
costantemente avuto problemi e non abbiamo avuto
idea di cosa fossero perché questo era
anni e anni fa, quando ci sono davvero
non era niente di eccezionale, specialmente nel
spazio open source per capire cosa
stava succedendo nei log giusto così abbiamo avuto
queste sono come raccolte di script di shell
e poi erano su un wiki e solo
il coglione che ho scritto loro sapeva come
hanno funzionato che nessun altro li abbia mai usati
e metà del motivo per cui non li hanno mai usati
è perché quando sono andati a prendere
a loro avevamo cambiato il formato del registro
era comunque scaduto e loro no
lavoro più così ho sempre avuto
per scriverne di nuovi e mi sono stancato di
scrivendoli così ho scritto Kabana in modo che io
potrebbe smettere di scrivere script di shell così
è da lì che è venuto dal vero
persone veloci che hanno usato Cabana hanno
versione utilizzata per la versione corrente
molto veloce qualche versione usata 32 va bene
dolce add 1 non lo chiederò nemmeno
perché so che nessuno lo ha usato anche se
c’era qualcuno al meetup il
altra notte che aveva che era molto
impressionante va bene così la maggior parte del Papa
la gente nella stanza ne ha usati tre così
quando siamo andati a costruire per quello che volevamo
prendere le migliori caratteristiche di tre e fare
tutto un po ‘meglio e così noi
guardato attraverso tre e dovevamo
identificare bene ciò che è buono ciò che potrebbe essere
meglio e cosa potrebbe essere molto meglio così
abbiamo studiato bene come stanno le persone
Cabana in questi giorni ora il primo modo in cui
lo userei era ovviamente per la scoperta
stavano cercando tra i registri o alcuni
altro tipo di dati per il rilevamento dei dati
era quello che era tutto come va bene noi
dobbiamo renderlo migliore che dobbiamo fare
il tutto funziona meglio se noi
voglio una migliore scoperta dei dati il primo
il passo in avanti è ottenere le risposte
più veloce in modo che possiamo fare l’interfaccia
meglio sì e possiamo fare il tutto
la cosa è semplicemente più veloce
le cose semplici sono più facili una volta che sono più facili
renderli più veloce che era veramente
importante l’altra cosa che abbiamo visto
quando noi quando Cabana tre era stato fuori
per
un po ‘questo era qualcosa che noi
non era necessariamente previsto era quello
le persone non stavano solo usando Kabana loro
stavano costruendo cose nuove con Cabana
che è stato incredibilmente bello per noi
quando ho costruito la prima volta, sono arrivato 23 anni
okay, ho bisogno di una specie di dashboarding
piattaforma voglio essere in grado di fare un po ‘
alcune visualizzazioni e alcuni grafici
di cose si scopre che la gente ha visto molto
di promessa in questo e perché siamo
open source hanno iniziato a scavare nel
codice e hanno detto bene se lui può fare
cosa posso fare ed ed erano
completamente giusto e spesso potevano farlo
è meglio così , così loro
ha iniziato a costruire nuove applicazioni in cima
di Cabana hanno iniziato ad aggiungere nuovi
visualizzazioni hanno iniziato anche aggiungendo
un nuovo modo di fare domande o come va bene
quindi quello che ne ricaviamo è gente
voglio davvero flessibilità in cavada così
quando andiamo a costruire Kabana per let’s
costruiscilo in un modo che permetta loro di avere
quella flessibilità senza doverlo fare
hackerarlo così quelli erano i migliori
core ma la più grande differenza noi
voluto fare era nella scoperta cabana 3
è stato costruito con ciò che Elasticsearch ha avuto
il tempo e ciò che Elasticsearch ha avuto
il tempo era sfaccettato, ho tutti qui
tutti qui sono abbastanza familiari
ricerca elastica sfaccetta un sacco di teste
annuendo non vedo alcun tremito okay
comunque le sfaccettature di faccette sono fondamentalmente a
modo di aggregare i dati per quelli che
non sono familiari, quindi trovami la parte superiore
5 di qualcosa o prendermi la media di
un po ‘di campo e in particolare quello prima
cosa che era il termine facet e poi
c’era quest’altra cosa chiamata il
aspetto delle statistiche e se ricordi in
cabana 3 queste cose erano abbastanza facili
per fare c’era un pannello che poteva trattare
con i termini e metterli su un grafico a barre
o qualcosa del genere e poi c’era un pannello
quello potrebbe occuparsi delle statistiche e sarebbe
mostra il minimo / massimo e una media e
non so cosa e questo era perché
è tipo mappato direttamente a questi
concetti di ricerca elastici il problema era
è che le faccette non erano molto flessibili così
Ricordo che ho detto che avevamo quei termini veloci
e quella statistica sfaccetta bene qualcuno
una volta deciso che va bene ho trovato il
prime cinque richieste al mio sito sarebbe
super utile se sapessi quale sia la media
il tempo di caricare ognuno di questi era e
qualcuno ha detto che non possiamo davvero farlo
elasticsearch adesso puoi averne uno
rispondi o puoi avere l’altra risposta
sceglierne uno e qualcuno ha detto bene, guarda io
ho bisogno di farlo molto non posso farlo con
round trip molto quindi cosa ha avuto
è successo è stato qualcuno copia e incollato
un sacco di codice fuori dai termini
fissato e poi un intero gruppo di
le mode e hanno creato questa cosa
chiamato termini sfaccettatura stats facet
super posso vedere come risponderà
ogni domanda quindi quando siamo andati a
costruisci elasticsearch 1 punto 0 diciamo oh
Va bene che quella faccetta non è così
davvero lavorando e cuci l’elastico
il team di ricerca ha creato qualcosa chiamato
aggregazioni e aggregazioni
fondamentalmente fanno le stesse identiche cose
sfaccettature ma in un modo molto componibile
che ovviamente mi ha davvero emozionato
su come realizzare visualizzazioni compositive in
cabana quindi quando abbiamo iniziato a vedere come
potremmo migliorare il concetto di
scoperta abbiamo preso quel tipo di livello di
componibilità e quei passaggi per risolvere
un problema quando qualcuno dice che ho bisogno del
Top five o anche diamine ho solo bisogno di questo
una cosa e abbiamo detto come possiamo rompere
che giù in passaggi che hanno senso per
risolvere un problema quindi passo uno di risolvere
un problema è spesso molto molto
unidimensionale hai un bel po ‘
idea di forse quello che stai cercando
forse pensi di sapere cosa sei
cercando specificamente sei giusto
cercando una cosa giusta sai
okay ho bisogno di andare ai miei registri e ho bisogno
per trovare quel login ssh fallito e così tu
vai lì e lo trovi e qualche volta
questo è tutto ciò di cui hai bisogno, ma forse finisci
con un gruppo di loro forse finisci
con quattro di loro se finisci con un cinque
di loro forse finisci con quattro o
cinquecentomila di loro quando
ne hai solo uno o l’hai
ne ho solo quattro o cinque , non è così
davvero così grande di un affare proprio così
se salto alla scheda di scoperta di
Cabana e ho intenzione di saltare nel mio
gli utenti indicizzano qui e si liberano di una coppia
campi inutili che non sono effettivamente in
lì io così finisco con qualcosa di simile
questo diritto e il
è davvero un tipo di vista familiare
fondamentalmente solo una lista di cose che sono
nell’indice dei miei utenti è davvero facile
trovare cose lì ovviamente ho appena avuto
una piccola ricerca qui e io sono
andando a cercare l’utente di notizie JPL
e sicuramente posso trovare quell’utente e questo
è una sorta di modo unidimensionale di
trovando le cose lì è là è il
documento che stavo cercando e anche se io
voglio trovare quello che era l’utente
farlo è ancora abbastanza facile, se
ho un registro di tutto questo utente
è ancora molto facile trovarlo
se mi piacesse saltare nei miei Stati Uniti
indice gov dal modo in cui il set di dati sono
trattare con il governo degli Stati Uniti
fare clic su streaming ogni volta che qualcuno
genera un collegamento con un governo degli Stati Uniti
sito Web che pubblica su Internet
socket a cui è possibile connettersi e e
log se vuoi II è stato abbastanza fortunato
che qualcun altro l’aveva già fatto
e ne ha fatto un bel archivio per loro
me perché è una fonte pronta di molto
dati di registrazione reali comunque così ora posso
vedere tutto ciò che è l’utente delle notizie JPL
facendo tutto fino all’ultimo illeggibile
Non ho praticamente idea
ciò che questo utente sta facendo è sicuro di poter vedere a
poche cose lì dentro, tipo oh loro
fatto qualcosa il 12 maggio e loro
stavo usando il nuovo utente di z sleuth del collegamento
agente è molto difficile da leggere, intendo
anche se ho fatto qualcosa di simile aveva tempo
e ha controllato dove stavano andando
questo è ancora difficile da leggere anche
se ordino questo per ora, è fermo
difficile da leggere questo è fondamentalmente solo registri
Non sto davvero facendo nulla
sensibilmente meglio di grep in questo
punto è solo che posso vedere che oltre il
l’ultima volta che sono stati attivi è forse giugno
trentesimo o qualcosa così può essere
utile per casi limitati proprio quando sono
solo facendo ricerca e so davvero cosa
Sto già cercando e non ho bisogno
a
vedere schemi in tutto ciò che non conosco
tu ma io non sono super bravo solo
guardando in basso una lista di cose e
trovare schemi in modo che ne abbiamo davvero bisogno
un’altra dimensione da guardare
essenzialmente qui, non voglio solo
per vedere questo come scattershot di cose
giusto voglio vedere un po ‘di più
dimensione ad esso voglio vedere le cose
col passare del tempo voglio vedere il flusso e riflusso
dei miei dati cosa stava facendo quell’utente o
cosa stavano facendo gli altri utenti o forse io
non so nemmeno quale utente sto cercando
per bene sapevo che stavo guardando
per l’utente di notizie JPL lì perché io
sinceramente non lo so, sono solo una specie di
ne ho preso uno e se non sapessi cosa
l’ utente più attivo sul mio sito è stato
è l’utente delle notizie JPL dal modo in cui non lo faccio
in realtà so che sarebbe terribilmente
utile se avessi un grafico o qualcosa del genere
per aiutarmi a capirlo se potessi
trova gli utenti migliori quindi, naturalmente, dai
è bravo a fare entrambe queste cose
e Kabana tre era bravo a fare entrambe le cose
di queste cose al reddito prima di noi
ha detto hey che ha bisogno di vederlo
flusso e riflusso di cose che è comune
abbastanza che valga la pena di lanciare a
grafico nella parte superiore dello schermo ogni
tempo qualcuno ha a che fare con i dati temporali
hai a che fare con i dati temporali che desideri
per sapere quando è successo e vuoi farlo
sapere quanta parte è successo, mettilo
in alto lì e così abbiamo fatto e noi
anche aggiunto la colonna del tempo per impostazione predefinita se
ti capita di averne a che fare quindi lo farò
lascia cadere quell’altra colonna di timestamp che avevo
aggiunto in precedenza e così possiamo andare
vedere un grande picco nell’utente di notizie JPL ma
ovviamente a questo punto potremmo andare e
guarda un sacco di altri dati a
perché abbiamo un grafico che ci aiuta
capire quando sono andate le cose che dicono
che dire se volessi risolvere il
altro problema e se volessi vedere
quali sono i miei utenti più famosi proprio io
potrei sedermi qui e potrei digitare ogni
possibile utente e sedersi e registrare
sai quale era ma che sarebbe
essere una grande perdita di tempo quindi invece sono
andando a cadere in questo piccolo campo
elenco qui e sto solo andando a
visualizzare rapidamente i miei utenti popolari ok
quindi ci sono i miei utenti popolari oh e così
risulta che l’utente di notizie JPL
in realtà è uno dei miei come i primi cinque
utenti
ma c’è un piccolo problema con dove siamo noi
finito qui quando eravamo di nuovo sulla
altro schermo potremmo capire il riflusso
e flusso nel tempo dei nostri dati quando r on
questo grafico posso capire in questo
l’intero lasso di tempo a cui capita
essere gli ultimi due anni al momento io
capire chi erano i miei migliori utenti
negli ultimi due anni ma ora non lo so
quando è successo non so quando loro
erano attivi che è una specie di problema
per me voglio essere in grado di capire
perché l’utente di notizie JPL è popolare come ha fatto
loro arrivano li sai di che tipo
di cose che pubblicano e quindi ho bisogno di a
modo di fondere questo grafico con quello
altro e se pensiamo a questo come
dimensioni possiamo pensare all’idea
che abbiamo essenzialmente due dimensioni
qui a destra abbiamo quante cose il
l’utente ha fatto e chi li ha fatti prima di noi
sai che ore sono e cosa?
è successo in quel momento quindi ho bisogno di un modo per
mescolare questi insieme posso farlo su un bar
grafico ma non ho intenzione di farlo
torna alle nuove visualizzazioni
sezione posso o semplicemente fare clic sul nuovo
cosa di visualizzazione o posso leccare
sulla scheda di visualizzazione in alto qui così
Ho intenzione di inserire un grafico a linee e
Lo faccio da una nuova ricerca e lo sono
andando a scegliere il mio indice del governo USA e io sono
otterrà una grande distesa bianca di
nulla che in realtà non è totalmente
vero, effettivamente ho qualcosa su
lì ho quel piccolo piccolo verde
punto giusto in mezzo alla cima
lì quello che fondamentalmente dice solo hey guarda
c’è come quattrocentocinquanta
mille cose qui dentro non lo so
quello che vuoi che faccia con loro questo è
tutto quello che so davvero di questo indice così
a meno che tu non mi dica che hai bisogno di qualcosa
altrimenti ho intenzione di darti così siamo
ad una dimensione ora aggiungiamo un’altra
uno ho intenzione di aggiungere un asse x in questo momento
tutto quello che stiamo rappresentando è tutto sul
asse x, quindi ho intenzione di aggiungere una data
istogramma va bene così ora abbiamo a
grafico che è molto simile a quella barra
grafico che avevamo prima sul ritorno
scopri schermo è un it’s a
abbiamo lo stesso grande picco che
l’avevamo visto su quell’altro, ma ora
lo abbiamo messo in fila per lui e per il mio obiettivo
venire qui era che volevo fondere
quella dimensione utente con il tempo
dimensione quindi come potrei fare così bene io
potrebbe semplicemente mostrare lo stesso grafico proprio così
Potrei forse aggiungere un altro
accesso a questo ma che davvero non lo farebbe
fare molto per me sì, sarei in grado di vedere
chi erano gli utenti popolari, ma io
non sarebbe in grado di vedere a che ora
hanno fatto cose che potrei aggiungere una simile
cadetto è la dimensione Z, giusto così
ottenuto atto se hai X e hai Y
e poi uno dei più popolari
cose quando stai cercando di sapere
creare un’altra dimensione è come la gente
mi piace lanciare un’altra dimensione a te
Non sono un grande fan della tridimensionalità
i grafici in generale II non generalmente
credere che le cose dovrebbero saltare fuori
schermo non ho una TV 3D e non lo faccio
molta cura per i film in 3d perché tu
non posso ottenere le cose giuste che hai
ho questo grafico ma non lo sai
le cose più piccole sono sempre in corso
essere al fronte e le cose più grandi
dietro significa che c’è
cose che si perdono e non puoi vedere
loro quindi preferirei avere il grafico
saltare fuori dallo schermo per il terzo
dimensione preferirei piuttosto scegliere
una migliore dimensione che e ho intenzione di
quindi adesso se guardiamo alla vista
dimensioni di questo sì possiamo andare con
lunghezza e larghezza ma una dell’altra
le dimensioni qui diventano il colore
e in questo momento rappresentiamo solo
tutto è verde perché è
piacevole e rilassante e mi ricorda
alberi ma potremmo probabilmente dargli di più
Significa che quindi lasciamolo
linea verde in più righe così sono
andando ad aggiungere sotto-bucket e vedrai
in un minuto perché sono sotto secchi, lo sono
andando a dividere queste righe e io sono
intenzione di utilizzare termini di ricerca elastici
aggregazione per fare questo e ho intenzione di farlo
fai questo sul mio campo utente quindi dammi il
i primi cinque utenti nel tempo e lo farò
premi invio che è molto più di cinque così
come puoi vedere qui di sicuro
ho appena chiesto cinque utenti ma perché l’ ho fatto
avere un sacco di più di cinque così quelli
di voi familiari con la ricerca elastica
le aggregazioni potrebbero effettivamente capire
cosa è appena successo
quello che è successo è sì, ho chiesto di essere il migliore
cinque però li ho richiesti come a
fattore del tempo e così quando
elasticsearch è stato detto bene
mi ha chiesto tempo e questo è stato il primo
cosa mi hai chiesto e poi tu
mi ha chiesto per gli utenti in quel momento
mentre avevo analizzato il tuo set di dati
per te e io l’avevo rotto a questi
secchi in questo caso l’ho rotto
nei secchi settimanali e così quando tu
mi ha chiesto per gli utenti che ho detto bene in ciascuno
una di queste settimane qual è il più
utente popolare così è andato e ha trovato il
i primi cinque utenti in ogni settimana, ovviamente
che cambia di settimana in settimana e così
Le cabanas nuove sono andate bene, me l’hai detto
un sacco di utenti erano popolari qui
loro sono e qui loro sono per settimana e
mi hai detto chi era popolare in ogni settimana
non è necessariamente ciò che voglio
questo caso se guardi veramente il
richiesta di ricerca elastica possibile
capisci come è saltato questo passato
è molto vagamente familiare con l’elastico
richieste di ricerca e come funzionano di più
o meno ish che annuiscono teste senza tremare
Continuerò a presumere che tu solo
non voglio dirmelo, quindi vado
per spiegarlo qui abbiamo la query
la sezione descrive fondamentalmente hey
questi sono i dati che voglio ottenere fondamentalmente
Voglio ottenere tutto tra questi
due timbri unix non leggibili
e poi quaggiù ho il mio
sezione aggregazioni e così all’interno di questo
sezione di aggregazione possiamo vedere come
la ricerca elastica ha strutturato questa richiesta
al livello più alto abbiamo una data
istogramma e sotto quell’istogramma di data
abbiamo un termine del campo utente così
di nuovo qui stiamo prendendo in contesto il
tempo in cui la cosa finisce per figurare
fa capire cosa vogliamo veramente fare
viene eseguito prima l’aggregazione dei termini
trovami i miei primi cinque utenti e dammi
quelli cinque nel tempo, quindi quello che mi serve
è necessario fare in modo che questo sia sopra
quell’altro che posso fare bene
facilmente in qivana se andiamo oltre a questo
lato abbiamo questi piccoli bottoni qui
per aumentare e diminuire la priorità
quindi ho intenzione di aumentarlo e rieseguirlo
l’aggregazione va bene così ho il mio top
cinque utenti nel tempo ed è così
molto più pulito anche se lo trovo ancora
questo per essere gentile
di una cosa visivamente distraente
soprattutto perché ho tutte quelle righe
lì dentro e non ho davvero bisogno di sapere
la pendenza di qualsiasi cosa adesso così sono
andando a rilasciare quelli che sto andando
per liberarsi completamente di tutti quelli
linee di collegamento quindi ora ho appena ottenuto un
un mucchio di punti e mentre questo lo fa
un po ‘difficile da vedere dove vanno le cose
e da parte mia sono più interessato al tipo di
dove erano e quello che posso vedere è
qui ho un punto che dice JPL
notizie e notizie JPL erano apparentemente molto
popolare in questa settimana particolare cosa
Non so perché sia così popolare
perché c’era un grande picco nelle notizie JPL
e il modo in cui funziona questo set di dati è quello
questi sono tutti i click attraverso bit
giusto il che significa che molte persone
cliccato attraverso bit per i link che
l’utente di notizie JPL aveva creato in alcuni
punto giusto hanno creato questi brevi
URL e qualcuno ha cliccato su di loro così
ci sono due possibili spiegazioni per
questa giusta spiegazione numero uno JPL
le notizie sono diventate davvero brave nel marketing e
hanno creato un sacco di contenuti proprio loro
appena creato una quantità enorme di collegamenti
forse hanno pubblicato un sacco di
storie di blog che hanno appena provato
per colpire un mercato veramente ampio e sperato
che un sacco di gente vorrebbe
fare clic sulle loro cose l’altra cosa
potrebbe essere che ne abbiano pubblicato uno davvero
articolo molto popolare e quello scatto
loro dritto in alto come facciamo noi
capire che era quello che è successo
okay, ora siamo a tre dimensioni
ma vogliamo un’altra dimensione
ci spiega cosa è successo, quindi cosa
stiamo davvero cercando ecco come
molti articoli unici sono finiti
pubblicare fondamentalmente il conteggio unico
con in quel secchio possiamo vederlo
c’erano 6593 clic ma quanti
le destinazioni uniche rappresentavano quelle
quindi dobbiamo scegliere un’altra dimensione per
rappresentano destinazioni uniche e noi abbiamo
ha tre dimensioni ora, quindi abbiamo bisogno
un altro abbiamo già preso colore
abbiamo X abbiamo capito perché io cosa
quei punti in questo momento sono tutti i
stesso colore
invece adesso sono tutti uguali
dimensione invece di avere tutti quelli il
stesse dimensioni lasciamo variare a seconda delle dimensioni
su quanti siti unici o vi si accede
Ho intenzione di aggiungere un’altra metrica
aggregazione qui e ho intenzione di decidere
il tipo di dimensione del punto scorre fuori dal
schermo un po ‘ tutto bene quindi vado a
variare la dimensione del punto in base all’unicità
contare del campo di destinazione ok Diamo
fare cosa che va bene così interessante
il punto notizie JPL non è cambiato davvero
molto di dimensioni ah e non sembra
di fatto cambia molto di dimensioni in generale
molti altri utenti pubblicano molto di più
roba che l’utente delle notizie JPL lo fa
non è come se fossero quello che erano
facendo solo una sorta di esploso tutto di a
improvvisamente stavano ancora facendo il
stesse cose in cui solitamente stavano facendo
Infatti possiamo possiamo avere una visione migliore di
questo perché abbiamo deciso che noi
sono interessati a questo utente ora che hanno
diventare molto popolare e siamo interessati
in quello che stanno facendo, quindi, quello che sto andando
fare è sto solo andando a restringere questo
giù così sto solo guardando le notizie JPL
utente per un po ‘quindi ho intenzione di fare clic
su questo e Cabana sta per generare
alcuni filtri per me quindi non lo faccio
voglio cambiare il tempo che voglio ancora
guarda cosa ha fatto l’utente delle notizie JPL
negli ultimi due anni ho intenzione di
deseleziona quel filtro e io sto solo andando
per applicare questo notiziario JPL qui cabana
detto sguardo hai cliccato su qualcosa e
rappresenta un paio di differenti
dimensioni che sono stato in grado di
Identificare rappresenta una settimana nel tempo e
rappresenta un particolare utente che è
perché ha detto hey vuoi questi due?
filtri o semplicemente conosci qualche sottoinsieme di
loro quindi vado a colpire apply e just
portalo qui all’utente delle notizie JPL
possiamo vedere che in realtà senza il
contesto di tutti quegli altri punti che
stavano andando in giro per dire che l’utente mendace
un po ‘più importante di tutti
sembravano generarne ancora
le cose vediamo come hanno generato
bene esattamente 39 siti unici tuttavia
Generalmente generano Oh 14
3119 da qualche parte tra come 10 e 30
ish e cose ma anche loro di solito
ottengono solo 0 200 click ish, ma su
qui avevano oltre 6.000 nonostante il
Infatti hanno generato il doppio della quantità di
link che ti fanno sapere un 60 volte
aumentare il numero di utenti molto di più
di quello in realtà un aumento di piega in
quanti utenti su quanti utenti hanno fatto clic
le cose sono così buone che hanno appena avuto
qualcosa che è diventato popolare da loro generato
alcuni altri articoli ma hanno ricevuto un
tonnellata intera di clic grazie a quel bene
quindi sappiamo che probabilmente avevano un
un paio di articoli popolari almeno loro
ne ho pubblicati altri ma sono a
un paio di noi siamo ovviamente molto molto
popolare come possiamo capire cosa sono quelli
erano così non ho davvero bisogno di
dividendo per colore qui più a destra
sto solo guardando l’utente delle notizie JPL così
posso liberarmi di questo e non lo farò
davvero cambiare qualcosa di così ho intenzione di
rimuovi le mie linee di divisione e non lo farò
cambiare qualsiasi cosa perché ero
solo guardando un utente comunque um
e non mi interessa veramente il tempo
più o meno infatti sto solo andando
zoomare su questo e avere un’idea migliore
cosa è successo in questo momento specifico
periodo davvero voglio sapere cosa è andato
in quel momento che erano
particolarmente popolare quindi non ho bisogno
il tempo come una dimensione più quindi mettiamoci
invece qualcos’altro sull’asse x
dimmi quali sono le loro destinazioni popolari
se non sapessi dammi il top come
non mi dai il massimo 15
le destinazioni vanno bene
oh okay, torniamo ad avere poco
piccoli punti ancora perché abbiamo poco
piccoli punti ancora bene abbiamo chiesto il
top destinazioni lungo l’ asse x e così via
ognuno di questi rappresenta solo uno
destinazione e la nostra dimensione dei punti era
determinare destinazioni uniche all’interno
il secchio naturalmente da quando ognuno di
quelli rappresenta uno ce n’è solo uno dentro
ciascuno che è in realtà a nostro vantaggio
perché siamo riusciti a reclamare io
destinato a una dimensione riusabile
dimensione per qualcos’altro quindi se noi
guarda questo possiamo vedere che sì loro
ha avuto alcune cose particolarmente popolari
come ha fatto coloro che arrivare a essere popolare uh bene
questo set di dati funziona molto come i dati
stabilito che avevo al giornale ero
lavorando in quelle poche persone arrivarono
attraverso la prima pagina a destra pochissimi
la gente va a mordere e basta cliccare su
alcuni link perché sono a corto di loro
vieni un po ‘per volta
perché hanno visto qualcosa su un altro
sito che è successo per utilizzare un link bit
quindi quali siti le persone vedono e
come è stato il traffico guidato al sito
è stato guidato perché uno in particolare
il link al sito prolifico ha fatto proprio questo
colpire la prima pagina del New York Times
o è stato fatto accadere qualcosa come era
condiviso tramite Facebook o Twitter o
qualcosa e un sacco di utenti
link pubblicati a questa cosa troveremo
cerchiamo di recuperare quel conteggio unico
destinazione ma invece di fare
destinazione prendiamo il referente
header e refer ci dice hey dove è stato
queste persone provengono da e in realtà io
voglio mostrarti un trucco in
elasticsearch chi ha usato la cardinalità
aggregazione in elasticsearch chiunque
so praticamente nessuno, quindi la cardinalità è
la cosa che conta in modo unico
conteggio unico soprattutto attraverso
sistemi distribuiti e set molto grandi
mentre non abbiamo a che fare con un set enorme
qui elasticsearch è costruito per gestire
Conteggi davvero grandi di conteggio unico di
molto grandi insiemi è molto difficile proprio nel
per determinare se qualcosa è
unico che devi sapere se hai visto
prima se sto spazzando solo Sam
attraverso tutti i miei registri e voglio trovarli
conosci i referenti unici, quindi ho bisogno
per sapere se ho
visto qualcosa prima quindi so se lo faccio
dovrebbe contarlo ancora il problema è in
per sapere se hai bisogno se lo hai
ho visto qualcosa prima che tu debba
ricorda che hai visto per
ricorda che hai visto qualcosa di te
devi metterlo in memoria se hai un
molte di quelle cose che useranno
tutta la tua memoria quindi c’è questa cosa
chiamato conteggio approssimato un approssimativo
il conteggio è ciò che elasticsearch fa se
il set di dati è davvero molto grande e
il modo in cui lo fa è essenzialmente
gente familiare non mi piace di più
persone per alzare le mani ma familiari
con le tariffe dell’algoritmo log log hyper
buono nessuno cool hyper log log il modo
Funziona è generare un sacco di
hash e usi questi hash per
determinare essenzialmente la probabilità che cosa
è la possibilità che ci sia qualcosa
come questo e quanti sarebbero
la ricerca così elastica ha questa ottimizzazione
dove può generare quegli hash avanti
di tempo quindi vado a scegliere il pre
versione hash di questo che mi capita
negozio solo perché è veloce non lo fa
conta davvero tanto su questo set di dati
ma essenzialmente il modo di conservare gli hash
funziona è che stai scambiando un po ‘di
spazio su disco per molto altro ancora
le prestazioni vanno bene così si riferiscono bene quindi cosa
possiamo vedere qui è il loro più
cosa popolare non in realtà tutto questo
ampiamente condiviso tuttavia il prossimo più
cosa popolare in realtà molto ampiamente
condiviso il conteggio unico del riferimento
l’hash in questo caso è 187 quindi 187 a
diversi siti diversi di riferimento
a questa pagina quindi cosa è successo
probabilmente in questa pagina era che ne prendeva un po ‘
quanto relativamente popolare sui social media
forse è stato pubblicato su una varietà di notizie
siti sono solo un po ‘curioso di cosa
in realtà è così che ho intenzione di aprirlo
e ho intenzione di ricorrere a quello e io sono
andando a guardare questo così ciò che questo
uno in realtà ciò che effettivamente era quello ok
quindi è apparentemente un calore di curiosità
scudo in dettaglio questo apparentemente ottenuto
molto molto popolare, credo di non esserlo
tutto ciò che mi interessa , ma ok io
Immagino che ho potuto vedere come questo è che è in
le sue barre sono abbastanza belle da vedere
questo peccato si vede prima questa immagine
tra l’altro non l’avevo mai visto prima
l’altra sera che ho dato questo veramente
forse tu eri uno di quei clic che ho scommesso
tu eri io scommetto che stavamo scommettiamo noi
avere un mi piace soprattutto se ci sei arrivato
da Twitter o qualcosa del genere perché questo
contiene anche molte lunghezze di TCO
c’è in realtà una possibilità eccellente
che sei in quel set di dati da qualche parte
questo è ok, tutto a posto
giusto così comunque questo è essenzialmente come
la kabana si occupa di un sacco di
diverse dimensioni ti consente di mappare
alcune dimensioni dei dati per alcuni
dimensione visiva di cose ed è a
funziona è un po ‘ è un po’ come un
flusso che abbiamo trovato che abbiamo attraversato
molto quando stavamo usando Cabana 3 noi
per prima cosa avremmo iniziato a cercare, poi avremmo
rendersi conto che in realtà non lo sapevamo
quello che stavamo cercando e così via
e creeremmo un sacco di questi
pannelli giusto il problema era questo
Qabbani tre è stato davvero progettato per
cerca e ha un cruscotto ma
a volte basta non c’era bisogno che
rispondi ancora e ancora e ancora
in realtà non ne aveva bisogno su un cruscotto
ed è per questo che abbiamo costruito il tutto
aspetto di visualizzazione di questo a volte
tutto quello che dovevo sapere era una foto
di uno scudo termico era molto popolare
cosa che non ho bisogno di sapere
che domani e probabilmente non ne avrò bisogno
su un cruscotto se ho avuto una risposta
che avrei bisogno di sapere ripetutamente
come cose come quanto sono grandi i file
sto servendo quanti visitatori unici fanno
ho ogni giorno quelli sono il tipo di
cose finisco per mettere su un cruscotto
le idee che stavamo cercando di costruire un flusso
che ti ha permesso di ottenere solo l’importo
di informazioni di cui avevi bisogno senza
costringendoti a salvarlo in qualche modo o
tenerlo in giro per dopo metterlo su un
cruscotto o metterlo in una sorta di fisso
pannello in modo che Qabbani ti consenta di risparmiare
queste visualizzazioni e riutilizzarle se io
avevo bisogno di vedere che conosci il grafico di
gli url di notizie JPL che avrei potuto salvare
quello e lo metto su un cruscotto che potrei
l’ho messo su più dashboard, no
solo quello ma in questo momento sono per lo più
guardando i miei dati del governo USA se l’avessi fatto
altri dati che potrei inserire
è roba da una dashboard per venire su a
tre a cui si poteva collegare solo un indice
un cruscotto Qabbani per altrettanti
diversi indici come vuoi che
porta in realtà qualcosa di simile
pulito, passiamo alla mia dashboard reale
veloce e ho intenzione di sbarazzarsi di
Utente di notizie JPL perché non lo so davvero
bisogno di sapere su di loro uh così an
un po ‘interessante qui è che sì posso
mettere più cose qui
in realtà voglio vedere più di quello
una piccola fetta di tempo che era la notizia del JPL
attivo va bene così interessante qui è
che ho questi due indici ho il
USA gov index e io ho questo utente
indice e entrambi condividono uno comune
tratto e quello è quello che entrambi
associato a un nome utente e così via
perché ho quell’utente del campo in entrambi
posti che ottengo in questo modo pulito
effetto congiunto lato cliente essenzialmente così
vediamo che ho qui un tavolo del mio
i migliori utenti e ancora una volta abbiamo capito
Utente di notizie JPL lì e tutti questi
quelli, ma ho intenzione di scegliere notizie JPL
di nuovo e ho intenzione di fare clic su quella barra
e dal momento che rappresenta solo uno
la dimensione ricercabile utile vieni sopra
va avanti e crea il filtro
per me e va bene così ora posso vedere dove
l’utente delle notizie JPL era molto popolare per lo più
in Europa si è scoperto che molti di quelli
i clic di collegamento provenivano dall’Europa e perché
ho sulla stessa dashboard gli utenti
indice e un elenco di tutti gli utenti che
viene filtrato allo stesso tempo quindi ora i
hanno anche tutti i dettagli a riguardo
utente anche se è stato memorizzato in a
indice separato da tutti i dati dell’evento
che stavo guardando normalmente
ottenere tutto il contesto su quell’utente
perché stavamo creando questo dashboard
molto più potente e perché lo eravamo
introducendo così tante nuove visualizzazioni
e perché stavamo usando le aggregazioni
e perché le domande che ti lasciamo chiedere
è diventato più complesso di cui avevamo davvero bisogno
accelerare il modo in cui Kabana ha fatto le cose
quindi, venite 23, ecco cosa è successo
avevi 15 pannelli su un cruscotto che
è una cosa piuttosto complessa come kemana
farebbe sarebbe dire che mi occupo di un
ricerca elastica e si limiterebbe a chuck a
un sacco di richieste HTTP a elasticsearch
ora c’era un problema con questo e
quello è che spesso non li ha buttati
direttamente su elasticsearch con cabana 3
dovevi avere un server web e molti
la gente ha deciso bene, preferirei creare un
proxy e parlare con Kabana
elasticsearch attraverso quello totalmente
totalmente ragionevole il problema sarebbe
è che molte persone afferrerebbero un
esempio per dire Apache o qualcosa fuori
Internet un esempio di un rovescio
proxy e quel proxy inverso
la configurazione avrebbe questa linea in esso
detto questo non ne permetto più di
tre connessioni per utente fino a a
tempo quindi ho 15 cose e il
il browser ha appena generato 15 richieste HTTP
quindi il browser si siederà lì e
girare è solo per sedersi lì e
attendi fino a quando non è possibile emettere più richieste
il che significa che pensa che sta per
numero 15 Gli Apache diranno di no
non hai intenzione di emettere 3 e così via
quello che succederà è per
arrivare a quella quarta richiesta deve essere
aspetta uno dei primi tre a
Finisci per arrivare alla quinta richiesta
Devo aspettare che uno di quei tre a
finisci così avanti e così via che significa
che sei costantemente seduto lì
in attesa di cose e mentre tu sei
stando seduto lì ad aspettare che ci sia
nuovi dati in arrivo a elasticsearch
giusto così quando arriveremo
come la quindicesima cosa che sa come
coerenti le nostre risposte erano oltre il
fatto che ci è voluto molto tempo così
come lo risolviamo in cabana per un noi
sbarazzati della necessità di creare un proxy noi
costruisci il back end in noi facciamo il the
essenzialmente il proxying con noi
una quantità minima di
limitazione su di esso in modo da mantenere le cose anche
come richieste non distruttive otteniamo richieste
si scrive nell’indice doc abana ma
questo è davvero l’unico indice che tu
arrivare a scrivere nell’altro modo in cui noi
risolvere questo è abbiamo detto di non chuck 15
HTTP richiede tutte allo stesso tempo
non è particolarmente efficiente
elasticsearch ha un modo migliore di
trattandoci ci limitiamo a raggruppare
tutto in un’unica grande richiesta ora
così invece di emetterli tutti
separatamente li mettiamo tutti nel
ricerca elastica in ricerca API e facciamo
certo che la ricerca elastica li esegue tutti
allo stesso tempo non ha mai fatto niente
senso di correre solo tre in un momento in cui
ne hai conosciuti cinque o sei
nodi di elasticsearch e ciascuno di questi
avere più core perché sono solo io
correndo tre basta eseguirli tutti e lasciare
elasticsearch capisci quale esso
fa abbastanza bene l’abbiamo trovato su complesso
dashboard cose che stiamo chiedendo a
molte domande che siamo riusciti a ridurre
il tempo di interrogazione da un fastidioso 30
secondi fino a un po ‘meno fastidiosi
10 secondi un aumento abbastanza decente no
solo quello, ma perché tutte le domande
sono stati chiesti esattamente nello stesso momento in cui loro
tutti hanno la stessa identica vista dei dati
questo è essenzialmente il modo in cui li abbiamo affrontati entrambi
la scoperta dei dati e le prestazioni
aspetti delle cose e alcuni dei
flessibilità e abbiamo fatto la maggior parte di questo in
Kabana per il rilascio recente di cabana
41 41 è venuto con un sacco in più
miglioramenti delle prestazioni il grande
essendo questo quando siamo andati a disegnare Kabana
perché siamo come se avessimo bisogno di incassare un
ci sono un sacco di cose che stiamo facendo
spostare un sacco di dati in giro ed è
importante che memorizziamo le cose
Ovviamente il problema con il denaro è quello
il denaro è di nuovo essenzialmente lo sai
ricordando cosa è appena successo e
ricordare le cose richiede ancora memoria
e così abbiamo fatto un bel tuffo
va bene questo caching che stiamo facendo come
efficace è davvero e abbiamo scoperto
non era così efficace come lo volevamo
per essere così ci siamo sbarazzati di molti
memorizzazione nella cache che in realtà ha finito per eccesso di velocità
un sacco di cose in effetti in alcuni
luoghi kabata per uno è
di più sull’ordine di 10 volte di più
la memoria efficiente di quattro era ora molto
di quello stava pulendo un po ‘di codice
ne avevamo in gran parte giusto
sbarazzarsi di cache che non eravamo
usare kemana per è molto più veloce di
Certo che abbiamo portato il nostro venire per uno è
molto più veloce, naturalmente, abbiamo portato in
alcune nuove nuove funzionalità come i filtri
li abbiamo resi migliori ne abbiamo aggiunti alcuni
funzionalità per loro, ad esempio
filtro geografico giusto posso fare Geo
filtri ora, quindi se voglio vedere solo
questo punto sulla mappa posso ottenere solo
quel punto sulla mappa un’altra cosa che
abbiamo aggiunto un filtro pinning e questo
era per risolvere il problema di ho risposto a
domanda qui ma ho lo stesso
domanda da qualche altra parte mi piacerebbe usare
gli stessi dati in un’altra parte del
applicazione ho creato tutti questi filtri
Non voglio creare di nuovo possibile
li tieni semplicemente in giro per me, così noi
aggiunto il blocco dei filtri che fondamentalmente
Dice solo di tenere questo filtro così lo farò
seleziona la piccola icona e ovunque io vada
d’ora in poi mantieni quel filtro così quando io
vai qui ho ancora questo geo
filtro che significa che tutti questi
le cose sono ancora rilevanti per questo
area geografica specifica selezionata
conoscete tutti gli intervalli di tempo dell’utente
mi resta semplicemente, certo che posso
ancora sbarazzarsi di loro e vedere tutto
l’altra cosa che abbiamo aggiunto è stata riempita
formattazione in modo da mettere roba in
elasticsearch ed è in un formato che
devi essere in grado di cercare su di esso
facilmente giusto quindi faccio qualcosa come me
avere un campo di morsi non lo memorizzo come
80 kb, giusto non inizio come 80
kilobyte Lo memorizzo come 80.000 ma quando
Vado davvero a guardarlo, non lo faccio
voglio costantemente guardare 80.000 che voglio
guardare 80 kb quindi era qualcosa
che abbiamo aggiunto è stata la capacità di avere
personalizzato per questioni quindi se aggiungo morsi
qui posso vedere che sì, in realtà ottengo
che nel formato corretto e anche io
link URL aggiunti
quindi abbiamo questo campo per le questioni
ti dico esattamente come vuoi il
cosa da mostrare così in questo caso io
stavo memorizzando gli URL che voglio mostrare
come link quell’URL per la materia
in realtà fa altre cose anche se in
in questo caso ci sono URL in
lì non devi effettivamente avere un
URL nel campo per creare un
link ad esso diciamo per esempio
hai memorizzato l’ID di qualcosa giusto
forse ho l’ID utente in quella lista e
Ho qualche altra applicazione che io
utilizzare per la gestione degli utenti per questo URL
la materia è in realtà un modello, quindi puoi
usa quel valore e inseriscilo in a
URL in modo da poter dire il collegamento a un altro
applicazione o qualcosa per il contesto
questo è uno dei posti in cui siamo prima
ha iniziato a introdurre una vera flessibilità
in Qabbani a livello di sviluppatori questo
è il primo posto che abbiamo davvero
iniziato a documentare l’API per farlo
questo te stesso perché abbiamo detto quello sguardo
possiamo colpire come un caso d’uso molto ampio
di ciò che la gente vuole fare con la proiezione
valori dei campi ma non lo faremo
ottenere tutto abbiamo bisogno di qualcosa in modo che
le persone possono farlo in un modo personalizzato che
abbiamo aggiunto così ora se andate a vedere
il nostro campo esistente per le questioni che puoi
venire con i tuoi sono tutti
scritti in JavaScript hanno un
differenziazione tra guardare
cose nel testo, ad esempio in suggerimenti di strumenti
e così e poi averli
rappresentato come HTML per qualcosa di simile
questo in modo da poter fare cose come fare
immagini in linea o potresti codificare un campo
con un po ‘di colore a seconda di cosa sia
il valore è qualsiasi altra logica personalizzata
vuoi presentarti e abbiamo in programma di farlo
tipo di continuare questa tendenza di fare
cose espandibili dove siamo
documentare l’AP è quello che usiamo
costruire funzionalità in cabana molto costantemente
ora così la prossima cosa che siamo
costruendo in cabana che siamo veramente
entusiasta di questo è l’ autenticazione
qualcosa su cui stiamo lavorando bene
ora e abbiamo iniziato a lavorare su di esso noi
di nuovo detto che questo deve essere flessibile
le persone devono essere in grado di fare ciò
modo
certo che possiamo costruire sistemi di autenticazione
che ha colpito uno spettro abbastanza ampio giusto
sappiamo che possiamo integrarci
scudo elasticsearch perché è facile
è come la cosa che la gente usa per proteggere
elasticsearch ma sappiamo che è così
non la cosa che tutti usano così noi
voglio assicurarmi che per
autenticazione che puoi integrare con
Dì il tuo sistema off aziendale così siamo
costruendo questo in un modo collegabile se tu
vai al repository github c’è a
biglietto che spiega tutto su come siamo
andando a costruire l’autenticazione collegabile
qualcosa che abbiamo già iniziato
l’altra cosa che stiamo facendo è
stiamo cercando di permetterti di prolungare
altre parti dell’applicazione per
esempio costruendo le tue visualizzazioni
stiamo iniziando a documentare il
API di visualizzazione in modo che se si dispone di un
cosa particolarmente di nicchia ne hai
modo in cui vuoi vedere i tuoi dati, forse
hai creato una visualizzazione come a
cosa autonoma vuoi portarla
in Cabana è qualcosa che vogliamo
inizia a permetterti di fare anche tu
potrebbe aver notato che non sono stato
scambiando avanti e indietro tra like
keynote o PowerPoint o qualcosa del genere
durante questo uh prima di parlare io
volevo vedere bene quanto sia facile
estendere la cabina per aggiungere completamente nuovo
funzionalità, quindi ho creato un’app per presentazioni
per cabana è per questo che ho quello
questa piccola scheda è in alto
costruito con rivela jas che è solo un
framework JavaScript molto semplice per
fare presentazioni non lo fai realmente
bisogno di sapere qualcosa su rivelare j / s
o JavaScript per usare questo hanno un
costruttore online per questi è tutto bello
e punta e clicca se prendi il
roba in questo repository di github e rilascio
nella directory dei plugin in kabata
aggiungerà un nuovo passaggio per te se
si sostituisce il credo che si chiama come
punto HTML offline se lo sostituisci
con le tue diapositive su cui hai costruito
la cosa in linea di rivelazione j / s che inserirai
la tua presentazione lì dentro e sarà così
solo un po ‘di lavoro, ma è tutto qui
l’app più semplice che puoi immaginare se tu
sei uno sviluppatore puoi entrare in esso e
sei un po ‘molto leggero
seme per costruire la tua roba in
Kabana
vogliamo anche assicurarci che tutti
queste cose sono sempre a tua disposizione
siamo un’azienda open source tutto
noi facciamo allo scoperto non abbiamo chiuso
fonte di qualsiasi cosa si accende e noi no
piano a cui significa che vogliamo che tu
essere in grado di utilizzare le cose non appena è
disponibile così abbiamo iniziato a pubblicare
build istantanee e bene ti ho appena dato
una bella diatriba su come vogliamo
condividere tutto ciò che principalmente sono
self-serving, vogliamo davvero solo
fai schifo a te per diventare beta tester
noi che è stato fantastico per noi perché
abbiamo iniziato a pubblicarli subito
Kabana 41 e abbiamo ricevuto un sacco di feedback
Sono davvero scioccato dal numero di
persone che sono disposte a usare
qualcosa di simile prima di averlo qaid
ma è stato un ottimo banco di prova
per noi abbiamo aggiustato un sacco di roba che hey
forse non avremmo trovato anche noi
migliorare il comportamento in molti posti
la gente ha detto hey questo potrebbe essere solo un
un po ‘ meglio qui è perché diamo
accesso anticipato a tutto in un facile
consumare modo quindi per favore fatelo fare
sapere come possiamo migliorare la correzione dei bug
bug e questo è tutto
tu
Leslie ha detto che siamo qui per parlare
Cabana in particolare voglio darti un
un po ‘di storia di come mai
deve essere dove è dove è ora
e tipo di dove stiamo andando con esso
solo molto veloce, quindi so quanti
la gente ha usato gabadha nella stanza
prima d’ora quante persone erano al
elasticsearch si incontrano l’altra sera
probabilmente puoi andartene se vuoi cuz
è esattamente uguale allo stesso modo in cui l’ho fatto io
non voglio annoiarvi qui oh, va bene così
no biggie va bene così così a metà
la stanza ha già usato la cabana
che è grande ma per quelli
non lasciarmi dare un’idea di cosa
è e come è arrivato qui kabana è un
applicazione per scavare nei dati che ho usato
essere specificamente per i dati delle serie temporali
ma ora ci occupiamo solo di
tutto è stato creato perché lo ero
lavorando a una catena di giornali nel
Stati Uniti ed era questa società che possedeva un
un sacco di giornali che conosco tutti
piace pensare alla nostra piccola città natale
giornale come un gruppo di persone dentro
una piccola stanza che scavava sporcizia su cosa
non che non fosse questa compagnia che avevano
decine di giornali attraverso noi come
puoi immaginare ci sono due cose in
l’industria dei giornali adesso a
nessuno legge i giornali e B quando tu
leggerli li leggi sul
Internet e così questa azienda ha generato
una quantità enorme di traffico web molto
più di quanto penseresti queste cose
tendeva a venire da te sai tipo
fonti di riferimento e non abbiamo avuto tendenza
ottenere un sacco di traffico diretto ma
tuttavia abbiamo avuto un sacco di traffico uh
ed era un traffico molto pungente
come nessuno va e legge ogni singolo
notizie ogni giorno solo perché
vogliono sapere tutto su cosa
i giornalisti pensano di leggere qualcosa
perché è interessante che lo leggano
perché i loro amici hanno detto qualcosa
ne
e sono finiti lì e loro
finì lì in una volta e così eravamo
costantemente avendo a che fare con questo e
probabilmente sei come oh, tu sei il tuo
infrastruttura per affrontare è
probabilmente fantastico non è stato bello
costantemente avuto problemi e non abbiamo avuto
idea di cosa fossero perché questo era
anni e anni fa, quando ci sono davvero
non era niente di eccezionale, specialmente nel
spazio open source per capire cosa
stava succedendo nei log giusto così abbiamo avuto
queste sono come raccolte di script di shell
e poi erano su un wiki e solo
il coglione che ho scritto loro sapeva come
hanno funzionato che nessun altro li abbia mai usati
e metà del motivo per cui non li hanno mai usati
è perché quando sono andati a prendere
a loro avevamo cambiato il formato del registro
era comunque scaduto e loro no
lavoro più così ho sempre avuto
per scriverne di nuovi e mi sono stancato di
scrivendoli così ho scritto Kabana in modo che io
potrebbe smettere di scrivere script di shell così
è da lì che è venuto dal vero
persone veloci che hanno usato Cabana hanno
versione utilizzata per la versione corrente
molto veloce qualche versione usata 32 va bene
dolce add 1 non lo chiederò nemmeno
perché so che nessuno lo ha usato anche se
c’era qualcuno al meetup il
altra notte che aveva che era molto
impressionante va bene così la maggior parte del Papa
la gente nella stanza ne ha usati tre così
quando siamo andati a costruire per quello che volevamo
prendere le migliori caratteristiche di tre e fare
tutto un po ‘meglio e così noi
guardato attraverso tre e dovevamo
identificare bene ciò che è buono ciò che potrebbe essere
meglio e cosa potrebbe essere molto meglio così
abbiamo studiato bene come stanno le persone
Cabana in questi giorni ora il primo modo in cui
lo userei era ovviamente per la scoperta
stavano cercando tra i registri o alcuni
altro tipo di dati per il rilevamento dei dati
era quello che era tutto come va bene noi
dobbiamo renderlo migliore che dobbiamo fare
il tutto funziona meglio se noi
voglio una migliore scoperta dei dati il primo
il passo in avanti è ottenere le risposte
più veloce in modo che possiamo fare l’interfaccia
meglio sì e possiamo fare il tutto
la cosa è semplicemente più veloce
le cose semplici sono più facili una volta che sono più facili
renderli più veloce che era veramente
importante l’altra cosa che abbiamo visto
quando noi quando Cabana tre era stato fuori
per
un po ‘questo era qualcosa che noi
non era necessariamente previsto era quello
le persone non stavano solo usando Kabana loro
stavano costruendo cose nuove con Cabana
che è stato incredibilmente bello per noi
quando ho costruito la prima volta, sono arrivato 23 anni
okay, ho bisogno di una specie di dashboarding
piattaforma voglio essere in grado di fare un po ‘
alcune visualizzazioni e alcuni grafici
di cose si scopre che la gente ha visto molto
di promessa in questo e perché siamo
open source hanno iniziato a scavare nel
codice e hanno detto bene se lui può fare
cosa posso fare ed ed erano
completamente giusto e spesso potevano farlo
è meglio così , così loro
ha iniziato a costruire nuove applicazioni in cima
di Cabana hanno iniziato ad aggiungere nuovi
visualizzazioni hanno iniziato anche aggiungendo
un nuovo modo di fare domande o come va bene
quindi quello che ne ricaviamo è gente
voglio davvero flessibilità in cavada così
quando andiamo a costruire Kabana per let’s
costruiscilo in un modo che permetta loro di avere
quella flessibilità senza doverlo fare
hackerarlo così quelli erano i migliori
core ma la più grande differenza noi
voluto fare era nella scoperta cabana 3
è stato costruito con ciò che Elasticsearch ha avuto
il tempo e ciò che Elasticsearch ha avuto
il tempo era sfaccettato, ho tutti qui
tutti qui sono abbastanza familiari
ricerca elastica sfaccetta un sacco di teste
annuendo non vedo alcun tremito okay
comunque le sfaccettature di faccette sono fondamentalmente a
modo di aggregare i dati per quelli che
non sono familiari, quindi trovami la parte superiore
5 di qualcosa o prendermi la media di
un po ‘di campo e in particolare quello prima
cosa che era il termine facet e poi
c’era quest’altra cosa chiamata il
aspetto delle statistiche e se ricordi in
cabana 3 queste cose erano abbastanza facili
per fare c’era un pannello che poteva trattare
con i termini e metterli su un grafico a barre
o qualcosa del genere e poi c’era un pannello
quello potrebbe occuparsi delle statistiche e sarebbe
mostra il minimo / massimo e una media e
non so cosa e questo era perché
è tipo mappato direttamente a questi
concetti di ricerca elastici il problema era
è che le faccette non erano molto flessibili così
Ricordo che ho detto che avevamo quei termini veloci
e quella statistica sfaccetta bene qualcuno
una volta deciso che va bene ho trovato il
prime cinque richieste al mio sito sarebbe
super utile se sapessi quale sia la media
il tempo di caricare ognuno di questi era e
qualcuno ha detto che non possiamo davvero farlo
elasticsearch adesso puoi averne uno
rispondi o puoi avere l’altra risposta
sceglierne uno e qualcuno ha detto bene, guarda io
ho bisogno di farlo molto non posso farlo con
round trip molto quindi cosa ha avuto
è successo è stato qualcuno copia e incollato
un sacco di codice fuori dai termini
fissato e poi un intero gruppo di
le mode e hanno creato questa cosa
chiamato termini sfaccettatura stats facet
super posso vedere come risponderà
ogni domanda quindi quando siamo andati a
costruisci elasticsearch 1 punto 0 diciamo oh
Va bene che quella faccetta non è così
davvero lavorando e cuci l’elastico
il team di ricerca ha creato qualcosa chiamato
aggregazioni e aggregazioni
fondamentalmente fanno le stesse identiche cose
sfaccettature ma in un modo molto componibile
che ovviamente mi ha davvero emozionato
su come realizzare visualizzazioni compositive in
cabana quindi quando abbiamo iniziato a vedere come
potremmo migliorare il concetto di
scoperta abbiamo preso quel tipo di livello di
componibilità e quei passaggi per risolvere
un problema quando qualcuno dice che ho bisogno del
Top five o anche diamine ho solo bisogno di questo
una cosa e abbiamo detto come possiamo rompere
che giù in passaggi che hanno senso per
risolvere un problema quindi passo uno di risolvere
un problema è spesso molto molto
unidimensionale hai un bel po ‘
idea di forse quello che stai cercando
forse pensi di sapere cosa sei
cercando specificamente sei giusto
cercando una cosa giusta sai
okay ho bisogno di andare ai miei registri e ho bisogno
per trovare quel login ssh fallito e così tu
vai lì e lo trovi e qualche volta
questo è tutto ciò di cui hai bisogno, ma forse finisci
con un gruppo di loro forse finisci
con quattro di loro se finisci con un cinque
di loro forse finisci con quattro o
cinquecentomila di loro quando
ne hai solo uno o l’hai
ne ho solo quattro o cinque , non è così
davvero così grande di un affare proprio così
se salto alla scheda di scoperta di
Cabana e ho intenzione di saltare nel mio
gli utenti indicizzano qui e si liberano di una coppia
campi inutili che non sono effettivamente in
lì io così finisco con qualcosa di simile
questo diritto e il
è davvero un tipo di vista familiare
fondamentalmente solo una lista di cose che sono
nell’indice dei miei utenti è davvero facile
trovare cose lì ovviamente ho appena avuto
una piccola ricerca qui e io sono
andando a cercare l’utente di notizie JPL
e sicuramente posso trovare quell’utente e questo
è una sorta di modo unidimensionale di
trovando le cose lì è là è il
documento che stavo cercando e anche se io
voglio trovare quello che era l’utente
farlo è ancora abbastanza facile, se
ho un registro di tutto questo utente
è ancora molto facile trovarlo
se mi piacesse saltare nei miei Stati Uniti
indice gov dal modo in cui il set di dati sono
trattare con il governo degli Stati Uniti
fare clic su streaming ogni volta che qualcuno
genera un collegamento con un governo degli Stati Uniti
sito Web che pubblica su Internet
socket a cui è possibile connettersi e e
log se vuoi II è stato abbastanza fortunato
che qualcun altro l’aveva già fatto
e ne ha fatto un bel archivio per loro
me perché è una fonte pronta di molto
dati di registrazione reali comunque così ora posso
vedere tutto ciò che è l’utente delle notizie JPL
facendo tutto fino all’ultimo illeggibile
Non ho praticamente idea
ciò che questo utente sta facendo è sicuro di poter vedere a
poche cose lì dentro, tipo oh loro
fatto qualcosa il 12 maggio e loro
stavo usando il nuovo utente di z sleuth del collegamento
agente è molto difficile da leggere, intendo
anche se ho fatto qualcosa di simile aveva tempo
e ha controllato dove stavano andando
questo è ancora difficile da leggere anche
se ordino questo per ora, è fermo
difficile da leggere questo è fondamentalmente solo registri
Non sto davvero facendo nulla
sensibilmente meglio di grep in questo
punto è solo che posso vedere che oltre il
l’ultima volta che sono stati attivi è forse giugno
trentesimo o qualcosa così può essere
utile per casi limitati proprio quando sono
solo facendo ricerca e so davvero cosa
Sto già cercando e non ho bisogno
a
vedere schemi in tutto ciò che non conosco
tu ma io non sono super bravo solo
guardando in basso una lista di cose e
trovare schemi in modo che ne abbiamo davvero bisogno
un’altra dimensione da guardare
essenzialmente qui, non voglio solo
per vedere questo come scattershot di cose
giusto voglio vedere un po ‘di più
dimensione ad esso voglio vedere le cose
col passare del tempo voglio vedere il flusso e riflusso
dei miei dati cosa stava facendo quell’utente o
cosa stavano facendo gli altri utenti o forse io
non so nemmeno quale utente sto cercando
per bene sapevo che stavo guardando
per l’utente di notizie JPL lì perché io
sinceramente non lo so, sono solo una specie di
ne ho preso uno e se non sapessi cosa
l’ utente più attivo sul mio sito è stato
è l’utente delle notizie JPL dal modo in cui non lo faccio
in realtà so che sarebbe terribilmente
utile se avessi un grafico o qualcosa del genere
per aiutarmi a capirlo se potessi
trova gli utenti migliori quindi, naturalmente, dai
è bravo a fare entrambe queste cose
e Kabana tre era bravo a fare entrambe le cose
di queste cose al reddito prima di noi
ha detto hey che ha bisogno di vederlo
flusso e riflusso di cose che è comune
abbastanza che valga la pena di lanciare a
grafico nella parte superiore dello schermo ogni
tempo qualcuno ha a che fare con i dati temporali
hai a che fare con i dati temporali che desideri
per sapere quando è successo e vuoi farlo
sapere quanta parte è successo, mettilo
in alto lì e così abbiamo fatto e noi
anche aggiunto la colonna del tempo per impostazione predefinita se
ti capita di averne a che fare quindi lo farò
lascia cadere quell’altra colonna di timestamp che avevo
aggiunto in precedenza e così possiamo andare
vedere un grande picco nell’utente di notizie JPL ma
ovviamente a questo punto potremmo andare e
guarda un sacco di altri dati a
perché abbiamo un grafico che ci aiuta
capire quando sono andate le cose che dicono
che dire se volessi risolvere il
altro problema e se volessi vedere
quali sono i miei utenti più famosi proprio io
potrei sedermi qui e potrei digitare ogni
possibile utente e sedersi e registrare
sai quale era ma che sarebbe
essere una grande perdita di tempo quindi invece sono
andando a cadere in questo piccolo campo
elenco qui e sto solo andando a
visualizzare rapidamente i miei utenti popolari ok
quindi ci sono i miei utenti popolari oh e così
risulta che l’utente di notizie JPL
in realtà è uno dei miei come i primi cinque
utenti
ma c’è un piccolo problema con dove siamo noi
finito qui quando eravamo di nuovo sulla
altro schermo potremmo capire il riflusso
e flusso nel tempo dei nostri dati quando r on
questo grafico posso capire in questo
l’intero lasso di tempo a cui capita
essere gli ultimi due anni al momento io
capire chi erano i miei migliori utenti
negli ultimi due anni ma ora non lo so
quando è successo non so quando loro
erano attivi che è una specie di problema
per me voglio essere in grado di capire
perché l’utente di notizie JPL è popolare come ha fatto
loro arrivano li sai di che tipo
di cose che pubblicano e quindi ho bisogno di a
modo di fondere questo grafico con quello
altro e se pensiamo a questo come
dimensioni possiamo pensare all’idea
che abbiamo essenzialmente due dimensioni
qui a destra abbiamo quante cose il
l’utente ha fatto e chi li ha fatti prima di noi
sai che ore sono e cosa?
è successo in quel momento quindi ho bisogno di un modo per
mescolare questi insieme posso farlo su un bar
grafico ma non ho intenzione di farlo
torna alle nuove visualizzazioni
sezione posso o semplicemente fare clic sul nuovo
cosa di visualizzazione o posso leccare
sulla scheda di visualizzazione in alto qui così
Ho intenzione di inserire un grafico a linee e
Lo faccio da una nuova ricerca e lo sono
andando a scegliere il mio indice del governo USA e io sono
otterrà una grande distesa bianca di
nulla che in realtà non è totalmente
vero, effettivamente ho qualcosa su
lì ho quel piccolo piccolo verde
punto giusto in mezzo alla cima
lì quello che fondamentalmente dice solo hey guarda
c’è come quattrocentocinquanta
mille cose qui dentro non lo so
quello che vuoi che faccia con loro questo è
tutto quello che so davvero di questo indice così
a meno che tu non mi dica che hai bisogno di qualcosa
altrimenti ho intenzione di darti così siamo
ad una dimensione ora aggiungiamo un’altra
uno ho intenzione di aggiungere un asse x in questo momento
tutto quello che stiamo rappresentando è tutto sul
asse x, quindi ho intenzione di aggiungere una data
istogramma va bene così ora abbiamo a
grafico che è molto simile a quella barra
grafico che avevamo prima sul ritorno
scopri schermo è un it’s a
abbiamo lo stesso grande picco che
l’avevamo visto su quell’altro, ma ora
lo abbiamo messo in fila per lui e per il mio obiettivo
venire qui era che volevo fondere
quella dimensione utente con il tempo
dimensione quindi come potrei fare così bene io
potrebbe semplicemente mostrare lo stesso grafico proprio così
Potrei forse aggiungere un altro
accesso a questo ma che davvero non lo farebbe
fare molto per me sì, sarei in grado di vedere
chi erano gli utenti popolari, ma io
non sarebbe in grado di vedere a che ora
hanno fatto cose che potrei aggiungere una simile
cadetto è la dimensione Z, giusto così
ottenuto atto se hai X e hai Y
e poi uno dei più popolari
cose quando stai cercando di sapere
creare un’altra dimensione è come la gente
mi piace lanciare un’altra dimensione a te
Non sono un grande fan della tridimensionalità
i grafici in generale II non generalmente
credere che le cose dovrebbero saltare fuori
schermo non ho una TV 3D e non lo faccio
molta cura per i film in 3d perché tu
non posso ottenere le cose giuste che hai
ho questo grafico ma non lo sai
le cose più piccole sono sempre in corso
essere al fronte e le cose più grandi
dietro significa che c’è
cose che si perdono e non puoi vedere
loro quindi preferirei avere il grafico
saltare fuori dallo schermo per il terzo
dimensione preferirei piuttosto scegliere
una migliore dimensione che e ho intenzione di
quindi adesso se guardiamo alla vista
dimensioni di questo sì possiamo andare con
lunghezza e larghezza ma una dell’altra
le dimensioni qui diventano il colore
e in questo momento rappresentiamo solo
tutto è verde perché è
piacevole e rilassante e mi ricorda
alberi ma potremmo probabilmente dargli di più
Significa che quindi lasciamolo
linea verde in più righe così sono
andando ad aggiungere sotto-bucket e vedrai
in un minuto perché sono sotto secchi, lo sono
andando a dividere queste righe e io sono
intenzione di utilizzare termini di ricerca elastici
aggregazione per fare questo e ho intenzione di farlo
fai questo sul mio campo utente quindi dammi il
i primi cinque utenti nel tempo e lo farò
premi invio che è molto più di cinque così
come puoi vedere qui di sicuro
ho appena chiesto cinque utenti ma perché l’ ho fatto
avere un sacco di più di cinque così quelli
di voi familiari con la ricerca elastica
le aggregazioni potrebbero effettivamente capire
cosa è appena successo
quello che è successo è sì, ho chiesto di essere il migliore
cinque però li ho richiesti come a
fattore del tempo e così quando
elasticsearch è stato detto bene
mi ha chiesto tempo e questo è stato il primo
cosa mi hai chiesto e poi tu
mi ha chiesto per gli utenti in quel momento
mentre avevo analizzato il tuo set di dati
per te e io l’avevo rotto a questi
secchi in questo caso l’ho rotto
nei secchi settimanali e così quando tu
mi ha chiesto per gli utenti che ho detto bene in ciascuno
una di queste settimane qual è il più
utente popolare così è andato e ha trovato il
i primi cinque utenti in ogni settimana, ovviamente
che cambia di settimana in settimana e così
Le cabanas nuove sono andate bene, me l’hai detto
un sacco di utenti erano popolari qui
loro sono e qui loro sono per settimana e
mi hai detto chi era popolare in ogni settimana
non è necessariamente ciò che voglio
questo caso se guardi veramente il
richiesta di ricerca elastica possibile
capisci come è saltato questo passato
è molto vagamente familiare con l’elastico
richieste di ricerca e come funzionano di più
o meno ish che annuiscono teste senza tremare
Continuerò a presumere che tu solo
non voglio dirmelo, quindi vado
per spiegarlo qui abbiamo la query
la sezione descrive fondamentalmente hey
questi sono i dati che voglio ottenere fondamentalmente
Voglio ottenere tutto tra questi
due timbri unix non leggibili
e poi quaggiù ho il mio
sezione aggregazioni e così all’interno di questo
sezione di aggregazione possiamo vedere come
la ricerca elastica ha strutturato questa richiesta
al livello più alto abbiamo una data
istogramma e sotto quell’istogramma di data
abbiamo un termine del campo utente così
di nuovo qui stiamo prendendo in contesto il
tempo in cui la cosa finisce per figurare
fa capire cosa vogliamo veramente fare
viene eseguito prima l’aggregazione dei termini
trovami i miei primi cinque utenti e dammi
quelli cinque nel tempo, quindi quello che mi serve
è necessario fare in modo che questo sia sopra
quell’altro che posso fare bene
facilmente in qivana se andiamo oltre a questo
lato abbiamo questi piccoli bottoni qui
per aumentare e diminuire la priorità
quindi ho intenzione di aumentarlo e rieseguirlo
l’aggregazione va bene così ho il mio top
cinque utenti nel tempo ed è così
molto più pulito anche se lo trovo ancora
questo per essere gentile
di una cosa visivamente distraente
soprattutto perché ho tutte quelle righe
lì dentro e non ho davvero bisogno di sapere
la pendenza di qualsiasi cosa adesso così sono
andando a rilasciare quelli che sto andando
per liberarsi completamente di tutti quelli
linee di collegamento quindi ora ho appena ottenuto un
un mucchio di punti e mentre questo lo fa
un po ‘difficile da vedere dove vanno le cose
e da parte mia sono più interessato al tipo di
dove erano e quello che posso vedere è
qui ho un punto che dice JPL
notizie e notizie JPL erano apparentemente molto
popolare in questa settimana particolare cosa
Non so perché sia così popolare
perché c’era un grande picco nelle notizie JPL
e il modo in cui funziona questo set di dati è quello
questi sono tutti i click attraverso bit
giusto il che significa che molte persone
cliccato attraverso bit per i link che
l’utente di notizie JPL aveva creato in alcuni
punto giusto hanno creato questi brevi
URL e qualcuno ha cliccato su di loro così
ci sono due possibili spiegazioni per
questa giusta spiegazione numero uno JPL
le notizie sono diventate davvero brave nel marketing e
hanno creato un sacco di contenuti proprio loro
appena creato una quantità enorme di collegamenti
forse hanno pubblicato un sacco di
storie di blog che hanno appena provato
per colpire un mercato veramente ampio e sperato
che un sacco di gente vorrebbe
fare clic sulle loro cose l’altra cosa
potrebbe essere che ne abbiano pubblicato uno davvero
articolo molto popolare e quello scatto
loro dritto in alto come facciamo noi
capire che era quello che è successo
okay, ora siamo a tre dimensioni
ma vogliamo un’altra dimensione
ci spiega cosa è successo, quindi cosa
stiamo davvero cercando ecco come
molti articoli unici sono finiti
pubblicare fondamentalmente il conteggio unico
con in quel secchio possiamo vederlo
c’erano 6593 clic ma quanti
le destinazioni uniche rappresentavano quelle
quindi dobbiamo scegliere un’altra dimensione per
rappresentano destinazioni uniche e noi abbiamo
ha tre dimensioni ora, quindi abbiamo bisogno
un altro abbiamo già preso colore
abbiamo X abbiamo capito perché io cosa
quei punti in questo momento sono tutti i
stesso colore
invece adesso sono tutti uguali
dimensione invece di avere tutti quelli il
stesse dimensioni lasciamo variare a seconda delle dimensioni
su quanti siti unici o vi si accede
Ho intenzione di aggiungere un’altra metrica
aggregazione qui e ho intenzione di decidere
il tipo di dimensione del punto scorre fuori dal
schermo un po ‘ tutto bene quindi vado a
variare la dimensione del punto in base all’unicità
contare del campo di destinazione ok Diamo
fare cosa che va bene così interessante
il punto notizie JPL non è cambiato davvero
molto di dimensioni ah e non sembra
di fatto cambia molto di dimensioni in generale
molti altri utenti pubblicano molto di più
roba che l’utente delle notizie JPL lo fa
non è come se fossero quello che erano
facendo solo una sorta di esploso tutto di a
improvvisamente stavano ancora facendo il
stesse cose in cui solitamente stavano facendo
Infatti possiamo possiamo avere una visione migliore di
questo perché abbiamo deciso che noi
sono interessati a questo utente ora che hanno
diventare molto popolare e siamo interessati
in quello che stanno facendo, quindi, quello che sto andando
fare è sto solo andando a restringere questo
giù così sto solo guardando le notizie JPL
utente per un po ‘quindi ho intenzione di fare clic
su questo e Cabana sta per generare
alcuni filtri per me quindi non lo faccio
voglio cambiare il tempo che voglio ancora
guarda cosa ha fatto l’utente delle notizie JPL
negli ultimi due anni ho intenzione di
deseleziona quel filtro e io sto solo andando
per applicare questo notiziario JPL qui cabana
detto sguardo hai cliccato su qualcosa e
rappresenta un paio di differenti
dimensioni che sono stato in grado di
Identificare rappresenta una settimana nel tempo e
rappresenta un particolare utente che è
perché ha detto hey vuoi questi due?
filtri o semplicemente conosci qualche sottoinsieme di
loro quindi vado a colpire apply e just
portalo qui all’utente delle notizie JPL
possiamo vedere che in realtà senza il
contesto di tutti quegli altri punti che
stavano andando in giro per dire che l’utente mendace
un po ‘più importante di tutti
sembravano generarne ancora
le cose vediamo come hanno generato
bene esattamente 39 siti unici tuttavia
Generalmente generano Oh 14
3119 da qualche parte tra come 10 e 30
ish e cose ma anche loro di solito
ottengono solo 0 200 click ish, ma su
qui avevano oltre 6.000 nonostante il
Infatti hanno generato il doppio della quantità di
link che ti fanno sapere un 60 volte
aumentare il numero di utenti molto di più
di quello in realtà un aumento di piega in
quanti utenti su quanti utenti hanno fatto clic
le cose sono così buone che hanno appena avuto
qualcosa che è diventato popolare da loro generato
alcuni altri articoli ma hanno ricevuto un
tonnellata intera di clic grazie a quel bene
quindi sappiamo che probabilmente avevano un
un paio di articoli popolari almeno loro
ne ho pubblicati altri ma sono a
un paio di noi siamo ovviamente molto molto
popolare come possiamo capire cosa sono quelli
erano così non ho davvero bisogno di
dividendo per colore qui più a destra
sto solo guardando l’utente delle notizie JPL così
posso liberarmi di questo e non lo farò
davvero cambiare qualcosa di così ho intenzione di
rimuovi le mie linee di divisione e non lo farò
cambiare qualsiasi cosa perché ero
solo guardando un utente comunque um
e non mi interessa veramente il tempo
più o meno infatti sto solo andando
zoomare su questo e avere un’idea migliore
cosa è successo in questo momento specifico
periodo davvero voglio sapere cosa è andato
in quel momento che erano
particolarmente popolare quindi non ho bisogno
il tempo come una dimensione più quindi mettiamoci
invece qualcos’altro sull’asse x
dimmi quali sono le loro destinazioni popolari
se non sapessi dammi il top come
non mi dai il massimo 15
le destinazioni vanno bene
oh okay, torniamo ad avere poco
piccoli punti ancora perché abbiamo poco
piccoli punti ancora bene abbiamo chiesto il
top destinazioni lungo l’ asse x e così via
ognuno di questi rappresenta solo uno
destinazione e la nostra dimensione dei punti era
determinare destinazioni uniche all’interno
il secchio naturalmente da quando ognuno di
quelli rappresenta uno ce n’è solo uno dentro
ciascuno che è in realtà a nostro vantaggio
perché siamo riusciti a reclamare io
destinato a una dimensione riusabile
dimensione per qualcos’altro quindi se noi
guarda questo possiamo vedere che sì loro
ha avuto alcune cose particolarmente popolari
come ha fatto coloro che arrivare a essere popolare uh bene
questo set di dati funziona molto come i dati
stabilito che avevo al giornale ero
lavorando in quelle poche persone arrivarono
attraverso la prima pagina a destra pochissimi
la gente va a mordere e basta cliccare su
alcuni link perché sono a corto di loro
vieni un po ‘per volta
perché hanno visto qualcosa su un altro
sito che è successo per utilizzare un link bit
quindi quali siti le persone vedono e
come è stato il traffico guidato al sito
è stato guidato perché uno in particolare
il link al sito prolifico ha fatto proprio questo
colpire la prima pagina del New York Times
o è stato fatto accadere qualcosa come era
condiviso tramite Facebook o Twitter o
qualcosa e un sacco di utenti
link pubblicati a questa cosa troveremo
cerchiamo di recuperare quel conteggio unico
destinazione ma invece di fare
destinazione prendiamo il referente
header e refer ci dice hey dove è stato
queste persone provengono da e in realtà io
voglio mostrarti un trucco in
elasticsearch chi ha usato la cardinalità
aggregazione in elasticsearch chiunque
so praticamente nessuno, quindi la cardinalità è
la cosa che conta in modo unico
conteggio unico soprattutto attraverso
sistemi distribuiti e set molto grandi
mentre non abbiamo a che fare con un set enorme
qui elasticsearch è costruito per gestire
Conteggi davvero grandi di conteggio unico di
molto grandi insiemi è molto difficile proprio nel
per determinare se qualcosa è
unico che devi sapere se hai visto
prima se sto spazzando solo Sam
attraverso tutti i miei registri e voglio trovarli
conosci i referenti unici, quindi ho bisogno
per sapere se ho
visto qualcosa prima quindi so se lo faccio
dovrebbe contarlo ancora il problema è in
per sapere se hai bisogno se lo hai
ho visto qualcosa prima che tu debba
ricorda che hai visto per
ricorda che hai visto qualcosa di te
devi metterlo in memoria se hai un
molte di quelle cose che useranno
tutta la tua memoria quindi c’è questa cosa
chiamato conteggio approssimato un approssimativo
il conteggio è ciò che elasticsearch fa se
il set di dati è davvero molto grande e
il modo in cui lo fa è essenzialmente
gente familiare non mi piace di più
persone per alzare le mani ma familiari
con le tariffe dell’algoritmo log log hyper
buono nessuno cool hyper log log il modo
Funziona è generare un sacco di
hash e usi questi hash per
determinare essenzialmente la probabilità che cosa
è la possibilità che ci sia qualcosa
come questo e quanti sarebbero
la ricerca così elastica ha questa ottimizzazione
dove può generare quegli hash avanti
di tempo quindi vado a scegliere il pre
versione hash di questo che mi capita
negozio solo perché è veloce non lo fa
conta davvero tanto su questo set di dati
ma essenzialmente il modo di conservare gli hash
funziona è che stai scambiando un po ‘di
spazio su disco per molto altro ancora
le prestazioni vanno bene così si riferiscono bene quindi cosa
possiamo vedere qui è il loro più
cosa popolare non in realtà tutto questo
ampiamente condiviso tuttavia il prossimo più
cosa popolare in realtà molto ampiamente
condiviso il conteggio unico del riferimento
l’hash in questo caso è 187 quindi 187 a
diversi siti diversi di riferimento
a questa pagina quindi cosa è successo
probabilmente in questa pagina era che ne prendeva un po ‘
quanto relativamente popolare sui social media
forse è stato pubblicato su una varietà di notizie
siti sono solo un po ‘curioso di cosa
in realtà è così che ho intenzione di aprirlo
e ho intenzione di ricorrere a quello e io sono
andando a guardare questo così ciò che questo
uno in realtà ciò che effettivamente era quello ok
quindi è apparentemente un calore di curiosità
scudo in dettaglio questo apparentemente ottenuto
molto molto popolare, credo di non esserlo
tutto ciò che mi interessa , ma ok io
Immagino che ho potuto vedere come questo è che è in
le sue barre sono abbastanza belle da vedere
questo peccato si vede prima questa immagine
tra l’altro non l’avevo mai visto prima
l’altra sera che ho dato questo veramente
forse tu eri uno di quei clic che ho scommesso
tu eri io scommetto che stavamo scommettiamo noi
avere un mi piace soprattutto se ci sei arrivato
da Twitter o qualcosa del genere perché questo
contiene anche molte lunghezze di TCO
c’è in realtà una possibilità eccellente
che sei in quel set di dati da qualche parte
questo è ok, tutto a posto
giusto così comunque questo è essenzialmente come
la kabana si occupa di un sacco di
diverse dimensioni ti consente di mappare
alcune dimensioni dei dati per alcuni
dimensione visiva di cose ed è a
funziona è un po ‘ è un po’ come un
flusso che abbiamo trovato che abbiamo attraversato
molto quando stavamo usando Cabana 3 noi
per prima cosa avremmo iniziato a cercare, poi avremmo
rendersi conto che in realtà non lo sapevamo
quello che stavamo cercando e così via
e creeremmo un sacco di questi
pannelli giusto il problema era questo
Qabbani tre è stato davvero progettato per
cerca e ha un cruscotto ma
a volte basta non c’era bisogno che
rispondi ancora e ancora e ancora
in realtà non ne aveva bisogno su un cruscotto
ed è per questo che abbiamo costruito il tutto
aspetto di visualizzazione di questo a volte
tutto quello che dovevo sapere era una foto
di uno scudo termico era molto popolare
cosa che non ho bisogno di sapere
che domani e probabilmente non ne avrò bisogno
su un cruscotto se ho avuto una risposta
che avrei bisogno di sapere ripetutamente
come cose come quanto sono grandi i file
sto servendo quanti visitatori unici fanno
ho ogni giorno quelli sono il tipo di
cose finisco per mettere su un cruscotto
le idee che stavamo cercando di costruire un flusso
che ti ha permesso di ottenere solo l’importo
di informazioni di cui avevi bisogno senza
costringendoti a salvarlo in qualche modo o
tenerlo in giro per dopo metterlo su un
cruscotto o metterlo in una sorta di fisso
pannello in modo che Qabbani ti consenta di risparmiare
queste visualizzazioni e riutilizzarle se io
avevo bisogno di vedere che conosci il grafico di
gli url di notizie JPL che avrei potuto salvare
quello e lo metto su un cruscotto che potrei
l’ho messo su più dashboard, no
solo quello ma in questo momento sono per lo più
guardando i miei dati del governo USA se l’avessi fatto
altri dati che potrei inserire
è roba da una dashboard per venire su a
tre a cui si poteva collegare solo un indice
un cruscotto Qabbani per altrettanti
diversi indici come vuoi che
porta in realtà qualcosa di simile
pulito, passiamo alla mia dashboard reale
veloce e ho intenzione di sbarazzarsi di
Utente di notizie JPL perché non lo so davvero
bisogno di sapere su di loro uh così an
un po ‘interessante qui è che sì posso
mettere più cose qui
in realtà voglio vedere più di quello
una piccola fetta di tempo che era la notizia del JPL
attivo va bene così interessante qui è
che ho questi due indici ho il
USA gov index e io ho questo utente
indice e entrambi condividono uno comune
tratto e quello è quello che entrambi
associato a un nome utente e così via
perché ho quell’utente del campo in entrambi
posti che ottengo in questo modo pulito
effetto congiunto lato cliente essenzialmente così
vediamo che ho qui un tavolo del mio
i migliori utenti e ancora una volta abbiamo capito
Utente di notizie JPL lì e tutti questi
quelli, ma ho intenzione di scegliere notizie JPL
di nuovo e ho intenzione di fare clic su quella barra
e dal momento che rappresenta solo uno
la dimensione ricercabile utile vieni sopra
va avanti e crea il filtro
per me e va bene così ora posso vedere dove
l’utente delle notizie JPL era molto popolare per lo più
in Europa si è scoperto che molti di quelli
i clic di collegamento provenivano dall’Europa e perché
ho sulla stessa dashboard gli utenti
indice e un elenco di tutti gli utenti che
viene filtrato allo stesso tempo quindi ora i
hanno anche tutti i dettagli a riguardo
utente anche se è stato memorizzato in a
indice separato da tutti i dati dell’evento
che stavo guardando normalmente
ottenere tutto il contesto su quell’utente
perché stavamo creando questo dashboard
molto più potente e perché lo eravamo
introducendo così tante nuove visualizzazioni
e perché stavamo usando le aggregazioni
e perché le domande che ti lasciamo chiedere
è diventato più complesso di cui avevamo davvero bisogno
accelerare il modo in cui Kabana ha fatto le cose
quindi, venite 23, ecco cosa è successo
avevi 15 pannelli su un cruscotto che
è una cosa piuttosto complessa come kemana
farebbe sarebbe dire che mi occupo di un
ricerca elastica e si limiterebbe a chuck a
un sacco di richieste HTTP a elasticsearch
ora c’era un problema con questo e
quello è che spesso non li ha buttati
direttamente su elasticsearch con cabana 3
dovevi avere un server web e molti
la gente ha deciso bene, preferirei creare un
proxy e parlare con Kabana
elasticsearch attraverso quello totalmente
totalmente ragionevole il problema sarebbe
è che molte persone afferrerebbero un
esempio per dire Apache o qualcosa fuori
Internet un esempio di un rovescio
proxy e quel proxy inverso
la configurazione avrebbe questa linea in esso
detto questo non ne permetto più di
tre connessioni per utente fino a a
tempo quindi ho 15 cose e il
il browser ha appena generato 15 richieste HTTP
quindi il browser si siederà lì e
girare è solo per sedersi lì e
attendi fino a quando non è possibile emettere più richieste
il che significa che pensa che sta per
numero 15 Gli Apache diranno di no
non hai intenzione di emettere 3 e così via
quello che succederà è per
arrivare a quella quarta richiesta deve essere
aspetta uno dei primi tre a
Finisci per arrivare alla quinta richiesta
Devo aspettare che uno di quei tre a
finisci così avanti e così via che significa
che sei costantemente seduto lì
in attesa di cose e mentre tu sei
stando seduto lì ad aspettare che ci sia
nuovi dati in arrivo a elasticsearch
giusto così quando arriveremo
come la quindicesima cosa che sa come
coerenti le nostre risposte erano oltre il
fatto che ci è voluto molto tempo così
come lo risolviamo in cabana per un noi
sbarazzati della necessità di creare un proxy noi
costruisci il back end in noi facciamo il the
essenzialmente il proxying con noi
una quantità minima di
limitazione su di esso in modo da mantenere le cose anche
come richieste non distruttive otteniamo richieste
si scrive nell’indice doc abana ma
questo è davvero l’unico indice che tu
arrivare a scrivere nell’altro modo in cui noi
risolvere questo è abbiamo detto di non chuck 15
HTTP richiede tutte allo stesso tempo
non è particolarmente efficiente
elasticsearch ha un modo migliore di
trattandoci ci limitiamo a raggruppare
tutto in un’unica grande richiesta ora
così invece di emetterli tutti
separatamente li mettiamo tutti nel
ricerca elastica in ricerca API e facciamo
certo che la ricerca elastica li esegue tutti
allo stesso tempo non ha mai fatto niente
senso di correre solo tre in un momento in cui
ne hai conosciuti cinque o sei
nodi di elasticsearch e ciascuno di questi
avere più core perché sono solo io
correndo tre basta eseguirli tutti e lasciare
elasticsearch capisci quale esso
fa abbastanza bene l’abbiamo trovato su complesso
dashboard cose che stiamo chiedendo a
molte domande che siamo riusciti a ridurre
il tempo di interrogazione da un fastidioso 30
secondi fino a un po ‘meno fastidiosi
10 secondi un aumento abbastanza decente no
solo quello, ma perché tutte le domande
sono stati chiesti esattamente nello stesso momento in cui loro
tutti hanno la stessa identica vista dei dati
questo è essenzialmente il modo in cui li abbiamo affrontati entrambi
la scoperta dei dati e le prestazioni
aspetti delle cose e alcuni dei
flessibilità e abbiamo fatto la maggior parte di questo in
Kabana per il rilascio recente di cabana
41 41 è venuto con un sacco in più
miglioramenti delle prestazioni il grande
essendo questo quando siamo andati a disegnare Kabana
perché siamo come se avessimo bisogno di incassare un
ci sono un sacco di cose che stiamo facendo
spostare un sacco di dati in giro ed è
importante che memorizziamo le cose
Ovviamente il problema con il denaro è quello
il denaro è di nuovo essenzialmente lo sai
ricordando cosa è appena successo e
ricordare le cose richiede ancora memoria
e così abbiamo fatto un bel tuffo
va bene questo caching che stiamo facendo come
efficace è davvero e abbiamo scoperto
non era così efficace come lo volevamo
per essere così ci siamo sbarazzati di molti
memorizzazione nella cache che in realtà ha finito per eccesso di velocità
un sacco di cose in effetti in alcuni
luoghi kabata per uno è
di più sull’ordine di 10 volte di più
la memoria efficiente di quattro era ora molto
di quello stava pulendo un po ‘di codice
ne avevamo in gran parte giusto
sbarazzarsi di cache che non eravamo
usare kemana per è molto più veloce di
Certo che abbiamo portato il nostro venire per uno è
molto più veloce, naturalmente, abbiamo portato in
alcune nuove nuove funzionalità come i filtri
li abbiamo resi migliori ne abbiamo aggiunti alcuni
funzionalità per loro, ad esempio
filtro geografico giusto posso fare Geo
filtri ora, quindi se voglio vedere solo
questo punto sulla mappa posso ottenere solo
quel punto sulla mappa un’altra cosa che
abbiamo aggiunto un filtro pinning e questo
era per risolvere il problema di ho risposto a
domanda qui ma ho lo stesso
domanda da qualche altra parte mi piacerebbe usare
gli stessi dati in un’altra parte del
applicazione ho creato tutti questi filtri
Non voglio creare di nuovo possibile
li tieni semplicemente in giro per me, così noi
aggiunto il blocco dei filtri che fondamentalmente
Dice solo di tenere questo filtro così lo farò
seleziona la piccola icona e ovunque io vada
d’ora in poi mantieni quel filtro così quando io
vai qui ho ancora questo geo
filtro che significa che tutti questi
le cose sono ancora rilevanti per questo
area geografica specifica selezionata
conoscete tutti gli intervalli di tempo dell’utente
mi resta semplicemente, certo che posso
ancora sbarazzarsi di loro e vedere tutto
l’altra cosa che abbiamo aggiunto è stata riempita
formattazione in modo da mettere roba in
elasticsearch ed è in un formato che
devi essere in grado di cercare su di esso
facilmente giusto quindi faccio qualcosa come me
avere un campo di morsi non lo memorizzo come
80 kb, giusto non inizio come 80
kilobyte Lo memorizzo come 80.000 ma quando
Vado davvero a guardarlo, non lo faccio
voglio costantemente guardare 80.000 che voglio
guardare 80 kb quindi era qualcosa
che abbiamo aggiunto è stata la capacità di avere
personalizzato per questioni quindi se aggiungo morsi
qui posso vedere che sì, in realtà ottengo
che nel formato corretto e anche io
link URL aggiunti
quindi abbiamo questo campo per le questioni
ti dico esattamente come vuoi il
cosa da mostrare così in questo caso io
stavo memorizzando gli URL che voglio mostrare
come link quell’URL per la materia
in realtà fa altre cose anche se in
in questo caso ci sono URL in
lì non devi effettivamente avere un
URL nel campo per creare un
link ad esso diciamo per esempio
hai memorizzato l’ID di qualcosa giusto
forse ho l’ID utente in quella lista e
Ho qualche altra applicazione che io
utilizzare per la gestione degli utenti per questo URL
la materia è in realtà un modello, quindi puoi
usa quel valore e inseriscilo in a
URL in modo da poter dire il collegamento a un altro
applicazione o qualcosa per il contesto
questo è uno dei posti in cui siamo prima
ha iniziato a introdurre una vera flessibilità
in Qabbani a livello di sviluppatori questo
è il primo posto che abbiamo davvero
iniziato a documentare l’API per farlo
questo te stesso perché abbiamo detto quello sguardo
possiamo colpire come un caso d’uso molto ampio
di ciò che la gente vuole fare con la proiezione
valori dei campi ma non lo faremo
ottenere tutto abbiamo bisogno di qualcosa in modo che
le persone possono farlo in un modo personalizzato che
abbiamo aggiunto così ora se andate a vedere
il nostro campo esistente per le questioni che puoi
venire con i tuoi sono tutti
scritti in JavaScript hanno un
differenziazione tra guardare
cose nel testo, ad esempio in suggerimenti di strumenti
e così e poi averli
rappresentato come HTML per qualcosa di simile
questo in modo da poter fare cose come fare
immagini in linea o potresti codificare un campo
con un po ‘di colore a seconda di cosa sia
il valore è qualsiasi altra logica personalizzata
vuoi presentarti e abbiamo in programma di farlo
tipo di continuare questa tendenza di fare
cose espandibili dove siamo
documentare l’AP è quello che usiamo
costruire funzionalità in cabana molto costantemente
ora così la prossima cosa che siamo
costruendo in cabana che siamo veramente
entusiasta di questo è l’ autenticazione
qualcosa su cui stiamo lavorando bene
ora e abbiamo iniziato a lavorare su di esso noi
di nuovo detto che questo deve essere flessibile
le persone devono essere in grado di fare ciò
modo
certo che possiamo costruire sistemi di autenticazione
che ha colpito uno spettro abbastanza ampio giusto
sappiamo che possiamo integrarci
scudo elasticsearch perché è facile
è come la cosa che la gente usa per proteggere
elasticsearch ma sappiamo che è così
non la cosa che tutti usano così noi
voglio assicurarmi che per
autenticazione che puoi integrare con
Dì il tuo sistema off aziendale così siamo
costruendo questo in un modo collegabile se tu
vai al repository github c’è a
biglietto che spiega tutto su come siamo
andando a costruire l’autenticazione collegabile
qualcosa che abbiamo già iniziato
l’altra cosa che stiamo facendo è
stiamo cercando di permetterti di prolungare
altre parti dell’applicazione per
esempio costruendo le tue visualizzazioni
stiamo iniziando a documentare il
API di visualizzazione in modo che se si dispone di un
cosa particolarmente di nicchia ne hai
modo in cui vuoi vedere i tuoi dati, forse
hai creato una visualizzazione come a
cosa autonoma vuoi portarla
in Cabana è qualcosa che vogliamo
inizia a permetterti di fare anche tu
potrebbe aver notato che non sono stato
scambiando avanti e indietro tra like
keynote o PowerPoint o qualcosa del genere
durante questo uh prima di parlare io
volevo vedere bene quanto sia facile
estendere la cabina per aggiungere completamente nuovo
funzionalità, quindi ho creato un’app per presentazioni
per cabana è per questo che ho quello
questa piccola scheda è in alto
costruito con rivela jas che è solo un
framework JavaScript molto semplice per
fare presentazioni non lo fai realmente
bisogno di sapere qualcosa su rivelare j / s
o JavaScript per usare questo hanno un
costruttore online per questi è tutto bello
e punta e clicca se prendi il
roba in questo repository di github e rilascio
nella directory dei plugin in kabata
aggiungerà un nuovo passaggio per te se
si sostituisce il credo che si chiama come
punto HTML offline se lo sostituisci
con le tue diapositive su cui hai costruito
la cosa in linea di rivelazione j / s che inserirai
la tua presentazione lì dentro e sarà così
solo un po ‘di lavoro, ma è tutto qui
l’app più semplice che puoi immaginare se tu
sei uno sviluppatore puoi entrare in esso e
sei un po ‘molto leggero
seme per costruire la tua roba in
Kabana
vogliamo anche assicurarci che tutti
queste cose sono sempre a tua disposizione
siamo un’azienda open source tutto
noi facciamo allo scoperto non abbiamo chiuso
fonte di qualsiasi cosa si accende e noi no
piano a cui significa che vogliamo che tu
essere in grado di utilizzare le cose non appena è
disponibile così abbiamo iniziato a pubblicare
build istantanee e bene ti ho appena dato
una bella diatriba su come vogliamo
condividere tutto ciò che principalmente sono
self-serving, vogliamo davvero solo
fai schifo a te per diventare beta tester
noi che è stato fantastico per noi perché
abbiamo iniziato a pubblicarli subito
Kabana 41 e abbiamo ricevuto un sacco di feedback
Sono davvero scioccato dal numero di
persone che sono disposte a usare
qualcosa di simile prima di averlo qaid
ma è stato un ottimo banco di prova
per noi abbiamo aggiustato un sacco di roba che hey
forse non avremmo trovato anche noi
migliorare il comportamento in molti posti
la gente ha detto hey questo potrebbe essere solo un
un po ‘ meglio qui è perché diamo
accesso anticipato a tutto in un facile
consumare modo quindi per favore fatelo fare
sapere come possiamo migliorare la correzione dei bug
bug e questo è tutto
tu
Please follow and like us: