pomeriggio sì sì il mio nome è Marco come io
penso che sia Lizzy, sono un signor a lungo termine. sopra
il progetto leucine così sono stato
coinvolto per circa dieci e un quarto
anni per quanto tempo è andato e
è entrato a far parte di elasticsearch per un anno e un anno
Mezzo fa e io lavoro principalmente sul
aggregazioni quadro e di utilizzare tale
espressione orribile mi piace mangiare il nostro
proprio cibo per cani quindi mi piace usare l’elastico
cerca su dati reali e prova a risolvere
alcuni problemi reali quindi l’argomento del
parlare oggi è davvero da provare
alcuni set di dati di esempio che ho giocato
con il passare degli anni e darti un po ‘
indicazione di che tipo di sfide
vomitano e che tipo di cose
abbiamo fatto per risolverli che ho pensato
è tecnica di wrestling dati perché io
non mi sento davvero troppo come un dato
scienziato c’è troppa sudorazione e
giuramento e grugniti coinvolti per questo
si chiama scienza io la terra penso
di esso più come dati di wrestling, quindi facciamolo
um saltiamo alcuni esempi di
come l’abbiamo usato, ma prima che arriviamo
in questo ciò che volevo fare è solo
tipo di riavvolgimento un po ‘e giusto
ripeti un po ‘di storia quante persone qui
conosci gli elastici che usi
elasticsearch numero così sano di
persone così salterò rapidamente attraverso questo
ma la ricerca si è evoluta nel corso degli anni
sai che lo conoscevamo come un
un’interfaccia come questa in realtà non lo fai
devi leggere le parole qui puoi
probabilmente lo riconosci a digitare 2.5
parole chiave in una casella di ricerca che premi invio
e poi ottieni 10 collegamenti blu
tipo di esperienza utente , ma abbiamo avuto
fare dietro le quinte con ogni sorta
di ingegneria per capire come fare
questo cercando qualcosa di grande come il
internet per quanti più utenti ci sono
su internet quindi ce n’è un po ‘
sfide di ingegneria nella parte posteriore, ma
stiamo tutti dando il meglio di cosa
riteniamo di essere i migliori collegamenti prima
pagina del menu attraverso di loro e diventa un po ‘
annoiare così di nuovo i siti web che dovresti
leggi il testo su questa diapositiva qui web
siti come Amazon hanno introdotto questo tipo
di interfacce dove avremmo ancora
la casella di ricerca lassù in alto a sinistra
da qualche parte e avremmo ancora il nostro 10 blu
collegamenti ma abbiamo chiamato questa cosa
sfaccettatura così
vorremmo davvero riassumere il milione
o almeno così risulta che si dovrebbe
pagina attraverso per vedere ordinariamente avremmo
riassumili qui a sinistra
lato e dire bene ecco quanti hotel
avere il Wi-Fi ecco quanti hotel ci sono
questa regione particolare il suo quanti quattro
star hotel è quanti in un particolare
fascia di prezzo così in prevalenza saremmo
vedendo una sorta di dati strutturati qui
il lato sinistro che riassume il
milioni di colpi che abbiamo avuto nel
motore di ricerca e anche darti il
capacità di approfondire e dire che sono solo
interessato a quattro stelle in questo
fascia di prezzo e tutto il resto così
le persone hanno molta familiarità con questo
Sfaccettature, ho fatto molta strada ma poi noi
ha introdotto l’idea di aggregazioni e
riassunti multidimensionali dei nostri dati
quindi ancora l’interfaccia analitica di
oggi è una sorta di multi-dimensionale
la natura di ciascuna di queste visualizzazioni può
rappresentano più di una dimensione e
abbiamo il drill-down completo
capacità e per alcuni aspetti
la casella di ricerca è scomparsa, non lo eravamo
necessariamente interessato a 10 collegamenti blu
più eravamo interessati a
dicendo tutti questi dati nella mia attività
riassumendo tutto ciò dimmi cosa sta succedendo
nella mia azienda così tante persone
vieni da noi per questa esperienza bene
necessariamente prendermi i 10 collegamenti blu ma
riassumere cosa sta succedendo nei miei affari
perché siamo stati così veloci a riassumere il
una sorta di esperienza di tipo Amazon
loro conosci milioni di colpi e
mettendoli in diversi secchi di
hotel a quattro stelle a cinque stelle prezzo
parentesi graffe tra parentesi abbiamo ottenuto molto
bravo a riassumere i dati molto rapidamente così
questo è quello che le persone vengono da noi per ora a
sacco di utenti in realtà non si preoccupano con
la ricerca tanto e solo in realtà
voglio riassumere tutto ciò che è
andando avanti nei loro dati ma loro ancora
cerca quando fanno clic su questi
diverse sezioni della visualizzazione
stanno ancora restringendo e
scavando nei dati così ancora
avere elementi di quello in là così a
riassumere questi se si va fino all’ultimo
tranne l’Asia certamente usato per avere il
lo striscione sul titolo in tempo reale
ricerca e analisi quindi cosa intendiamo con
cioè siamo ottimizzati per noi in tempo reale
dammi i 10 collegamenti blu aiutami
trova i migliori documenti e usiamo tutti
queste strategie qui alcune di queste
risalente agli anni ’60 si sa fuzzy
corrispondenza tf-idf pertinenza classifica molto
di persone ci pensavano a lungo
tempo tutte queste cose vanno in classifica
e ti aiuta a trovare il meglio
documenti e abbiamo tutti gli strumenti in
la scatola per aiutarti con quello che abbiamo
ha anche gli strumenti per aiutarti a riassumere
tutti i dati da cui torni
queste ricerche o anche se solo tu
voglio vedere tutti i dati che possiamo
fare l’analisi per dire quali sono questi
i documenti collettivamente mi dicono del mio
affari sai che è finita
su giù sai che possiamo riassumere a
molti dati molto velocemente c’è a
un po ‘di un problema potenzialmente con
l’ incontro di queste due tecnologie
è solo una nota di avvertimento per te se
stai eseguendo analisi su
i risultati delle ricerche ricordano che lo siamo
non parlando di insiemi di dati nel
senso normale la nostra roba fuzzy qui
è capace di produrre ciò che vorrei
pensare a come essere un sfocati cose insieme
appartenere ad esso in misura così il primo
scivolo che ho messo credo fosse qualcuno
cercando carne biologica ora è così
preferibilmente organico o la parola carne
ci sarà un sacco di
documenti che contengono entrambe quelle parole
e ci saranno documenti che
contiene solo una di quelle parole classificate
da qualche parte sotto quindi siamo in realtà
riassumendo potenzialmente nella nostra analisi
cose che non sono esattamente ciò che eravamo
cercare soprattutto se si butta
cose come nel mix come
bene, quindi il mio optare il cazzo fuori alla fine di
organico e finire con organi che è
chiaramente non qualcosa che qualcuno era
cercare carne biologica potrebbe
necessariamente stai cercando quindi c’è un
nota di avvertimento qui quando si fondono questi
due capacità insieme assicurano il tuo
gli utenti finali stanno effettivamente guardando il
grafici a torta e grafici a barre con pieno
consapevolezza di ciò in cui è andato
quella serie di documenti che stanno guardando
Ho alcuni esempi in arrivo
su come possiamo fare ciò che chiamerei
analisi sfocate quindi stiamo facendo analisi
ma su insiemi di dati confusi quindi non c’è
alcuni esempi di ciò in arrivo
quello è lo sfondo che è dove noi
siamo dove veniamo da dove siamo
arrivato e ora andando a vedere come
useremo questo su vari
diversi set di dati quindi i primi dati
set che ho sono tutti i dati di alloggiamento del Regno Unito
quindi nel Regno Unito siamo abbastanza fortunati
ci sono molti dati aperti ora che puoi
prendi tutte queste cose liberamente se lo sei
interessato agli URL che probabilmente hai
non posso leggerlo ma penso le diapositive
si rivolgono a Internet è possibile entrare in possesso di
questi dati se vuoi l’unica cosa che io
doveva fare per aiutare a riordinare
dati dovevo prendere i codici postali
qui e guarda la latitudine e
longitudine di ciascuno di quei codici postali a
capire dove questa casa è così ciascuno
casa sembra che abbia un
località di codice postale località località
Contea e un prezzo che è tipo
interessante quindi quello che volevo fare era
cercare di riassumere il mercato immobiliare in
il Regno Unito posso farlo con una query in
la nostra ricerca elastica utilizzando un’aggregazione
qui quindi c’è una sorta di strutturato
natura alle aggregazioni e utilizza
nidificazione all’interno del Giasone e in alcuni
rispetta alcune persone dicono questa roba
sembra complesso rispetto al sequel ma
In realtà mi piace molto la natura nidificata
del modo in cui sono rappresentate le aggregazioni
perché riflette la natura annidata di
le strutture che stiamo producendo così
il livello più alto sai che stiamo rompendo
tutto questo avviso di casa non c’è
query qui dal modo in cui non è la ricerca
è solo pura analisi ciò che sei
dicendo prendi tutto il mercato immobiliare
riassumere così non abbiamo una ricerca
qui anche se avremmo potuto se volessimo
e stiamo dicendo riassunti da
posizione e quindi all’interno di quello all’interno
ogni luogo riassume i prezzi
e varie delle diverse cose così
diamo un’occhiata a ciò che produce
um quindi questa è una visualizzazione che è
tratto interamente dai dati è prodotto
da questa query, quindi questo sta usando Google
terra e in realtà quando si ha una sorta di inclinazione
la terra e poi girarla e
guardalo puoi vedere chiaramente una divisione
tra nord e sud nel Regno Unito
qui quindi lo chiamiamo Regno Unito nord-sud
dividi astutamente e cosa vorrei avere
scelto di fare qui al massimo livello
aggregazione stiamo usando un hash Geo con
la precisione di cinque da dare è piccola
le torri ascoltano quante persone ci sono
Conoscenza di geo hash due tre ok
quindi quello che sto in piedi adesso è probabilmente
descritto usando una geocache che è GC
p73 QTL qualcosa e se uso 12 cifre
si sarebbe effettivamente adattato all’interno del vetro
questo bicchiere d’ acqua qui così
la tecnica è … prendi il globo per dividerla
fino a 32 celle
e io sono attualmente seduto nella cella G
qui ad Amsterdam e poi dentro
cell lo abbiamo ulteriormente scomposto
altri 32 quindi riceviamo GB e così via
e continui a scendere giù e giù
verso il basso e dal momento in cui hai fatto 12 di
queste cose danno in un piccolo bicchiere di
l’acqua quindi è un buon modo per il nostro
rompendo la geografia in diversi
celle così sto usando una precisione di 5 i
potrebbe anche usare una descrizione che è
basato su miglia potrei dire a questo molti
miglia quadrate o qualsiasi altra cosa e lo sarà
trova la geocache più vicina che si adatta a loro
così che ci dà tutti questi vari
diverse torri qui e questo è il nostro top
livello di aggregazione quindi all’interno di quello che abbiamo
ho un altro paio di attributi qui
questa è la natura multidimensionale di
l’aggregazione che abbiamo il Geo e
allora dentro di noi abbiamo colori e
altezza quindi diamo un’occhiata a cosa succede
che così l’altezza della torre è il
prezzo della casa mediana per quel particolare
posizione in modo che la casa media prezzo noi
posso cliccare su ogni torre e otteniamo il
numero di qual è il prezzo medio della casa
questo uso di mediana e percentili abbiamo
ha un intero blog su quelle medie può essere
pericoloso quindi se il signore cammina
nella stanza adesso c’era Bill Gates
tutto ad un tratto come una media vorremmo
essere tutti milionari che non avrebbero
è stato il caso prima mano ma questo è il
natura delle devastazioni e come possono distorcere
cose così percentili sono grandi per il
terzo effettivamente facendo questo tipo di
i sommari prendono la mediana se lo sei
fare analisi di registrazione e cose simili
che le persone sono spesso interessate al
99 ° percentile sai qual è il
la peggiore specie di esperienza che le persone hanno
stanno avendo in termini di tempi di risposta
e il mio sito Web ha creato un’aggregazione
i loro percentili per aiutarti a riassumere
i dati se sei interessato a
i meccanici di allora vanno a dare un’occhiata
braccio c’è un discorso di Ted Dunning
Le parole d’ordine di Berlino si chiamano TGI jest e it
ti dice come siamo terribilmente intelligenti
sull’essere efficiente e il calcolo di questo
roba su scala prossima cosa che abbiamo
sta succedendo è il colore di queste barre
hai notato che sto usando i termini
aggregazione qui per riassumere all’interno
questa cella qual è la dimensione più popolare
un significato voglio solo un risultato indietro
qual è il nome della contea più popolare
che è usato per descrivere le case che sono
essere venduto lì e che effettivamente dà
noi che attiriamo per noi se ti piace il
forma delle contee nel Regno Unito perché
stiamo prendendo il più popolare in
ogni posizione e il risultato netto di
cioè puoi effettivamente ottenere una mappa e
vedi dove sono i confini di tutto il
le contee sono un altro blog interessante
posta qui che è abbastanza pertinente e
riferito non è uno di elasticsearch ma
è diverso da ciò che tratta
confini del crowdsourcing delle aree
c’è una contea nel Regno Unito chiamata
Middlesex che sembra continuare a cambiare
i suoi confini alcune persone pensano di loro
vivi e alcune persone non lo fanno
un po ‘ nebuloso ora se fai crowdsourcing
dati quando prendi abbastanza dati in poi
utilizzando un’aggregazione come questo si potrebbe
inizia a capire cosa tende la folla
pensare a come si conosce la posizione di
la terra quindi è interessante
applicazione qui penso che Flickr ha fatto questo
qualche tempo fa con i tag che erano
mettere le immagini che avrebbero effettivamente creato
forma file per quelli di voi che sono dentro
il mondo GIS che avrebbero invertito
ingegnere forma i file in base ai tag
a cui la gente si stava attaccando
fotografie così luoghi di crowdsourcing
quindi avrebbero capito cosa
i confini di Chinatown erano in a
posizione in base agli altri tag
l’informazione è nei dati quindi non lo è
un altro bel po ‘l’uso di
aggregazioni su set di dati di grandi dimensioni come te
può trovare ancora una volta la cosa più popolare
Prendo la città più popolare che è solo
utile per te sapere quando fai clic su a
in particolare le contee sono abbastanza
grande quindi quando si fa clic su un particolare
area perché sembra avere molto
alto picco si può dire che asia sì
fino a quel posto che è il posto con
l’ippodromo dove è davvero in attesa
santo costoso per vivere questi termini
aggregazione di nuovo i termini aggregazione
stiamo usando qui la dimensione 10, quindi otteniamo a
bel tavolino qui che è un
rottura di quanto bene sono le case
in questa posizione delle case a schiera
sono distaccati o almeno semi
distaccato in modo da poter ottenere tutto questo in
una query e verrà eseguita sub secondo e
allora puoi passare il prossimo a conoscerne due
ore di vagabondaggio su Google Earth
sai trovare il più economico
luogo costoso in cui vivere così bene
dati multidimensionali riassunti davvero
molto rapidamente
altra cosa interessante di geo è questo
può essere qualcosa che puoi usare
Unisci insieme i set di dati in modo che tu sappia
ordinariamente ordinariamente quando si tenta di aderire
set di dati stai cercando un po ‘di te
conoscere una chiave esterna o una chiave primaria o
qualcosa del genere è geo
tipo di cosa universale che siamo tutti
costretto da te sai come spazio e
tempo sai che dobbiamo esistere in questi
dimensioni che conosci così abbiamo
collettivamente deciso che possono come un
industria stiamo andando a rappresentare geo in
alcuni modi e noi ora per tradurlo
da così a lungo ne conosci altri
sistemi di coordinate e così via così è
possibile prendere dati da un set di dati
come questo che è vendite di case e
di ‘ok, lasciami prendere tutte le torri
qui che è andato sopra diciamo 500 k è
il prezzo della casa mediana in modo che ciò che fa
questo mi dà che mi dà un’indicazione
di quale delle aree ricche del Regno Unito
quindi ora posso prendere i risultati
query e posso usarlo come filtro su a
set di dati diversi, ecco qui questi sono tutti
gli hash Geo che rappresentano il
aree ricche e ho intenzione di colpire il
i dati del crimine ora sono il crimine del Regno Unito andrò tutto
dei documenti del crimine del Regno Unito e via al mio
portatile qui e dire cosa è diverso
sui crimini che accadono nel
aree ricche perché sto usando questo
filtra qui solo le aree ricche
e cosa mi dice che c’è una battuta
qui l’aspettativa normale UH sarà
entrare in questo in un minuto ma che racconta
me che nelle zone benestanti c’è il furto
perché sono case più belle da rapinare
hanno più cose in loro così persone
ruberà loro un antisociale
il comportamento è giù perché sono
terribilmente bello in questi luoghi
quindi non tendono ad essere antisociali okay
un diverso set di dati un sacco di
insiemi di dati hanno connessioni in loro
cose connesse transazioni bancarie
e-mail con le telefonate che conosci anche
i documenti sono articoli di wikipedia
connessioni ad altri articoli di wikipedia
a volte è interessante avere un
guarda questi da una prospettiva del grafico
e non intendo grafico nel senso di a
grafico a barre Intendo grafico nel senso di
nodi e spigoli in realtà è un intero
area dell’informatica scopre noi
può effettivamente ottenere questo tipo di dati
forma dati da ricerca elastica e
ecco come faresti a finire
interrogare le e-mail Enron di nuovo avviso
Non sto usando alcuna query qui ma
in modo cruciale potrei essere che avrei potuto inviare
una mail e ha detto di trovarmi solo il
e-mail che stanno parlando di loschi
società chiamata Raptor the Enron
chi parlava di Raptor perché
quello è un veicolo poco raccomandabile che voglio sapere
chi lo ha creato quando e chi erano
parlare con te così che potrebbe essere il
query che va sopra questo ma che cosa
stiamo dicendo che è riassunto per me il
i primi 50 mittenti di e-mail su Raptor così
questo mi darebbe questi nodi in questo
diagramma qui potenzialmente questi sono i
le persone che parlano più spesso
sul progetto Raptor e la seconda metà
di questa query è nidificata un’aggregazione
e con chi stavano parlando in questo modo
completa l’altra metà del
transazione che sta inviando l’e-mail e
stiamo per riassumere i destinatari
campo anche qui e vogliamo i loro 50 più
corrispondenza comune dai risultati
di questa query è possibile ottenere questi grafici
strutture qui e che ti daranno un
indicazione delle diverse clique e
hub in un’azienda che stanno parlando
su queste varie cose diverse noi
puoi scegliere in questo diagramma qui per
esempio per disegnare lo spessore della linea come il
volume di e-mail che ci sono stati scambiati
ottenere un campo di documento in modo che possiamo utilizzare che
disegnare lo spessore della linea
allo stesso modo avremmo potuto usare il numero di
i nostri documenti per ridimensionare i cerchi
questo diagramma per dire bene quante email
con un invio occupato molto sai
questo ragazzo, ma possiamo fare di più che
riassumere le linee che collegano le cose
se inseriamo un’altra sub aggregazione
qui se si trattava di dati bancari per
esempio potrei riassumere il
valore finanziario del denaro che era
essere trasferito tra ogni coppia così
potrebbe avere ogni riga in questo diagramma
una grande quantità di dati in esso riassunti
i volumi finanziari possono essere riassunti
dati temporali in un mese per mese come
molte e-mail venivano inviate tra
queste due persone su questo argomento
c’è un software commerciale
chiamato linee chiave che è abbastanza abile a
facendo questo tipo di visualizzazioni e
include le scadenze sul fondo
quindi è una sorta di cosa dove puoi
strofinare la timeline e com’eri
spostandosi lungo la linea temporale che animerà
bit della rete che ti mostrano bene
alcune persone hanno iniziato in due
migliaia qui e poi entro il 2001 tu
conoscere il discorso del raptor si era diffuso
attraverso il business in questi altri
aree in modo da poter riprodurre tutto questo
informazioni e ancora una volta tutto viene fuori
di una query a elasticsearch così è
un altro modo di avere multi-dimensionale
i dati provengono da elasticsearch in uno
query che riassume milioni se non
la punta di miliardi di record è stata questa
qualcosa che ho messo in olistica come
un risultato di provare a fare questo tipo di
analisi che è ordinariamente abbiamo solo
prendi ogni singolo documento che corrisponde
le nostre domande li gettiamo attraverso il
albero di aggregazione come mi piace ci piace
pensaci e espande il tutto
albero e poi pota solo a quelli
cose che volevi i primi 50 i
Top 10 o così su questo è un caso in cui
vogliamo raccogliere i dati in un modo
che differisce dai valori predefiniti il
il default è questo approccio di prima profondità noi
prendi ogni singolo documento lo espandiamo
fuori in un secchio e poi lo espandiamo
fuori nei sotto-bucket e poi nel
sottoservizi oltre questo approccio
quello che non vogliamo fare è gonfiare a
immagine di tutto ciò che enron
voglio fare è prima scegliere la top 50
mittenti non tutte le persone nella Enron
rete e avendo stabilito chi sono
i mittenti più prolifici solo allora
spingere fuori i documenti per scoprire chi
i loro destinatari sono quindi è diverso
modo di raccogliere dati internamente
risultati i risultati finali sono esattamente i
lo stesso, ma lo stato di lavoro provvisorio che
dobbiamo continuare a ridurre la cifra finale
è diverso in modo che tu possa leggere su
che abbiamo blog separati che parlano
sulla modalità di raccolta e prima su Brent
prima la profondità per la maggior parte del tempo
dovresti preoccuparti di ciò e della profondità
prima funziona bene questo è uno scenario
dove il primo è in realtà signore
solleticare che si desidera attivare yes neo4j
inseguiremo vicino a 40 molto velocemente
sono grandiosi quello che fanno il trucco
i database di grafici fanno meno indice
attraversare quindi se si desidera seguire a
connessione è che non devi guardare
in un indice b-tree o qualcosa di simile
come se avessi un urto del puntatore lì
giusto così, ma quello che non fanno è avere
aggregazioni quindi se tu ed io abbiamo
scambiati sai un miliardo di soldi
transazioni ognuna di queste è una
bordo o un documento e sta per andare
scappando via dal ring lo farai ancora
cerca un disco o se sei abbastanza fortunato
hai tutto in RAM ma questo è il
cosa che non puoi chiudere non puoi mostrare
sul grafico se vai e leggi il
blog di CTO neo4j su come sharda
lastic neo4j o come ridimensionarlo
in realtà mi cita lì a parlare
su come raccontare sì come ridimensionare
neo4j e la risposta breve è che non è così
scala davvero sì e loro parlano di a
cosa chiamata cash sharding ma è così
mettendo davvero tutti i dati su ogni
una singola macchina e quindi solo il routing
si interroga su una macchina nella speranza che ciò accada
sarà caldo in termini di denaro così
che non hanno davvero
sì, voglio dire che direi che c’è
due ci sono due differenze, penso
potenziale o due potenziali differenze
con il modo e penso che tali approcci
questo e il modo vicino per giudicare bene a
tre se si include la creazione di grafici che facciamo
splendere uno è l’aggregazione il
capacità di sintetizzare enormi volumi di
transazioni come un unico vantaggio un ricco
bordo se ti piace un super-bordo è ottenuto
un po ‘come mese per mese, lo sai
volumi qualunque ma questa è una cosa
l’altra cosa che mostra molto
promette è il fatto che sappiamo quale
le connessioni hanno rilevanza significativa
classifica e tutto il resto lo sappiamo
non dovremmo effettivamente andare giù
alcune strade nel grafico perché
sono semplicemente super connessi e lo sappiamo
le frequenze di tutto il nostro IP
l’indirizzo è ciò che si mette a
elasticsearch lo contiamo sappiamo come
molte volte accade e possiamo usarlo
per esplorare effettivamente il significato
connessioni e grafici piuttosto che semplici
quelli abbondanti è così che vorrei
descrivi questo ma un altro esempio
raccomandazioni relative ai dati relativi agli obiettivi dei filmati
questo potrebbe applicarsi a qualsiasi cosa
le persone hanno comprato x persone che
comprato x anche tu sai tendono ad acquistare perché
sai che è quel tipo di affare, quindi questo
è un utente che abbiamo un sacco di prodotti
codici qui che sono solo ID film così
questo è come un tipico tipo di cosa
troverebbe in una raccomandazione del prodotto
digitare lo scenario è possibile scaricare i dati
e puoi giocarci ecco l’URL
ma ognuno dei documenti nel nostro sistema
sono uno di questi sono usati intorno al suo
preferenze ora solo per spiegare come
la ricerca elastica può essere usata per fare
raccomandazioni lungo l’ asse x qui
Ho la percentuale di tutti gli utenti che
è piaciuto un film in una selezione di film
qui disegnato come punti su questa linea, quindi lascia
Spiego cosa sta succedendo qui
diciassette per cento di tutte le persone come
Forrest Gump questo è vero per questi dati
impostato e probabilmente vero di voi conoscete le persone
in generale penso che sia un film solo per
il diritto di farlo così c’è ventitre
per cento o qualcosa che piace alla gente
Shawshank Redemption va bene così questi sono
è solo il cinema popolare Star Wars
probabilmente guardandosi intorno anche qui se
Prendo un esempio completamente casuale di
persone e io sto prendendo il dieci per cento di
la gente qui come esempio e io trama
i loro gusti
su questo asse non dovremmo essere sorpresi
Giusto diciassette percento del mio casuale
assaggia anche la foresta
ventitre per cento di loro piacerà
Star Wars sarebbe insolito se lo fosse
qualsiasi altra cosa giusta se prendi un caso
campione di persone perché dovrebbero i loro gusti
differiscono dal mainstream che è quello
non insolito che così questi quando lo faccio
queste domande che conosci trama a
campione casuale contro tutti gli altri
vedi sempre i punti allineati su questa linea
conosci il numero dei maschi di
la bomba femminile è sempre in prima linea
scelte qualsiasi se si prende un caso
campione sono gli stessi di tutti
altrimenti così è noioso ciò che è interessante
è quando hai un campione non casuale così
cosa succede a questi punti quando prendo un
campione non casuale di persone e quello
diventa interessante c’è un non casuale
un campione di persone sto guardando tutto il
persone a cui piace il film Talladega
Le notti non so se conosci il film
sarò ferrell movie e sto usando il mio
aggregazione preferita termini significativi
aggregazione che è la cosa che
cerca le cose che sono cambiate
Questo è ciò che chiamiamo comune non comune, quindi
non ti dice come la gente
chi ha visto Talladega Nights loro
piace molto questo film chiamato Star Wars
sai che dovresti andare a vederlo, ma noi
tutti hanno visto Star Wars che conosciamo
quello così stiamo cercando le cose
che sono diversi da tutti gli altri
quindi questo è l’insieme di punti che abbiamo
qui puoi vedere un abbraccio alla mano sinistra
l’asse qua e là si è allontanato da questo
linea abbastanza debole qui che è la linea
di normale aspettativa così meno che no
punto 50 cent di tutte le persone come il
film anchorman dovrei trovo che
stupendo ma comunque in un insieme di
talladega come venti percento di loro
come anchorman quindi siamo partiti da te
sanno nulla virgola cinque per cento che è
cosa ci aspetteremmo se prendessimo un caso
campione nel nostro Talladega ha dormito
quassù questa freccia rossa mostra l’estensione
del salto è salito al venti percento
questo è un enorme aumento di popolarità
giusto questo è il segnale che usiamo
trovare gusti comuni
quindi conosci qualcuno che fa clic
notti di talladega darai loro il
raccomandazione in fondo hey te
dovrei andare a guardare l’ ancora uomo perché
abbiamo visto questo grande cambiamento di popolarità
tip evitare di analizzare set poco focalizzati
quindi se ho preso tutto il mio film recente
guarda come un set di dati essere alcune cose in
ci sono tipi di baps rari così
Talladega Nights lame di gloria e
allora potrei aver visto Star Wars per
esempio ora se guardo il set di
persone che hanno questi film in comune
uno di questi film poi vado
per abbinare praticamente tutti perché io
significa che nessuno qui non ha visto Star Wars
Wow ok Ponty per tutto il tempo, mia moglie
non ha neanche tentato di tenere duro
in questo modo sai che non è sicura di esserlo
evitatelo, corrisponderemmo quasi
tutti usano questa query, quindi non lo fanno
ha senso fare analisi su un grande
imposta vediamo cosa succede in realtà se
facciamo analisi su una serie di query
che include lame di gloria talladega
notti e Star Wars il mio bel po ‘
grappolo di punti qui che tutti questi
i film vengono spostati dall’abbracciare questo
linea qui e hanno iniziato a piegare
verso il mainstream cosa stiamo facendo
è stiamo diluendo il segnale, anche se
Gli orologi di Star Wars che faranno molto
loro tipo di guardare film pulcino e
altre cose che forse non sono così
interessato in modo che abbiamo iniziato a diluire
il segnale che era nei dati originali
quindi come risolviamo questo come otteniamo un?
campione rappresentativo di utenti bene
torniamo a quello che ho iniziato con
siamo la ricerca ragazzi che sappiamo come fare
classifica di pertinenza di cosa si tratta
teoria dell’informazione è roba così
risale agli anni ’60 usiamo l’inverso
documento di scarsità di frequenza cosa fa
questo significa persone che condividono il mio più raro
le scelte come Talladega sono più classificate
altamente di persone che condividono il mio
gusti tradizionali come Star Wars un altro
le persone a frequenza di un termine hanno guardato a
scelta del film molte volte ripetizione di
qualcosa di ripetizione di un segnale come a
persona che ha visto Howard Baker 27
volte è probabilmente interessato al
lo stesso per i film
persone che hanno normalizzato la lunghezza
liste enciclopediche di film e di
Ovviamente ne condivideranno alcuni
interessi in comune più grandi hanno visto
molti quindi usiamo la normalizzazione della lunghezza
fattore di coordinamento che è un altro
classifica euristica che è come molti la
le cose che ho chiesto ho trovato in questo
in questa persona serie di scelte cinematografiche
queste sono tutte le euristiche che sono
andando a cercare classifica di pertinenza
normalmente li useremmo sul testo
cosa stiamo facendo qui li stiamo usando
sui numeri numeri grezzi ma su alcuni numeri
avere un significato allo stesso modo di Star
Le guerre sono circa l’equivalente del testo
si dice che sia così comune in realtà no
vale niente in termini di classifica così
mettiamoci tutti insieme
elasticsearch 2 punto 0 abbiamo rimosso un
vecchia restrizione che vorremmo
assumere automaticamente se tu fossi
ricerca di numeri rilevanti
la classifica non aveva un posto in cui non avremmo rango
e segnare le cose in base alla loro rarità
erano rari un numero perché quello
le persone non lo fanno ma in realtà lo abbiamo
appena trovato il bisogno di quello così abbiamo
acceso ora così di default se tu
cerca un campo e capita di essere
un campo numerico che stiamo per rilevanza
rango sulla scarsità di quello per sostenere
usa casi come questo se non lo fai
vuoi la classifica della pertinenza sui tuoi numeri
allora dovresti fare la cosa che sei
sempre supposto aver fatto nel
primo posto che è quello di utilizzare filtri e
non domande, quindi siamo tipo di essere
coerente nelle query ora di messaggistica
sono per i filtri di classifica non ti offro sì
nessuna vasca decide un altro cambiamento solo io
voglio trovare le persone come me non tutte
le persone che hanno visto uno dei miei film
quindi abbiamo una nuova aggregazione chiamata
aggregazione campionatore che è dove tu
prendi le migliori partite di te
conoscere dalla tua domanda e sottoporre a
siamo all’analisi o all’analisi, così siamo
intenzione di usare i termini significativi
funzione qui solo la corrispondenza superiore
esempio di contenuto da questa query e
finalmente sono nelle versioni precedenti di
la ricerca elastica esclude che siamo scritti
usando reg X’s e si comportano in modo terribile
e
è stato risolto possiamo ora aumentare
un numero molto grande di cose ed è
molto più efficiente in termini di
filtrando queste cose così che sono
fare qui è che sto dicendo che è il mio
le scelte di film trovano persone come me e
dimmi cosa piace escludere il
roba che ti ho detto sui film
ho già visto la domanda yep diversity
sì grazie che hai chiesto di poter
il mio campione si diversificherà, UT su
perfettamente signore non ho potuto hai pagato
pagato i soldi per un veterinario migliore a
domanda che c’è un cambiamento che è andato
in leucina che ti permette di morire
diversificare su una scelta di riempito per il
beneficio di tutti quando si prende un
assaggiare è importante che sia un
campione rappresentativo così la gente lo fanno
uno che fanno gli esercizi di marketing
non voglio campionare da un particolare
gruppo etnico o genere che vogliono
diversità nel campione quindi c’è un
impostazione aggiuntiva nel campione dove
puoi dire diversificare sul campo x quello è
deve essere un campo a valore singolo da parte di
in modo che non può essere un campo a più valori ma
puoi dire ad esempio che non voglio
un sacco di prodotti dallo stesso fornitore
Voglio un massimo di tre prodotti /
fornitore in modo da scegliere il campo fornitore
imposta il valore 3 e questo significa che non lo facciamo
ottenere un campione che include più no
più di 3 risultati da ciascun fornitore
quindi sì diversificazione della diversità è un
parte importante del campionamento sì, ora questo
sta arrivando al punto oh questo è parte di
l’aggregazione del campionatore sì sì alla fine
prodotto hai queste cose che
avere l’asse sinistro sinistro qui più velocemente
suggerimenti accurati più pertinenti che
era 30 millisecondi per farlo
query particolare è raro che tu
effettivamente fare un’ottimizzazione di
migliora effettivamente la qualità o
qualcosa ma questo è dove il prossimo
i casi buoni sono un bel compromesso se tu
guarda meno persone corre più veloce e
in realtà ottieni risultati migliori ma
ci sono limiti alle aggregazioni che ho
ho avuto un discorso a parte su questo e quello
entra in maggiori dettagli su questo
ma per strappare un set di dati di esempio
Avevo il loro mercato amazzonico
avere recensioni sul mercato che
sembra così abbiamo un recensore e
sta rivedendo un venditore e sta dicendo
venditore a cinque stelle e la data e
tutto il resto è fraudolento
non può dire hai avuto modo di guardare quel
comportamento dei revisori nel tempo da a
un singolo punto dati non possiamo fare tipo
qualsiasi decisione aziendale ragionevole, quindi cosa?
le persone normalmente fanno loro accettano
flussi e manichette antincendio di eventi e questo
tutto arriva fuori sequenza perché tu
sapere i punti rossi qui rappresentano uno
l’attività dell’utente nei punti blu è a
attività degli utenti diversi e sono tutti
sono confusi l’uno con l’altro perché lo sono
appena arrivato in ordine di serie temporale quando
una persona visita il sito web quando il prossimo
visita il sito Web che potrebbe essere qualcun altro
sono entrato tra voi potrebbe aspettare
aspetta cinque minuti prima che ritorni
di nuovo così cercando di fare qualsiasi tipo di
ragionamento sulle informazioni qui sul registro
dati basati quando parla del
i comportamenti degli utenti è molto difficile
perché tutti i dati sono appena arrivati
ordine basato sul tempo e non proprio
aiutaci a ottenere un’immagine completa di rosso
utente o utente blu la domanda più difficile I
è stato chiesto qual è la durata di
sessione web media sul mio sito Web, quindi come
Cristo come lo capiresti?
devo ottenere ogni singola sessione web
caricarlo in memoria trova il primo
data e ora sottrarre l’ultima volta
i due che mi danno una durata oh mio
dio che farà esplodere memoria su a
sito web occupato che è un sacco di web
sessioni in modo da fare il modello pay-as-you-go
i costi di calcolo non mollano tutto
fino al tempo della query e prova a fare tutto
usando aggregazioni periodicamente ogni
giorno ogni ora ogni minuto forse chiedi
per un insieme ordinato degli ultimi eventi
ordinato per ID entità in modo che l’entità sia
tipicamente conosci una persona o una rete
sessione e quindi aggiungerla a un po ‘
profilo che mantieni o per leggere
utente o utente blu come un normale
documento di elasticsearch ma in a
indice diverso
è ciò che chiamiamo indice entity centric
non è un indice incentrato sui log è a
riassunto del comportamento di ciascun utente su
tempo così prendiamo in ogni minuto la nostra giornata
qualunque sia l’ultima partita di roba e
lo aggiungiamo a ciò che già sappiamo
quell’utente e possiamo usare un aggiornamento groovy
script quindi questo è tutto roba standard in
API di scansione elasticsearch in uso
qui aggiorna API con lo script groovy
correndo qui e ci stiamo allegando nuovi
eventi a profili esistenti disegnati qui
come un piccolo opuscolo che riassume
il comportamento delle persone nel tempo puoi giocare
con i dati ce l’ho qui che è un
insieme di script è possibile scaricarlo la
i dati grezzi sono le cose che abbiamo visto
prima abbiamo un compratore e un venditore e
una valutazione e una data e lo carichiamo
nel nostro evento indice eccentrico quindi questo
è stato un evento c’è stata una revisione che
si è verificato in un particolare momento nel tempo
esegui il mio script Python qui e cosa
fa è creare questa entità centrica
indice qui, quindi organizza il
le informazioni lo riorganizzano attorno al
individuo e ne deriva una nuova serie di
attributi qui che sono in realtà abbastanza
utile in quanto risulta quindi diamo un
guarda l’anatomia di quello che script
quello script groovy sembra così noi
Iniziamo ci viene dato il nostro storico
registra questo è il profilo per l’utente 27
o qualunque cosa sia invocata da elasticsearch
lo script e ci dà lo stato memorizzato
dell’utente 27 ci dice anche se questo è
la prima volta che abbiamo visto
utente 27 quindi possiamo inizializzarne alcuni
variabili se si tratta di un’operazione di creazione
la carne della logica qui è un ciclo
prende l’ultima serie di eventi il
ultime recensioni in questo caso e allega
loro a un insieme esistente di dati e
forse è solo incrementando un contatore
qui numero totale di visualizzazioni più pass
questa è la cosa interessante questa è
dove do al personaggio un personaggio se a
i revisori hanno fatto meno di cinque recensioni
chiamalo un novellino se è stato interamente
positivo per un venditore o venditori in
generale e ha sempre dato una recensione
a un venditore lo chiamo fanboy
perché non puoi
dicendo che sei bravo, sei fantastico
grande il contrario è in realtà un
personaggio interessante che ha chiamato il
odiatore questo è un ragazzo che compra ripetutamente
dallo stesso venditore e dice che sei
terribile sei terribile perché dovresti
tornare allo stesso venditore ripetutamente se
era così terribile qualsiasi concorrente di idee
sì sabotatore ora vediamo solo questo
perché stiamo guardando il suo comportamento
nel tempo giusto non ho trovato nessun nemico
nei dati Amazon ma ho trovato molto
dei fan oh scusa c’è stata una build
lì sì, tieni incollato il tuo copione una volta
l’hai affinato e raffinato e puoi farlo
ottenere abbastanza creativi su ciò che va in
questo è uno script della logica aziendale
e quindi possiamo eseguire una query sul nostro
recensori nuovo indice lucido che abbiamo
un indice di recensione e posso dire di farlo
ho guardato tutti i fan e lo faremo
usa questo algoritmo di termini significativi
di nuovo per dire chi stavano rivedendo chi
sono queste persone che ti stanno facendo conoscere?
dicendo che sei bravo, sei fantastico così noi
cerca tutti i profili che
sono stati contrassegnati come fanboy e cerchiamo di
capire quali venditori sono una specie di
insolitamente rappresentato in quei dati e
vediamo qui c’è un venditore 187 lui è
catturato il settanta per cento del fanboy
mercato eppure è un pesciolino che ha
come non il punto uno percento di tutto il
recensioni in revisori nel sistema così
ha una base di clienti sì, se tutto il
i clienti là fuori ha catturato il
mercato in fanboy quindi cosa sono questi
i conti dei fan vanno bene se guardi
a loro nel tempo guarda come
cose in fila dieci diversi account o
dando le stesse recensioni a cinque stelle
venditore e tutti capita di farlo
entro cinque minuti l’una dall’altra le settimane
o mesi separati che durano quattro anni
potresti chiamare quella truffa amazon rifiutata
da trarre che era una frode o meno ma
non lo troveresti a meno che tu non lo guardassi
a comportamento nel tempo e chiaramente questo
ragazzo attaccato al fatto che in ordine
per nascondere la sua attività che doveva creare
account multipli e crea multipli
conosci i registri delle recensioni e loro lo farebbero
tutti usi sempre un linguaggio diverso
e cose così
ma tu individua le anomalie quando tu
iniziare a guardare i comportamenti nel tempo
un altro esempio di rapida strada automobilistica del Regno Unito
se questo test così è 37 milioni di
queste cose sono le fantastiche demo di T’s
in piedi per il ministero dei trasporti loro
i test hanno fatto passare questa macchina o sono falliti
se la tua macchina fallisce il test non lo sei
supposto per guidarlo più finché non lo è
fisso si può guidare a casa si può ottenere
è stato corretto e quindi lo hai riportato indietro
diamo un’occhiata a ciò che potremmo
fare con tre record separati per il
stessa macchina quindi questa è una prova quando lui
fallito un po ‘più tardi due giorni dopo
è tornato e ha fallito ancora e poi
qualche tempo dopo abbiamo avuto un green che ha passato
prova uno due e tre, quindi cosa
attributi potremmo derivare da questo
informazioni così abbiamo la data del test
sull’asse x e abbiamo ottenuto il misuratore Milo
leggendo sull’asse y che stai facendo
prima qualcosa di un po ‘strano
tutto in due giorni questo ragazzo è riuscito a
guidare sai 100.000 miglia che non lo è
fisicamente possibile in modo da poter rilevare
quello e ci sono molte letture come
quello e lo script groovy può quindi fare
qualcosa che si chiama Levenstein
modifica i calcoli della distanza in modo che sembri
ai due numeri e capisce
in realtà probabilmente quello che è successo lì
qualcuno ha sbagliato una cifra quando loro
stavamo leggendo c’è un personaggio
manca tra queste due due letture
e questo spiega perché l’auto ha fatto un
centomila miglia in due giorni così
questa è una cosa che possiamo trovare
dati cattivi possiamo allegare una data o un’ora
periodo il numero di giorni che ci sono voluti
qualcuno da sistemare così è il
differenza tra il primo fallire e
il passaggio successivo quanto tempo ci è voluto
così questo durante questo periodo di tempo è stato
in uno stato fallito guidando alcuni
persone che dovresti aspettarti che le miglia salgano
non su e poi giù di nuovo così da qualcuno
ho riavvolto il lammeter Maya così
c’è ancora un’altra cosa interessante
potresti ricavare questa piccola differenza
ecco questa è la durata della distanza
questa macchina stava guidando mentre era fallita
indicare la differenza tra quando
fallito e quando successivamente è passato
così metti tutto questo insieme questi sono
attribuisce che ora abbiamo una nuova visione
a partire dal
su oggetti di auto in contrapposizione a solo
guardando i test cosa possiamo guardare e
ragioniamo bene se tracciamo i giorni
preso per una correzione in modo da sapere tra
a nord e 365 giorni così più a lungo voi
avere tra il fallimento e poi
successivamente passando bene lo faremmo
ti aspetti di guidare più lontano
quello che hai guidato si aspetterebbe di essere
tipo di lineare più giorni tra il
due eventi quindi più a lungo sei stato
guidare intorno ad alcune di queste persone è stato
guidare per un tempo molto lungo con
macchine che hanno fallito che è un po ‘
illegale quel pezzo nel mezzo che è
solo sei strani mesi esattamente 180 giorni
c’è un enorme picco nel mezzo quindi
cosa sta causando che nessuno ne ha avuto
idee no, cosa c’è di diverso sul nostro
hanno veicoli di trasporto pubblico
da testare due volte all’anno perché è così
ritenuto per renderli più sicuri ok così
la risposta è taxi questo è ciò che equivale
per questo questo particolare urto qui se noi
di nuovo usa la parola termini significativi per
dimmi cosa c’è di strano in quel punto
questo è il set di auto che lo sono
altamente correlato con quel particolare
comportamento sono i taxi quindi quali taxi
stanno facendo sta fallendo il loro test
e poi stanno pensando bene questo è
il mio vivere devo continuare a guidare
e ho ricevuto un altro test in sei
anche i mesi vanno avanti così
dare l’iniziativa del governo
è stato progettato per rendere le auto più sicure
forse li ha resi meno sicuri perché
la frequenza con cui sono stati
testato significa solo che non si preoccupano
aspettano solo il prossimo
saltare un test se ti piace, quindi questo è un
esempio di cosa puoi fare quando guardi
a comportamenti nel tempo e riorientare il tuo
dati intorno alle entità piuttosto che solo
guardando i record del registro così semplicemente per
riepilogare e ricapitolare le medie
fuorviante uso esempio di Bill Gates
i mediani dei percentili pensano al
sfocatura del set che sei
in realtà analizzando in modo da sapere come fuzzy
è la tua domanda bene sai che tipo di
i risultati stai cercando in realtà
riassumi qui
contro non è lo stesso della popolarità a
motore di raccomandazione che solo mai
ti ha detto che molte persone come Star
Le guerre non sarebbero una buona raccomandazione
motore devi sintonizzarti su ciò che è
significativamente diverso su certo
serie di persone o dati che non è possibile ottenere
nei guai con l’aggregazione a volte
quando usi la memoria, considera il
uso di ampiezza prima per alcuni di questi
tipo di grandi cose tipo di social network
e considera anche la riorganizzazione dei tuoi dati
lontano dai record del registro nell’entità
indici centrici che riassumono i comportamenti
di persone sono le cose che sono
tu segnalo a loro le cose che possono
rappresentare frodi e rischi per il tuo
business quindi è spesso utile
riorienta i tuoi dati attorno a quelli che sono
qualsiasi domanda
tu
penso che sia Lizzy, sono un signor a lungo termine. sopra
il progetto leucine così sono stato
coinvolto per circa dieci e un quarto
anni per quanto tempo è andato e
è entrato a far parte di elasticsearch per un anno e un anno
Mezzo fa e io lavoro principalmente sul
aggregazioni quadro e di utilizzare tale
espressione orribile mi piace mangiare il nostro
proprio cibo per cani quindi mi piace usare l’elastico
cerca su dati reali e prova a risolvere
alcuni problemi reali quindi l’argomento del
parlare oggi è davvero da provare
alcuni set di dati di esempio che ho giocato
con il passare degli anni e darti un po ‘
indicazione di che tipo di sfide
vomitano e che tipo di cose
abbiamo fatto per risolverli che ho pensato
è tecnica di wrestling dati perché io
non mi sento davvero troppo come un dato
scienziato c’è troppa sudorazione e
giuramento e grugniti coinvolti per questo
si chiama scienza io la terra penso
di esso più come dati di wrestling, quindi facciamolo
um saltiamo alcuni esempi di
come l’abbiamo usato, ma prima che arriviamo
in questo ciò che volevo fare è solo
tipo di riavvolgimento un po ‘e giusto
ripeti un po ‘di storia quante persone qui
conosci gli elastici che usi
elasticsearch numero così sano di
persone così salterò rapidamente attraverso questo
ma la ricerca si è evoluta nel corso degli anni
sai che lo conoscevamo come un
un’interfaccia come questa in realtà non lo fai
devi leggere le parole qui puoi
probabilmente lo riconosci a digitare 2.5
parole chiave in una casella di ricerca che premi invio
e poi ottieni 10 collegamenti blu
tipo di esperienza utente , ma abbiamo avuto
fare dietro le quinte con ogni sorta
di ingegneria per capire come fare
questo cercando qualcosa di grande come il
internet per quanti più utenti ci sono
su internet quindi ce n’è un po ‘
sfide di ingegneria nella parte posteriore, ma
stiamo tutti dando il meglio di cosa
riteniamo di essere i migliori collegamenti prima
pagina del menu attraverso di loro e diventa un po ‘
annoiare così di nuovo i siti web che dovresti
leggi il testo su questa diapositiva qui web
siti come Amazon hanno introdotto questo tipo
di interfacce dove avremmo ancora
la casella di ricerca lassù in alto a sinistra
da qualche parte e avremmo ancora il nostro 10 blu
collegamenti ma abbiamo chiamato questa cosa
sfaccettatura così
vorremmo davvero riassumere il milione
o almeno così risulta che si dovrebbe
pagina attraverso per vedere ordinariamente avremmo
riassumili qui a sinistra
lato e dire bene ecco quanti hotel
avere il Wi-Fi ecco quanti hotel ci sono
questa regione particolare il suo quanti quattro
star hotel è quanti in un particolare
fascia di prezzo così in prevalenza saremmo
vedendo una sorta di dati strutturati qui
il lato sinistro che riassume il
milioni di colpi che abbiamo avuto nel
motore di ricerca e anche darti il
capacità di approfondire e dire che sono solo
interessato a quattro stelle in questo
fascia di prezzo e tutto il resto così
le persone hanno molta familiarità con questo
Sfaccettature, ho fatto molta strada ma poi noi
ha introdotto l’idea di aggregazioni e
riassunti multidimensionali dei nostri dati
quindi ancora l’interfaccia analitica di
oggi è una sorta di multi-dimensionale
la natura di ciascuna di queste visualizzazioni può
rappresentano più di una dimensione e
abbiamo il drill-down completo
capacità e per alcuni aspetti
la casella di ricerca è scomparsa, non lo eravamo
necessariamente interessato a 10 collegamenti blu
più eravamo interessati a
dicendo tutti questi dati nella mia attività
riassumendo tutto ciò dimmi cosa sta succedendo
nella mia azienda così tante persone
vieni da noi per questa esperienza bene
necessariamente prendermi i 10 collegamenti blu ma
riassumere cosa sta succedendo nei miei affari
perché siamo stati così veloci a riassumere il
una sorta di esperienza di tipo Amazon
loro conosci milioni di colpi e
mettendoli in diversi secchi di
hotel a quattro stelle a cinque stelle prezzo
parentesi graffe tra parentesi abbiamo ottenuto molto
bravo a riassumere i dati molto rapidamente così
questo è quello che le persone vengono da noi per ora a
sacco di utenti in realtà non si preoccupano con
la ricerca tanto e solo in realtà
voglio riassumere tutto ciò che è
andando avanti nei loro dati ma loro ancora
cerca quando fanno clic su questi
diverse sezioni della visualizzazione
stanno ancora restringendo e
scavando nei dati così ancora
avere elementi di quello in là così a
riassumere questi se si va fino all’ultimo
tranne l’Asia certamente usato per avere il
lo striscione sul titolo in tempo reale
ricerca e analisi quindi cosa intendiamo con
cioè siamo ottimizzati per noi in tempo reale
dammi i 10 collegamenti blu aiutami
trova i migliori documenti e usiamo tutti
queste strategie qui alcune di queste
risalente agli anni ’60 si sa fuzzy
corrispondenza tf-idf pertinenza classifica molto
di persone ci pensavano a lungo
tempo tutte queste cose vanno in classifica
e ti aiuta a trovare il meglio
documenti e abbiamo tutti gli strumenti in
la scatola per aiutarti con quello che abbiamo
ha anche gli strumenti per aiutarti a riassumere
tutti i dati da cui torni
queste ricerche o anche se solo tu
voglio vedere tutti i dati che possiamo
fare l’analisi per dire quali sono questi
i documenti collettivamente mi dicono del mio
affari sai che è finita
su giù sai che possiamo riassumere a
molti dati molto velocemente c’è a
un po ‘di un problema potenzialmente con
l’ incontro di queste due tecnologie
è solo una nota di avvertimento per te se
stai eseguendo analisi su
i risultati delle ricerche ricordano che lo siamo
non parlando di insiemi di dati nel
senso normale la nostra roba fuzzy qui
è capace di produrre ciò che vorrei
pensare a come essere un sfocati cose insieme
appartenere ad esso in misura così il primo
scivolo che ho messo credo fosse qualcuno
cercando carne biologica ora è così
preferibilmente organico o la parola carne
ci sarà un sacco di
documenti che contengono entrambe quelle parole
e ci saranno documenti che
contiene solo una di quelle parole classificate
da qualche parte sotto quindi siamo in realtà
riassumendo potenzialmente nella nostra analisi
cose che non sono esattamente ciò che eravamo
cercare soprattutto se si butta
cose come nel mix come
bene, quindi il mio optare il cazzo fuori alla fine di
organico e finire con organi che è
chiaramente non qualcosa che qualcuno era
cercare carne biologica potrebbe
necessariamente stai cercando quindi c’è un
nota di avvertimento qui quando si fondono questi
due capacità insieme assicurano il tuo
gli utenti finali stanno effettivamente guardando il
grafici a torta e grafici a barre con pieno
consapevolezza di ciò in cui è andato
quella serie di documenti che stanno guardando
Ho alcuni esempi in arrivo
su come possiamo fare ciò che chiamerei
analisi sfocate quindi stiamo facendo analisi
ma su insiemi di dati confusi quindi non c’è
alcuni esempi di ciò in arrivo
quello è lo sfondo che è dove noi
siamo dove veniamo da dove siamo
arrivato e ora andando a vedere come
useremo questo su vari
diversi set di dati quindi i primi dati
set che ho sono tutti i dati di alloggiamento del Regno Unito
quindi nel Regno Unito siamo abbastanza fortunati
ci sono molti dati aperti ora che puoi
prendi tutte queste cose liberamente se lo sei
interessato agli URL che probabilmente hai
non posso leggerlo ma penso le diapositive
si rivolgono a Internet è possibile entrare in possesso di
questi dati se vuoi l’unica cosa che io
doveva fare per aiutare a riordinare
dati dovevo prendere i codici postali
qui e guarda la latitudine e
longitudine di ciascuno di quei codici postali a
capire dove questa casa è così ciascuno
casa sembra che abbia un
località di codice postale località località
Contea e un prezzo che è tipo
interessante quindi quello che volevo fare era
cercare di riassumere il mercato immobiliare in
il Regno Unito posso farlo con una query in
la nostra ricerca elastica utilizzando un’aggregazione
qui quindi c’è una sorta di strutturato
natura alle aggregazioni e utilizza
nidificazione all’interno del Giasone e in alcuni
rispetta alcune persone dicono questa roba
sembra complesso rispetto al sequel ma
In realtà mi piace molto la natura nidificata
del modo in cui sono rappresentate le aggregazioni
perché riflette la natura annidata di
le strutture che stiamo producendo così
il livello più alto sai che stiamo rompendo
tutto questo avviso di casa non c’è
query qui dal modo in cui non è la ricerca
è solo pura analisi ciò che sei
dicendo prendi tutto il mercato immobiliare
riassumere così non abbiamo una ricerca
qui anche se avremmo potuto se volessimo
e stiamo dicendo riassunti da
posizione e quindi all’interno di quello all’interno
ogni luogo riassume i prezzi
e varie delle diverse cose così
diamo un’occhiata a ciò che produce
um quindi questa è una visualizzazione che è
tratto interamente dai dati è prodotto
da questa query, quindi questo sta usando Google
terra e in realtà quando si ha una sorta di inclinazione
la terra e poi girarla e
guardalo puoi vedere chiaramente una divisione
tra nord e sud nel Regno Unito
qui quindi lo chiamiamo Regno Unito nord-sud
dividi astutamente e cosa vorrei avere
scelto di fare qui al massimo livello
aggregazione stiamo usando un hash Geo con
la precisione di cinque da dare è piccola
le torri ascoltano quante persone ci sono
Conoscenza di geo hash due tre ok
quindi quello che sto in piedi adesso è probabilmente
descritto usando una geocache che è GC
p73 QTL qualcosa e se uso 12 cifre
si sarebbe effettivamente adattato all’interno del vetro
questo bicchiere d’ acqua qui così
la tecnica è … prendi il globo per dividerla
fino a 32 celle
e io sono attualmente seduto nella cella G
qui ad Amsterdam e poi dentro
cell lo abbiamo ulteriormente scomposto
altri 32 quindi riceviamo GB e così via
e continui a scendere giù e giù
verso il basso e dal momento in cui hai fatto 12 di
queste cose danno in un piccolo bicchiere di
l’acqua quindi è un buon modo per il nostro
rompendo la geografia in diversi
celle così sto usando una precisione di 5 i
potrebbe anche usare una descrizione che è
basato su miglia potrei dire a questo molti
miglia quadrate o qualsiasi altra cosa e lo sarà
trova la geocache più vicina che si adatta a loro
così che ci dà tutti questi vari
diverse torri qui e questo è il nostro top
livello di aggregazione quindi all’interno di quello che abbiamo
ho un altro paio di attributi qui
questa è la natura multidimensionale di
l’aggregazione che abbiamo il Geo e
allora dentro di noi abbiamo colori e
altezza quindi diamo un’occhiata a cosa succede
che così l’altezza della torre è il
prezzo della casa mediana per quel particolare
posizione in modo che la casa media prezzo noi
posso cliccare su ogni torre e otteniamo il
numero di qual è il prezzo medio della casa
questo uso di mediana e percentili abbiamo
ha un intero blog su quelle medie può essere
pericoloso quindi se il signore cammina
nella stanza adesso c’era Bill Gates
tutto ad un tratto come una media vorremmo
essere tutti milionari che non avrebbero
è stato il caso prima mano ma questo è il
natura delle devastazioni e come possono distorcere
cose così percentili sono grandi per il
terzo effettivamente facendo questo tipo di
i sommari prendono la mediana se lo sei
fare analisi di registrazione e cose simili
che le persone sono spesso interessate al
99 ° percentile sai qual è il
la peggiore specie di esperienza che le persone hanno
stanno avendo in termini di tempi di risposta
e il mio sito Web ha creato un’aggregazione
i loro percentili per aiutarti a riassumere
i dati se sei interessato a
i meccanici di allora vanno a dare un’occhiata
braccio c’è un discorso di Ted Dunning
Le parole d’ordine di Berlino si chiamano TGI jest e it
ti dice come siamo terribilmente intelligenti
sull’essere efficiente e il calcolo di questo
roba su scala prossima cosa che abbiamo
sta succedendo è il colore di queste barre
hai notato che sto usando i termini
aggregazione qui per riassumere all’interno
questa cella qual è la dimensione più popolare
un significato voglio solo un risultato indietro
qual è il nome della contea più popolare
che è usato per descrivere le case che sono
essere venduto lì e che effettivamente dà
noi che attiriamo per noi se ti piace il
forma delle contee nel Regno Unito perché
stiamo prendendo il più popolare in
ogni posizione e il risultato netto di
cioè puoi effettivamente ottenere una mappa e
vedi dove sono i confini di tutto il
le contee sono un altro blog interessante
posta qui che è abbastanza pertinente e
riferito non è uno di elasticsearch ma
è diverso da ciò che tratta
confini del crowdsourcing delle aree
c’è una contea nel Regno Unito chiamata
Middlesex che sembra continuare a cambiare
i suoi confini alcune persone pensano di loro
vivi e alcune persone non lo fanno
un po ‘ nebuloso ora se fai crowdsourcing
dati quando prendi abbastanza dati in poi
utilizzando un’aggregazione come questo si potrebbe
inizia a capire cosa tende la folla
pensare a come si conosce la posizione di
la terra quindi è interessante
applicazione qui penso che Flickr ha fatto questo
qualche tempo fa con i tag che erano
mettere le immagini che avrebbero effettivamente creato
forma file per quelli di voi che sono dentro
il mondo GIS che avrebbero invertito
ingegnere forma i file in base ai tag
a cui la gente si stava attaccando
fotografie così luoghi di crowdsourcing
quindi avrebbero capito cosa
i confini di Chinatown erano in a
posizione in base agli altri tag
l’informazione è nei dati quindi non lo è
un altro bel po ‘l’uso di
aggregazioni su set di dati di grandi dimensioni come te
può trovare ancora una volta la cosa più popolare
Prendo la città più popolare che è solo
utile per te sapere quando fai clic su a
in particolare le contee sono abbastanza
grande quindi quando si fa clic su un particolare
area perché sembra avere molto
alto picco si può dire che asia sì
fino a quel posto che è il posto con
l’ippodromo dove è davvero in attesa
santo costoso per vivere questi termini
aggregazione di nuovo i termini aggregazione
stiamo usando qui la dimensione 10, quindi otteniamo a
bel tavolino qui che è un
rottura di quanto bene sono le case
in questa posizione delle case a schiera
sono distaccati o almeno semi
distaccato in modo da poter ottenere tutto questo in
una query e verrà eseguita sub secondo e
allora puoi passare il prossimo a conoscerne due
ore di vagabondaggio su Google Earth
sai trovare il più economico
luogo costoso in cui vivere così bene
dati multidimensionali riassunti davvero
molto rapidamente
altra cosa interessante di geo è questo
può essere qualcosa che puoi usare
Unisci insieme i set di dati in modo che tu sappia
ordinariamente ordinariamente quando si tenta di aderire
set di dati stai cercando un po ‘di te
conoscere una chiave esterna o una chiave primaria o
qualcosa del genere è geo
tipo di cosa universale che siamo tutti
costretto da te sai come spazio e
tempo sai che dobbiamo esistere in questi
dimensioni che conosci così abbiamo
collettivamente deciso che possono come un
industria stiamo andando a rappresentare geo in
alcuni modi e noi ora per tradurlo
da così a lungo ne conosci altri
sistemi di coordinate e così via così è
possibile prendere dati da un set di dati
come questo che è vendite di case e
di ‘ok, lasciami prendere tutte le torri
qui che è andato sopra diciamo 500 k è
il prezzo della casa mediana in modo che ciò che fa
questo mi dà che mi dà un’indicazione
di quale delle aree ricche del Regno Unito
quindi ora posso prendere i risultati
query e posso usarlo come filtro su a
set di dati diversi, ecco qui questi sono tutti
gli hash Geo che rappresentano il
aree ricche e ho intenzione di colpire il
i dati del crimine ora sono il crimine del Regno Unito andrò tutto
dei documenti del crimine del Regno Unito e via al mio
portatile qui e dire cosa è diverso
sui crimini che accadono nel
aree ricche perché sto usando questo
filtra qui solo le aree ricche
e cosa mi dice che c’è una battuta
qui l’aspettativa normale UH sarà
entrare in questo in un minuto ma che racconta
me che nelle zone benestanti c’è il furto
perché sono case più belle da rapinare
hanno più cose in loro così persone
ruberà loro un antisociale
il comportamento è giù perché sono
terribilmente bello in questi luoghi
quindi non tendono ad essere antisociali okay
un diverso set di dati un sacco di
insiemi di dati hanno connessioni in loro
cose connesse transazioni bancarie
e-mail con le telefonate che conosci anche
i documenti sono articoli di wikipedia
connessioni ad altri articoli di wikipedia
a volte è interessante avere un
guarda questi da una prospettiva del grafico
e non intendo grafico nel senso di a
grafico a barre Intendo grafico nel senso di
nodi e spigoli in realtà è un intero
area dell’informatica scopre noi
può effettivamente ottenere questo tipo di dati
forma dati da ricerca elastica e
ecco come faresti a finire
interrogare le e-mail Enron di nuovo avviso
Non sto usando alcuna query qui ma
in modo cruciale potrei essere che avrei potuto inviare
una mail e ha detto di trovarmi solo il
e-mail che stanno parlando di loschi
società chiamata Raptor the Enron
chi parlava di Raptor perché
quello è un veicolo poco raccomandabile che voglio sapere
chi lo ha creato quando e chi erano
parlare con te così che potrebbe essere il
query che va sopra questo ma che cosa
stiamo dicendo che è riassunto per me il
i primi 50 mittenti di e-mail su Raptor così
questo mi darebbe questi nodi in questo
diagramma qui potenzialmente questi sono i
le persone che parlano più spesso
sul progetto Raptor e la seconda metà
di questa query è nidificata un’aggregazione
e con chi stavano parlando in questo modo
completa l’altra metà del
transazione che sta inviando l’e-mail e
stiamo per riassumere i destinatari
campo anche qui e vogliamo i loro 50 più
corrispondenza comune dai risultati
di questa query è possibile ottenere questi grafici
strutture qui e che ti daranno un
indicazione delle diverse clique e
hub in un’azienda che stanno parlando
su queste varie cose diverse noi
puoi scegliere in questo diagramma qui per
esempio per disegnare lo spessore della linea come il
volume di e-mail che ci sono stati scambiati
ottenere un campo di documento in modo che possiamo utilizzare che
disegnare lo spessore della linea
allo stesso modo avremmo potuto usare il numero di
i nostri documenti per ridimensionare i cerchi
questo diagramma per dire bene quante email
con un invio occupato molto sai
questo ragazzo, ma possiamo fare di più che
riassumere le linee che collegano le cose
se inseriamo un’altra sub aggregazione
qui se si trattava di dati bancari per
esempio potrei riassumere il
valore finanziario del denaro che era
essere trasferito tra ogni coppia così
potrebbe avere ogni riga in questo diagramma
una grande quantità di dati in esso riassunti
i volumi finanziari possono essere riassunti
dati temporali in un mese per mese come
molte e-mail venivano inviate tra
queste due persone su questo argomento
c’è un software commerciale
chiamato linee chiave che è abbastanza abile a
facendo questo tipo di visualizzazioni e
include le scadenze sul fondo
quindi è una sorta di cosa dove puoi
strofinare la timeline e com’eri
spostandosi lungo la linea temporale che animerà
bit della rete che ti mostrano bene
alcune persone hanno iniziato in due
migliaia qui e poi entro il 2001 tu
conoscere il discorso del raptor si era diffuso
attraverso il business in questi altri
aree in modo da poter riprodurre tutto questo
informazioni e ancora una volta tutto viene fuori
di una query a elasticsearch così è
un altro modo di avere multi-dimensionale
i dati provengono da elasticsearch in uno
query che riassume milioni se non
la punta di miliardi di record è stata questa
qualcosa che ho messo in olistica come
un risultato di provare a fare questo tipo di
analisi che è ordinariamente abbiamo solo
prendi ogni singolo documento che corrisponde
le nostre domande li gettiamo attraverso il
albero di aggregazione come mi piace ci piace
pensaci e espande il tutto
albero e poi pota solo a quelli
cose che volevi i primi 50 i
Top 10 o così su questo è un caso in cui
vogliamo raccogliere i dati in un modo
che differisce dai valori predefiniti il
il default è questo approccio di prima profondità noi
prendi ogni singolo documento lo espandiamo
fuori in un secchio e poi lo espandiamo
fuori nei sotto-bucket e poi nel
sottoservizi oltre questo approccio
quello che non vogliamo fare è gonfiare a
immagine di tutto ciò che enron
voglio fare è prima scegliere la top 50
mittenti non tutte le persone nella Enron
rete e avendo stabilito chi sono
i mittenti più prolifici solo allora
spingere fuori i documenti per scoprire chi
i loro destinatari sono quindi è diverso
modo di raccogliere dati internamente
risultati i risultati finali sono esattamente i
lo stesso, ma lo stato di lavoro provvisorio che
dobbiamo continuare a ridurre la cifra finale
è diverso in modo che tu possa leggere su
che abbiamo blog separati che parlano
sulla modalità di raccolta e prima su Brent
prima la profondità per la maggior parte del tempo
dovresti preoccuparti di ciò e della profondità
prima funziona bene questo è uno scenario
dove il primo è in realtà signore
solleticare che si desidera attivare yes neo4j
inseguiremo vicino a 40 molto velocemente
sono grandiosi quello che fanno il trucco
i database di grafici fanno meno indice
attraversare quindi se si desidera seguire a
connessione è che non devi guardare
in un indice b-tree o qualcosa di simile
come se avessi un urto del puntatore lì
giusto così, ma quello che non fanno è avere
aggregazioni quindi se tu ed io abbiamo
scambiati sai un miliardo di soldi
transazioni ognuna di queste è una
bordo o un documento e sta per andare
scappando via dal ring lo farai ancora
cerca un disco o se sei abbastanza fortunato
hai tutto in RAM ma questo è il
cosa che non puoi chiudere non puoi mostrare
sul grafico se vai e leggi il
blog di CTO neo4j su come sharda
lastic neo4j o come ridimensionarlo
in realtà mi cita lì a parlare
su come raccontare sì come ridimensionare
neo4j e la risposta breve è che non è così
scala davvero sì e loro parlano di a
cosa chiamata cash sharding ma è così
mettendo davvero tutti i dati su ogni
una singola macchina e quindi solo il routing
si interroga su una macchina nella speranza che ciò accada
sarà caldo in termini di denaro così
che non hanno davvero
sì, voglio dire che direi che c’è
due ci sono due differenze, penso
potenziale o due potenziali differenze
con il modo e penso che tali approcci
questo e il modo vicino per giudicare bene a
tre se si include la creazione di grafici che facciamo
splendere uno è l’aggregazione il
capacità di sintetizzare enormi volumi di
transazioni come un unico vantaggio un ricco
bordo se ti piace un super-bordo è ottenuto
un po ‘come mese per mese, lo sai
volumi qualunque ma questa è una cosa
l’altra cosa che mostra molto
promette è il fatto che sappiamo quale
le connessioni hanno rilevanza significativa
classifica e tutto il resto lo sappiamo
non dovremmo effettivamente andare giù
alcune strade nel grafico perché
sono semplicemente super connessi e lo sappiamo
le frequenze di tutto il nostro IP
l’indirizzo è ciò che si mette a
elasticsearch lo contiamo sappiamo come
molte volte accade e possiamo usarlo
per esplorare effettivamente il significato
connessioni e grafici piuttosto che semplici
quelli abbondanti è così che vorrei
descrivi questo ma un altro esempio
raccomandazioni relative ai dati relativi agli obiettivi dei filmati
questo potrebbe applicarsi a qualsiasi cosa
le persone hanno comprato x persone che
comprato x anche tu sai tendono ad acquistare perché
sai che è quel tipo di affare, quindi questo
è un utente che abbiamo un sacco di prodotti
codici qui che sono solo ID film così
questo è come un tipico tipo di cosa
troverebbe in una raccomandazione del prodotto
digitare lo scenario è possibile scaricare i dati
e puoi giocarci ecco l’URL
ma ognuno dei documenti nel nostro sistema
sono uno di questi sono usati intorno al suo
preferenze ora solo per spiegare come
la ricerca elastica può essere usata per fare
raccomandazioni lungo l’ asse x qui
Ho la percentuale di tutti gli utenti che
è piaciuto un film in una selezione di film
qui disegnato come punti su questa linea, quindi lascia
Spiego cosa sta succedendo qui
diciassette per cento di tutte le persone come
Forrest Gump questo è vero per questi dati
impostato e probabilmente vero di voi conoscete le persone
in generale penso che sia un film solo per
il diritto di farlo così c’è ventitre
per cento o qualcosa che piace alla gente
Shawshank Redemption va bene così questi sono
è solo il cinema popolare Star Wars
probabilmente guardandosi intorno anche qui se
Prendo un esempio completamente casuale di
persone e io sto prendendo il dieci per cento di
la gente qui come esempio e io trama
i loro gusti
su questo asse non dovremmo essere sorpresi
Giusto diciassette percento del mio casuale
assaggia anche la foresta
ventitre per cento di loro piacerà
Star Wars sarebbe insolito se lo fosse
qualsiasi altra cosa giusta se prendi un caso
campione di persone perché dovrebbero i loro gusti
differiscono dal mainstream che è quello
non insolito che così questi quando lo faccio
queste domande che conosci trama a
campione casuale contro tutti gli altri
vedi sempre i punti allineati su questa linea
conosci il numero dei maschi di
la bomba femminile è sempre in prima linea
scelte qualsiasi se si prende un caso
campione sono gli stessi di tutti
altrimenti così è noioso ciò che è interessante
è quando hai un campione non casuale così
cosa succede a questi punti quando prendo un
campione non casuale di persone e quello
diventa interessante c’è un non casuale
un campione di persone sto guardando tutto il
persone a cui piace il film Talladega
Le notti non so se conosci il film
sarò ferrell movie e sto usando il mio
aggregazione preferita termini significativi
aggregazione che è la cosa che
cerca le cose che sono cambiate
Questo è ciò che chiamiamo comune non comune, quindi
non ti dice come la gente
chi ha visto Talladega Nights loro
piace molto questo film chiamato Star Wars
sai che dovresti andare a vederlo, ma noi
tutti hanno visto Star Wars che conosciamo
quello così stiamo cercando le cose
che sono diversi da tutti gli altri
quindi questo è l’insieme di punti che abbiamo
qui puoi vedere un abbraccio alla mano sinistra
l’asse qua e là si è allontanato da questo
linea abbastanza debole qui che è la linea
di normale aspettativa così meno che no
punto 50 cent di tutte le persone come il
film anchorman dovrei trovo che
stupendo ma comunque in un insieme di
talladega come venti percento di loro
come anchorman quindi siamo partiti da te
sanno nulla virgola cinque per cento che è
cosa ci aspetteremmo se prendessimo un caso
campione nel nostro Talladega ha dormito
quassù questa freccia rossa mostra l’estensione
del salto è salito al venti percento
questo è un enorme aumento di popolarità
giusto questo è il segnale che usiamo
trovare gusti comuni
quindi conosci qualcuno che fa clic
notti di talladega darai loro il
raccomandazione in fondo hey te
dovrei andare a guardare l’ ancora uomo perché
abbiamo visto questo grande cambiamento di popolarità
tip evitare di analizzare set poco focalizzati
quindi se ho preso tutto il mio film recente
guarda come un set di dati essere alcune cose in
ci sono tipi di baps rari così
Talladega Nights lame di gloria e
allora potrei aver visto Star Wars per
esempio ora se guardo il set di
persone che hanno questi film in comune
uno di questi film poi vado
per abbinare praticamente tutti perché io
significa che nessuno qui non ha visto Star Wars
Wow ok Ponty per tutto il tempo, mia moglie
non ha neanche tentato di tenere duro
in questo modo sai che non è sicura di esserlo
evitatelo, corrisponderemmo quasi
tutti usano questa query, quindi non lo fanno
ha senso fare analisi su un grande
imposta vediamo cosa succede in realtà se
facciamo analisi su una serie di query
che include lame di gloria talladega
notti e Star Wars il mio bel po ‘
grappolo di punti qui che tutti questi
i film vengono spostati dall’abbracciare questo
linea qui e hanno iniziato a piegare
verso il mainstream cosa stiamo facendo
è stiamo diluendo il segnale, anche se
Gli orologi di Star Wars che faranno molto
loro tipo di guardare film pulcino e
altre cose che forse non sono così
interessato in modo che abbiamo iniziato a diluire
il segnale che era nei dati originali
quindi come risolviamo questo come otteniamo un?
campione rappresentativo di utenti bene
torniamo a quello che ho iniziato con
siamo la ricerca ragazzi che sappiamo come fare
classifica di pertinenza di cosa si tratta
teoria dell’informazione è roba così
risale agli anni ’60 usiamo l’inverso
documento di scarsità di frequenza cosa fa
questo significa persone che condividono il mio più raro
le scelte come Talladega sono più classificate
altamente di persone che condividono il mio
gusti tradizionali come Star Wars un altro
le persone a frequenza di un termine hanno guardato a
scelta del film molte volte ripetizione di
qualcosa di ripetizione di un segnale come a
persona che ha visto Howard Baker 27
volte è probabilmente interessato al
lo stesso per i film
persone che hanno normalizzato la lunghezza
liste enciclopediche di film e di
Ovviamente ne condivideranno alcuni
interessi in comune più grandi hanno visto
molti quindi usiamo la normalizzazione della lunghezza
fattore di coordinamento che è un altro
classifica euristica che è come molti la
le cose che ho chiesto ho trovato in questo
in questa persona serie di scelte cinematografiche
queste sono tutte le euristiche che sono
andando a cercare classifica di pertinenza
normalmente li useremmo sul testo
cosa stiamo facendo qui li stiamo usando
sui numeri numeri grezzi ma su alcuni numeri
avere un significato allo stesso modo di Star
Le guerre sono circa l’equivalente del testo
si dice che sia così comune in realtà no
vale niente in termini di classifica così
mettiamoci tutti insieme
elasticsearch 2 punto 0 abbiamo rimosso un
vecchia restrizione che vorremmo
assumere automaticamente se tu fossi
ricerca di numeri rilevanti
la classifica non aveva un posto in cui non avremmo rango
e segnare le cose in base alla loro rarità
erano rari un numero perché quello
le persone non lo fanno ma in realtà lo abbiamo
appena trovato il bisogno di quello così abbiamo
acceso ora così di default se tu
cerca un campo e capita di essere
un campo numerico che stiamo per rilevanza
rango sulla scarsità di quello per sostenere
usa casi come questo se non lo fai
vuoi la classifica della pertinenza sui tuoi numeri
allora dovresti fare la cosa che sei
sempre supposto aver fatto nel
primo posto che è quello di utilizzare filtri e
non domande, quindi siamo tipo di essere
coerente nelle query ora di messaggistica
sono per i filtri di classifica non ti offro sì
nessuna vasca decide un altro cambiamento solo io
voglio trovare le persone come me non tutte
le persone che hanno visto uno dei miei film
quindi abbiamo una nuova aggregazione chiamata
aggregazione campionatore che è dove tu
prendi le migliori partite di te
conoscere dalla tua domanda e sottoporre a
siamo all’analisi o all’analisi, così siamo
intenzione di usare i termini significativi
funzione qui solo la corrispondenza superiore
esempio di contenuto da questa query e
finalmente sono nelle versioni precedenti di
la ricerca elastica esclude che siamo scritti
usando reg X’s e si comportano in modo terribile
e
è stato risolto possiamo ora aumentare
un numero molto grande di cose ed è
molto più efficiente in termini di
filtrando queste cose così che sono
fare qui è che sto dicendo che è il mio
le scelte di film trovano persone come me e
dimmi cosa piace escludere il
roba che ti ho detto sui film
ho già visto la domanda yep diversity
sì grazie che hai chiesto di poter
il mio campione si diversificherà, UT su
perfettamente signore non ho potuto hai pagato
pagato i soldi per un veterinario migliore a
domanda che c’è un cambiamento che è andato
in leucina che ti permette di morire
diversificare su una scelta di riempito per il
beneficio di tutti quando si prende un
assaggiare è importante che sia un
campione rappresentativo così la gente lo fanno
uno che fanno gli esercizi di marketing
non voglio campionare da un particolare
gruppo etnico o genere che vogliono
diversità nel campione quindi c’è un
impostazione aggiuntiva nel campione dove
puoi dire diversificare sul campo x quello è
deve essere un campo a valore singolo da parte di
in modo che non può essere un campo a più valori ma
puoi dire ad esempio che non voglio
un sacco di prodotti dallo stesso fornitore
Voglio un massimo di tre prodotti /
fornitore in modo da scegliere il campo fornitore
imposta il valore 3 e questo significa che non lo facciamo
ottenere un campione che include più no
più di 3 risultati da ciascun fornitore
quindi sì diversificazione della diversità è un
parte importante del campionamento sì, ora questo
sta arrivando al punto oh questo è parte di
l’aggregazione del campionatore sì sì alla fine
prodotto hai queste cose che
avere l’asse sinistro sinistro qui più velocemente
suggerimenti accurati più pertinenti che
era 30 millisecondi per farlo
query particolare è raro che tu
effettivamente fare un’ottimizzazione di
migliora effettivamente la qualità o
qualcosa ma questo è dove il prossimo
i casi buoni sono un bel compromesso se tu
guarda meno persone corre più veloce e
in realtà ottieni risultati migliori ma
ci sono limiti alle aggregazioni che ho
ho avuto un discorso a parte su questo e quello
entra in maggiori dettagli su questo
ma per strappare un set di dati di esempio
Avevo il loro mercato amazzonico
avere recensioni sul mercato che
sembra così abbiamo un recensore e
sta rivedendo un venditore e sta dicendo
venditore a cinque stelle e la data e
tutto il resto è fraudolento
non può dire hai avuto modo di guardare quel
comportamento dei revisori nel tempo da a
un singolo punto dati non possiamo fare tipo
qualsiasi decisione aziendale ragionevole, quindi cosa?
le persone normalmente fanno loro accettano
flussi e manichette antincendio di eventi e questo
tutto arriva fuori sequenza perché tu
sapere i punti rossi qui rappresentano uno
l’attività dell’utente nei punti blu è a
attività degli utenti diversi e sono tutti
sono confusi l’uno con l’altro perché lo sono
appena arrivato in ordine di serie temporale quando
una persona visita il sito web quando il prossimo
visita il sito Web che potrebbe essere qualcun altro
sono entrato tra voi potrebbe aspettare
aspetta cinque minuti prima che ritorni
di nuovo così cercando di fare qualsiasi tipo di
ragionamento sulle informazioni qui sul registro
dati basati quando parla del
i comportamenti degli utenti è molto difficile
perché tutti i dati sono appena arrivati
ordine basato sul tempo e non proprio
aiutaci a ottenere un’immagine completa di rosso
utente o utente blu la domanda più difficile I
è stato chiesto qual è la durata di
sessione web media sul mio sito Web, quindi come
Cristo come lo capiresti?
devo ottenere ogni singola sessione web
caricarlo in memoria trova il primo
data e ora sottrarre l’ultima volta
i due che mi danno una durata oh mio
dio che farà esplodere memoria su a
sito web occupato che è un sacco di web
sessioni in modo da fare il modello pay-as-you-go
i costi di calcolo non mollano tutto
fino al tempo della query e prova a fare tutto
usando aggregazioni periodicamente ogni
giorno ogni ora ogni minuto forse chiedi
per un insieme ordinato degli ultimi eventi
ordinato per ID entità in modo che l’entità sia
tipicamente conosci una persona o una rete
sessione e quindi aggiungerla a un po ‘
profilo che mantieni o per leggere
utente o utente blu come un normale
documento di elasticsearch ma in a
indice diverso
è ciò che chiamiamo indice entity centric
non è un indice incentrato sui log è a
riassunto del comportamento di ciascun utente su
tempo così prendiamo in ogni minuto la nostra giornata
qualunque sia l’ultima partita di roba e
lo aggiungiamo a ciò che già sappiamo
quell’utente e possiamo usare un aggiornamento groovy
script quindi questo è tutto roba standard in
API di scansione elasticsearch in uso
qui aggiorna API con lo script groovy
correndo qui e ci stiamo allegando nuovi
eventi a profili esistenti disegnati qui
come un piccolo opuscolo che riassume
il comportamento delle persone nel tempo puoi giocare
con i dati ce l’ho qui che è un
insieme di script è possibile scaricarlo la
i dati grezzi sono le cose che abbiamo visto
prima abbiamo un compratore e un venditore e
una valutazione e una data e lo carichiamo
nel nostro evento indice eccentrico quindi questo
è stato un evento c’è stata una revisione che
si è verificato in un particolare momento nel tempo
esegui il mio script Python qui e cosa
fa è creare questa entità centrica
indice qui, quindi organizza il
le informazioni lo riorganizzano attorno al
individuo e ne deriva una nuova serie di
attributi qui che sono in realtà abbastanza
utile in quanto risulta quindi diamo un
guarda l’anatomia di quello che script
quello script groovy sembra così noi
Iniziamo ci viene dato il nostro storico
registra questo è il profilo per l’utente 27
o qualunque cosa sia invocata da elasticsearch
lo script e ci dà lo stato memorizzato
dell’utente 27 ci dice anche se questo è
la prima volta che abbiamo visto
utente 27 quindi possiamo inizializzarne alcuni
variabili se si tratta di un’operazione di creazione
la carne della logica qui è un ciclo
prende l’ultima serie di eventi il
ultime recensioni in questo caso e allega
loro a un insieme esistente di dati e
forse è solo incrementando un contatore
qui numero totale di visualizzazioni più pass
questa è la cosa interessante questa è
dove do al personaggio un personaggio se a
i revisori hanno fatto meno di cinque recensioni
chiamalo un novellino se è stato interamente
positivo per un venditore o venditori in
generale e ha sempre dato una recensione
a un venditore lo chiamo fanboy
perché non puoi
dicendo che sei bravo, sei fantastico
grande il contrario è in realtà un
personaggio interessante che ha chiamato il
odiatore questo è un ragazzo che compra ripetutamente
dallo stesso venditore e dice che sei
terribile sei terribile perché dovresti
tornare allo stesso venditore ripetutamente se
era così terribile qualsiasi concorrente di idee
sì sabotatore ora vediamo solo questo
perché stiamo guardando il suo comportamento
nel tempo giusto non ho trovato nessun nemico
nei dati Amazon ma ho trovato molto
dei fan oh scusa c’è stata una build
lì sì, tieni incollato il tuo copione una volta
l’hai affinato e raffinato e puoi farlo
ottenere abbastanza creativi su ciò che va in
questo è uno script della logica aziendale
e quindi possiamo eseguire una query sul nostro
recensori nuovo indice lucido che abbiamo
un indice di recensione e posso dire di farlo
ho guardato tutti i fan e lo faremo
usa questo algoritmo di termini significativi
di nuovo per dire chi stavano rivedendo chi
sono queste persone che ti stanno facendo conoscere?
dicendo che sei bravo, sei fantastico così noi
cerca tutti i profili che
sono stati contrassegnati come fanboy e cerchiamo di
capire quali venditori sono una specie di
insolitamente rappresentato in quei dati e
vediamo qui c’è un venditore 187 lui è
catturato il settanta per cento del fanboy
mercato eppure è un pesciolino che ha
come non il punto uno percento di tutto il
recensioni in revisori nel sistema così
ha una base di clienti sì, se tutto il
i clienti là fuori ha catturato il
mercato in fanboy quindi cosa sono questi
i conti dei fan vanno bene se guardi
a loro nel tempo guarda come
cose in fila dieci diversi account o
dando le stesse recensioni a cinque stelle
venditore e tutti capita di farlo
entro cinque minuti l’una dall’altra le settimane
o mesi separati che durano quattro anni
potresti chiamare quella truffa amazon rifiutata
da trarre che era una frode o meno ma
non lo troveresti a meno che tu non lo guardassi
a comportamento nel tempo e chiaramente questo
ragazzo attaccato al fatto che in ordine
per nascondere la sua attività che doveva creare
account multipli e crea multipli
conosci i registri delle recensioni e loro lo farebbero
tutti usi sempre un linguaggio diverso
e cose così
ma tu individua le anomalie quando tu
iniziare a guardare i comportamenti nel tempo
un altro esempio di rapida strada automobilistica del Regno Unito
se questo test così è 37 milioni di
queste cose sono le fantastiche demo di T’s
in piedi per il ministero dei trasporti loro
i test hanno fatto passare questa macchina o sono falliti
se la tua macchina fallisce il test non lo sei
supposto per guidarlo più finché non lo è
fisso si può guidare a casa si può ottenere
è stato corretto e quindi lo hai riportato indietro
diamo un’occhiata a ciò che potremmo
fare con tre record separati per il
stessa macchina quindi questa è una prova quando lui
fallito un po ‘più tardi due giorni dopo
è tornato e ha fallito ancora e poi
qualche tempo dopo abbiamo avuto un green che ha passato
prova uno due e tre, quindi cosa
attributi potremmo derivare da questo
informazioni così abbiamo la data del test
sull’asse x e abbiamo ottenuto il misuratore Milo
leggendo sull’asse y che stai facendo
prima qualcosa di un po ‘strano
tutto in due giorni questo ragazzo è riuscito a
guidare sai 100.000 miglia che non lo è
fisicamente possibile in modo da poter rilevare
quello e ci sono molte letture come
quello e lo script groovy può quindi fare
qualcosa che si chiama Levenstein
modifica i calcoli della distanza in modo che sembri
ai due numeri e capisce
in realtà probabilmente quello che è successo lì
qualcuno ha sbagliato una cifra quando loro
stavamo leggendo c’è un personaggio
manca tra queste due due letture
e questo spiega perché l’auto ha fatto un
centomila miglia in due giorni così
questa è una cosa che possiamo trovare
dati cattivi possiamo allegare una data o un’ora
periodo il numero di giorni che ci sono voluti
qualcuno da sistemare così è il
differenza tra il primo fallire e
il passaggio successivo quanto tempo ci è voluto
così questo durante questo periodo di tempo è stato
in uno stato fallito guidando alcuni
persone che dovresti aspettarti che le miglia salgano
non su e poi giù di nuovo così da qualcuno
ho riavvolto il lammeter Maya così
c’è ancora un’altra cosa interessante
potresti ricavare questa piccola differenza
ecco questa è la durata della distanza
questa macchina stava guidando mentre era fallita
indicare la differenza tra quando
fallito e quando successivamente è passato
così metti tutto questo insieme questi sono
attribuisce che ora abbiamo una nuova visione
a partire dal
su oggetti di auto in contrapposizione a solo
guardando i test cosa possiamo guardare e
ragioniamo bene se tracciamo i giorni
preso per una correzione in modo da sapere tra
a nord e 365 giorni così più a lungo voi
avere tra il fallimento e poi
successivamente passando bene lo faremmo
ti aspetti di guidare più lontano
quello che hai guidato si aspetterebbe di essere
tipo di lineare più giorni tra il
due eventi quindi più a lungo sei stato
guidare intorno ad alcune di queste persone è stato
guidare per un tempo molto lungo con
macchine che hanno fallito che è un po ‘
illegale quel pezzo nel mezzo che è
solo sei strani mesi esattamente 180 giorni
c’è un enorme picco nel mezzo quindi
cosa sta causando che nessuno ne ha avuto
idee no, cosa c’è di diverso sul nostro
hanno veicoli di trasporto pubblico
da testare due volte all’anno perché è così
ritenuto per renderli più sicuri ok così
la risposta è taxi questo è ciò che equivale
per questo questo particolare urto qui se noi
di nuovo usa la parola termini significativi per
dimmi cosa c’è di strano in quel punto
questo è il set di auto che lo sono
altamente correlato con quel particolare
comportamento sono i taxi quindi quali taxi
stanno facendo sta fallendo il loro test
e poi stanno pensando bene questo è
il mio vivere devo continuare a guidare
e ho ricevuto un altro test in sei
anche i mesi vanno avanti così
dare l’iniziativa del governo
è stato progettato per rendere le auto più sicure
forse li ha resi meno sicuri perché
la frequenza con cui sono stati
testato significa solo che non si preoccupano
aspettano solo il prossimo
saltare un test se ti piace, quindi questo è un
esempio di cosa puoi fare quando guardi
a comportamenti nel tempo e riorientare il tuo
dati intorno alle entità piuttosto che solo
guardando i record del registro così semplicemente per
riepilogare e ricapitolare le medie
fuorviante uso esempio di Bill Gates
i mediani dei percentili pensano al
sfocatura del set che sei
in realtà analizzando in modo da sapere come fuzzy
è la tua domanda bene sai che tipo di
i risultati stai cercando in realtà
riassumi qui
contro non è lo stesso della popolarità a
motore di raccomandazione che solo mai
ti ha detto che molte persone come Star
Le guerre non sarebbero una buona raccomandazione
motore devi sintonizzarti su ciò che è
significativamente diverso su certo
serie di persone o dati che non è possibile ottenere
nei guai con l’aggregazione a volte
quando usi la memoria, considera il
uso di ampiezza prima per alcuni di questi
tipo di grandi cose tipo di social network
e considera anche la riorganizzazione dei tuoi dati
lontano dai record del registro nell’entità
indici centrici che riassumono i comportamenti
di persone sono le cose che sono
tu segnalo a loro le cose che possono
rappresentare frodi e rischi per il tuo
business quindi è spesso utile
riorienta i tuoi dati attorno a quelli che sono
qualsiasi domanda
tu
Please follow and like us: