abbiamo lavorato per pochi
anni su un’analisi interattiva e
ambiente di visualizzazione per gli analisti
e in realtà per gli sviluppatori è così
un po ‘ di ID quindi cosa sto per parlare
circa oggi ho intenzione di darti un
una diapositiva su big data non ho intenzione di
seppelliscimi, probabilmente sentirai tutto
durante la conferenza e sto andando a
spendere un’altra diapositiva su chi è l’utente
perché molto di questo discorso è davvero
sulle considerazioni di progettazione che tu
avere quando si sta costruendo un utente
interfaccia dove stai cercando di supportare
grandi set di dati e quindi parlerò
quello che stiamo cercando di realizzare nel
spazio parlerò di alcuni dei
sfide e poi ho intenzione di spendere
il mio novanta per cento dei discorsi su alcuni di
le cose che abbiamo scoperto e come puoi
fallo se vuoi veramente costruire
prodotti che offrono un grande giorno ad alcuni di
le considerazioni vanno bene quindi andiamo solo
iniziare così questo è un vero in a
grandi set di dati di grandi dimensioni sono
fondamentalmente troppo grande per essere gestito qualsiasi
in altro modo e quindi richiedono nuovi strumenti
e nuove tecnologie per essere effettivamente in grado
per gestirli ci sono un sacco di discorsi
circa le 3 v, quindi dove sono il volume
velocità e varietà e per darti un
esempio qui trentatre per cento di
le aziende oggi come queste sono basate su
Statistiche di Gartner e foreste o IDC
e questo genere di cose così
il 33% delle aziende lo è
ora lavoro con set di dati di 500
i terabyte sono migliori abbiamo le velocità
entro l’ anno prossimo sono una sorta di previsione
quel sessantatre percento di analisi
sarà fatto in tempo reale che è
piuttosto sorprendente e la varietà è ciò che è
davvero significativo ci stiamo allontanando
da set di dati strutturati a
i dati non strutturati rappresentano l’ottanta percento di
le aziende hanno dati non strutturati e di
Certo, vogliamo essere in grado di arrivare a quello
e effettivamente lo prendi e in realtà
strutturare in modo che possiamo lavorare con lui
e analizzalo in quel modo
termini di chi lo sta facendo adesso
ci sono i nostri scienziati di dati
qualsiasi tipo di disciplina che tu davvero
voglio pensare ma davvero quello che loro
avere le nostre capacità di pensiero critico
abilità e statistiche di programmazione basate sul modello
ragazzi e ci sarà un enorme
carenza di loro e stanno prevedendo
da centocinquanta a 190.000 posti vacanti
in questo mercato del lavoro negli Stati Uniti
da solo, quindi se stai cercando un nuovo
il percorso di carriera sembra che sia buono il
la lingua è adesso sono una specie di
sorprendente anche se la maggior parte delle lingue
non sono al novanta per cento su cui si basa
un sondaggio Katy pepite quindi è una bella
piccolo sondaggio ma il novanta per cento del
lingue che la gente sta usando questo
spazio o cose come sono e c’è a
nuovo linguaggio SAS e SQL e quel tipo
di cosa e la lingua è quella di te
normalmente aspetterei di vedere
quello spazio come Java e cose simili
quella percentuale molto piccola destra
l’adozione è una specie di te
so che la mania di Hadoop sta succedendo ma
in realtà rappresenta solo circa nove
per cento del mercato in questo momento in termini
di persone che si trovano nello spazio e quelle
sono solo una breve sintesi del
le applicazioni, perché in realtà è
da zuppa a noci in tutto il sentiment board
rilevamento di frodi di analisi e simili
di cose e sai che tutti hanno visto
i carrelli della spesa Amazon e i loro
suggerimenti su ciò che potresti
voglio comprare e questo è tutto quello che devi fare
con l’elaborazione di grandi set di dati va bene così
cosa stiamo cercando di fare in questo spazio
okay, prima di tutto la grande domanda è
credi davvero di poterlo fare?
in realtà guardi e capisci e
interpretare i big data in altre parole più
le persone ciò che vogliono fare è ridurre
questo verso il basso in modo che siano piccoli dati e
quindi possono lavorare sui piccoli dati
okay e lo facciamo anche noi, ma il punto è
che devi credere che ci sia
in realtà valore nel guardare i big data
e, si spera, alla fine di questo discorso
lo vedrai e poi l’ altro
cosa stiamo cercando di fare
con quello su cui stiamo lavorando in termini di
il nostro progetto è che stiamo cercando di consentire
le persone a lavorare con i big data come se fosse così
erano piccoli dati in termini di cose come
l’interattività il tempo di risposta
facilità d’uso stiamo cercando di farlo come
big data facile da usare come da usare
piccoli dati e quindi quello che abbiamo fatto è
abbiamo costruito questa cosa chiamata IV
banco di lavoro che è davvero questa analisi
e ambiente di visualizzazione e giusto
per darvi un po ‘di specie di
comprensione di ciò che è è un it’s
un columnstore funzionale vettoriale che ha
un linguaggio simile a sql ma il reale
puntellature sotto la lingua è
in realtà funziona come sembra
SQL ma in realtà sta facendo una colonna
ricerche di colonne e questo genere di cose
sotto il cofano va bene è distribuito
fa crescere un toro a milioni di anime
e tu conosci tutto il posto quindi io
quello che farò è un po ‘parlare
riguardo alle cose che sono in arancione qui
sai che abbiamo maghi ETL e quelli
tipo di cose che abbiamo giocato
con, ma lo farò davvero
concentrarsi sull’ispezione visiva solo in linea
editing di righe e modifica di fogli di calcolo
solo per tenerlo un po ‘ focalizzato in un
area mi scusi quindi c’è un sacco di
le sfide sembrano solo essere sicure
scusa, quindi ci sono un sacco di sfide
che devi davvero considerare quando
stai lavorando con i big data
diverso dai piccoli dati e questo è
hai davvero un sacco di potenziale
problemi di interfaccia utente e quelli sono
lì sul lato più lontano dello schermo
cose come una breve attenzione così se
stai aspettando 25 secondi ogni volta
stai cercando di visualizzare qualcosa
diventerai molto rapidamente molto rapidamente
infastidito e quindi vogliamo farti sapere
buona velocità di elaborazione in modo che tu possa
ottenere le visualizzazioni in modo che tu
puoi guardare i tuoi dati come la perdita
di contesto se stai aspettando troppo a lungo
tu in realtà
dimentica quello che stai effettivamente aspettando
e in realtà quello che stavi cercando
altre cose come limitato a breve termine
memoria non vogliamo seppellire le persone
vuoi essere in grado di mantenere il
interfaccia in faccia così puoi
in realtà ricordo ancora quello che sei
cercando di fare c’è un aumento cognitivo
carica perché hai ora a che fare con
dati più complessi quindi devi averti tu
sai rendere il tuo controllo più intelligente e lo farò
mostraci alcuni esempi di questo e
hai un aumento del carico percettivo
perché stai cercando di guardare un sacco di
dati giusti, quindi devi usare diversi
tecniche e corrispondenza dei modelli
tecniche per dare un senso a tutto ok
questo è tutto bello e astratto di quello che sono
sta per fare è passare attraverso un caso di studio
e questo è un caso studio dal vasto
sfide e puoi cercarle
online hanno un sacco di questi diversi
sfida questo sta analizzando cella
registrazioni telefoniche e siamo fondamentalmente
alla ricerca di un social network di
criminali e quindi cosa faremo
in questo caso studio stiamo andando a
guarda una tabella di record che ha un
colonna fonte una colonna scrivania adorazione a
timestamp e una torre in esso va bene così questo
è solo una sorta di darvi laici di
la terra di ciò che vedremo
i telefoni in questo o numero zero a
quattrocento quindi sono inventati in modo tale
fonti e destinazioni sono tutte queste
partite di 0 e quattrocento e il
solo il set di record per il vasto studio
novemila dischi così l’ho fatto 35
milioni per renderlo interessante
e quindi quello che stiamo davvero cercando è
comportamenti sospetti e voglio solo
farti sapere che cos’è questo comportamento
perché ora diventerai analisti
qui così tipicamente stai cercando
destinazioni che ricevono un sacco di
le chiamate in entrata è quando gli spacciatori di droga
hanno ricevuto molte e molte chiamate
da molte e diverse persone
quindi stai andando a cercare quel tipo di
modello che stai andando a cercare
destinazioni che improvvisamente scompaiono e
poi riappare improvvisamente da qualche altra parte
ma stanno tutti parlando allo stesso modo
le persone stanno bene e la terza cosa che sei
sto andando a cercare è io in questo
finto studiarlo
il cellulare 200 è un sospettato conosciuto ok così
Ho iniziato a darti la disposizione della terra
qui useremo il nostro strumento ma tu
potrebbe probabilmente provare a fare lo stesso genere
di cosa nel nostro studio studio o pentaho
o probabilmente palantir ok e siamo solo
usando un server interno non è niente
speciale e ha quattro core ok così sono
inizierò solo spiegando
perché le cose passeranno
rapidamente all’inizio qui ho intenzione di
darti un po ‘di comprensione
di quello che sta succedendo qui, quindi abbiamo un
po ‘di codice qui stiamo andando a
eseguirlo linea per linea è un
ambiente interpretativo quindi ogni linea
esegui sabbia vedi i risultati e
vedrai i risultati qui sotto così
stiamo andando a caricare il set di dati e
allora faremo un riassunto
analisi di questo è quel piccolo secondo
linea di codice lì e poi stai andando
per vedere entreremo nella visualizzazione
aspetto quindi è aa carico di un po ‘
riepilogo e quindi una query veloce e
allora entreremo nella visualizzazione così qui
andiamo noi stiamo caricando ok così è caricato
ora riassumeremo questo e
questo è davvero solo una riduzione
così la riduzione è fatta e quella
ci dice cose come quanti record
ci sono e tutto quel genere di cose e
ora abbiamo fatto la query veloce, così siamo
passare attraverso tutta questa roba in realtà
ora e ora sto aprendo il nostro
visualizzatore e cosa ho intenzione di fare
per prima cosa guarderò la forma
dei dati quindi la prima cosa che sto andando
fare è guardare i record di origine e io sono
fermandomi qui e un po ‘
spiega cosa sta succedendo su ciò che abbiamo fatto
abbiamo appena visualizzato 35 milioni
registra e lo pieghiamo in 2 bidoni 20 così
quello che faremo ora è che lo siamo
andando ad andare avanti e stiamo andando a
fai il binning di grana fine e poi lo farò
tipo di narrare cosa sta succedendo mentre andiamo
lungo perché so che non sei un analista
ma voglio darti un sapore per
la velocità
e la facilità d’uso ecco noi siamo siamo
aumentando la granularità e quello che sono
davvero cercando c’è un modello
in questi dati che posso riconoscere e
in questo momento no non posso, quindi vado
guardare un altro colonna ho intenzione di a
le destinazioni ora è così
interessante proprio come vediamo in
la gamma zero c’è qualcosa di divertente
andando avanti e in alto circa 300, quindi vorrei scrivere
quei numeri in basso per riferimento futuro
e qui siamo di fronte a qui siamo
guardando giorni come le date e quindi cosa
possiamo vedere qui c’è circa 10 giorni
lì e poi possiamo vedere alcuni
interessanti piccole cose in corso
qui se improvvisi picchi nel mezzo
della notte così ancora una volta vorrei fare un
nota di ciò e ne farei ancora un altro
analisi specificamente intorno a quella
stessa cosa che cercherò in modo diverso
durate e cosa vedremo
ecco che è uno standard
distribuzione quindi non ci interessa così ora sono
andando a trasferirsi e ho intenzione di ottenere
alla caccia di ciò che sto andando a
guarda data e destinazione e di nuovo
Mi fermerò subito dopo aver finito
è 35 milioni di ricerca va bene così
la cosa interessante qui è che ora noi
basta piegare questi record per data
il fondo e la destinazione sul lato
e quello che posso vedere qui è che c’è
un sacco di attività fino a questo punto
e poi c’è un po ‘di divertente
attività lassù proprio all’improvviso
prende in alto quindi in sostanza da
come dovrei spiegare che in realtà
esaminato ogni dimensione di questi dati
Sto solo mostrando il bello, okay
quindi stavo girando tutto questo per niente
le diverse combinazioni di tutti questi
colonne e aggiustando cose diverse
avrete una sorta di vedere questo come andiamo avanti
quindi quello che ho intenzione di fare è che ho trovato questo
interessante quindi ora ho intenzione di aumentare
la risoluzione di nuovo così ora stiamo andando
per scendere un po ‘ più in profondità, ecco il nostro
35 milioni e possiamo sicuramente vedere a
schema ora in questi dati che è tipo di
interessante lo vediamo cadere all’improvviso
vediamo un pick-up quindi ora ho intenzione di andare
giù un po ‘oltre e sto andando a
dare un’occhiata ai singoli articoli e
qui noto alcuni articoli e così ancora
Sto imbrogliare quello che ho fatto qui
è che tu sai appena tirato fuori un sacco di
tempo e ho trovato alcuni ragazzi che ero
interessato a guardare lassù così
quello che ho fatto e quello che sto facendo ora è a
query in tempo reale che ne esamina alcuni
destinazioni interessanti e cosa io cosa
Lo faccio è come sto guardando questo io sono
notando che sto prendendo un po ‘di corda nel
dati così vedrai che sono sveglio
nella linea superiore ci sto per iniziare
rimuovendo i valori fino a quando non arriverò al
valori interessanti come in tempo reale
questo mi ha preso probabilmente circa 20 minuti
per capire come i termini del puzzle
così ora che cosa ho intenzione di fare è che sto
per visualizzare effettivamente questo come un sociale
rete così capisco che la guardo come a
grafico diretto la mia destinazione è il
genitore e mio figlio o tutte le fonti
e vedo il grafico diretto e
abbastanza interessante quello che davvero
avviso qui è il 30 6 e 5 e 1 e 3 09
stanno parlando con le stesse persone identiche
e quindi quello che mi dice è probabilmente
questi sono gli stessi ragazzi e loro hanno
lasciato cadere il cellulare e sollevato
un altro ok, che è una droga classica
comportamento del concessionario va bene così così oops I
voglio rallentarlo solo un secondo
quindi me ne sto solo andando un po ‘indietro
quindi quello era un modo di guardare il
i dati che ora voglio fare è che voglio
fare un’analisi pagerank quindi queste righe di
codice qui faremo un’analisi di pagerank
e dimmi chi sono i ragazzi più importanti
sono in questo set di dati, quindi cosa stiamo andando
per vederlo, lo farò un po ‘indietro
ulteriore
qui andiamo là andiamo, voglio che tu lo faccia
una sorta di senso del tempo
questo quindi ho intenzione di evidenziare questo e
Ho intenzione di eseguire questo in tempo reale
e si trova il mio esempio interessante
e noterai che 200 sono apparsi lì
che è molto interessante, improvvisamente
apparso così ho intenzione di guardare a quel
social network di nuovo nel contesto di
queste persone interessanti che sono
considerato il telefono cellulare più importante
utenti in questo set e quindi cosa sono
andando a vedere è che fondamentalmente abbiamo
duecento al centro di questi
le persone che parlano e sono tutte
tipo di correlato così nello spazio di
circa 15 o 20 minuti che ho ottenuto
una risposta a questo vasto puzzle, quindi cosa fare
noi facciamo qui bene, davvero, quello che siamo
facendo è che siamo in tempo reale burattatura di
dati e quello che stiamo cercando di fare è
esplorare le relazioni, quindi cosa significa
è che siamo stati in grado di saperlo molto
caricare rapidamente un gruppo di record
visualizzalo analizzato capovolgi e filtra
lo guarda da un numero di differenti
modi Bennett e la cosa interessante
è che penso che tu possa vedere che eravamo
facendo ciò dove c’era davvero no
impedimenti di fattori umani in altre parole
diciamo che la nostra capacità di attenzione in realtà non lo era
ha perso il processo sembra abbastanza veloce che
Posso manipolare e gestire questi dati
e tutte queste cose sono una specie di
lavorare insieme, quindi ciò che significa è
è come quello che abbiamo imparato da questo
essere binned in tre categorie non c’è
un paio di analisi di cose che io
notato mentre stavo facendo questo mentre
abbiamo lavorato a questo progetto noi
avere un sacco di cose di visualizzazione e
un sacco di cose di interazione e io sono
andando a passare attraverso ognuno di questi
le cose in un po ‘più in dettaglio e in qualche modo
sai come riavvolgere quello che eravamo
fare in quella dimostrazione e prendere un
guarda in un modo diverso così
la prima cosa che vuoi fare e se
stai andando a costruire questi
grande giorno
le applicazioni sono la mia convinzione è che tu sia
intenzione di avere un integrato
ambiente di analisi e visualizzazione a
molti dei prodotti oggi disponibili
il mercato fa l’uno o l’altro così loro
o visualizza o analizza e
dove il vero potere è essere in grado
prendere queste due cose e metterle
insieme così ben shneiderman ha questo
cosa sulla visualizzazione dei dati che ha
questo mantra di panoramica prima e tu
conoscere Zoom Zoom avanti e poi
dettagli su richiesta Penso che sia grandioso
ma penso che anche tu devi aggiungere ad esso
tutte le altre cose che fai
analisi come l’estrazione e il caricamento
conosco lo script di trasformazione e per me
lo scripting è in realtà abbastanza importante e
ordinamento e categorizzazione di questi tipi
di cose tutto deve essere messo insieme
e poi ovviamente è annotazione e
collaborazione alla fine di questo processo
la cosa veramente interessante è tutto
di queste cose anche se ce l’ho
loro in una lista hanno davvero bisogno di essere in grado di
essere fatto in qualsiasi ordine in qualsiasi momento così tu
bisogno di essere in grado di andare avanti e indietro e
quello che intendo è che devi farlo
supportare un flusso di attività non lineare iterativo
quindi se pensi a quello che stavo facendo
in quella dimostrazione se lo tiriamo fuori
e lo separiamo, ci sono alcune cose
che sono fatti su un asse di visualizzazione
ed è davvero tutto su come noi
organizzare i dati e un ragazzo di nome Richard
Saul Wurman ha inventato qualcosa
chiamato il look del modello di chiusura e
è l’acronimo di local time alpha category
e la gerarchia e si scopre che lui
hanno inventato questa teoria hanno detto
le persone organizzano informazioni in questi
i modi in cui questo è questo è impostato così se tu
guarda che cosa fanno le visualizzazioni sono loro
davvero mappare su quel set e poi su
altro asse abbiamo tutte queste analisi
tecniche che possiamo applicare
cluster di riepilogo ecc. e se tu
pensaci vorresti avere questo
matrice in cui è possibile eseguire una qualsiasi delle
cose in cima con uno qualsiasi dei
cose a sinistra vuoi essere in grado
per farli in qualsiasi ordine perché
stai davvero cercando di scoprire
rispondere ad un problema va bene, ecco tutto
meraviglioso perché stai cercando
quelle relazioni ma il vero problema
è se non puoi elaborare rapidamente sei
brindisi okay, quindi questo è davvero il massimo
questo punto successivo che hai ottenuto
elaborazione basata sul lato server per
le tue domande ma devi anche
sfruttalo per la tua visualizzazione e
Sto per attraversare a
un paio di cose quindi ecco un tipico
caso di studio in cui bene in realtà questo è un
punto di riferimento o come a Dave piace chiamarli
panchina bugie quello che abbiamo è 100
terabyte di dati dal Nasdaq mi dispiace
dalla Borsa di New York, quindi questo è
il sistema di quote di addestramento che viene fornito
fuori il sai fuori dai mestieri che
sono fatti sulla borsa di New York
ci sono 5.000 giorni di dati è a
quota di trilioni puoi vedere il
specifiche qui 16 core da 256 gig
quel genere di cose quindi queste sono esemplificative
domande che abbiamo fatto contro questo
set di dati e cosa succede è che siamo
prendendo questo 100 terabyte e su un piccolo
giorno facciamo una query dura circa 18
millisecondi e otteniamo un set funzionante di
circa 35 milioni di dischi, quindi se tu
pensaci , ecco perché ti ho mostrato
35 milioni di record in quell’altro esempio
perché quello che facciamo è prendere un 100
i terabyte lo riducono a 35 milioni
registra e ora puoi lavorare con esso
abbastanza pulito ed è la stessa cosa
con il grande giorno giusto possiamo fare un
grande una query più ampia 290 millisecondi
e ora stai lavorando con il set di dati
di circa 600 milioni di dischi che mostrerò
tu i numeri su quel minuto va bene così
ora hai i tuoi dati e vuoi
Renderlo abbiamo provato un sacco di
cose su cui stavamo lavorando
client che utilizzano javascript e d3 e tutti
queste altre lingue e semplicemente no
Lavoriamo in modo da quello che abbiamo finito per fare stava
facendo tutto il nostro rendering sul server
e spedizione bitmap al client e
allora quello che facciamo sul client è quando
tocchi qualcosa che inviamo i punti
torna al server e fai un altro sguardo
e tira fuori quel punto e poi
dirvi qual è il punto e cosa c’è dentro
lì e quel genere di cose e così questo
funziona molto meglio perché non lo facciamo
dobbiamo a noi non importa di nessuno
cliente giusto non dobbiamo preoccuparci
a proposito di se conosci un windows
macchina e qual è la potenza di elaborazione
lì sappiamo che sappiamo cosa sia
sarà ben noto anche a noi
se è nella nuvola come se fosse
un’istanza Amazon possiamo sapere cosa
è così non dobbiamo preoccuparci per il
cliente a tutti posso darti più specifiche
su quello più tardi quindi qui ci sono alcuni numeri
ok, rendendo un milione di punti sul
client che utilizza jsu d3 o uno di questi
le cose durano circa 22 secondi se tu
Renderlo su un server e fare un PNG
sono circa quattro secondi su a
nuvola di vaniglia 10 milioni di punti
non posso farlo sul client che devo ancora
trovare un modo per ottenere la tela
rendi che molti punti siano circa 28
secondi 28 secondi per il rendering su
server quindi è molto veloce per quello che sono
numero di punti e qui ce ne sono alcuni
punti se si esegue il binning in modo che si schianta
tecnica ti stavo mostrando milioni
indica un secondo 10 milioni di punti
circa quattro secondi in realtà inizia a
meglio che lineare a un certo punto
giusto cento 100 milioni 22 secondi 500
milioni 116 secondi in modo che sta ottenendo
abbastanza lento e ti mostrerò dopo come
abbiamo portato quel numero anche a posto
così ora siamo ora abbiamo questa cosa noi
può cadere possiamo farlo rapidamente ma cosa
vogliamo fare è vogliamo sfruttare
pattern matching così tutti quelli
le tecniche in cima esistono già
oggi proprio in altre parole tutti quelli
tecnica di analisi
come riassunti di aggregazione questi sono
tecniche ben note puoi vederle
su documenti davvero interessanti
la cosa è che molti di loro possono venire bene
attraverso così in altre parole puoi
effettivamente li fanno su larga scala e li usano
la tecnica quindi, in altre parole la nostra
la capacità di Priya di elaborare provvisoriamente
quell’informazione è tutto ciò di cui abbiamo veramente bisogno
di cui preoccuparsi e possiamo farcela
cose che conosci al volo su scala così
che cosa ho intenzione di fare è che ho intenzione di
tipo di darti un corso intensivo di guardia
Ho intenzione di chiedere a quante persone lo sanno
sull’elaborazione pre-attentiva va bene io
incluso questo perché non immaginavo nessuno
sapevo bene, quindi, che cosa premuroso
l’elaborazione è praticamente senza
prestando attenzione si riconoscono i modelli
okay e così questi ragazzi McKinley e
Burton ha studiato molto e loro
capito che quando stai lavorando
con dati quantitativi si nota il
posizione dei dati che noti
lunghezza dei dati che noti tutti
quelle cose in quell’ordine vanno bene e così
per darti un esempio di qualcosa
lunghezza significa che quando guardo questo
foto qui la barra alla fine è due volte
grande quanto le altre barre e tu puoi
dillo e non lo fai nemmeno realmente
devo pensarci è come
abbassare l’attività del tronco cerebrale e basta
lo so è interessante che le cose
come la forma puoi sapere che la forma è
diverso ma in realtà non è possibile mapparlo
e dire che cerchi due volte più grandi di
quella casella destra non lo sai davvero
qualsiasi cosa sui dati mi dispiace per il
lo sai che è diverso ma non lo fai
sapere come è diverso così bene così
alcuni casi è possibile applicare queste cose
a dati quantitativi e puoi applicare
ad altre proprietà dei dati, quindi cosa noi
abbiamo fatto in questo esempio è stato utilizzato
aggregazione per utilizzare il binning per mostrare il
pre-attentivo usa il nostro pre-attento
capacità di elaborazione in modo che tu possa
improvvisamente riconosco questi modelli così
ciò significa che posso cambiare il cestino
granularità Posso cambiare l’aggregazione
e posso applicarlo a diversi tipi di
attributi visivi come la forma delle dimensioni
opacità del colore e posso scegliere improvvisamente
questi schemi e la cosa bella è
Posso applicare questo a come l’opacità e così via
Posso mostrarvi dove non si vuole
vivono a Sacramento ecco siamo
guardando a dieci milioni di documenti criminali in
Sacramento e possiamo facilmente vedere dove
non vogliamo vivere bene e questo è
basta applicare il conteggio dei bin all’opacità e
qui stiamo facendo una dispersione e noi siamo
ora applicando la stessa logica alle dimensioni e
qui lo stiamo facendo di nuovo facendo un caldo
mappa in opacità quindi è davvero la stessa cosa
la tecnica può essere applicata contro a
varietà di tipi di grafici diversi
implicito nell’istogramma delle barre, quindi di nuovo qui
è lo stesso essere tecnologico della binning
applicato su tutta la linea, questo significa
che puoi far cadere i tuoi dati in a
varietà di modi diversi ed esperimenti
ed esplorare ed è davvero quello che è
tutto intorno quindi ecco la cosa però è
quello che traccia tutti i dati può realmente
nascondi i dati quindi ecco un’immagine di a
milioni di punti tracciati da 0 a 1 usando
l’opacità ha richiesto circa cinque secondi e
ecco la stessa immagine va bene così questo è
lo stesso set di dati è tracciato e puoi farlo
vedo vagamente questo piccolo ovale
lì giusto ed è solo applicando
quella opacità e davvero quello che stiamo facendo
stiamo rimuovendo i punti dati quando lo facciamo
che così si scopre e spero che questo
non spero che tu possa vedere questo permesso
Rivedo qui sì, puoi vederlo
cerchiate tutto bene, va bene così
il cerchio è di circa 2.000 punti in a
milioni in modo che il scopre che questo
modello corrispondente a
nique può funzionare su di te sa ragionevolmente
un piccolo insieme di dati contro un milione
punti in quel tipo di rapporto se ne hai
modelli concentrati si può vedere che
puoi raccogliere 200 punti su a
milioni che penso sia una sorta di
equivalente di un ago in un pagliaio I
è piuttosto interessante che il tuo occhio sia
sintonizzati bene che si può tirare che
fuori dalla mappa va bene così
scopre ora che possiamo farcela
modelli ora dobbiamo iniziare a imbrogliare un
poco con il visual design perché tutto
le regole per il visual design sono state
scritto per la visualizzazione di erba non
interagendo con i grafici e penso
c’è una grande differenza quindi il duro
Tok Edward Tufte ha inventato questo set
di fantastiche regole per il visual design e
puoi cercarli e stanno bene
noto e questo è un grafico terribile e
viola un bel po ‘delle sue regole
delle sue regole è che si dovrebbe cancellare
inchiostro che non ha rilevanza per il tuo grafico
quindi la cosa come la scatola 3d e il
la barra bianca è arrotondata in quel piccolo
sfondo colorato che dovrebbe essere tutto
andato che è solo spazzatura e l’altro
cosa è che sta barando giusto lui è
mostrando trentacinque per cento in
trentanove per cento ma è tagliato fuori
la maggior parte del bar quindi sembra davvero molto
più drammatico di quanto lo sia davvero Fox
tende a piacere a farlo con il loro
grafica quindi la cosa però è quella
con i big data a volte mentendo e non
mostrare tutti i dati è una buona cosa e
Ti ho mostrato questo esempio e ora lo sono
mostrandoti questo esempio dove questo è
tipo di imbroglio, non siamo davvero
mostrando tutti i dati lì diventa uniforme
meglio se lo elaboro se immagino
elaborare i dati utilizzando la tecnologia RGB che posso
in realtà lasciano ancora più punti e
il modello diventa ancora più forte
quindi con dati piccoli e con visualizzazione
grafici seguiamo queste regole di progettazione ma
con i big data abbiamo quasi dimenticato
quelle regole e devo buttarle via
quindi l’altra cosa è che c’è quello
tutto dicendo la verità con i tuoi dati
e mostrando gli assi X the Y e lo farò
mostraci quell’esempio dove ci fermiamo
i discorsi bene ecco un esempio di punti
da zero a cinquantamila e siamo
mostrando tutti i dati che stiamo mostrando
l’intero bar e lo stiamo mostrando
zero a cinquantamila il problema con
quello è che qui sto mostrando lo stesso
set di dati identici, ma lo sto mostrando
dalla gamma minima e massima destra che
è un no-no ma è interessante perché
All’improvviso vedo una piccola lacuna nei dati
quindi il punto è che quella regola di sempre
iniziare da zero su un asse y per questo
tipo di grafico non lo fa davvero
molto più senso quando hai a che fare
con i big data stessa cosa qui c’è
un’altra regola che ha a che fare con il vantaggio
o sette scuse sette più o meno due
e sono cognitivamente in altre parole noi
posso solo ricordare sette cose più o
meno due e quindi se abbiamo un
leggenda non dovremmo metterne più di sette
cose più o meno 2 nella legenda
perché non possiamo mantenere i contatti
tra quella leggenda e il grafico questo
è una sorta di teoria ben nota giusta
questa è la regola non usare più di
sette cose bene ecco un grafico che è
le prime 80 parole chiave su moby-dick
vero e un processore di linguaggio naturale /
Moby Dick ha trovato le parole chiave di conversazione
tracciato quelle parole chiave migliori così ora
avere una parole chiave tiki qui in una legenda in
dati di serie una cosa interessante è quella
una cosa che possiamo dire di questo è quello
certe cose pop e l’ altra cosa
è che possiamo trovare un’area dove
c’è una lacuna nel documento in
altre parole era un punto in cui lì
era davvero niente
menzionato in Moby Dick quindi è un po ‘
interessante che una regola sarebbe
normalmente applicato in piccoli dati può essere
rimosso nel Big Data e improvvisamente hanno
un certo valore va bene così e poi ovviamente
puoi sempre filtrare il rumore
proprio lì se perché è interattivo
possiamo sempre abbattere ciò che è
sfondi e quel genere di cose così
che possiamo migliorare così eccoci qui
guardando Jonah e io possiamo spostarlo
intorno e posso rapidamente perché è suo
interattivo posso fare altre cose con
va bene un’altra cosa sta massimizzando il
diagramma rapporto l’interfaccia utente per tracciare il rapporto e cosa
Voglio dire, sono molte interfacce così
queste due foto sono immagini di
interfacce e l’area nera è l’interfaccia utente
area di controllo che è dove tutto il
i pulsanti sono in quel genere di cose e
l’unica cosa che si nota è quella
la maggior parte dell’interfaccia sul lontano
la maggior parte dell’area di controllo
dell’interfaccia è assegnato a
controlla dove è finito sulla mano destra
lato qui la maggior parte dell’interfaccia è stata
assegnato alla grafica e perché è così
importante è quando si è alla ricerca di
questi modelli vuoi essere in grado di
in realtà ottenere tanto immobiliare
assegnato alla trama reale così
puoi effettivamente guardare i dettagli dentro
ci sta bene quindi dobbiamo prendere come sciopero
un migliore equilibrio tra i widget dell’interfaccia utente e
controlli e traccie reali e così via
ecco un altro esempio del nostro primo
le interfacce nascondevano i controlli che avevamo loro
tutti nascosti in modo da poter massimizzare il nostro
immobiliare quindi avevamo tutto dentro
piccoli piccoli pop-up e il problema
con questo è che si finisce per utilizzare questi
controlla così ampiamente che vuoi
loro sullo schermo, quindi abbiamo finito per fare
questo trade-off in cui abbiamo uno scrolling
elenco dei controlli sul lato destro
perché vogliamo massimizzare quell’area
per la visione del terreno
e quindi penso che significhi che questi
le interfacce di dati di piccole dimensioni potrebbero dover
cambia per gestire più dei big data
problema va bene così l’ altra mano
in mano con quello è quando parliamo
quei controlli devono gestire i dati
complessità e cosa intendo con quello
vedrai in molti dei piccoli dati
interfacce fanno un uso pesante di controllo
scatole e cose come questa sul lontano
lato dello schermo bene quando si avvia
occuparsi di grandi serie di dati dove
c’è un gran numero di controlli
immagina di avere quattrocento telefoni cellulari
numeri che devo controllare ogni volta
quello che voglio fare una query così qui
Ho questa domanda è più difficile da imparare
ma mi dà molta più flessibilità
ed è molto più compatto, quindi davvero
ora hanno questa gamma di scelte tra
facile da usare , è facile da imparare e
è facile da usare ma ha molto di più
complessità quando inizi a guardare
numeri di colonne e e intervalli e
quel genere di cose immagina se tu avessi un
come direbbero 7000 che stavi provando
usare un cursore su di esso è molto difficile
quindi dobbiamo iniziare a guardare ai modi di
rendendolo più facile da usare ma al
stesso tempo rendendoli anche flessibili per
uso e questo è che abbiamo ragione nel
processo di lavorare su quel genere di cose
ed è la stessa cosa con l’utente
interfaccia nel suo insieme, quindi abbiamo creato un
strumento di query visiva ed è modellato dopo
Ms query ma c’è una gamma di questi
tipi di interfacce e quindi è discutibile
che il nodo e le interfacce di stile di collegamento
che vedi in molti prodotti
grande per te sapere l’apprendimento ma quando tu
iniziare a fare il filtraggio
filtrando sul filtraggio all’improvviso
diventare molto complesso per lo stesso token
interfacce come i testi
difficile da imparare perché si deve
ricorda tutto e poi in cima
si finisce nella sintassi Inferno dove
hai tutte queste parentesi e
tutto il resto si perde così che siamo
ora guardare è una specie di
compromesso nel mezzo dove possiamo
cercare di eliminare la sintassi del testo e
elimina anche quello che diavolo di reale
tenuta qui da questa parte, quindi siamo
ancora sperimentando con quello l’altro
la cosa è che le piccole interfacce di dati tendono a
aggiorna automaticamente ogni volta che fai
qualsiasi cosa aggiorni che risulta
essere una pessima idea nei big data
interfacce quindi immagina di voler cambiare
il colore della dimensione della granularità di
i tuoi cassonetti e diciamo rimuovi lo sfondo
se ognuna di queste operazioni è automatica
aggiornato e ti porta sette secondi
per rieseguire l’immagine che è di 21 secondi
piuttosto che sette secondi e così via
cambia il modo di pensare a realtà
tutta la magia automatica che le persone
fare automaticamente in un piccolo dato
interfaccia ed è la stessa cosa con
esegue molti piccoli dati
le interfacce eseguiranno immediatamente il
interrogare non appena cambia, quindi si trasforma
in grandi interfacce dati cosa vuoi
di fare è che si desidera fornire esempi di
l’output e si desidera fornire
stime di quanti record sei
tornerò una volta che l’hai colpito
database quindi in altre parole in questo
esempio ho circa 192.000
corrisponde a 10 milioni ma io davvero
non voglio fare quella query che voglio solo
per giocarci un po ‘fino a quando io
fallo bene e poi voglio eseguire
la query e si scopre che non a
molte interfacce stanno facendo questo tipo di
cosa va bene così il mio ultimo punto è
fare dello scripting un compito primario va bene e
perché dico che è quello che usa il nostro
interfaccia che possiamo rendere se ne conoscete 500
milioni di punti in circa 116 secondi ma
se ottengo davvero intelligente sulla mia domanda
con pochissima quantità di quello che farò
chiamare lo scripting sql-like posso guidarlo
tempo fino a circa 27 secondi e se tu
guarda quella linea non è davvero così
complicato a tipo di capire adesso
sta facendo come dico sta facendo un vettore
ricerca funzionale al di sotto di esso
effettivamente facendo una query funzionale sotto
il cappuccio sembra proprio come SQL e il
l’altra cosa è che se usi lo scripting
e questo è davvero per tornare indietro e
tra visualizzazione e analisi
si potrebbe effettivamente finire con a
risposta giusta o risposta sbagliata e se
tu se disaccoppia queste cose dove
stai facendo solo visualizzazione e
hai divorziato dall’analisi di te
può effettivamente finire con il torto
risposta e cosa intendo con questo se tu
guarda l’ esempio che ti ho dato prima io
ho fatto un’analisi visiva e ho scoperto a
insieme di nodi ho anche fatto e non l’ho fatto
mostralo anche a me ho fatto un markov
analisi in circa la stessa quantità di
tempo necessario per fare il PageRank
analisi e ho concluso che c’era
niente di interessante nel markov
analisi e poi ho fatto il PageRank
analisi sono andato oh è interessante così
poi sono stato in grado di prendere quel grado di pagina
analisi e sono stato in grado di accoppiarlo
con un’altra visualizzazione e in realtà
trovare la risposta giusta contro il
risposta sbagliata se mi sono appena fermato con il
prima la visualizzazione sarebbe stata
sbagliato, quindi è la capacità di essere in grado di
fai queste cose in qualsiasi ordine che sia
davvero davvero abbastanza importante quindi io
pensavo che lo sapessi davvero in un certo senso
vestiti qui con questo piccolo
dimostrazione di un’altra parte del
interfaccia
e questo è davvero più di un analista
interfaccia che permetterebbe loro di usare
come un’interfaccia di un tipo di foglio di calcolo va bene
Quindi è davvero è un sai che questo è
tutti al lavoro in un browser sto guardando
un diverso conosci diverse celle e
ora quello che posso fare è che posso davvero
interpretali senza realmente averli
per ispezionarli immediatamente così sai
davvero in questo esempio abbiamo caricato
conosci tre milioni di dischi e così e
stiamo solo tipo di giocare con
è qui il tipo di script che è
coinvolto qui così puoi davvero farlo
cose come al volo dichiarano le chiavi
nei tavoli e lasciano join e cose
chiamiamo così come join o finestra così
puoi effettivamente guardare i dati in streaming
allo stesso modo e puoi solo un po ‘
di nuovo lavoro con esso abbastanza interpretativo
Lee e poi ottieni la tua risposta indietro
altra cosa che puoi fare bene così sono
sto per mostrarti un’ispezione qui
giusto così di nuovo che puoi effettivamente ispezionare
fuori da questo stesso ambiente così davvero
questo funziona solo sotto il tipo di
il modello Excel un’altra cosa che puoi fare
è possibile creare effettivamente una funzione
chiama così qui è in un semplice riassunto di
sai usare questo tipo di funzione
all’interno di un foglio di calcolo, quindi è possibile
in realtà inizia ora a costruire poco
lingue che è possibile utilizzare più e più volte
di nuovo e poi questo è davvero mettendo in
un’interfaccia di ordine superiore in modo che se
qualcuno non era davvero esperto tecnicamente
potresti effettivamente costruire un front-end
questo permetterebbe loro di farlo usando
controlli standard regolari come
caselle di controllo su quel genere di cose e
davvero sfrutta JavaScript per
ti permettono di fare questo in modo che tu possa tutti ordinare
di metterlo nella parte anteriore il
altra cosa che puoi fare e tutto questo
ci vorrà solo un set di secondi per arrivare
ad esso è quindi si può effettivamente sostituire
il motore quindi se non ti piace il fatto
è così
foglio rosso e si comporta come un
foglio di calcolo puoi effettivamente scrivere il tuo
proprio foglio di calcolo e in questo caso ecco
la mia piccola app campione e quello che fa è
in realtà ti permette di apprezzare questo
caso è solo moltiplicando il numero di
due così qualsiasi numero che metti lì ottiene
Doppio, intendo che non è poi così grande
un accordo ma il punto è che allora
ti dà il potere di consegnarlo veramente
tipo di cosa si apre davvero il
interfaccia in modo da poter utilizzare dsl
e quel genere di cose per permetterti
gli utenti di avere un livello superiore di ordine
e quindi cosa intendo davvero con questo
che se hai intenzione di mettere script in
il tuo prodotto che vuoi supportare certo
tipi di comportamenti e quei comportamenti
stanno permettendo alle persone di scrivere al volo
permettendo loro di andare avanti e indietro
tra visualizzazione e analisi e
permettendo sempre di mostrare loro un po ‘di output
quindi piuttosto che in uno scenario compilato
dove stai costantemente compilando e
quindi aspettando una risposta davvero
voglio questa roba al volo e poi
finalmente vuoi essere in grado di prendere questo
roba e incapsulare e girarlo
in lingue specifiche del dominio in modo che
puoi usarlo ancora e ancora e
costruisci il tuo tipo privato di
biblioteca se si vuole in modo davvero questo è
una sorta di riassunto sono questi punti principali
fondamentalmente la mia opinione è che se si deve
fai almeno queste cose fondamentali che ho
parlato di se vuoi davvero
consegnati un piccolo dato Internet
esperienza su larga scala e ancora fornire
quelle cose come interattive sai
interattività tempo di risposta facilità d’uso
e quel genere di cose
anni su un’analisi interattiva e
ambiente di visualizzazione per gli analisti
e in realtà per gli sviluppatori è così
un po ‘ di ID quindi cosa sto per parlare
circa oggi ho intenzione di darti un
una diapositiva su big data non ho intenzione di
seppelliscimi, probabilmente sentirai tutto
durante la conferenza e sto andando a
spendere un’altra diapositiva su chi è l’utente
perché molto di questo discorso è davvero
sulle considerazioni di progettazione che tu
avere quando si sta costruendo un utente
interfaccia dove stai cercando di supportare
grandi set di dati e quindi parlerò
quello che stiamo cercando di realizzare nel
spazio parlerò di alcuni dei
sfide e poi ho intenzione di spendere
il mio novanta per cento dei discorsi su alcuni di
le cose che abbiamo scoperto e come puoi
fallo se vuoi veramente costruire
prodotti che offrono un grande giorno ad alcuni di
le considerazioni vanno bene quindi andiamo solo
iniziare così questo è un vero in a
grandi set di dati di grandi dimensioni sono
fondamentalmente troppo grande per essere gestito qualsiasi
in altro modo e quindi richiedono nuovi strumenti
e nuove tecnologie per essere effettivamente in grado
per gestirli ci sono un sacco di discorsi
circa le 3 v, quindi dove sono il volume
velocità e varietà e per darti un
esempio qui trentatre per cento di
le aziende oggi come queste sono basate su
Statistiche di Gartner e foreste o IDC
e questo genere di cose così
il 33% delle aziende lo è
ora lavoro con set di dati di 500
i terabyte sono migliori abbiamo le velocità
entro l’ anno prossimo sono una sorta di previsione
quel sessantatre percento di analisi
sarà fatto in tempo reale che è
piuttosto sorprendente e la varietà è ciò che è
davvero significativo ci stiamo allontanando
da set di dati strutturati a
i dati non strutturati rappresentano l’ottanta percento di
le aziende hanno dati non strutturati e di
Certo, vogliamo essere in grado di arrivare a quello
e effettivamente lo prendi e in realtà
strutturare in modo che possiamo lavorare con lui
e analizzalo in quel modo
termini di chi lo sta facendo adesso
ci sono i nostri scienziati di dati
qualsiasi tipo di disciplina che tu davvero
voglio pensare ma davvero quello che loro
avere le nostre capacità di pensiero critico
abilità e statistiche di programmazione basate sul modello
ragazzi e ci sarà un enorme
carenza di loro e stanno prevedendo
da centocinquanta a 190.000 posti vacanti
in questo mercato del lavoro negli Stati Uniti
da solo, quindi se stai cercando un nuovo
il percorso di carriera sembra che sia buono il
la lingua è adesso sono una specie di
sorprendente anche se la maggior parte delle lingue
non sono al novanta per cento su cui si basa
un sondaggio Katy pepite quindi è una bella
piccolo sondaggio ma il novanta per cento del
lingue che la gente sta usando questo
spazio o cose come sono e c’è a
nuovo linguaggio SAS e SQL e quel tipo
di cosa e la lingua è quella di te
normalmente aspetterei di vedere
quello spazio come Java e cose simili
quella percentuale molto piccola destra
l’adozione è una specie di te
so che la mania di Hadoop sta succedendo ma
in realtà rappresenta solo circa nove
per cento del mercato in questo momento in termini
di persone che si trovano nello spazio e quelle
sono solo una breve sintesi del
le applicazioni, perché in realtà è
da zuppa a noci in tutto il sentiment board
rilevamento di frodi di analisi e simili
di cose e sai che tutti hanno visto
i carrelli della spesa Amazon e i loro
suggerimenti su ciò che potresti
voglio comprare e questo è tutto quello che devi fare
con l’elaborazione di grandi set di dati va bene così
cosa stiamo cercando di fare in questo spazio
okay, prima di tutto la grande domanda è
credi davvero di poterlo fare?
in realtà guardi e capisci e
interpretare i big data in altre parole più
le persone ciò che vogliono fare è ridurre
questo verso il basso in modo che siano piccoli dati e
quindi possono lavorare sui piccoli dati
okay e lo facciamo anche noi, ma il punto è
che devi credere che ci sia
in realtà valore nel guardare i big data
e, si spera, alla fine di questo discorso
lo vedrai e poi l’ altro
cosa stiamo cercando di fare
con quello su cui stiamo lavorando in termini di
il nostro progetto è che stiamo cercando di consentire
le persone a lavorare con i big data come se fosse così
erano piccoli dati in termini di cose come
l’interattività il tempo di risposta
facilità d’uso stiamo cercando di farlo come
big data facile da usare come da usare
piccoli dati e quindi quello che abbiamo fatto è
abbiamo costruito questa cosa chiamata IV
banco di lavoro che è davvero questa analisi
e ambiente di visualizzazione e giusto
per darvi un po ‘di specie di
comprensione di ciò che è è un it’s
un columnstore funzionale vettoriale che ha
un linguaggio simile a sql ma il reale
puntellature sotto la lingua è
in realtà funziona come sembra
SQL ma in realtà sta facendo una colonna
ricerche di colonne e questo genere di cose
sotto il cofano va bene è distribuito
fa crescere un toro a milioni di anime
e tu conosci tutto il posto quindi io
quello che farò è un po ‘parlare
riguardo alle cose che sono in arancione qui
sai che abbiamo maghi ETL e quelli
tipo di cose che abbiamo giocato
con, ma lo farò davvero
concentrarsi sull’ispezione visiva solo in linea
editing di righe e modifica di fogli di calcolo
solo per tenerlo un po ‘ focalizzato in un
area mi scusi quindi c’è un sacco di
le sfide sembrano solo essere sicure
scusa, quindi ci sono un sacco di sfide
che devi davvero considerare quando
stai lavorando con i big data
diverso dai piccoli dati e questo è
hai davvero un sacco di potenziale
problemi di interfaccia utente e quelli sono
lì sul lato più lontano dello schermo
cose come una breve attenzione così se
stai aspettando 25 secondi ogni volta
stai cercando di visualizzare qualcosa
diventerai molto rapidamente molto rapidamente
infastidito e quindi vogliamo farti sapere
buona velocità di elaborazione in modo che tu possa
ottenere le visualizzazioni in modo che tu
puoi guardare i tuoi dati come la perdita
di contesto se stai aspettando troppo a lungo
tu in realtà
dimentica quello che stai effettivamente aspettando
e in realtà quello che stavi cercando
altre cose come limitato a breve termine
memoria non vogliamo seppellire le persone
vuoi essere in grado di mantenere il
interfaccia in faccia così puoi
in realtà ricordo ancora quello che sei
cercando di fare c’è un aumento cognitivo
carica perché hai ora a che fare con
dati più complessi quindi devi averti tu
sai rendere il tuo controllo più intelligente e lo farò
mostraci alcuni esempi di questo e
hai un aumento del carico percettivo
perché stai cercando di guardare un sacco di
dati giusti, quindi devi usare diversi
tecniche e corrispondenza dei modelli
tecniche per dare un senso a tutto ok
questo è tutto bello e astratto di quello che sono
sta per fare è passare attraverso un caso di studio
e questo è un caso studio dal vasto
sfide e puoi cercarle
online hanno un sacco di questi diversi
sfida questo sta analizzando cella
registrazioni telefoniche e siamo fondamentalmente
alla ricerca di un social network di
criminali e quindi cosa faremo
in questo caso studio stiamo andando a
guarda una tabella di record che ha un
colonna fonte una colonna scrivania adorazione a
timestamp e una torre in esso va bene così questo
è solo una sorta di darvi laici di
la terra di ciò che vedremo
i telefoni in questo o numero zero a
quattrocento quindi sono inventati in modo tale
fonti e destinazioni sono tutte queste
partite di 0 e quattrocento e il
solo il set di record per il vasto studio
novemila dischi così l’ho fatto 35
milioni per renderlo interessante
e quindi quello che stiamo davvero cercando è
comportamenti sospetti e voglio solo
farti sapere che cos’è questo comportamento
perché ora diventerai analisti
qui così tipicamente stai cercando
destinazioni che ricevono un sacco di
le chiamate in entrata è quando gli spacciatori di droga
hanno ricevuto molte e molte chiamate
da molte e diverse persone
quindi stai andando a cercare quel tipo di
modello che stai andando a cercare
destinazioni che improvvisamente scompaiono e
poi riappare improvvisamente da qualche altra parte
ma stanno tutti parlando allo stesso modo
le persone stanno bene e la terza cosa che sei
sto andando a cercare è io in questo
finto studiarlo
il cellulare 200 è un sospettato conosciuto ok così
Ho iniziato a darti la disposizione della terra
qui useremo il nostro strumento ma tu
potrebbe probabilmente provare a fare lo stesso genere
di cosa nel nostro studio studio o pentaho
o probabilmente palantir ok e siamo solo
usando un server interno non è niente
speciale e ha quattro core ok così sono
inizierò solo spiegando
perché le cose passeranno
rapidamente all’inizio qui ho intenzione di
darti un po ‘di comprensione
di quello che sta succedendo qui, quindi abbiamo un
po ‘di codice qui stiamo andando a
eseguirlo linea per linea è un
ambiente interpretativo quindi ogni linea
esegui sabbia vedi i risultati e
vedrai i risultati qui sotto così
stiamo andando a caricare il set di dati e
allora faremo un riassunto
analisi di questo è quel piccolo secondo
linea di codice lì e poi stai andando
per vedere entreremo nella visualizzazione
aspetto quindi è aa carico di un po ‘
riepilogo e quindi una query veloce e
allora entreremo nella visualizzazione così qui
andiamo noi stiamo caricando ok così è caricato
ora riassumeremo questo e
questo è davvero solo una riduzione
così la riduzione è fatta e quella
ci dice cose come quanti record
ci sono e tutto quel genere di cose e
ora abbiamo fatto la query veloce, così siamo
passare attraverso tutta questa roba in realtà
ora e ora sto aprendo il nostro
visualizzatore e cosa ho intenzione di fare
per prima cosa guarderò la forma
dei dati quindi la prima cosa che sto andando
fare è guardare i record di origine e io sono
fermandomi qui e un po ‘
spiega cosa sta succedendo su ciò che abbiamo fatto
abbiamo appena visualizzato 35 milioni
registra e lo pieghiamo in 2 bidoni 20 così
quello che faremo ora è che lo siamo
andando ad andare avanti e stiamo andando a
fai il binning di grana fine e poi lo farò
tipo di narrare cosa sta succedendo mentre andiamo
lungo perché so che non sei un analista
ma voglio darti un sapore per
la velocità
e la facilità d’uso ecco noi siamo siamo
aumentando la granularità e quello che sono
davvero cercando c’è un modello
in questi dati che posso riconoscere e
in questo momento no non posso, quindi vado
guardare un altro colonna ho intenzione di a
le destinazioni ora è così
interessante proprio come vediamo in
la gamma zero c’è qualcosa di divertente
andando avanti e in alto circa 300, quindi vorrei scrivere
quei numeri in basso per riferimento futuro
e qui siamo di fronte a qui siamo
guardando giorni come le date e quindi cosa
possiamo vedere qui c’è circa 10 giorni
lì e poi possiamo vedere alcuni
interessanti piccole cose in corso
qui se improvvisi picchi nel mezzo
della notte così ancora una volta vorrei fare un
nota di ciò e ne farei ancora un altro
analisi specificamente intorno a quella
stessa cosa che cercherò in modo diverso
durate e cosa vedremo
ecco che è uno standard
distribuzione quindi non ci interessa così ora sono
andando a trasferirsi e ho intenzione di ottenere
alla caccia di ciò che sto andando a
guarda data e destinazione e di nuovo
Mi fermerò subito dopo aver finito
è 35 milioni di ricerca va bene così
la cosa interessante qui è che ora noi
basta piegare questi record per data
il fondo e la destinazione sul lato
e quello che posso vedere qui è che c’è
un sacco di attività fino a questo punto
e poi c’è un po ‘di divertente
attività lassù proprio all’improvviso
prende in alto quindi in sostanza da
come dovrei spiegare che in realtà
esaminato ogni dimensione di questi dati
Sto solo mostrando il bello, okay
quindi stavo girando tutto questo per niente
le diverse combinazioni di tutti questi
colonne e aggiustando cose diverse
avrete una sorta di vedere questo come andiamo avanti
quindi quello che ho intenzione di fare è che ho trovato questo
interessante quindi ora ho intenzione di aumentare
la risoluzione di nuovo così ora stiamo andando
per scendere un po ‘ più in profondità, ecco il nostro
35 milioni e possiamo sicuramente vedere a
schema ora in questi dati che è tipo di
interessante lo vediamo cadere all’improvviso
vediamo un pick-up quindi ora ho intenzione di andare
giù un po ‘oltre e sto andando a
dare un’occhiata ai singoli articoli e
qui noto alcuni articoli e così ancora
Sto imbrogliare quello che ho fatto qui
è che tu sai appena tirato fuori un sacco di
tempo e ho trovato alcuni ragazzi che ero
interessato a guardare lassù così
quello che ho fatto e quello che sto facendo ora è a
query in tempo reale che ne esamina alcuni
destinazioni interessanti e cosa io cosa
Lo faccio è come sto guardando questo io sono
notando che sto prendendo un po ‘di corda nel
dati così vedrai che sono sveglio
nella linea superiore ci sto per iniziare
rimuovendo i valori fino a quando non arriverò al
valori interessanti come in tempo reale
questo mi ha preso probabilmente circa 20 minuti
per capire come i termini del puzzle
così ora che cosa ho intenzione di fare è che sto
per visualizzare effettivamente questo come un sociale
rete così capisco che la guardo come a
grafico diretto la mia destinazione è il
genitore e mio figlio o tutte le fonti
e vedo il grafico diretto e
abbastanza interessante quello che davvero
avviso qui è il 30 6 e 5 e 1 e 3 09
stanno parlando con le stesse persone identiche
e quindi quello che mi dice è probabilmente
questi sono gli stessi ragazzi e loro hanno
lasciato cadere il cellulare e sollevato
un altro ok, che è una droga classica
comportamento del concessionario va bene così così oops I
voglio rallentarlo solo un secondo
quindi me ne sto solo andando un po ‘indietro
quindi quello era un modo di guardare il
i dati che ora voglio fare è che voglio
fare un’analisi pagerank quindi queste righe di
codice qui faremo un’analisi di pagerank
e dimmi chi sono i ragazzi più importanti
sono in questo set di dati, quindi cosa stiamo andando
per vederlo, lo farò un po ‘indietro
ulteriore
qui andiamo là andiamo, voglio che tu lo faccia
una sorta di senso del tempo
questo quindi ho intenzione di evidenziare questo e
Ho intenzione di eseguire questo in tempo reale
e si trova il mio esempio interessante
e noterai che 200 sono apparsi lì
che è molto interessante, improvvisamente
apparso così ho intenzione di guardare a quel
social network di nuovo nel contesto di
queste persone interessanti che sono
considerato il telefono cellulare più importante
utenti in questo set e quindi cosa sono
andando a vedere è che fondamentalmente abbiamo
duecento al centro di questi
le persone che parlano e sono tutte
tipo di correlato così nello spazio di
circa 15 o 20 minuti che ho ottenuto
una risposta a questo vasto puzzle, quindi cosa fare
noi facciamo qui bene, davvero, quello che siamo
facendo è che siamo in tempo reale burattatura di
dati e quello che stiamo cercando di fare è
esplorare le relazioni, quindi cosa significa
è che siamo stati in grado di saperlo molto
caricare rapidamente un gruppo di record
visualizzalo analizzato capovolgi e filtra
lo guarda da un numero di differenti
modi Bennett e la cosa interessante
è che penso che tu possa vedere che eravamo
facendo ciò dove c’era davvero no
impedimenti di fattori umani in altre parole
diciamo che la nostra capacità di attenzione in realtà non lo era
ha perso il processo sembra abbastanza veloce che
Posso manipolare e gestire questi dati
e tutte queste cose sono una specie di
lavorare insieme, quindi ciò che significa è
è come quello che abbiamo imparato da questo
essere binned in tre categorie non c’è
un paio di analisi di cose che io
notato mentre stavo facendo questo mentre
abbiamo lavorato a questo progetto noi
avere un sacco di cose di visualizzazione e
un sacco di cose di interazione e io sono
andando a passare attraverso ognuno di questi
le cose in un po ‘più in dettaglio e in qualche modo
sai come riavvolgere quello che eravamo
fare in quella dimostrazione e prendere un
guarda in un modo diverso così
la prima cosa che vuoi fare e se
stai andando a costruire questi
grande giorno
le applicazioni sono la mia convinzione è che tu sia
intenzione di avere un integrato
ambiente di analisi e visualizzazione a
molti dei prodotti oggi disponibili
il mercato fa l’uno o l’altro così loro
o visualizza o analizza e
dove il vero potere è essere in grado
prendere queste due cose e metterle
insieme così ben shneiderman ha questo
cosa sulla visualizzazione dei dati che ha
questo mantra di panoramica prima e tu
conoscere Zoom Zoom avanti e poi
dettagli su richiesta Penso che sia grandioso
ma penso che anche tu devi aggiungere ad esso
tutte le altre cose che fai
analisi come l’estrazione e il caricamento
conosco lo script di trasformazione e per me
lo scripting è in realtà abbastanza importante e
ordinamento e categorizzazione di questi tipi
di cose tutto deve essere messo insieme
e poi ovviamente è annotazione e
collaborazione alla fine di questo processo
la cosa veramente interessante è tutto
di queste cose anche se ce l’ho
loro in una lista hanno davvero bisogno di essere in grado di
essere fatto in qualsiasi ordine in qualsiasi momento così tu
bisogno di essere in grado di andare avanti e indietro e
quello che intendo è che devi farlo
supportare un flusso di attività non lineare iterativo
quindi se pensi a quello che stavo facendo
in quella dimostrazione se lo tiriamo fuori
e lo separiamo, ci sono alcune cose
che sono fatti su un asse di visualizzazione
ed è davvero tutto su come noi
organizzare i dati e un ragazzo di nome Richard
Saul Wurman ha inventato qualcosa
chiamato il look del modello di chiusura e
è l’acronimo di local time alpha category
e la gerarchia e si scopre che lui
hanno inventato questa teoria hanno detto
le persone organizzano informazioni in questi
i modi in cui questo è questo è impostato così se tu
guarda che cosa fanno le visualizzazioni sono loro
davvero mappare su quel set e poi su
altro asse abbiamo tutte queste analisi
tecniche che possiamo applicare
cluster di riepilogo ecc. e se tu
pensaci vorresti avere questo
matrice in cui è possibile eseguire una qualsiasi delle
cose in cima con uno qualsiasi dei
cose a sinistra vuoi essere in grado
per farli in qualsiasi ordine perché
stai davvero cercando di scoprire
rispondere ad un problema va bene, ecco tutto
meraviglioso perché stai cercando
quelle relazioni ma il vero problema
è se non puoi elaborare rapidamente sei
brindisi okay, quindi questo è davvero il massimo
questo punto successivo che hai ottenuto
elaborazione basata sul lato server per
le tue domande ma devi anche
sfruttalo per la tua visualizzazione e
Sto per attraversare a
un paio di cose quindi ecco un tipico
caso di studio in cui bene in realtà questo è un
punto di riferimento o come a Dave piace chiamarli
panchina bugie quello che abbiamo è 100
terabyte di dati dal Nasdaq mi dispiace
dalla Borsa di New York, quindi questo è
il sistema di quote di addestramento che viene fornito
fuori il sai fuori dai mestieri che
sono fatti sulla borsa di New York
ci sono 5.000 giorni di dati è a
quota di trilioni puoi vedere il
specifiche qui 16 core da 256 gig
quel genere di cose quindi queste sono esemplificative
domande che abbiamo fatto contro questo
set di dati e cosa succede è che siamo
prendendo questo 100 terabyte e su un piccolo
giorno facciamo una query dura circa 18
millisecondi e otteniamo un set funzionante di
circa 35 milioni di dischi, quindi se tu
pensaci , ecco perché ti ho mostrato
35 milioni di record in quell’altro esempio
perché quello che facciamo è prendere un 100
i terabyte lo riducono a 35 milioni
registra e ora puoi lavorare con esso
abbastanza pulito ed è la stessa cosa
con il grande giorno giusto possiamo fare un
grande una query più ampia 290 millisecondi
e ora stai lavorando con il set di dati
di circa 600 milioni di dischi che mostrerò
tu i numeri su quel minuto va bene così
ora hai i tuoi dati e vuoi
Renderlo abbiamo provato un sacco di
cose su cui stavamo lavorando
client che utilizzano javascript e d3 e tutti
queste altre lingue e semplicemente no
Lavoriamo in modo da quello che abbiamo finito per fare stava
facendo tutto il nostro rendering sul server
e spedizione bitmap al client e
allora quello che facciamo sul client è quando
tocchi qualcosa che inviamo i punti
torna al server e fai un altro sguardo
e tira fuori quel punto e poi
dirvi qual è il punto e cosa c’è dentro
lì e quel genere di cose e così questo
funziona molto meglio perché non lo facciamo
dobbiamo a noi non importa di nessuno
cliente giusto non dobbiamo preoccuparci
a proposito di se conosci un windows
macchina e qual è la potenza di elaborazione
lì sappiamo che sappiamo cosa sia
sarà ben noto anche a noi
se è nella nuvola come se fosse
un’istanza Amazon possiamo sapere cosa
è così non dobbiamo preoccuparci per il
cliente a tutti posso darti più specifiche
su quello più tardi quindi qui ci sono alcuni numeri
ok, rendendo un milione di punti sul
client che utilizza jsu d3 o uno di questi
le cose durano circa 22 secondi se tu
Renderlo su un server e fare un PNG
sono circa quattro secondi su a
nuvola di vaniglia 10 milioni di punti
non posso farlo sul client che devo ancora
trovare un modo per ottenere la tela
rendi che molti punti siano circa 28
secondi 28 secondi per il rendering su
server quindi è molto veloce per quello che sono
numero di punti e qui ce ne sono alcuni
punti se si esegue il binning in modo che si schianta
tecnica ti stavo mostrando milioni
indica un secondo 10 milioni di punti
circa quattro secondi in realtà inizia a
meglio che lineare a un certo punto
giusto cento 100 milioni 22 secondi 500
milioni 116 secondi in modo che sta ottenendo
abbastanza lento e ti mostrerò dopo come
abbiamo portato quel numero anche a posto
così ora siamo ora abbiamo questa cosa noi
può cadere possiamo farlo rapidamente ma cosa
vogliamo fare è vogliamo sfruttare
pattern matching così tutti quelli
le tecniche in cima esistono già
oggi proprio in altre parole tutti quelli
tecnica di analisi
come riassunti di aggregazione questi sono
tecniche ben note puoi vederle
su documenti davvero interessanti
la cosa è che molti di loro possono venire bene
attraverso così in altre parole puoi
effettivamente li fanno su larga scala e li usano
la tecnica quindi, in altre parole la nostra
la capacità di Priya di elaborare provvisoriamente
quell’informazione è tutto ciò di cui abbiamo veramente bisogno
di cui preoccuparsi e possiamo farcela
cose che conosci al volo su scala così
che cosa ho intenzione di fare è che ho intenzione di
tipo di darti un corso intensivo di guardia
Ho intenzione di chiedere a quante persone lo sanno
sull’elaborazione pre-attentiva va bene io
incluso questo perché non immaginavo nessuno
sapevo bene, quindi, che cosa premuroso
l’elaborazione è praticamente senza
prestando attenzione si riconoscono i modelli
okay e così questi ragazzi McKinley e
Burton ha studiato molto e loro
capito che quando stai lavorando
con dati quantitativi si nota il
posizione dei dati che noti
lunghezza dei dati che noti tutti
quelle cose in quell’ordine vanno bene e così
per darti un esempio di qualcosa
lunghezza significa che quando guardo questo
foto qui la barra alla fine è due volte
grande quanto le altre barre e tu puoi
dillo e non lo fai nemmeno realmente
devo pensarci è come
abbassare l’attività del tronco cerebrale e basta
lo so è interessante che le cose
come la forma puoi sapere che la forma è
diverso ma in realtà non è possibile mapparlo
e dire che cerchi due volte più grandi di
quella casella destra non lo sai davvero
qualsiasi cosa sui dati mi dispiace per il
lo sai che è diverso ma non lo fai
sapere come è diverso così bene così
alcuni casi è possibile applicare queste cose
a dati quantitativi e puoi applicare
ad altre proprietà dei dati, quindi cosa noi
abbiamo fatto in questo esempio è stato utilizzato
aggregazione per utilizzare il binning per mostrare il
pre-attentivo usa il nostro pre-attento
capacità di elaborazione in modo che tu possa
improvvisamente riconosco questi modelli così
ciò significa che posso cambiare il cestino
granularità Posso cambiare l’aggregazione
e posso applicarlo a diversi tipi di
attributi visivi come la forma delle dimensioni
opacità del colore e posso scegliere improvvisamente
questi schemi e la cosa bella è
Posso applicare questo a come l’opacità e così via
Posso mostrarvi dove non si vuole
vivono a Sacramento ecco siamo
guardando a dieci milioni di documenti criminali in
Sacramento e possiamo facilmente vedere dove
non vogliamo vivere bene e questo è
basta applicare il conteggio dei bin all’opacità e
qui stiamo facendo una dispersione e noi siamo
ora applicando la stessa logica alle dimensioni e
qui lo stiamo facendo di nuovo facendo un caldo
mappa in opacità quindi è davvero la stessa cosa
la tecnica può essere applicata contro a
varietà di tipi di grafici diversi
implicito nell’istogramma delle barre, quindi di nuovo qui
è lo stesso essere tecnologico della binning
applicato su tutta la linea, questo significa
che puoi far cadere i tuoi dati in a
varietà di modi diversi ed esperimenti
ed esplorare ed è davvero quello che è
tutto intorno quindi ecco la cosa però è
quello che traccia tutti i dati può realmente
nascondi i dati quindi ecco un’immagine di a
milioni di punti tracciati da 0 a 1 usando
l’opacità ha richiesto circa cinque secondi e
ecco la stessa immagine va bene così questo è
lo stesso set di dati è tracciato e puoi farlo
vedo vagamente questo piccolo ovale
lì giusto ed è solo applicando
quella opacità e davvero quello che stiamo facendo
stiamo rimuovendo i punti dati quando lo facciamo
che così si scopre e spero che questo
non spero che tu possa vedere questo permesso
Rivedo qui sì, puoi vederlo
cerchiate tutto bene, va bene così
il cerchio è di circa 2.000 punti in a
milioni in modo che il scopre che questo
modello corrispondente a
nique può funzionare su di te sa ragionevolmente
un piccolo insieme di dati contro un milione
punti in quel tipo di rapporto se ne hai
modelli concentrati si può vedere che
puoi raccogliere 200 punti su a
milioni che penso sia una sorta di
equivalente di un ago in un pagliaio I
è piuttosto interessante che il tuo occhio sia
sintonizzati bene che si può tirare che
fuori dalla mappa va bene così
scopre ora che possiamo farcela
modelli ora dobbiamo iniziare a imbrogliare un
poco con il visual design perché tutto
le regole per il visual design sono state
scritto per la visualizzazione di erba non
interagendo con i grafici e penso
c’è una grande differenza quindi il duro
Tok Edward Tufte ha inventato questo set
di fantastiche regole per il visual design e
puoi cercarli e stanno bene
noto e questo è un grafico terribile e
viola un bel po ‘delle sue regole
delle sue regole è che si dovrebbe cancellare
inchiostro che non ha rilevanza per il tuo grafico
quindi la cosa come la scatola 3d e il
la barra bianca è arrotondata in quel piccolo
sfondo colorato che dovrebbe essere tutto
andato che è solo spazzatura e l’altro
cosa è che sta barando giusto lui è
mostrando trentacinque per cento in
trentanove per cento ma è tagliato fuori
la maggior parte del bar quindi sembra davvero molto
più drammatico di quanto lo sia davvero Fox
tende a piacere a farlo con il loro
grafica quindi la cosa però è quella
con i big data a volte mentendo e non
mostrare tutti i dati è una buona cosa e
Ti ho mostrato questo esempio e ora lo sono
mostrandoti questo esempio dove questo è
tipo di imbroglio, non siamo davvero
mostrando tutti i dati lì diventa uniforme
meglio se lo elaboro se immagino
elaborare i dati utilizzando la tecnologia RGB che posso
in realtà lasciano ancora più punti e
il modello diventa ancora più forte
quindi con dati piccoli e con visualizzazione
grafici seguiamo queste regole di progettazione ma
con i big data abbiamo quasi dimenticato
quelle regole e devo buttarle via
quindi l’altra cosa è che c’è quello
tutto dicendo la verità con i tuoi dati
e mostrando gli assi X the Y e lo farò
mostraci quell’esempio dove ci fermiamo
i discorsi bene ecco un esempio di punti
da zero a cinquantamila e siamo
mostrando tutti i dati che stiamo mostrando
l’intero bar e lo stiamo mostrando
zero a cinquantamila il problema con
quello è che qui sto mostrando lo stesso
set di dati identici, ma lo sto mostrando
dalla gamma minima e massima destra che
è un no-no ma è interessante perché
All’improvviso vedo una piccola lacuna nei dati
quindi il punto è che quella regola di sempre
iniziare da zero su un asse y per questo
tipo di grafico non lo fa davvero
molto più senso quando hai a che fare
con i big data stessa cosa qui c’è
un’altra regola che ha a che fare con il vantaggio
o sette scuse sette più o meno due
e sono cognitivamente in altre parole noi
posso solo ricordare sette cose più o
meno due e quindi se abbiamo un
leggenda non dovremmo metterne più di sette
cose più o meno 2 nella legenda
perché non possiamo mantenere i contatti
tra quella leggenda e il grafico questo
è una sorta di teoria ben nota giusta
questa è la regola non usare più di
sette cose bene ecco un grafico che è
le prime 80 parole chiave su moby-dick
vero e un processore di linguaggio naturale /
Moby Dick ha trovato le parole chiave di conversazione
tracciato quelle parole chiave migliori così ora
avere una parole chiave tiki qui in una legenda in
dati di serie una cosa interessante è quella
una cosa che possiamo dire di questo è quello
certe cose pop e l’ altra cosa
è che possiamo trovare un’area dove
c’è una lacuna nel documento in
altre parole era un punto in cui lì
era davvero niente
menzionato in Moby Dick quindi è un po ‘
interessante che una regola sarebbe
normalmente applicato in piccoli dati può essere
rimosso nel Big Data e improvvisamente hanno
un certo valore va bene così e poi ovviamente
puoi sempre filtrare il rumore
proprio lì se perché è interattivo
possiamo sempre abbattere ciò che è
sfondi e quel genere di cose così
che possiamo migliorare così eccoci qui
guardando Jonah e io possiamo spostarlo
intorno e posso rapidamente perché è suo
interattivo posso fare altre cose con
va bene un’altra cosa sta massimizzando il
diagramma rapporto l’interfaccia utente per tracciare il rapporto e cosa
Voglio dire, sono molte interfacce così
queste due foto sono immagini di
interfacce e l’area nera è l’interfaccia utente
area di controllo che è dove tutto il
i pulsanti sono in quel genere di cose e
l’unica cosa che si nota è quella
la maggior parte dell’interfaccia sul lontano
la maggior parte dell’area di controllo
dell’interfaccia è assegnato a
controlla dove è finito sulla mano destra
lato qui la maggior parte dell’interfaccia è stata
assegnato alla grafica e perché è così
importante è quando si è alla ricerca di
questi modelli vuoi essere in grado di
in realtà ottenere tanto immobiliare
assegnato alla trama reale così
puoi effettivamente guardare i dettagli dentro
ci sta bene quindi dobbiamo prendere come sciopero
un migliore equilibrio tra i widget dell’interfaccia utente e
controlli e traccie reali e così via
ecco un altro esempio del nostro primo
le interfacce nascondevano i controlli che avevamo loro
tutti nascosti in modo da poter massimizzare il nostro
immobiliare quindi avevamo tutto dentro
piccoli piccoli pop-up e il problema
con questo è che si finisce per utilizzare questi
controlla così ampiamente che vuoi
loro sullo schermo, quindi abbiamo finito per fare
questo trade-off in cui abbiamo uno scrolling
elenco dei controlli sul lato destro
perché vogliamo massimizzare quell’area
per la visione del terreno
e quindi penso che significhi che questi
le interfacce di dati di piccole dimensioni potrebbero dover
cambia per gestire più dei big data
problema va bene così l’ altra mano
in mano con quello è quando parliamo
quei controlli devono gestire i dati
complessità e cosa intendo con quello
vedrai in molti dei piccoli dati
interfacce fanno un uso pesante di controllo
scatole e cose come questa sul lontano
lato dello schermo bene quando si avvia
occuparsi di grandi serie di dati dove
c’è un gran numero di controlli
immagina di avere quattrocento telefoni cellulari
numeri che devo controllare ogni volta
quello che voglio fare una query così qui
Ho questa domanda è più difficile da imparare
ma mi dà molta più flessibilità
ed è molto più compatto, quindi davvero
ora hanno questa gamma di scelte tra
facile da usare , è facile da imparare e
è facile da usare ma ha molto di più
complessità quando inizi a guardare
numeri di colonne e e intervalli e
quel genere di cose immagina se tu avessi un
come direbbero 7000 che stavi provando
usare un cursore su di esso è molto difficile
quindi dobbiamo iniziare a guardare ai modi di
rendendolo più facile da usare ma al
stesso tempo rendendoli anche flessibili per
uso e questo è che abbiamo ragione nel
processo di lavorare su quel genere di cose
ed è la stessa cosa con l’utente
interfaccia nel suo insieme, quindi abbiamo creato un
strumento di query visiva ed è modellato dopo
Ms query ma c’è una gamma di questi
tipi di interfacce e quindi è discutibile
che il nodo e le interfacce di stile di collegamento
che vedi in molti prodotti
grande per te sapere l’apprendimento ma quando tu
iniziare a fare il filtraggio
filtrando sul filtraggio all’improvviso
diventare molto complesso per lo stesso token
interfacce come i testi
difficile da imparare perché si deve
ricorda tutto e poi in cima
si finisce nella sintassi Inferno dove
hai tutte queste parentesi e
tutto il resto si perde così che siamo
ora guardare è una specie di
compromesso nel mezzo dove possiamo
cercare di eliminare la sintassi del testo e
elimina anche quello che diavolo di reale
tenuta qui da questa parte, quindi siamo
ancora sperimentando con quello l’altro
la cosa è che le piccole interfacce di dati tendono a
aggiorna automaticamente ogni volta che fai
qualsiasi cosa aggiorni che risulta
essere una pessima idea nei big data
interfacce quindi immagina di voler cambiare
il colore della dimensione della granularità di
i tuoi cassonetti e diciamo rimuovi lo sfondo
se ognuna di queste operazioni è automatica
aggiornato e ti porta sette secondi
per rieseguire l’immagine che è di 21 secondi
piuttosto che sette secondi e così via
cambia il modo di pensare a realtà
tutta la magia automatica che le persone
fare automaticamente in un piccolo dato
interfaccia ed è la stessa cosa con
esegue molti piccoli dati
le interfacce eseguiranno immediatamente il
interrogare non appena cambia, quindi si trasforma
in grandi interfacce dati cosa vuoi
di fare è che si desidera fornire esempi di
l’output e si desidera fornire
stime di quanti record sei
tornerò una volta che l’hai colpito
database quindi in altre parole in questo
esempio ho circa 192.000
corrisponde a 10 milioni ma io davvero
non voglio fare quella query che voglio solo
per giocarci un po ‘fino a quando io
fallo bene e poi voglio eseguire
la query e si scopre che non a
molte interfacce stanno facendo questo tipo di
cosa va bene così il mio ultimo punto è
fare dello scripting un compito primario va bene e
perché dico che è quello che usa il nostro
interfaccia che possiamo rendere se ne conoscete 500
milioni di punti in circa 116 secondi ma
se ottengo davvero intelligente sulla mia domanda
con pochissima quantità di quello che farò
chiamare lo scripting sql-like posso guidarlo
tempo fino a circa 27 secondi e se tu
guarda quella linea non è davvero così
complicato a tipo di capire adesso
sta facendo come dico sta facendo un vettore
ricerca funzionale al di sotto di esso
effettivamente facendo una query funzionale sotto
il cappuccio sembra proprio come SQL e il
l’altra cosa è che se usi lo scripting
e questo è davvero per tornare indietro e
tra visualizzazione e analisi
si potrebbe effettivamente finire con a
risposta giusta o risposta sbagliata e se
tu se disaccoppia queste cose dove
stai facendo solo visualizzazione e
hai divorziato dall’analisi di te
può effettivamente finire con il torto
risposta e cosa intendo con questo se tu
guarda l’ esempio che ti ho dato prima io
ho fatto un’analisi visiva e ho scoperto a
insieme di nodi ho anche fatto e non l’ho fatto
mostralo anche a me ho fatto un markov
analisi in circa la stessa quantità di
tempo necessario per fare il PageRank
analisi e ho concluso che c’era
niente di interessante nel markov
analisi e poi ho fatto il PageRank
analisi sono andato oh è interessante così
poi sono stato in grado di prendere quel grado di pagina
analisi e sono stato in grado di accoppiarlo
con un’altra visualizzazione e in realtà
trovare la risposta giusta contro il
risposta sbagliata se mi sono appena fermato con il
prima la visualizzazione sarebbe stata
sbagliato, quindi è la capacità di essere in grado di
fai queste cose in qualsiasi ordine che sia
davvero davvero abbastanza importante quindi io
pensavo che lo sapessi davvero in un certo senso
vestiti qui con questo piccolo
dimostrazione di un’altra parte del
interfaccia
e questo è davvero più di un analista
interfaccia che permetterebbe loro di usare
come un’interfaccia di un tipo di foglio di calcolo va bene
Quindi è davvero è un sai che questo è
tutti al lavoro in un browser sto guardando
un diverso conosci diverse celle e
ora quello che posso fare è che posso davvero
interpretali senza realmente averli
per ispezionarli immediatamente così sai
davvero in questo esempio abbiamo caricato
conosci tre milioni di dischi e così e
stiamo solo tipo di giocare con
è qui il tipo di script che è
coinvolto qui così puoi davvero farlo
cose come al volo dichiarano le chiavi
nei tavoli e lasciano join e cose
chiamiamo così come join o finestra così
puoi effettivamente guardare i dati in streaming
allo stesso modo e puoi solo un po ‘
di nuovo lavoro con esso abbastanza interpretativo
Lee e poi ottieni la tua risposta indietro
altra cosa che puoi fare bene così sono
sto per mostrarti un’ispezione qui
giusto così di nuovo che puoi effettivamente ispezionare
fuori da questo stesso ambiente così davvero
questo funziona solo sotto il tipo di
il modello Excel un’altra cosa che puoi fare
è possibile creare effettivamente una funzione
chiama così qui è in un semplice riassunto di
sai usare questo tipo di funzione
all’interno di un foglio di calcolo, quindi è possibile
in realtà inizia ora a costruire poco
lingue che è possibile utilizzare più e più volte
di nuovo e poi questo è davvero mettendo in
un’interfaccia di ordine superiore in modo che se
qualcuno non era davvero esperto tecnicamente
potresti effettivamente costruire un front-end
questo permetterebbe loro di farlo usando
controlli standard regolari come
caselle di controllo su quel genere di cose e
davvero sfrutta JavaScript per
ti permettono di fare questo in modo che tu possa tutti ordinare
di metterlo nella parte anteriore il
altra cosa che puoi fare e tutto questo
ci vorrà solo un set di secondi per arrivare
ad esso è quindi si può effettivamente sostituire
il motore quindi se non ti piace il fatto
è così
foglio rosso e si comporta come un
foglio di calcolo puoi effettivamente scrivere il tuo
proprio foglio di calcolo e in questo caso ecco
la mia piccola app campione e quello che fa è
in realtà ti permette di apprezzare questo
caso è solo moltiplicando il numero di
due così qualsiasi numero che metti lì ottiene
Doppio, intendo che non è poi così grande
un accordo ma il punto è che allora
ti dà il potere di consegnarlo veramente
tipo di cosa si apre davvero il
interfaccia in modo da poter utilizzare dsl
e quel genere di cose per permetterti
gli utenti di avere un livello superiore di ordine
e quindi cosa intendo davvero con questo
che se hai intenzione di mettere script in
il tuo prodotto che vuoi supportare certo
tipi di comportamenti e quei comportamenti
stanno permettendo alle persone di scrivere al volo
permettendo loro di andare avanti e indietro
tra visualizzazione e analisi e
permettendo sempre di mostrare loro un po ‘di output
quindi piuttosto che in uno scenario compilato
dove stai costantemente compilando e
quindi aspettando una risposta davvero
voglio questa roba al volo e poi
finalmente vuoi essere in grado di prendere questo
roba e incapsulare e girarlo
in lingue specifiche del dominio in modo che
puoi usarlo ancora e ancora e
costruisci il tuo tipo privato di
biblioteca se si vuole in modo davvero questo è
una sorta di riassunto sono questi punti principali
fondamentalmente la mia opinione è che se si deve
fai almeno queste cose fondamentali che ho
parlato di se vuoi davvero
consegnati un piccolo dato Internet
esperienza su larga scala e ancora fornire
quelle cose come interattive sai
interattività tempo di risposta facilità d’uso
e quel genere di cose
Please follow and like us: