[Musica]
il prossimo è il nostro ultimo oratore del
sera Kristin cup da chi me oh e
ci dirà davvero
che cosa che cosa Paul appena parlato pure
hewo che è un nuovo strumento per ingerire a
molti dati e facendo query ad hoc
quello che la scatola blu va bene, um bene, grazie
molto così sì, il mio nome è Kristin ah
Sono CCO in inhumi Oh, che è un danese
per lo più startup danese e mi piacerebbe
per parlare non tanto, almeno in
l’inizio il prodotto stesso ma perché
lo stiamo costruendo e spero di farlo
porta questo forse questa intera discussione a
un po ‘più giù per terra per alcuni reali
dati, quindi spero che ti aggiri
per quello pensi che possiamo ottenere questo
testa questo microfono a mani libere lavorando perché
Potrei aver bisogno di entrambe le mani ad alcuni
punta bene dove è anche
si può lavorare o no va bene mi senti
sì va bene così solo un po ‘
un po ‘di me, sono il dott. merda Creston I
trascorso alcuni anni che il prossimo computer in
Silicon Valley sono il fondatore della forcella secca
che è questa consulenza di soluzioni
società abbiamo circa 450 persone ora e ho
stato CTO per quello per circa 20 anni
facendo odds and end e tutti i tipi di
antincendio e consulenza interna
ed esternamente ne ho avuto un bel po ‘
attività con Erlang negli ultimi anni
sappi che qui a Clara c’è almeno
un sacco di Erlang in corso sono stato
hacking o Lang abbastanza estesamente
negli ultimi anni ho costruito un BM erlang e
java tra l’altro così l’ anno scorso
Mi sono preso un assenso
dalla mia forchetta per fare una start-up questo umano
cosa e sono abbastanza entusiasta di questo
quindi perché stiamo facendo tutto questo davvero
la cosa è che vorrei mi piacerebbe
riporta questa nozione che puoi provare
il ronzio del tuo computer era te
so che c’è un vecchio computer ad ingranaggi nel mio
dipartimento di informatica di Aarhus
potresti davvero entrare in questo tu
entrerei in questo per sedersi di fronte a
il computer con cui lavorare era giusto
lì davanti a te e quando ho studiato
25 anni fa sai che avrei avuto il mio
la prossima postazione di lavoro proprio di fronte a me
potevo sentire che potevo sentirlo
interagire con esso potresti sentire il
dischi rotanti senti l’interazione
tra la scheda di rete nel suono
la carta andrebbe in modi strani e
questo questo canticchia questa sensazione
Mi manca davvero che oggi non lo faccio
sei mai stato su un grande grande fareal
barca oceanica e all’improvviso il
il motore si ferma proprio quando il ronzio scompare
è davvero brutto qualcosa che è davvero
a disagio non te ne sei accorto
suono che va avanti tutto il tempo fino a quando
all’improvviso oops è molto, molto molto
strano e scomodo che il motore
non sta andando e tu lo sai oggi lo sai
potremmo essere seduti nella nostra tranquillità
ambiente di sviluppo qui lerner
da qualche parte bene i computer sono
da qualche altra parte e non abbiamo idea che lo sia
un sistema in fiamme è che funziona
come normale è questo sei completamente
completamente disconnesso da questo modo in
così tanti modi ci rendiamo conto solo quando il
sistema sai che tutto va giù e
sai spesso che succede così
cosa fanno altri tipi di
l’ingegneria fa quando devi avere un
idea di cosa sta succedendo quando hai
qualcosa che è lontano , sai
microservizi e cloud e tutto
oggi stiamo spostando i computer e il
sistemi via e stiamo perdendo un po ‘di
tocco che è tipo di premessa aspettare dentro
altre aree quello che fai è che tu ti conosca
ho costruito un Centro OP come questo, io ho te
dimmi che stai mandando la missione Apollo a
la luna hai un Centro OP e tu
avere questo vari schermi che danno
queste persone hanno un senso di normalità, lo sai
potrebbe non avere senso per te e me
e inizialmente potrebbe anche non farlo
ha molto senso per le persone sedute
lì, ma si sa se si siedono lì per
da molto tempo e guarda questo
questo senso di normalità quindi se tutto di a
improvvisamente qualcosa è diverso, lo faranno
avviso e questo è un po ‘la stessa cosa
che facciamo con il software che abbiamo
centri operativi su cui si basano gli sport
il muro e questo è super-super
funzionale per avere una sorta di des
portes seduti sul muro c’è molto
di un sacco di software per questo ma se tu
usarlo vi esorto a comprare in realtà un televisore
e mettilo sul muro perché questo
semplice fatto di avere
sedere proprio lì significa che puoi solo
sguardo fino a che abbiamo potuto guardare qualsiasi
tempo e potrebbe non fare così tanto
senti cosa c’è su questi schermi ma cosa
succede che sai che prenderemo il
apprendimento automatico qui nel tuo cervello
e applicalo a 22 cosa vedi e
se qualcosa cambia se lo sai se
c’è un modello strano che il motore
si ferma o forse qualcosa di più sottile
allora lo riconoscerai, quindi è così
modo davvero economico per applicare un I o
in realtà sono solo io per questo tipo di
problema giusto così 10 anni fa così il
squadra dietro Hugh mulo in realtà tutti noi
ha lavorato su questo stesso progetto a provare per 10
anni fa dove abbiamo costruito questa assistenza sanitaria
infrastruttura per la droga danese
amministrazione e quindi questo è fondamentalmente
tutte le prescrizioni e tutti i farmaci
le droghe legali in Danimarca almeno vanno
attraverso questo servizio centralizzato e
è super importante avere alto
disponibilità c’è alta sicurezza
i requisiti ci sono molti server e
molti sistemi connessi dove cose
può andare storto e nel farlo eravamo
hai introdotto sai di stare attento
sulle nostre serrature e in effetti sul monitoraggio
e lavorando con questo ed è super
prezioso è super prezioso avere un
senso di ciò che è normale perché assumere
hai forse questo oggi il grafico
sembra che tu possa vedere
le ricette che vengono emesse sono pronte
rompere per i medici ora non lo sono
prescrivere così tante droghe nel pranzo
break sai che il giorno dopo assomiglia
questo è tutto sta andando normale il
i motori della nave canticchiano e poi tutto
di un secondo vedi un modello diverso
e questo tipo di era l’inizio di a
molto più pervasivo cambiamento nel nostro
progetti per portare serrature perché questo
era il fondamento il fondamento di tutti
questo era solo blocca i dati di blocco questo è
il si
vedi che quello è il rumore che è
emesso dai nostri sistemi IT che tipo di
è un segnale che possiamo fare qualcosa
di senso fuori di esso è un file di log voi
sanno che stanno mentendo lì e un sacco
dei progetti non li stanno davvero utilizzando
molto ma una volta che inizi a lavorare
blocca e dice cosa succede se il registro è un
cittadino di prima classe ha un profondo
cambia nel tuo progetto e io penso questo
è un tipo di cosa che vedrai
nel tempo questo è un po ‘come quando noi
sono stati introdotti per primi test
programmazione all’integrazione continua
sì, non potevi davvero vederti
potrebbe davvero vedere il valore immediatamente
ed è un po ‘ingombrante da sempre
sai che devo configurare un server CI
prima di iniziare un progetto, ma ora
quando guardiamo un nuovo progetto ci interessa
circa le serrature e e c’è un sacco di
interazioni interessanti che avvengono
intorno a questo perché una volta tu e te
ci cureremo anche delle tue serrature
[Musica]
tipo di giardinaggio delle serrature che farai
iniziare a guardare le serrature e dire forse
possiamo renderli migliori come possono
meglio fornire un feedback su come il nostro sistema
funziona così questo cambia molto
cose e avendo ovviamente le serrature dentro
se stessi se si sono appena seduti
lì in alcuni file e alcuni di questi
server che hai visto prima nei dati
centro non stanno fornendo molto valore
quindi vogliamo portarli alla vita e di essere
in grado di interagire con loro ed estrarre
informazioni su di loro quindi c’è molto
di cose che puoi fare con le serrature che puoi
osservare e monitorare il proprio sistema
proprio come il cruscotto che hai visto prima
puoi farne fuori il valore
i registri portarlo su per monitorare vedere cosa
va avanti e in realtà il più semplice
cosa di appena messo su un cruscotto con a
grafico che mostra quante voci di registro
stanno anche succedendo è super-super
di base non provo nemmeno a filtrare nulla
per mostrare quante voci di registro sono
aggregato nel sistema
sai se quel grafico cadrà all’improvviso
c’è qualcosa di sbagliato o se lo è
improvvisamente il riso è lì qualcosa
non deve essere complicato
non è necessario che tu lo sappia
Devo estrarre e descrivere un sacco di
schemi o schemi come per quello che è veramente
in queste serrature qualcosa di semplice come
Scontando le righe del registro come un aggregato
numero che si gode un grafico come quello sei tu
so che è un inizio è un inizio
punto ed è importante sottolineare
il punto di partenza perché ciò che è
succede succedendo non appena inizi
prendersi cura delle tue serrature che vorresti
iterare su di esso vuoi migliorare come
estrai informazioni da loro e
lo vuoi e questo può succedere nel bambino
passi non deve accadere
durante la notte, quindi ho una lunga lista di
le cose che facciamo le donne lo usano per capire
e fai il debug del tuo sistema che conosci come il
i sistemi diventano sempre più distribuiti
le serrature diventano il riferimento di cosa
è successo nel sistema per capire
interazioni quando qualcosa va storto
è super prezioso poter fare il grep
in loro o cerca nella ricerca le serrature
quindi ovviamente lo facevamo uh quando
Ero seduto sulla mia strada un singolo dopo
stazione vorrei dire a F un registro e
guarda cosa è successo quando sono cambiato
qualcosa lo prenderei per trovarlo
qualcosa ma lo abbiamo perso
abilità e il suo distribuito
microservices nuvoloso mondo perché è
semplicemente butti fuori i sistemi
lì e poi ti speri che siano
correndo e forse ne hai di vari
sistemi di monitoraggio che guardano bit e
pezzi di esso, ma se puoi tirarlo
insieme puoi effettivamente usare gli strumenti per
fornire valore attraverso ciò che si potrebbe anche
usalo per sentirti a tuo agio con il tuo
sistema dire nel progetto di assistenza sanitaria
sai che lo sapresti dire ad alcuni
punto che avevamo 10 integrazioni e abbiamo avuto
un’altra partita un’altra regione della Danimarca
che stavamo portando in ospedale
sistemi abbiamo la capacità di farlo
fallo e come lo sai perché
è impossibile saperlo, lo sai
calcolando alcuni numeri in anticipo
architettura e scala dell’architetto
come sempre sai che devi misurare
e prova a lanciarlo e noi corriamo sul serio
sistemi che vuoi sapere di avere
capacità dire di portare su un’altra coppia
dei clienti per eseguire il sistema in modo che tu possa
usa le serrature per fare ciò che non hai
per costruire infrastrutture specifiche da fare
proiezioni e calcolo si trincea solo
guarda il tuo registro sei un’attività
livelli in modo che abbia un senso, naturalmente se
hai anche messo le tue serrature quanto gratis
spazio su disco ho quanta capacità
ho come si confronta con gli altri
tendenze e numero di transazioni di
cosa no ed è super prezioso quando
qualcosa va davvero male
mantieni i blocchi per molto tempo così puoi
torna indietro e vedi i log in realtà
perché sono testo giusto puoi andare
indietro e guarda qualcosa che non hai
so che era interessante, non abbiamo provato altro
prova alcuni di questi meccanismi di registrazione
dove fondamentalmente estrai i dati e
inseriscilo in un database ma poi spesso
quello che succede è ad un certo punto di te
realizzo che desidero indicizzare quello che desidero
estratta quell’informazione e salvata
sono serrature di testo e sono super facili
per comprimere non lo fanno
molto spazio sul disco quindi tienili
intorno perché rende facile da provare
per eseguire la post-elaborazione dopo il fatto
e confrontato per dire cosa è successo l’ ultima volta
mese o l’anno scorso puoi anche facilmente
Diciamo che vedo gli eventi che accadono nel
il blocco può essere utilizzato per eseguire i test, quindi se si
avere un sistema di registrazione dove è possibile
separare facilmente flussi separati di blocco
dì che questo è il mio sistema di test che potresti
avere i sospiri del tester di integrazione del sistema
quando ho finito di eseguire il set di
cose che mi aspetto siano queste cose
la serratura e questo è un modo semplice per farlo
integrazione in una gamma di differenti
server
quindi potrebbe essere diversi prodotti dove
non controlli il log in modo che possa essere
Server SQL o servizi cloud o quant’altro
finché riesci a estrarre questi testi
serrature è un è un è facile
piattaforma per costruire questo tipo di
convalide e costruito quello in
test Suite inoltre c’è DevOps e
qui metto un bar tra Devon in
il nostro progetto sanitario noi in realtà
Sapevi che stiamo cercando di eseguire DevOps
ma allo stesso tempo abbiamo avuto questo alto
problemi di sicurezza perché ovviamente noi
si occupavano di dati sanitari e
le droghe delle persone e tutto ciò che puoi
puoi immaginare che ci sia molto
severi requisiti di sicurezza ma
in realtà fornire fornire un blocco è
è una vista di sola lettura nel sistema
in realtà così quello che è finito è finito
avendo ottenuto il permesso di effettivamente
leggi i blocchi del sistema ma leggi
i registri con un controllo con un controllo
bloccare così ogni volta che effettivamente andiamo e
interrogare le serrature di questa assistenza sanitaria
sistema dobbiamo descrivere perché lo facciamo
e c’è un blocco di controllo che sto descrivendo
chi ha fatto cosa a un certo punto quindi il logging
il sistema finì per essere noto a una vista
in questo sistema completamente isolato
orbita non potremmo incidere su tutto
ogni distribuzione ogni cambiamento che è andato
attraverso il controllo delle modifiche e il cambiamento
sistemi di gestione e biglietteria ecc. ecc
ma almeno potremmo ottenere questa visione
nel sistema live quando è necessario
spesso abbiamo finito per usare le serrature
il prototipo di nuove funzionalità il nostro nuovo
rapporti che potrebbero essere inclusi nel
prodotto perché una volta che hai i registri
tutte queste informazioni lì se ne hai uno
modo flessibile accessibile per estrarre
informazioni al di fuori di esso non è necessario
costruire un programma per un sistema complesso
estrai questo o mettilo in produzione
basta fare un prototipo o generi ad hoc di
intelligenza tecnica
spesso ci sarebbe un utente aziendale
chiamare e dire com’è la casa
ci sono casi in cui i medici fanno così e
quindi in relazione a un paziente all’interno di a
dato periodo potrebbe eseguire questi semplici
carichi transazionali sui registri da vedere
quante volte queste cose sono successe così tutto
queste informazioni sono giuste al nostro altro
piede è seduto proprio lì e tu
non devi davvero fare ciò che non hai
per bloccare molto non devi
necessariamente cambia molto le serrature ma
fondamentalmente nella maggior parte dei casi questi blocchi sono
solo loro sono lì e sono seduti
su questi server e ci sono difficili
per accedere e sono difficili da
iterare su così è tutta l’idea che sono
jumu’ah è quello di farcela
accessibile e se guardiamo il conto
un po ‘sullo spazio del design di questo
[Musica]
una cosa importante quando lavori
questo vuoi che tu voglia l’esperienza
per lavorare con questi registri con questi dati
quindi dici che questo è un software basato sui dati
sviluppo proprio come noi
ho parlato di tutti questi discorsi
aziende guidate dai dati o guidate dall’IA
giusto questo sta applicando la stessa cosa a
lei lo sai nel nostro stesso terreno
vuoi essere in grado di essere interattivo
vuoi essere in grado di iterare e
esplorare questi dati è come mi piace
pensalo come quello che Excel è due
numeri che conosci ma l’Excel
foglio di calcolo puoi facilmente sederti e giocare
intorno e puoi ordinare diversi
colonne e puoi inviarlo a ciascuno
altro e parlarne ed è giusto
c’è un tipo flessibile di permissivi
vuoi che per i tuoi dati lo vuoi
essere facilmente disponibile e interattivo così
sentiamo sempre che conosci le scienze dei dati
pipistrelli e squame e grandi cluster di Hadoop
e ci sono così tanti dati che non puoi
davvero fai quello che devi programmarlo
e poi esegui un lavoro batch e forse tu
ottenere una risposta il giorno successivo o se
stai correndo le serrature che conosci
lo vuoi vuoi che sia disponibile
quindi puoi puoi usarlo un’altra cosa
è così questa è una cosa che vogliamo
giusto il pneus interattivo anche tu
voglio che ci sia anche questo tipo di tensione
tra i dati storici o in tempo reale che desideri
qualcosa in cui è possibile accedere ai dati
come succede, ne conosco parecchi
i sistemi di registrazione utilizzano così tanta potenza della CPU
front per elaborare e salvare i dati
sai che puoi chiedere i registri di
cosa è successo ieri o questa mattina
o qualcosa del genere quindi siamo davvero
cercando di portare l’elaborazione del flusso e
in memoria tipo di lavorazione come quello
fai trading ad alta frequenza 22 log
analisi per renderlo facilmente disponibile
certo se hai uno storico più grande
dati è inoltre necessario essere in grado di elaborare
quello e poi finalmente penso che sia un
importante sapere che è super
prezioso per avere la flessibilità di
definendo il tuo schema nel punto in cui
tu quando leggi, naturalmente, non appena
tu provi a fare qualcosa di strutturato con
i registri di cui hai bisogno devi tirare
fuori alcune informazioni fuori di esso poi alcuni
numeri o alcuni nomi di cose o
servizi o nomi di errori ecc. ed epici
a quel punto diventa dati che estraiamo
i dati, ma è super-prezioso
per mantenere effettivamente il testo intorno a te
può ricavarne un nuovo valore come te
andare avanti così, naturalmente, se si fa schema
e scrivi se fai qualcosa dove tu
scartare il testo e sai che prendi
i pezzi importanti che potrebbero
potenzialmente essere molto più efficiente
perché scartiamo le informazioni che non lo fanno
voglio che tu non voglia salvare ma nel mio
esperienza lo capita spesso che in questo
situazione come ho detto prima che tu dica
desiderare indice I che desidero ho salvato questo
pezzo di informazione perché tipo di in
Retrospettivamente sei in un sistema live
non può necessariamente permettersi di rieseguire
qualche esperimento è già successo io
vorrei avere quell’informazione e e
spesso questa può essere la presenza di
errori di ceppi particolari che tu
non pensavo fosse importante un fronte così
in realtà avendo il testo la ricchezza di
essere in grado di applicare l’umano
intelligenza per interagire con questi dati
è abbastanza importante quindi è così
cosa stiamo cercando di fare e ne vorrei due
scarpe è quello che stiamo cercando di fare
consentire alle persone di iterare esplorare spettacolo
dati questo tipo di vivacità e sensazione di
eccellere esattamente come Excel
numeri che vuoi essere quello per il registro
file e per i dati per il testo basato
dati quindi è un po ‘un peccato non
tutti lo stanno facendo No huh no
tutti lo stanno facendo e si tratta di
tempo qualcuno democratizza e fa questo
disponibile e facilmente accessibile così così
è così gentile in poche parole umano
cerca di essere veloce e flessibile a prezzi accessibili
semplice da usare per installare il tipo di cosa
che potresti semplicemente gettare alla tua serratura
file e iniziare così mi piacerebbe
mostra che so che è tardi, ma um
piace mostrare solo un po ‘quello che sembra
così ecco una schermata che mi mostra
semplicemente facendo una ricerca testuale per klarna
quindi il set di dati che ho qui dietro
è che ho creato questo sistema demo
si può andare controllare voi stessi in demo
l’umorismo calmo è il modo in cui si blocca dal vivo
github tutti i repository pubblici su github
stiamo entrando in quella zona e quindi se
è solo una ricerca di testo gratuita per kleiner
nell’ultima settimana qui potrei provare
rieseguire la query
ci vuole un po ‘di tempo per vederlo
tipo di corre all’indietro attraverso il bene
e blocca le cose accadute a
github su questo scorre attraverso il testo libero
l’intera cosa che si è alzata
alla scorsa settimana, quindi è ancora piuttosto veloce
e quello che viene fuori qui questi Jason
strutture che sono un po ‘lunghe
e in questo caso è qualcosa che
descrive un evento push in modo che significhi
qualcuno a cui hai spinto alcuni dati per a
github repo quindi basta evitare che il
digitando qui potrei fare un passo successivo
tutte queste serrature per clarinetto e poi le ho tubi
in un’espressione dice group by
il tipo questo è il tipo di blocco e a
nome del repository e ordinamento e otteniamo
qualcosa di simile è il più interessante
la cosa più importante è stata la spinta
eventi che accadono sul clarinetto / tu I
repository di nuovo che è qualcosa di te
potrebbe fare in un sistema live che puoi vedere
loro il significato di esplorare e iterare
è che in realtà ottengono due risposte
relativamente rapidamente e c’è un come è
Semplicemente stai pensando a questo come questo
è come ah come la riga di comando di Unix
dove dici di afferrare in un WK
Qualcosa di una specie di versione moderna di
che funziona su un set di dati così così
abbiamo alcune visualizzazioni così puoi
invece di mostrarti un tavolo
potrebbe fare un grafico temporale quindi questi sono i
repository di clarinetti che lì
si commettevano spinte a vedere di nuovo
il più attivo qui è klarna
Mi dispiace, non so cosa sia
ma non importa qualcuno che guarda
ai cui dati si tratta di dati propri
fa un sacco di cose quindi è un po ‘
Ho anche esperienze quando mostro questo
gente che conosci se mostro qualcuno
i dati di altri e qualcosa che non fanno
capire che non ha davvero senso
è un po ‘ come immaginare qualcuno
demo in particolare a
con numeri o account o qualcosa del genere
allora non ha senso per te
forse forse Express vede in Excel no
che attraente ma se è il tuo
numeri che è possibile ordinare quindi tutti a
improvvisamente diventa più interessante così così
c’è di recente questo enorme
discussione sulle notizie sugli hacker che
è meglio è ruggine o va tutto bene così
Pensavo che prima di stasera avrei fatto un
piccolo cruscotto mostra almeno il
livello di attività su github quindi vedi qui
questa è l’attività l’ultima ora di
solo una specie di tutti i tipi di eventi questo
potrebbe essere commenti o spinte o o
qualunque cosa fosse la ruggine, questa è questa
ora posso dirvi prima oggi lì
era più attività su golang nel complesso
attività l’ultima settimana era più acceso
ruggine i mi piace così è quello e via
github puoi farlo proprio come gentile
di facebook, si chiamano orologi
guarda gli eventi che la gente sta guardando
in realtà andare stava diventando di più e qui è
alcuni esempi che mostrano la parte superiore
commettitori per andare contro ruggine e in realtà
la ruggine ha molti più impegni quindi questo
Il ragazzo di Boris che non conosco è a 532 commit
questa settimana potremmo provare a tuffarci in un
alcuni di questi sono i più semplici
uno così se guardiamo la query così qui
è semplicemente detto che voglio cercare il
il nome del repository è goal and go or the
nome del deposito fruscio ruggine e poi io
voglio un grafico del tempo in cui il serio è
il nome del repository e l’estensione dei dettagli
questa è la larghezza di queste barre è una
un giorno così che potevamo fare
un’ora puoi vederlo sul nostro
concorrenza
tra questi due repository proprio così
Anche questo è effettivamente in esecuzione sul
intero set di dati github per una settimana così
potrebbe sembrare un po ‘ lento ma
in realtà ci sono un sacco di dati
dietro di esso quindi torniamo indietro e vediamo il
questa attività l’attività complessiva il
l’ultima ora è stata vista in totale
totale di 61 eventi che si verificano l’ultimo
ora qui così di nuovo dico che il nome del repository è
stella golang o stella frusciante è solo una
ampliare tutti i suoi repository in
quegli spazi e poi gestisco un reg ex I
estrailo da ciò che questo estrae
la prima parte del nome del repository
il proprietario del repository mio e poi io
raggruppa per quello e puoi perché il
come sono costruite le storie di dati e
questa è la salsa segreta in tutto questo
Certo che è un datastore super-bello
per fare ciò, sia l’elaborazione del flusso come
vediamo qui e l’elaborazione MapReduce
su set di dati più grandi, dove è possibile
effettivamente eseguito in modo che potremmo provare a eseguire questo
così in fondo se dici quando a
intervallo di date fissato qui quindi eseguo a
MapReduce il lavoro su quella o una finestra temporale
quindi esegue il lavoro MapReduce su
dati storici e inizia un evento
flusso di elaborazione per nuovo arrivo
eventi in modo da poter eseguire questo sopra il
il mese scorso Paul github i dati che puoi vedere
la competizione arriva mentre andiamo
indietro il loro account così qui è
in realtà in esecuzione a questo è solo un
in esecuzione su un singolo su una singola macchina
puoi vedere per ordine di 5 gigabyte
elaborazione al secondo attraverso il registro
dati che sono come 5 volte la velocità del disco
quindi credo che era ora di avere
piccola idea di ciò che gli umani ci sono
Certo molto di più ad esso che forse lì
sono alcune domande che possiamo fare attenzione
grazie sì okay ne abbiamo
domande qui Grazie come domanda
qual è il vantaggio di chi tu
a confronto se qualcuno usa la scorta di posate
e Cabana sai come mettere i dati
elasticsearch e usiamo Cabana bene noi
cercare di renderlo davvero semplice da usare
giusto quindi è um una cosa è solo
una sola cosa che puoi puoi fare molto
più facilmente farlo funzionare così
operativamente è molto più semplice
ma penso che la cosa importante sia che noi
spostare il costo di organizzare i dati
dal momento della ingerenza al momento in cui viene eseguita una query
i dati quindi significa che non hai bisogno di come
molto spazio su disco, quindi quando carichi i dati
in elastico generalmente gonfia a
bit diventa più grande a seconda di quanto
tu indicizzi se gli lanci proprio il json
e dire indicizzare tutto ciò che potrebbe essere
a 10x forse utilizza anche un sacco di
potenza di elaborazione quindi potrebbe essere quello
sei tu puoi facilmente entrare in una situazione
dove è dietro ci vuole tempo prima
puoi effettivamente prima che gli indici siano
fino ad oggi così con chi siamo noi davvero
spremere il giorno in cui ingeriscono il tempo di a
minimo e queste query in tempo reale noi
chiamali che sono veramente gentili
flusso di query di elaborazione che in realtà
allegato alla pipeline di ingest così
sono solo quei risultati sono prontamente
disponibile in qualsiasi momento, quindi in realtà
applicare una contropressione attraverso l’ingerimento
linea pod per essere in grado di calcolare i computer
quindi di nuovo archiviazione così così lo fa
carico della CPU
e il carico di immagazzinamento dell’ingiustizia è a
molto più piccolo che significa anche ciò che è anche
humne oh in realtà comprimiamo i dati
quindi spesso finiamo con dati che dicono
da cinque a 10 X più piccoli e poi il
set di dati ingerito e poi di nuovo così
quindi se confronti 5 a 10 x più grande a 5
a 10 volte più piccoli, allora lo sappiamo
spesso in una situazione in cui ci sei tu
conosci da 25 a 50 x spazio su disco e poi a
un setup di alce , quindi se questo è qualcosa
quello che conta è nel nostro sistema
significa che possiamo avere più questo moltiplicatore
di dati essenzialmente seduti nel
sistemi operativi che memorizzano nella cache del disco tutto
gli uomini hanno fatto tutto se il set di lavoro di
l’acqua che stai chiedendo di dire un giorno o una settimana
di dati se comprimi quel 10x e puoi
adattarlo nella memoria di lavoro lontano dal
sistema, quindi in realtà li ottieni
prestazioni davvero belle di interrogarlo
[Musica]
quindi sì, ho un’altra foto quindi intendo
dato che qualcuno è disposto a fare la droga
dall’investimento anticipato per in termini di
lo spazio su disco e se ci si dimentica
le prestazioni in termini di compensazione del
dati come se si potesse menzionare il
vantaggi di homeo rispetto a vedere alcuni
l’osso di tacchino lo apprezzerei come
bene in termini di interrogare i dati uno
degli obiettivi è quello di farli fare solo
renderlo veramente facile da fare, voglio dire che abbiamo
questo linguaggio di query se si tenta di eseguire una query
in elastico devi scrivere questi
Jason relativamente arcano arcano
espressione diventa così arretrata così
ci siamo concentrati sull’usabilità di
in realtà rendono facile da fare quando si gioca
con così è parte dell’esperienza
giusto e sono sicuro che tu possa immaginare
scrivendo un front-end a quello elastico
ti permetterebbe di fare alcuni di questi
cose che dicono
quindi in termini di così se non stiamo parlando
prestazioni in modo che possano accedervi
in realtà dobbiamo vedere il murale
implementa lo stesso AP di interesse
elastico quindi se hai un set di elastici
in realtà ho appena indicato umorismo e
i tuoi iniettori penseranno che è un
Cluster elastico è molto facile da provare
fuori o provare in parallelo ciò che faccio
ti metti in cima a chi sei tu che possiedi
umano stesso non abbiamo IA ma tu
non abbiamo alcuna interfaccia con noi fondamentalmente
sappiamo che fondamentalmente abbiamo alcune persone
facendolo ma selezionano ed estraggono
trasforma i dati in modo che sia presente un’API JSON
estrai i dati e passeremo a Python
sistemi che fanno ray aight calma yes i
voglio rimbalzare un po ‘sulla tua domanda così
quindi quello che hai descritto è a
sistema che è più efficiente di quello che facciamo
dire elasticsearch Husqvarna, ma lo fa
senti che soddisfa le stesse ginocchia
o bene elastico è un grande generale
database di scopo che può fare tutti i tipi
delle cose che fai cerchiamo nel testo
scala e sai che è molto più di un
sistema di database in esso ha tutti i tipi di
altri requisiti e proprietà di a
grande sistema di database questo è uno specifico
strumento di nicchia per elaborare i blocchi di testo a destra
ha detto che è diverso, intendo noi
avere un vantaggio quindi abbiamo un sacco
caso d’uso più stretto bene, io sono quello da
una prospettiva esterna non è molto
chiaro se è se usi Cabana Plus
elasticsearch se soddisfa il
stessi bisogni o le diverse esigenze I
non vedo la differenza per essere onesti come
un fuori potrebbe essere molto di più
efficiente per grandi volumi, ma questo è
come risolvi il problema la mia domanda è
risolvi lo stesso problema bene io
pensiamo di fornire così ciò che noi vediamo
è che la gente vuole giocare con questo
proprio con Cabana, ho fatto così
molti dei nostri clienti entrano in
loro hanno creato cabana e …
non lo fanno e non lo cambiano
loro non vanno e giocano con lui e
capirlo ma quando è quando è così
accessibile con questa semplice pipeline
lingua lì tutti possono andare a giocare
con esso e possono facilmente andare
e cambiate questi cruscotti da soli
quindi è probabilmente molto più usabilità
Esperienza lì ora è il
flessibilità di poter tornare indietro e
i valori di estrazione applicano una x rossa sopra la vecchia
blocchi di testo è questo un problema o è
qualcosa che sai farlo
la flessibilità di questo, ma solo cercando
essere veramente amichevole con l’utente che posso
dì di si
Mi dispiace di averti interrotto forse solo io
volevo commentare la tua domanda
perché ho una certa esperienza in
lavorando con vieni su una ricerca elastica
e nel mezzo nel senso che io
davvero non ho capito come dovrei fare
perché in questi sistemi che abbiamo
istituito, noi abbiamo tutti questi voi
conoscere la pila di dati open-source
analytics giusto ma erano loro
fondamentalmente troppo complicato e quindi non tendiamo
usarli e tendiamo ad analizzare il
registra manualmente invece perché lo sai
come faccio ad impostare un appuntamento con un chirurgo in
Kabbalah Io proprio non capisco e c’è
nessuna documentazione per esso e sì a meno che
forse stai bene altre domande come
anche tu eccoti qui un altro questo
è la nostra ultima domanda, sì, dato che
rimandare un sacco di complessità a
il tempo di query come si fa a fare in modo che
questo in realtà rimane performante se tu
hanno come set di dati in crescita di storici
dati così così c’è se devi correre
su un grande insieme di dati poi lì
c’è il tempo necessario per te
visto su una tipica configurazione a macchina singola
quando forse possiamo correre adesso cinque
gigabyte al secondo tutto bene quindi se tu
avere un terabyte di dati ci vuole un po ‘
giusto per eseguire un processo di elaborazione su quello
ed è solo che è proprio così
proprio allora se tu se tu se lo imposta poi
come una richiesta di elaborazione del flusso quindi
diventa attaccato essenzialmente a
la pipeline di ingest e si seleziona e
calcola quei numeri come parte di
calcolo così tipicamente lo faresti
esplorare e capire mi piacerebbe anche
calcola questo numero e forse ci vuole un
forse un po ‘più di tempo all’inizio
lo esegui su un intervallo di tempo più breve
o provarlo più a lungo e quindi configurarlo
come una query dal vivo e quindi fondamentalmente
è solo un piccolo incremento in più
andare avanti nel costo giusto perché è giusto
seduto lì ed è condiviso in tutto
più utenti che dicono di metterlo sul
stesso cruscotto quindi sì, c’è un
diverso c’è un diverso compromesso
sicuramente e sono decisamente
i carichi di lavoro che sono troppo grandi per questo
essere significativo come se tu abbia un
dati di terabyte all’ora quindi non è possibile
davvero qualsiasi calcolo significativo
indietro nel tempo, quindi ok, grazie
sei il benvenuto qui e chiedi
anche a me domande sì, mi sento un po ‘
stupido parlando nella scatola blu così sono
andando a passare qui grazie a tutti
molto molto per venire lo spero
ti sei divertito stasera e che lo sei
torneremo a unirci ancora in aprile, ricorda
per rispondere alla nostra indagine due per la possibilità
vincere un biglietto per andare a Copenaghen
grazie ti ho visto seduto lì
sorridente
il prossimo è il nostro ultimo oratore del
sera Kristin cup da chi me oh e
ci dirà davvero
che cosa che cosa Paul appena parlato pure
hewo che è un nuovo strumento per ingerire a
molti dati e facendo query ad hoc
quello che la scatola blu va bene, um bene, grazie
molto così sì, il mio nome è Kristin ah
Sono CCO in inhumi Oh, che è un danese
per lo più startup danese e mi piacerebbe
per parlare non tanto, almeno in
l’inizio il prodotto stesso ma perché
lo stiamo costruendo e spero di farlo
porta questo forse questa intera discussione a
un po ‘più giù per terra per alcuni reali
dati, quindi spero che ti aggiri
per quello pensi che possiamo ottenere questo
testa questo microfono a mani libere lavorando perché
Potrei aver bisogno di entrambe le mani ad alcuni
punta bene dove è anche
si può lavorare o no va bene mi senti
sì va bene così solo un po ‘
un po ‘di me, sono il dott. merda Creston I
trascorso alcuni anni che il prossimo computer in
Silicon Valley sono il fondatore della forcella secca
che è questa consulenza di soluzioni
società abbiamo circa 450 persone ora e ho
stato CTO per quello per circa 20 anni
facendo odds and end e tutti i tipi di
antincendio e consulenza interna
ed esternamente ne ho avuto un bel po ‘
attività con Erlang negli ultimi anni
sappi che qui a Clara c’è almeno
un sacco di Erlang in corso sono stato
hacking o Lang abbastanza estesamente
negli ultimi anni ho costruito un BM erlang e
java tra l’altro così l’ anno scorso
Mi sono preso un assenso
dalla mia forchetta per fare una start-up questo umano
cosa e sono abbastanza entusiasta di questo
quindi perché stiamo facendo tutto questo davvero
la cosa è che vorrei mi piacerebbe
riporta questa nozione che puoi provare
il ronzio del tuo computer era te
so che c’è un vecchio computer ad ingranaggi nel mio
dipartimento di informatica di Aarhus
potresti davvero entrare in questo tu
entrerei in questo per sedersi di fronte a
il computer con cui lavorare era giusto
lì davanti a te e quando ho studiato
25 anni fa sai che avrei avuto il mio
la prossima postazione di lavoro proprio di fronte a me
potevo sentire che potevo sentirlo
interagire con esso potresti sentire il
dischi rotanti senti l’interazione
tra la scheda di rete nel suono
la carta andrebbe in modi strani e
questo questo canticchia questa sensazione
Mi manca davvero che oggi non lo faccio
sei mai stato su un grande grande fareal
barca oceanica e all’improvviso il
il motore si ferma proprio quando il ronzio scompare
è davvero brutto qualcosa che è davvero
a disagio non te ne sei accorto
suono che va avanti tutto il tempo fino a quando
all’improvviso oops è molto, molto molto
strano e scomodo che il motore
non sta andando e tu lo sai oggi lo sai
potremmo essere seduti nella nostra tranquillità
ambiente di sviluppo qui lerner
da qualche parte bene i computer sono
da qualche altra parte e non abbiamo idea che lo sia
un sistema in fiamme è che funziona
come normale è questo sei completamente
completamente disconnesso da questo modo in
così tanti modi ci rendiamo conto solo quando il
sistema sai che tutto va giù e
sai spesso che succede così
cosa fanno altri tipi di
l’ingegneria fa quando devi avere un
idea di cosa sta succedendo quando hai
qualcosa che è lontano , sai
microservizi e cloud e tutto
oggi stiamo spostando i computer e il
sistemi via e stiamo perdendo un po ‘di
tocco che è tipo di premessa aspettare dentro
altre aree quello che fai è che tu ti conosca
ho costruito un Centro OP come questo, io ho te
dimmi che stai mandando la missione Apollo a
la luna hai un Centro OP e tu
avere questo vari schermi che danno
queste persone hanno un senso di normalità, lo sai
potrebbe non avere senso per te e me
e inizialmente potrebbe anche non farlo
ha molto senso per le persone sedute
lì, ma si sa se si siedono lì per
da molto tempo e guarda questo
questo senso di normalità quindi se tutto di a
improvvisamente qualcosa è diverso, lo faranno
avviso e questo è un po ‘la stessa cosa
che facciamo con il software che abbiamo
centri operativi su cui si basano gli sport
il muro e questo è super-super
funzionale per avere una sorta di des
portes seduti sul muro c’è molto
di un sacco di software per questo ma se tu
usarlo vi esorto a comprare in realtà un televisore
e mettilo sul muro perché questo
semplice fatto di avere
sedere proprio lì significa che puoi solo
sguardo fino a che abbiamo potuto guardare qualsiasi
tempo e potrebbe non fare così tanto
senti cosa c’è su questi schermi ma cosa
succede che sai che prenderemo il
apprendimento automatico qui nel tuo cervello
e applicalo a 22 cosa vedi e
se qualcosa cambia se lo sai se
c’è un modello strano che il motore
si ferma o forse qualcosa di più sottile
allora lo riconoscerai, quindi è così
modo davvero economico per applicare un I o
in realtà sono solo io per questo tipo di
problema giusto così 10 anni fa così il
squadra dietro Hugh mulo in realtà tutti noi
ha lavorato su questo stesso progetto a provare per 10
anni fa dove abbiamo costruito questa assistenza sanitaria
infrastruttura per la droga danese
amministrazione e quindi questo è fondamentalmente
tutte le prescrizioni e tutti i farmaci
le droghe legali in Danimarca almeno vanno
attraverso questo servizio centralizzato e
è super importante avere alto
disponibilità c’è alta sicurezza
i requisiti ci sono molti server e
molti sistemi connessi dove cose
può andare storto e nel farlo eravamo
hai introdotto sai di stare attento
sulle nostre serrature e in effetti sul monitoraggio
e lavorando con questo ed è super
prezioso è super prezioso avere un
senso di ciò che è normale perché assumere
hai forse questo oggi il grafico
sembra che tu possa vedere
le ricette che vengono emesse sono pronte
rompere per i medici ora non lo sono
prescrivere così tante droghe nel pranzo
break sai che il giorno dopo assomiglia
questo è tutto sta andando normale il
i motori della nave canticchiano e poi tutto
di un secondo vedi un modello diverso
e questo tipo di era l’inizio di a
molto più pervasivo cambiamento nel nostro
progetti per portare serrature perché questo
era il fondamento il fondamento di tutti
questo era solo blocca i dati di blocco questo è
il si
vedi che quello è il rumore che è
emesso dai nostri sistemi IT che tipo di
è un segnale che possiamo fare qualcosa
di senso fuori di esso è un file di log voi
sanno che stanno mentendo lì e un sacco
dei progetti non li stanno davvero utilizzando
molto ma una volta che inizi a lavorare
blocca e dice cosa succede se il registro è un
cittadino di prima classe ha un profondo
cambia nel tuo progetto e io penso questo
è un tipo di cosa che vedrai
nel tempo questo è un po ‘come quando noi
sono stati introdotti per primi test
programmazione all’integrazione continua
sì, non potevi davvero vederti
potrebbe davvero vedere il valore immediatamente
ed è un po ‘ingombrante da sempre
sai che devo configurare un server CI
prima di iniziare un progetto, ma ora
quando guardiamo un nuovo progetto ci interessa
circa le serrature e e c’è un sacco di
interazioni interessanti che avvengono
intorno a questo perché una volta tu e te
ci cureremo anche delle tue serrature
[Musica]
tipo di giardinaggio delle serrature che farai
iniziare a guardare le serrature e dire forse
possiamo renderli migliori come possono
meglio fornire un feedback su come il nostro sistema
funziona così questo cambia molto
cose e avendo ovviamente le serrature dentro
se stessi se si sono appena seduti
lì in alcuni file e alcuni di questi
server che hai visto prima nei dati
centro non stanno fornendo molto valore
quindi vogliamo portarli alla vita e di essere
in grado di interagire con loro ed estrarre
informazioni su di loro quindi c’è molto
di cose che puoi fare con le serrature che puoi
osservare e monitorare il proprio sistema
proprio come il cruscotto che hai visto prima
puoi farne fuori il valore
i registri portarlo su per monitorare vedere cosa
va avanti e in realtà il più semplice
cosa di appena messo su un cruscotto con a
grafico che mostra quante voci di registro
stanno anche succedendo è super-super
di base non provo nemmeno a filtrare nulla
per mostrare quante voci di registro sono
aggregato nel sistema
sai se quel grafico cadrà all’improvviso
c’è qualcosa di sbagliato o se lo è
improvvisamente il riso è lì qualcosa
non deve essere complicato
non è necessario che tu lo sappia
Devo estrarre e descrivere un sacco di
schemi o schemi come per quello che è veramente
in queste serrature qualcosa di semplice come
Scontando le righe del registro come un aggregato
numero che si gode un grafico come quello sei tu
so che è un inizio è un inizio
punto ed è importante sottolineare
il punto di partenza perché ciò che è
succede succedendo non appena inizi
prendersi cura delle tue serrature che vorresti
iterare su di esso vuoi migliorare come
estrai informazioni da loro e
lo vuoi e questo può succedere nel bambino
passi non deve accadere
durante la notte, quindi ho una lunga lista di
le cose che facciamo le donne lo usano per capire
e fai il debug del tuo sistema che conosci come il
i sistemi diventano sempre più distribuiti
le serrature diventano il riferimento di cosa
è successo nel sistema per capire
interazioni quando qualcosa va storto
è super prezioso poter fare il grep
in loro o cerca nella ricerca le serrature
quindi ovviamente lo facevamo uh quando
Ero seduto sulla mia strada un singolo dopo
stazione vorrei dire a F un registro e
guarda cosa è successo quando sono cambiato
qualcosa lo prenderei per trovarlo
qualcosa ma lo abbiamo perso
abilità e il suo distribuito
microservices nuvoloso mondo perché è
semplicemente butti fuori i sistemi
lì e poi ti speri che siano
correndo e forse ne hai di vari
sistemi di monitoraggio che guardano bit e
pezzi di esso, ma se puoi tirarlo
insieme puoi effettivamente usare gli strumenti per
fornire valore attraverso ciò che si potrebbe anche
usalo per sentirti a tuo agio con il tuo
sistema dire nel progetto di assistenza sanitaria
sai che lo sapresti dire ad alcuni
punto che avevamo 10 integrazioni e abbiamo avuto
un’altra partita un’altra regione della Danimarca
che stavamo portando in ospedale
sistemi abbiamo la capacità di farlo
fallo e come lo sai perché
è impossibile saperlo, lo sai
calcolando alcuni numeri in anticipo
architettura e scala dell’architetto
come sempre sai che devi misurare
e prova a lanciarlo e noi corriamo sul serio
sistemi che vuoi sapere di avere
capacità dire di portare su un’altra coppia
dei clienti per eseguire il sistema in modo che tu possa
usa le serrature per fare ciò che non hai
per costruire infrastrutture specifiche da fare
proiezioni e calcolo si trincea solo
guarda il tuo registro sei un’attività
livelli in modo che abbia un senso, naturalmente se
hai anche messo le tue serrature quanto gratis
spazio su disco ho quanta capacità
ho come si confronta con gli altri
tendenze e numero di transazioni di
cosa no ed è super prezioso quando
qualcosa va davvero male
mantieni i blocchi per molto tempo così puoi
torna indietro e vedi i log in realtà
perché sono testo giusto puoi andare
indietro e guarda qualcosa che non hai
so che era interessante, non abbiamo provato altro
prova alcuni di questi meccanismi di registrazione
dove fondamentalmente estrai i dati e
inseriscilo in un database ma poi spesso
quello che succede è ad un certo punto di te
realizzo che desidero indicizzare quello che desidero
estratta quell’informazione e salvata
sono serrature di testo e sono super facili
per comprimere non lo fanno
molto spazio sul disco quindi tienili
intorno perché rende facile da provare
per eseguire la post-elaborazione dopo il fatto
e confrontato per dire cosa è successo l’ ultima volta
mese o l’anno scorso puoi anche facilmente
Diciamo che vedo gli eventi che accadono nel
il blocco può essere utilizzato per eseguire i test, quindi se si
avere un sistema di registrazione dove è possibile
separare facilmente flussi separati di blocco
dì che questo è il mio sistema di test che potresti
avere i sospiri del tester di integrazione del sistema
quando ho finito di eseguire il set di
cose che mi aspetto siano queste cose
la serratura e questo è un modo semplice per farlo
integrazione in una gamma di differenti
server
quindi potrebbe essere diversi prodotti dove
non controlli il log in modo che possa essere
Server SQL o servizi cloud o quant’altro
finché riesci a estrarre questi testi
serrature è un è un è facile
piattaforma per costruire questo tipo di
convalide e costruito quello in
test Suite inoltre c’è DevOps e
qui metto un bar tra Devon in
il nostro progetto sanitario noi in realtà
Sapevi che stiamo cercando di eseguire DevOps
ma allo stesso tempo abbiamo avuto questo alto
problemi di sicurezza perché ovviamente noi
si occupavano di dati sanitari e
le droghe delle persone e tutto ciò che puoi
puoi immaginare che ci sia molto
severi requisiti di sicurezza ma
in realtà fornire fornire un blocco è
è una vista di sola lettura nel sistema
in realtà così quello che è finito è finito
avendo ottenuto il permesso di effettivamente
leggi i blocchi del sistema ma leggi
i registri con un controllo con un controllo
bloccare così ogni volta che effettivamente andiamo e
interrogare le serrature di questa assistenza sanitaria
sistema dobbiamo descrivere perché lo facciamo
e c’è un blocco di controllo che sto descrivendo
chi ha fatto cosa a un certo punto quindi il logging
il sistema finì per essere noto a una vista
in questo sistema completamente isolato
orbita non potremmo incidere su tutto
ogni distribuzione ogni cambiamento che è andato
attraverso il controllo delle modifiche e il cambiamento
sistemi di gestione e biglietteria ecc. ecc
ma almeno potremmo ottenere questa visione
nel sistema live quando è necessario
spesso abbiamo finito per usare le serrature
il prototipo di nuove funzionalità il nostro nuovo
rapporti che potrebbero essere inclusi nel
prodotto perché una volta che hai i registri
tutte queste informazioni lì se ne hai uno
modo flessibile accessibile per estrarre
informazioni al di fuori di esso non è necessario
costruire un programma per un sistema complesso
estrai questo o mettilo in produzione
basta fare un prototipo o generi ad hoc di
intelligenza tecnica
spesso ci sarebbe un utente aziendale
chiamare e dire com’è la casa
ci sono casi in cui i medici fanno così e
quindi in relazione a un paziente all’interno di a
dato periodo potrebbe eseguire questi semplici
carichi transazionali sui registri da vedere
quante volte queste cose sono successe così tutto
queste informazioni sono giuste al nostro altro
piede è seduto proprio lì e tu
non devi davvero fare ciò che non hai
per bloccare molto non devi
necessariamente cambia molto le serrature ma
fondamentalmente nella maggior parte dei casi questi blocchi sono
solo loro sono lì e sono seduti
su questi server e ci sono difficili
per accedere e sono difficili da
iterare su così è tutta l’idea che sono
jumu’ah è quello di farcela
accessibile e se guardiamo il conto
un po ‘sullo spazio del design di questo
[Musica]
una cosa importante quando lavori
questo vuoi che tu voglia l’esperienza
per lavorare con questi registri con questi dati
quindi dici che questo è un software basato sui dati
sviluppo proprio come noi
ho parlato di tutti questi discorsi
aziende guidate dai dati o guidate dall’IA
giusto questo sta applicando la stessa cosa a
lei lo sai nel nostro stesso terreno
vuoi essere in grado di essere interattivo
vuoi essere in grado di iterare e
esplorare questi dati è come mi piace
pensalo come quello che Excel è due
numeri che conosci ma l’Excel
foglio di calcolo puoi facilmente sederti e giocare
intorno e puoi ordinare diversi
colonne e puoi inviarlo a ciascuno
altro e parlarne ed è giusto
c’è un tipo flessibile di permissivi
vuoi che per i tuoi dati lo vuoi
essere facilmente disponibile e interattivo così
sentiamo sempre che conosci le scienze dei dati
pipistrelli e squame e grandi cluster di Hadoop
e ci sono così tanti dati che non puoi
davvero fai quello che devi programmarlo
e poi esegui un lavoro batch e forse tu
ottenere una risposta il giorno successivo o se
stai correndo le serrature che conosci
lo vuoi vuoi che sia disponibile
quindi puoi puoi usarlo un’altra cosa
è così questa è una cosa che vogliamo
giusto il pneus interattivo anche tu
voglio che ci sia anche questo tipo di tensione
tra i dati storici o in tempo reale che desideri
qualcosa in cui è possibile accedere ai dati
come succede, ne conosco parecchi
i sistemi di registrazione utilizzano così tanta potenza della CPU
front per elaborare e salvare i dati
sai che puoi chiedere i registri di
cosa è successo ieri o questa mattina
o qualcosa del genere quindi siamo davvero
cercando di portare l’elaborazione del flusso e
in memoria tipo di lavorazione come quello
fai trading ad alta frequenza 22 log
analisi per renderlo facilmente disponibile
certo se hai uno storico più grande
dati è inoltre necessario essere in grado di elaborare
quello e poi finalmente penso che sia un
importante sapere che è super
prezioso per avere la flessibilità di
definendo il tuo schema nel punto in cui
tu quando leggi, naturalmente, non appena
tu provi a fare qualcosa di strutturato con
i registri di cui hai bisogno devi tirare
fuori alcune informazioni fuori di esso poi alcuni
numeri o alcuni nomi di cose o
servizi o nomi di errori ecc. ed epici
a quel punto diventa dati che estraiamo
i dati, ma è super-prezioso
per mantenere effettivamente il testo intorno a te
può ricavarne un nuovo valore come te
andare avanti così, naturalmente, se si fa schema
e scrivi se fai qualcosa dove tu
scartare il testo e sai che prendi
i pezzi importanti che potrebbero
potenzialmente essere molto più efficiente
perché scartiamo le informazioni che non lo fanno
voglio che tu non voglia salvare ma nel mio
esperienza lo capita spesso che in questo
situazione come ho detto prima che tu dica
desiderare indice I che desidero ho salvato questo
pezzo di informazione perché tipo di in
Retrospettivamente sei in un sistema live
non può necessariamente permettersi di rieseguire
qualche esperimento è già successo io
vorrei avere quell’informazione e e
spesso questa può essere la presenza di
errori di ceppi particolari che tu
non pensavo fosse importante un fronte così
in realtà avendo il testo la ricchezza di
essere in grado di applicare l’umano
intelligenza per interagire con questi dati
è abbastanza importante quindi è così
cosa stiamo cercando di fare e ne vorrei due
scarpe è quello che stiamo cercando di fare
consentire alle persone di iterare esplorare spettacolo
dati questo tipo di vivacità e sensazione di
eccellere esattamente come Excel
numeri che vuoi essere quello per il registro
file e per i dati per il testo basato
dati quindi è un po ‘un peccato non
tutti lo stanno facendo No huh no
tutti lo stanno facendo e si tratta di
tempo qualcuno democratizza e fa questo
disponibile e facilmente accessibile così così
è così gentile in poche parole umano
cerca di essere veloce e flessibile a prezzi accessibili
semplice da usare per installare il tipo di cosa
che potresti semplicemente gettare alla tua serratura
file e iniziare così mi piacerebbe
mostra che so che è tardi, ma um
piace mostrare solo un po ‘quello che sembra
così ecco una schermata che mi mostra
semplicemente facendo una ricerca testuale per klarna
quindi il set di dati che ho qui dietro
è che ho creato questo sistema demo
si può andare controllare voi stessi in demo
l’umorismo calmo è il modo in cui si blocca dal vivo
github tutti i repository pubblici su github
stiamo entrando in quella zona e quindi se
è solo una ricerca di testo gratuita per kleiner
nell’ultima settimana qui potrei provare
rieseguire la query
ci vuole un po ‘di tempo per vederlo
tipo di corre all’indietro attraverso il bene
e blocca le cose accadute a
github su questo scorre attraverso il testo libero
l’intera cosa che si è alzata
alla scorsa settimana, quindi è ancora piuttosto veloce
e quello che viene fuori qui questi Jason
strutture che sono un po ‘lunghe
e in questo caso è qualcosa che
descrive un evento push in modo che significhi
qualcuno a cui hai spinto alcuni dati per a
github repo quindi basta evitare che il
digitando qui potrei fare un passo successivo
tutte queste serrature per clarinetto e poi le ho tubi
in un’espressione dice group by
il tipo questo è il tipo di blocco e a
nome del repository e ordinamento e otteniamo
qualcosa di simile è il più interessante
la cosa più importante è stata la spinta
eventi che accadono sul clarinetto / tu I
repository di nuovo che è qualcosa di te
potrebbe fare in un sistema live che puoi vedere
loro il significato di esplorare e iterare
è che in realtà ottengono due risposte
relativamente rapidamente e c’è un come è
Semplicemente stai pensando a questo come questo
è come ah come la riga di comando di Unix
dove dici di afferrare in un WK
Qualcosa di una specie di versione moderna di
che funziona su un set di dati così così
abbiamo alcune visualizzazioni così puoi
invece di mostrarti un tavolo
potrebbe fare un grafico temporale quindi questi sono i
repository di clarinetti che lì
si commettevano spinte a vedere di nuovo
il più attivo qui è klarna
Mi dispiace, non so cosa sia
ma non importa qualcuno che guarda
ai cui dati si tratta di dati propri
fa un sacco di cose quindi è un po ‘
Ho anche esperienze quando mostro questo
gente che conosci se mostro qualcuno
i dati di altri e qualcosa che non fanno
capire che non ha davvero senso
è un po ‘ come immaginare qualcuno
demo in particolare a
con numeri o account o qualcosa del genere
allora non ha senso per te
forse forse Express vede in Excel no
che attraente ma se è il tuo
numeri che è possibile ordinare quindi tutti a
improvvisamente diventa più interessante così così
c’è di recente questo enorme
discussione sulle notizie sugli hacker che
è meglio è ruggine o va tutto bene così
Pensavo che prima di stasera avrei fatto un
piccolo cruscotto mostra almeno il
livello di attività su github quindi vedi qui
questa è l’attività l’ultima ora di
solo una specie di tutti i tipi di eventi questo
potrebbe essere commenti o spinte o o
qualunque cosa fosse la ruggine, questa è questa
ora posso dirvi prima oggi lì
era più attività su golang nel complesso
attività l’ultima settimana era più acceso
ruggine i mi piace così è quello e via
github puoi farlo proprio come gentile
di facebook, si chiamano orologi
guarda gli eventi che la gente sta guardando
in realtà andare stava diventando di più e qui è
alcuni esempi che mostrano la parte superiore
commettitori per andare contro ruggine e in realtà
la ruggine ha molti più impegni quindi questo
Il ragazzo di Boris che non conosco è a 532 commit
questa settimana potremmo provare a tuffarci in un
alcuni di questi sono i più semplici
uno così se guardiamo la query così qui
è semplicemente detto che voglio cercare il
il nome del repository è goal and go or the
nome del deposito fruscio ruggine e poi io
voglio un grafico del tempo in cui il serio è
il nome del repository e l’estensione dei dettagli
questa è la larghezza di queste barre è una
un giorno così che potevamo fare
un’ora puoi vederlo sul nostro
concorrenza
tra questi due repository proprio così
Anche questo è effettivamente in esecuzione sul
intero set di dati github per una settimana così
potrebbe sembrare un po ‘ lento ma
in realtà ci sono un sacco di dati
dietro di esso quindi torniamo indietro e vediamo il
questa attività l’attività complessiva il
l’ultima ora è stata vista in totale
totale di 61 eventi che si verificano l’ultimo
ora qui così di nuovo dico che il nome del repository è
stella golang o stella frusciante è solo una
ampliare tutti i suoi repository in
quegli spazi e poi gestisco un reg ex I
estrailo da ciò che questo estrae
la prima parte del nome del repository
il proprietario del repository mio e poi io
raggruppa per quello e puoi perché il
come sono costruite le storie di dati e
questa è la salsa segreta in tutto questo
Certo che è un datastore super-bello
per fare ciò, sia l’elaborazione del flusso come
vediamo qui e l’elaborazione MapReduce
su set di dati più grandi, dove è possibile
effettivamente eseguito in modo che potremmo provare a eseguire questo
così in fondo se dici quando a
intervallo di date fissato qui quindi eseguo a
MapReduce il lavoro su quella o una finestra temporale
quindi esegue il lavoro MapReduce su
dati storici e inizia un evento
flusso di elaborazione per nuovo arrivo
eventi in modo da poter eseguire questo sopra il
il mese scorso Paul github i dati che puoi vedere
la competizione arriva mentre andiamo
indietro il loro account così qui è
in realtà in esecuzione a questo è solo un
in esecuzione su un singolo su una singola macchina
puoi vedere per ordine di 5 gigabyte
elaborazione al secondo attraverso il registro
dati che sono come 5 volte la velocità del disco
quindi credo che era ora di avere
piccola idea di ciò che gli umani ci sono
Certo molto di più ad esso che forse lì
sono alcune domande che possiamo fare attenzione
grazie sì okay ne abbiamo
domande qui Grazie come domanda
qual è il vantaggio di chi tu
a confronto se qualcuno usa la scorta di posate
e Cabana sai come mettere i dati
elasticsearch e usiamo Cabana bene noi
cercare di renderlo davvero semplice da usare
giusto quindi è um una cosa è solo
una sola cosa che puoi puoi fare molto
più facilmente farlo funzionare così
operativamente è molto più semplice
ma penso che la cosa importante sia che noi
spostare il costo di organizzare i dati
dal momento della ingerenza al momento in cui viene eseguita una query
i dati quindi significa che non hai bisogno di come
molto spazio su disco, quindi quando carichi i dati
in elastico generalmente gonfia a
bit diventa più grande a seconda di quanto
tu indicizzi se gli lanci proprio il json
e dire indicizzare tutto ciò che potrebbe essere
a 10x forse utilizza anche un sacco di
potenza di elaborazione quindi potrebbe essere quello
sei tu puoi facilmente entrare in una situazione
dove è dietro ci vuole tempo prima
puoi effettivamente prima che gli indici siano
fino ad oggi così con chi siamo noi davvero
spremere il giorno in cui ingeriscono il tempo di a
minimo e queste query in tempo reale noi
chiamali che sono veramente gentili
flusso di query di elaborazione che in realtà
allegato alla pipeline di ingest così
sono solo quei risultati sono prontamente
disponibile in qualsiasi momento, quindi in realtà
applicare una contropressione attraverso l’ingerimento
linea pod per essere in grado di calcolare i computer
quindi di nuovo archiviazione così così lo fa
carico della CPU
e il carico di immagazzinamento dell’ingiustizia è a
molto più piccolo che significa anche ciò che è anche
humne oh in realtà comprimiamo i dati
quindi spesso finiamo con dati che dicono
da cinque a 10 X più piccoli e poi il
set di dati ingerito e poi di nuovo così
quindi se confronti 5 a 10 x più grande a 5
a 10 volte più piccoli, allora lo sappiamo
spesso in una situazione in cui ci sei tu
conosci da 25 a 50 x spazio su disco e poi a
un setup di alce , quindi se questo è qualcosa
quello che conta è nel nostro sistema
significa che possiamo avere più questo moltiplicatore
di dati essenzialmente seduti nel
sistemi operativi che memorizzano nella cache del disco tutto
gli uomini hanno fatto tutto se il set di lavoro di
l’acqua che stai chiedendo di dire un giorno o una settimana
di dati se comprimi quel 10x e puoi
adattarlo nella memoria di lavoro lontano dal
sistema, quindi in realtà li ottieni
prestazioni davvero belle di interrogarlo
[Musica]
quindi sì, ho un’altra foto quindi intendo
dato che qualcuno è disposto a fare la droga
dall’investimento anticipato per in termini di
lo spazio su disco e se ci si dimentica
le prestazioni in termini di compensazione del
dati come se si potesse menzionare il
vantaggi di homeo rispetto a vedere alcuni
l’osso di tacchino lo apprezzerei come
bene in termini di interrogare i dati uno
degli obiettivi è quello di farli fare solo
renderlo veramente facile da fare, voglio dire che abbiamo
questo linguaggio di query se si tenta di eseguire una query
in elastico devi scrivere questi
Jason relativamente arcano arcano
espressione diventa così arretrata così
ci siamo concentrati sull’usabilità di
in realtà rendono facile da fare quando si gioca
con così è parte dell’esperienza
giusto e sono sicuro che tu possa immaginare
scrivendo un front-end a quello elastico
ti permetterebbe di fare alcuni di questi
cose che dicono
quindi in termini di così se non stiamo parlando
prestazioni in modo che possano accedervi
in realtà dobbiamo vedere il murale
implementa lo stesso AP di interesse
elastico quindi se hai un set di elastici
in realtà ho appena indicato umorismo e
i tuoi iniettori penseranno che è un
Cluster elastico è molto facile da provare
fuori o provare in parallelo ciò che faccio
ti metti in cima a chi sei tu che possiedi
umano stesso non abbiamo IA ma tu
non abbiamo alcuna interfaccia con noi fondamentalmente
sappiamo che fondamentalmente abbiamo alcune persone
facendolo ma selezionano ed estraggono
trasforma i dati in modo che sia presente un’API JSON
estrai i dati e passeremo a Python
sistemi che fanno ray aight calma yes i
voglio rimbalzare un po ‘sulla tua domanda così
quindi quello che hai descritto è a
sistema che è più efficiente di quello che facciamo
dire elasticsearch Husqvarna, ma lo fa
senti che soddisfa le stesse ginocchia
o bene elastico è un grande generale
database di scopo che può fare tutti i tipi
delle cose che fai cerchiamo nel testo
scala e sai che è molto più di un
sistema di database in esso ha tutti i tipi di
altri requisiti e proprietà di a
grande sistema di database questo è uno specifico
strumento di nicchia per elaborare i blocchi di testo a destra
ha detto che è diverso, intendo noi
avere un vantaggio quindi abbiamo un sacco
caso d’uso più stretto bene, io sono quello da
una prospettiva esterna non è molto
chiaro se è se usi Cabana Plus
elasticsearch se soddisfa il
stessi bisogni o le diverse esigenze I
non vedo la differenza per essere onesti come
un fuori potrebbe essere molto di più
efficiente per grandi volumi, ma questo è
come risolvi il problema la mia domanda è
risolvi lo stesso problema bene io
pensiamo di fornire così ciò che noi vediamo
è che la gente vuole giocare con questo
proprio con Cabana, ho fatto così
molti dei nostri clienti entrano in
loro hanno creato cabana e …
non lo fanno e non lo cambiano
loro non vanno e giocano con lui e
capirlo ma quando è quando è così
accessibile con questa semplice pipeline
lingua lì tutti possono andare a giocare
con esso e possono facilmente andare
e cambiate questi cruscotti da soli
quindi è probabilmente molto più usabilità
Esperienza lì ora è il
flessibilità di poter tornare indietro e
i valori di estrazione applicano una x rossa sopra la vecchia
blocchi di testo è questo un problema o è
qualcosa che sai farlo
la flessibilità di questo, ma solo cercando
essere veramente amichevole con l’utente che posso
dì di si
Mi dispiace di averti interrotto forse solo io
volevo commentare la tua domanda
perché ho una certa esperienza in
lavorando con vieni su una ricerca elastica
e nel mezzo nel senso che io
davvero non ho capito come dovrei fare
perché in questi sistemi che abbiamo
istituito, noi abbiamo tutti questi voi
conoscere la pila di dati open-source
analytics giusto ma erano loro
fondamentalmente troppo complicato e quindi non tendiamo
usarli e tendiamo ad analizzare il
registra manualmente invece perché lo sai
come faccio ad impostare un appuntamento con un chirurgo in
Kabbalah Io proprio non capisco e c’è
nessuna documentazione per esso e sì a meno che
forse stai bene altre domande come
anche tu eccoti qui un altro questo
è la nostra ultima domanda, sì, dato che
rimandare un sacco di complessità a
il tempo di query come si fa a fare in modo che
questo in realtà rimane performante se tu
hanno come set di dati in crescita di storici
dati così così c’è se devi correre
su un grande insieme di dati poi lì
c’è il tempo necessario per te
visto su una tipica configurazione a macchina singola
quando forse possiamo correre adesso cinque
gigabyte al secondo tutto bene quindi se tu
avere un terabyte di dati ci vuole un po ‘
giusto per eseguire un processo di elaborazione su quello
ed è solo che è proprio così
proprio allora se tu se tu se lo imposta poi
come una richiesta di elaborazione del flusso quindi
diventa attaccato essenzialmente a
la pipeline di ingest e si seleziona e
calcola quei numeri come parte di
calcolo così tipicamente lo faresti
esplorare e capire mi piacerebbe anche
calcola questo numero e forse ci vuole un
forse un po ‘più di tempo all’inizio
lo esegui su un intervallo di tempo più breve
o provarlo più a lungo e quindi configurarlo
come una query dal vivo e quindi fondamentalmente
è solo un piccolo incremento in più
andare avanti nel costo giusto perché è giusto
seduto lì ed è condiviso in tutto
più utenti che dicono di metterlo sul
stesso cruscotto quindi sì, c’è un
diverso c’è un diverso compromesso
sicuramente e sono decisamente
i carichi di lavoro che sono troppo grandi per questo
essere significativo come se tu abbia un
dati di terabyte all’ora quindi non è possibile
davvero qualsiasi calcolo significativo
indietro nel tempo, quindi ok, grazie
sei il benvenuto qui e chiedi
anche a me domande sì, mi sento un po ‘
stupido parlando nella scatola blu così sono
andando a passare qui grazie a tutti
molto molto per venire lo spero
ti sei divertito stasera e che lo sei
torneremo a unirci ancora in aprile, ricorda
per rispondere alla nostra indagine due per la possibilità
vincere un biglietto per andare a Copenaghen
grazie ti ho visto seduto lì
sorridente
Please follow and like us: