e grazie a voi per essere qui
e passare il tuo tempo prezioso con me
o i prossimi 45 minuti ah questo è un nuovo
presentazione così da portare con me, per favore, dai
un segno se ho bisogno di sapere per te smettere
domande o se ho bisogno di accelerare il bordo
sai che voglio davvero che sia così
tempo prezioso per te quindi sentiti libero di farlo
salta dentro con commenti lungo la strada
come ha detto Steve sono qui per parlare
circa un po ‘più pratico in giro
come le organizzazioni usano Hadoop è il
la domanda più frequente che ho è come
ok, so come fare questo
so che è un’elaborazione distribuita
struttura e soluzione di archiviazione ma che cosa
i clienti cosa fanno le organizzazioni
effettivamente fare con esso non so se io
necessità di fare quando dovrei distribuirlo
apri cosa fa effettivamente per me così
quelli sono i tipi di domande che sono
andando a cercare di concentrarsi su e poi di
Certo che vado in giro
in seguito se vuoi di più lo sai
informazioni dettagliate o più domande
Sono felice di prendere questa discussione
in seguito, quanti di voi conoscono il Duca
oh, quindi la mia panoramica super veloce potrebbe
in realtà non essere la cosa super veloce così
Ho intenzione di poi camminare attraverso cosa
Hadoop è e prendilo un po ‘di più
tempo qui che significa che potrei avere a
tagliare alcune diapositive alla fine che è
bene li lascerò indietro così Hadoop
è come ho detto distribuito distribuito
piattaforma per l’elaborazione dei dati che è il
modo più semplice per descrivere cosa diavolo
pisci e sta mirando a quelli difficili
problemi che sono diventati sempre di più
frequenti questi giorni intorno ai big data
c’è un volume più grande di dati
entrando ci sono molti tipi diversi
di dati che potrebbero non corrispondere all’improvviso
i tuoi attuali modelli di dati o struttura
database come ti metti a sapere
Feed di Twitter nei tuoi dati di vita SQL
infrastruttura e fare domande attraverso
set di dati non è davvero un
modo economico di metterlo in
sistemi tradizionali perché il flusso
i dati sono così ricchi della varietà di dati
i tipi sta espandendo ciò che possiamo gestire
con i sistemi tradizionali e tu sai
che la velocità dei dati generati
è in crescita esponenziale quindi questo è il
grande spazio di problemi di dati in cui è venuto Hadoop
in giro come una tecnologia molto interessante
è cresciuto in quello che sai di più
tecnologia popolare per risolverli
problemi così Hadoop è in realtà consiste
di due componenti MapReduce e HDFS
Hadoop ha distribuito il file system in modo HDFS
puoi pensare come il file distribuito
sistema la memoria più tardi sto andando a
passa avanti e indietro così davvero
avere un’idea di tutti questi componenti
MapReduce è un framework basato su java che
puoi implementare i tuoi algoritmi di
carichi di lavoro cosa vuoi fare al tuo
dati come vuoi elaborarlo ciò che
vuoi estrarre le righe in questo file
sono di tuo interesse e tu
in realtà voglio fare con quello che vuoi
contare il numero di a
dice che vuoi conoscere aggregato
applica qualche logica a questi dati bene una volta
a trovarlo questo è il problema che
MapReduce le anime così i mapper sono
trovando i tuoi dati nel tuo set di dati
hai memorizzato in confusione HD in a
moda distribuita e i riduttori sono
effettivamente facendo la logica di aggregazione
riducendo quel set di dati alla risposta
stavamo cercando di tenerlo molto
i livelli alti lo hanno reso così MapReduce
elaborazione parallela distribuita
quadro è scritto in Java ma tu
può realmente integrarsi con C ++ che conosci
altri linguaggi di programmazione in molti
modi diversi MapReduce è estensibile
tramite connettori o tramite API
integrazioni, ma in realtà si deve
il codice che mappate riduce il carico di lavoro da soli
che limita l’usabilità a forse
solo i programmatori, ecco perché nel
ecosistema sono spuntati altri tipi di strumenti
per rendere tali dati accessibili in più
modi tradizionali quindi se si guarda all’alveare
e maiale qui quelli erano una specie di
i prossimi progetti da far apparire nell’Hadoop
l’ecosistema hi fondamentalmente sta traducendo
erano le tue query SQL per MapReduce
chiuso così da uno standard tradizionale come
selezionerà la stella da la la dove questo
in questo corrisponde proprio a dire il vero
crea i processi Java lo percepiscono
il file system distribuito con il
i dati risiedono in piccoli blocchi trasversali
molte macchine e processano quei dati
al suo posto restituisce il valore
alveare di indossare la tua domanda recita un poema
dal sito comune e alto è
integrato con odbc e jdbc
connettori in modo che inizi a guardare
come oh ora sono un BDA o una bi persona
posso provenire da uno sfondo SQL
in realtà integrare e lavorare con Hadoop
e pagato è venuto in giro come molto semplice
conosci il linguaggio della carriera come preferisci ma
non il processo di sequenza segreta di quello che è
più orientato al processo quindi se sei un
programmatore che cammina leggermente nell’SQL
e il bi e lo spazio di analisi dei dati ha il maiale
stato che conosci diventare il più popolare
strumento strumento di query o linguaggio di carriera per
programmatori che si muovono nell’analisi dei dati
mentre l’alveare sta affrontando di più il bi
lato business intelligence e DBA
utenti che si muovono verso chi fa il programma pin
quindi in pratica serve lo stesso
scopo di semplificare la query sul tuo
dati ma è leggermente diverso
architettato per soddisfare questi due diversi
i gruppi di utenti hanno più senso
Certo che faccio re con una promessa di più
analisi avanzate perché in realtà
avere accesso a tutti i dati grezzi nella loro
i dati così come vengono generati vengono memorizzati
esattamente come questo in HDFS perché tu
non voglio lasciare nulla sul
tabella sei tipo di promessa di grande
i dati sono se memorizzi i dati non elaborati
può decidere in seguito cosa interrogare rispetto a
il mondo tradizionale che devi applicare
una struttura ai dati scala verso il basso
forse perdere alcune informazioni perché tu
devi adattarlo al tuo modello di dati tu
effettivamente forma i tuoi dati per il tuo
domanda nel mondo tradizionale mentre
in Hadoop pianificato non è necessario
decidere cosa chiedere fino a tempo di query e
è quando fai volare la tua struttura
i tuoi dati a quel punto nel tempo ci sono
nessun modello di dati bene con me finora sì
freddo
analisi così avanzate a questo
l’analitica avanzata è la promessa di
questo va bene cosa-cosa può fare con questo nuovo
tipo di dati che posso memorizzare all’improvviso
e questo apre la porta e l’ interesse
estremamente nel machine learning nella
paese quindi c’è un sacco di macchine
ricerca di apprendimento da molti anni
fa che ora sono entrati nell’indù
insipido e formato in te lo sai
implementando questi algoritmi sia tu
conoscere il clustering dei motori di raccomandazione
algoritmi di categorizzazione di algoritmi in
una moda parallela usando MapReduce
ricorda che MapReduce era il Java
quadro che è possibile implementare la vostra
algoritmo in modo da pensare alla macchina
algoritmi di apprendimento e come l’avvio
terra e terra di ricerca è ora in piena espansione
tutti questi scienziati stanno pensando bene
e se ora disponessimo di dati sufficienti
può avere senso con l’apprendimento automatico
l’apprendimento automatico ha faticato per il
modo per molto tempo come va bene funziona
per piccoli set e una volta che si espande
forse i modelli non seguono davvero
cosa succede se riesci ad allenare una modella su a
petabyte di dati, come puoi essere sicuro?
che funziona bene più sicuro che se tu
aveva solo alcune compresse, quindi è così
questo è come il fiorente interesse I
vedere un sacco di start-up nella Silicon Valley
su come fare algoritmi statistici
e algoritmi di apprendimento automatico
implementato tramite MapReduce
ornato nativamente attraverso qualche altro lavoro
caricare su colpirlo che sta succedendo
così l’apprendimento automatico è il mahout
progetto che fa parte dell’ecosistema ma
Scommetto che c’è di più da venire, noi
ultimamente ho visto un bisogno di più vicino
il lavoro in tempo reale vive nel tradizionale
mondo di Hadoop hi Mah mah e
MappaRiduce il nostro vecchio significato orientato alla produzione di lotti
devi prendere una JVM per ciascuno
MapReduce e immagina di avere
come migliaia di processi MapReduce
correndo in parallelo perché è possibile
questo è ciò che consente la scala lineare di
elaborazione / terabyte di dati ora che
non sono tutti i tuoi casi d’uso di cui hai bisogno
per applicare a quei dati che hai memorizzato
in questa piattaforma ne hai effettivamente alcuni
casi di uso del tempo narrativo pure per
seduta di analisi aziendale di istanza
seduto dietro di lui non so clic
visualizza l’interfaccia utente o tableau o micro
Scotty conosci uno strumento di zombi se tu
fai una domanda attraverso i tuoi tavoli in a
database i tempi di risposta è ciò che meno
di pochi secondi non lo so
a seconda della query, ma questo è
dati limitati a destra forse sono minuti se
è un uccello davvero complesso ora, se tu
dare il via alla stessa query sul riduttore di mappe
attraverso l’alto rutto che ci vorrà
un po ‘di tempo è come paragonare una Ferrari
su un autobus proprio sulla Ferrari puoi avere un
poche persone ci sono davvero veloci
andando a fare puoi avere molto e molto
di persone dentro ma ci vuole un po ‘di tempo
ma è più potente che puoi trasportare
più puoi sapere di far arrivare più persone
dove hanno bisogno di essere non so se
quell’analogia aveva senso, ma tu stai andando
per ascoltare altre analogie divertenti per
tutte le persone non ce l’hanno fatta
solo così le esigenze quasi in tempo reale create
queste nuove integrazioni per nuovi progetti
anche se guardi l’impala chris è così
era un’iniziativa in realtà da parte del
compagnia io lavoro per Claudia ma quello
non importa è ancora open source
di chiunque altro possa partecipare così è Impala
in realtà in tempo reale motore di query
non è basato su MapReduce che è il
tutta la chiave qui insieme ad alcuni altri
interessanti ottimizzazioni a basso livello come
basandosi sul pacchetto llvm e su tutto ciò
ma impala elabora le query SQL
direttamente sui blocchi di file distribuiti
che hai su molti molti server
nella tua testa su cluster quindi non è così
dare il via a JVM in modo che non usi Java
che accelera molto quando ne hai tonnellate
e tonnellate di processi per iniziare bene
quindi Impala è un nativo molto interessante
motore di query sul tuo file distribuito
sistema tutto il giusto peso solare è solare
parte dell’ecosistema Hadoop è ancora così
ultimamente il solare non so quanti
sapere di solare non più persone proprio così
il solare è un open source molto conosciuto
la ricerca è terminata, quindi è costruita sulla scena
è il tipo di servizio web costruito
intorno alla scena che è più
motore di indicizzazione adottato là fuori così
recentemente integrato con zookeeper solare
dal modo in cui è là fuori è un po ‘
sconosciuto ad alcune persone ma è più che sono
non come definirlo in un semplice
Parola inglese ma riguarda il processo
gestione o failover se ne hai
più server in esecuzione sul tuo cluster
e vuoi che tu sappia dire failover se
un processo va giù a qualcuno ha bisogno di
essere il cervello che tiene traccia di ciò
processo è in basso facciamo qualcun altro
il padrone o meno
ruotare su un altro server per tipo di correzione
e se i tuoi servizi vanno se il
sai se l’entità che tiene traccia
di dove tutti i blocchi di file per dimensioni se
che va giù qualcuno deve essere consapevole
di quello giusto quindi è un processo
gestione è quella che tiene traccia
dei processi di failover e sai anche
tenere traccia della configurazione di configurazione
file sai se un nuovo server si gira
cosa dovrei fare quando dovrei
appartiene a quel tipo di contatto informativo
zookeeper quel ragazzo lo sa tutto il
zookeepers tipo di cervello è come
semplice posso spiegare così la comunità solare
spostato in integrazione con zookeeper
qualcosa per abilitare un più robusto e
soluzione di ricerca scalabile ora hey aspetta a
minuto integrato con zucchi ma quello
significa che il solare è un po ‘come entrare in un
un po ‘toccando sulla testa di
comunità quindi l’ho messo qui perché
recentemente abbiamo anche integrato il solare per funzionare
in modo nativo su lettura e scrittura HMS
indici a questo file system distribuito
hey forse sta risolvendo questo problema di scala
archiviazione indice sai tutte queste cose
si stanno muovendo allo stesso modo che è
fondamentalmente porta il carico di lavoro al tuo
dati invece del contrario
perché spostare i dati in giro è costoso
quando cresce nelle dimensioni ha senso
Ho intenzione di tagliare questo breve non posso
ho così tanto da parlare, quindi q è un
strumento davvero buono se vuoi giocare
con la testa aperta e realizzare ciò che tutti
estremità posteriori sono circa e vi consiglio
in un download e gioca con te lo sai
forse puoi giocare con il nostro vm pre-costruito
ed esplorare questi diversi bonus per
devi essere l’interfaccia utente grafica
che puoi dare un senso a cosa
è tutto su ciascuna base è rapidamente
ha detto che è un negozio di valore chiave
un modo diverso di memorizzare i tuoi dati se
hai casi d’uso che richiedono una rapida ricerca
per un ID specifico ed è anche
orientato alla colonna è possibile questo è un
archiviazione eccellente per i flussi di clic per
istanza per uno specifico ID utente o IP
indirizzo o cosa hai salvato tutto
i clic sul tuo sito web per quell’ID
e questo ti permette di monitorare come gli utenti
effettivamente a piedi attraverso il tuo sito web
a proposito, ci sono molti dati da conservare
se hai molto traffico ma è a
causa d’uso molto comune per HBase perché
è basato su HDFS sotto così puoi
fondamentalmente basta memorizzare quei dati molto a caro prezzo
negozio scalabile in modo efficiente e lineare
giusto ma dal momento dell’uso di
esplorare bene cosa fanno i miei utenti sul mio
la pagina web richiede che la chiave trovi I
voglio tutto ok per tutti questi ID di I
non so dalla Danimarca, non voglio
per vedere come Danes utilizza la mia web di viaggio
sito per esempio questo è il veloce
soluzione di archiviazione per informazioni di ricerca
che vuoi elaborare per uno specifico
set di ID prima di un ID specifico di seguito
quindi è diverso da HDFS dove tu
può distorcere praticamente qualsiasi cosa
diverso mese quindi qualsiasi domanda su
Hadoop I potrebbe non rispondere ora ma
possiamo possiamo salvarli per il
domanda, ma poiché fa caldo nel tuo
la tua memoria cache in questo momento voglio
fermati e raccogli alcune domande o tu
puoi inserirli nella tua app, se lo sei
se parli solo danese hey quello è
silenzio so che sei stordito con il
visione okay grande um così ora per il reale
argomento ero qui per parlare di come
la gente lo usa bene inizierò
molto in alto ci sono due viste
nella mia mente questo è il mio due centesimi
condividendo la mia esperienza, così ci sono
due passaggi o due visualizzazioni di big data
problemi nelle organizzazioni oggi uno è
di nuovo il problema di scala che ho
questo sistema di gestione dei dati
nel mio ambiente oggi ma vedo o io
prevedere la grande crescita e non posso
davvero permettersi di aumentare il tradizionale
sistemi o ho domande così complesse
che chiedo ai miei dati di averli cresciuti
richiedere più tempo e più tempo per l’esecuzione
perché la query signore o il modello non lo è
scalabile giusto quindi è un problema di scala
per alcune aziende e questo è del
molto spesso dove le aziende iniziano da lì
sono anche altri driver per Hadoop
arrivare a loro ma se c’è come un
problema di crescita futura
sei preoccupato per l’abilità di domani
e non puoi davvero capire come
adattarsi o chiudersi nel tradizionale
sistemi che è un buon punto per andare e
guardalo, credimi più grande
le aziende hanno e l’altro driver è
più sulla combinazione di set di dati che ho
conosci le mie informazioni sul mio account e in
Salesforce ha qualche sondaggio con i clienti
in un database da qualche parte o in un file
archiviazione dei documenti ho i file di registro voi
so da questi clienti che ho il supporto
biglietti in qualche altro sistema ma puoi farlo
solo fare domande a quel silo o a te
devono lottare con qualche aggregazione
applicazione in cima e tu non davvero
sai che devi fare tutto il lavoro
proprio qui è dove lo trovo di più
interessante significa che questo è interessante
anche se è piuttosto semplice è
è più che altro voglio fare ai miei dati
quello che faccio oggi più di questo non è davvero
nuova la tecnologia è nuova ti aiuta
punto dolente ma per un ingegnere come
me stesso è come se non fosse quello
promessa di apprendimento automatico per l’innovazione
giusto così è qui che brucia il mio cuore
e perché lavoro con esso è come va bene
non c’è una scatola non so cos’altro può
le persone parlano di ok ecco la scatola
è la giusta analogia con i dati strutturati
di nuovo e pensa fuori dagli schemi ma dentro
l’inibizione quando non ci sono persone in scatola
non sono ancora venuti quando ciò che puoi fare
tutto non è stato inventato qui
questa è la parte nuova almeno per me
come posso posso davvero ottenere qualcosa
di 360 vista del mio cliente combinando
i loro dati di indagine di testo libero loro
i biglietti di supporto la loro contea fanno loro
hanno effettivamente avuto i tuoi clienti se
sono addestrati e ne hanno avuti alcuni
servizi di consulenza
è proprio vero o ciò che è un fattore
questo ti rende cliente felice perché
quello che scrivono nel testo libero non è mai
abbastanza perché non spendono abbastanza
tempo o sono come avere una brutta giornata
o sai cosa possono dirmi i dati
può aiutare a migliorare la mia attività o no
sai che mi dici cosa potresti essere in grado
fare se puoi fare domande attraverso
tutti i tuoi dati sono interessanti
domanda così irrisoria, solida, tipica
utilizzare i casi così il più comune che
sapete abbiamo molti 500 4-500
oggi le aziende sono in produzione
è guardare la tua infrastruttura
rendersi conto che i tuoi data warehouse sono fantastici
ma non è possibile ridimensionare il carico
venendo e spesso c’è un tempo fisso
finestra coinvolta quando loro realmente realmente
sai ok entriamo oggi che lo fanno
piano è un po ‘spaventoso perché non lo facciamo
lo so davvero e lo è ancora anche se
è in circolazione da molti anni cinque
più anni è ancora ok, ma è così
open source il suo tipo di evoluzione noi
non so davvero che c’è un c’è
soglia lì nella percezione di dovrebbe
entriamo davvero nel frullatore ma quando
ti rendi conto che una finestra temporale fissa di
avere quel processo di dati in tempo per
alcuni clienti isolano la maggior parte dei clienti
rendono conto di avere a guardare in questo è
il grande giorno aspetta solo naturalmente te
puoi spendere tanti e tanti soldi per te
conosci i data warehouse aziendali ma la maggior parte
le aziende non lo vogliono più quando
c’è un’alternativa quindi il lato
caso d’uso correlato qui è ovviamente quelli
query complesse se i tuoi dati crescono
è necessario eseguire la query su
cresce il tempo di risposta alle query
e alcune aziende con cui ho parlato
hanno effettivamente fermato alcuni dei loro
domande perché il non è un ragionevole
tempo di risposta più e questo è suono
bene a te e smetti di fare affari
intuizione a causa della tua infrastruttura
non essere in grado di supportarlo è come
stai perdendo soldi proprio lì almeno
secondo me puoi discutere ma voi tutti
avere il diritto alla mia opinione ci faremo tutti
ecco un esempio del mondo reale ora
Mi sto allontanando dalla mia opinione e
attaccare con i dati che è quello che sono
il tipo di dati del due per cento qui è vero è
la verità intendo um così un esempio a
la rete è un’azienda di archiviazione che avevano a
supporto proattivo molto interessante
processo di raccolta di tutti i loro dispositivi
e componenti componenti hardware e
file di registro in una casa tipo telefono di
meccanismo e analisi di questi file in
prevedere quando dovrebbero inviare a
componente di ricambio per i clienti
in tempo per quando quel componente è
in realtà fallendo in modo da poter ridurre
i loro tempi di fermo dei clienti quindi questo è gentile
di un caso d’uso di supporto proattivo ho fatto io
spiegalo chiaramente, così avevano circa
600.000 dai log di casa per elaborare ogni
settimana e avevano un limite di quaranta
percentuale di quei file di registro che devono
essere completato entro una finestra di 18 ore
durante il fine settimana per incontrare i loro saggi
ora questa era un’ottima compagnia loro
ha avuto molti clienti felici grazie a
questo processo forse e il loro cliente
sise crebbe che è una buona cosa che vuoi
che succedesse comunque anche quello
con sette terabyte a bocca dati
crescita delle dimensioni del
e stavano già colpendo il loro tempo
vincolo di finestra che non potevano elaborare
il quaranta percento di quel carico di dati in arrivo
entro 18 ore è la finestra fissa
Ho parlato di questo è dove il dolore
viene come faccio a ridimensionare l’elaborazione
per mantenere quella finestra e anche loro avevano
alcuni di questi compongono query complesse
limitazioni che ho pensato quando loro
passare a Hadoop nella produzione che hanno fatto
scoprire che potrebbero sicuramente incontrare
tasso di crescita di sette terabyte al mese e
anche loro sanno di aver anticipato i costi
di dover crescere ancora di più con
la loro infrastruttura tradizionale è
più economico da buttare di più
nodi in un cluster Hadoop e vai a comprare
alcune soluzioni proprietarie che sono obsolete
e illimitato nella sua flessibilità giusta
e potrebbero anche improvvisamente fare quelli
parole complesse potrebbero chiedere anche a loro
potrebbe fare domande che non avevano chiesto
prima delle domande che toccavano oltre 240
miliardi registra la query che non lo era
possibile nel loro sistema precedente
perché non era una risposta realistica
tempo nessuno si sarebbe seduto lì per te lo sai
mesi perché la risposta è andata così
dai tempi di risposta del più complesso
domande che hanno ancora funzionato da settimane
di tempo di risposta due ore è a
miglioramento misurabile e potrebbero
improvvisamente chiedi di conoscere nuovi modelli
per eseguire il debug e aiutare il reale
qualità dei componenti così là
non c’è solo il punto che sto cercando di fare
fai qui non c’è solo una vittoria con
Hadoop una volta che vai a Hadoop devi fare
altre cose è la tua giornata
tanti dieci minuti dalla fine questo è solo
caso d’uso divertente va bene così un po ‘
architettura per avvolgere quel caso in uso
e ho altri cinque casi d’uso che è
un triste dovrei avere due ore o parlare
più veloce quindi ecco un molto comune
dispiegamento oggi hai il tuo
data warehouse o database aziendali
o i backend tradizionali usi lo scoop
di cui non abbiamo parlato prima ma
è il connettore che è in grado di parlare
a backend strutturati trasporta il tuo
dati in HDFS e mantenere così la struttura
conosci effettivamente colonne o righe e
tutto ciò che riguarda i tuoi dati se tu se vuoi
a te puoi prenderlo per questo tu
prendi i tuoi dati in HDFS che fanno
MapReduce l’elaborazione per fare un po ‘
pulire più aggregazione di dati è
è etl so che voglio preparare i miei dati
un certo modo per questo tipo di query o
la prossima settimana voglio prepararmi in modo diverso
per la mia domanda non importa che puoi
cambia sempre idea, ma è di più
flessibile in Hadoop li usano così
MapReduce per fare un po ‘di aggregazione attraverso
paio di database o back-end e
poi hanno schierato ciao perché era così
tu conosci il percorso più semplice in avanti
già ne sapevo un po ‘
MapReduce e loro potrebbero fare dei test
domande attraverso il loro tradizionale bi
strumenti abbastanza rapidamente si sono stancati di
tempi di risposta elevati e Impala distribuito
quindi hanno ottenuto secondi tempi di risposta o
minuti di risposta al posto tuo
conoscere ore e poi anche molte aziende
poiché fa parte dell’elaborazione dei dati
pipeline sai che hanno 18 ore
finestra temporale per elaborare tutti questi registri
entrando a destra ma poi vogliono anche loro
fare qualcos’altro con quei registri
vogliono farti conoscere l’elaborazione dei log
in qualche altra forma quindi si puoi fare
quello in Hadoop ma molte aziende no
Oh molte aziende non fanno tutto a
una volta che inizi da qualche parte, portano il tuo
carico di lavoro carico di lavoro ben definito su
YouTube e poi lo vedono in
successo significa che potrebbero portare
quelli che preparano pezzi di dati a
i loro sistemi tradizionali di nuovo usando
prendi e poi puoi servire al tuo
rapporti regolari non devi cambiare
tutto in una volta, ma cosa succede
spesso come le persone si muovono per fare è quelli
altre cose che ho detto apre i loro occhi
possono fare più cose così si muovono
un altro carico di lavoro su colpirlo e
rendersi conto che questo ha funzionato abbastanza bene come
bene e poi la parola si diffonde agli altri
squadre all’interno della loro organizzazione
voglio usare Hadoop e all’improvviso
diventa questa funzione di servizio Hadoop in
la compagnia e questo è dove interessante
le cose accadono perché poi improvvisamente due
iniziano i team all’interno della stessa organizzazione
condividere i dati e puoi andare da lì
al mio preferito sai usare il caso di cosa
nuovo puoi davvero fare ciò che è nuovo
intuizioni e tu sai che non lo farò
essere in grado di coprire gli altri
introduzione rapida ha portato via un po ‘di tempo per ricordare
ma ho un caso d’uso di elaborazione del registro
conosci un sacco e molti tronchi
tipi e di elaborare oggi non in realtà
avere la capacità di raccogliere
tutto ciò che potevano e solo a
citare il momento saliente della loro unica compagnia
So che ho preso questi blocchi ops
correlato con la campagna di marketing
campagne e realizzi per lo sai
Le campagne di marketing incentrate sul debito erano
in realtà il motivo che pochi giorni
in seguito i loro servizi web sono andati giù
perché il traffico stava sbirciando all’improvviso
così per ogni campagna di marketing dev
in avanti hanno fatto un’espansione del cluster
per il loro piano di servizi web in modo che loro
potrebbe mantenere i loro saggi al nuovo
traffico che in realtà volevano
catturare
da quegli eventi così dati correlati
tra le organizzazioni è eccellente
esempio di quale valore funziona anche io
alcuni servizi finanziari ti hanno fermato
conoscere il rilevamento delle frodi è molto molto
caso di uso comune su chi è in grado di
realizzare le anomalie di molti
i dati sono più facili di quelli che hai
solo il lavoro può permettersi tre mesi di
dati in modo anomalo rilevamento anomalia
rilevamento di qualsiasi dato tu abbia voi
voglio vedere dove non va bene il
schema ora ci stiamo toccando
ancora una volta apprendimento automatico della previsione degli eventi
nessuna categorizzazione di estrazione del modello
cluster all’occhio umano o due basati su
troppe poche informazioni disponibili
nei tuoi sistemi tradizionali non puoi
li percepisco davvero e ne abbiamo molti
società di servizi finanziari telco
rivenditori online che distribuiscono frodi
rilevando questo anomalo che hanno già
quegli algoritmi di pattern precedenti ma
applicato a meno dati ora hanno
li ha reimplementati in parallelo a MapReduce
modo di elaborare più dati e quindi
loro possono sapere ottenere questo più difficile a
trovare anomalie e mantenere il loro marchio come un
cervello sicuro di fiducia ma i dettagli lo sono
nelle diapositive qui possono leggerli
in seguito anche in questo caso usano
floom floom è che conosci lo streaming
il lavoro di stampa di data ingest è a
pub tradizionale sub architettura it
esce dalla scatola con un gazillion
fonti che consumano streaming diversi
data log4j Twitter API sai cosa
hai e puoi configurare il canale
trasmetti quegli eventi e conosci il filtro
in qualsiasi modo tu voglia sul modo di dati
in esso e dal canale si può anche
scrivi direttamente al solare se lo vuoi
indicizzato sulla sua strada in te puoi scrivere il
i dati su HBase o HDFS sono molto
il framework molto scalabile tutto a
gestire la coppia di terabyte che conosci
Terabyte aggiungere una grande generazione e
i clienti dicono che non hanno
che oggi potrebbe essere perché loro
non li raccolgo ma di nuovo lo farei
voglio prenderlo perché sono
dove il valore è giusto un altro e io
ho parlato di HP scrivendo ad una faccia questo
uno quanto tempo sono fuori tempo oh
davvero e ho tempo extra tutto bene
starà proprio fuori dalla porta e
fai domande um così il 360 faccio
in realtà parlato all’inizio
hai dati di account di dati di mercato
trovare il cliente ora cambia cliente
ricetta come ricetta di successo del cliente per
dati di successo paziente ricetta hmm medica
come possiamo disegnare sì ci sono tonnellate di
a proposito, possiamo trarre conclusioni
di voi conoscete un trattamento applicato alcuni
finestra temporale prima del trattamento essere per a
paziente con un insieme casuale di sai
categorie o definizioni possiamo consentire
i medici per fornire effettivamente un migliore e
trattamento accurato e più personalizzato
non questo non è solo usato per
marketing personalizzato puoi farlo
utilizzare personalizzato per molti diversi
processi e sta succedendo molto
settore medico oggi come si fa
ottimizzare per fare meno Eric Hadoop se
c’è una cosa che Hadoop è bravo in questo
Ho visto gli schieramenti di produzione finiti
e ancora una volta sta raccogliendo dati fatti
nuove intuizioni per migliorare un essere umano
processo interattivo sia come dovrei
distribuire i miei film a diversi
regioni
negli Stati Uniti, ad esempio in base al loro
preferenze un sabato sera lo sai
puoi fare analisi dei dati del paziente
o dati dei clienti come posso distribuire il mio
la mia merce in un modo migliore per
accogliere il cliente Regents that
Ho davvero avuto la possibilità di mettere fine alle bugie
con più dati disponibili sia non solo
feed Twitter ma sai se puoi
combinare queste due risorse si ottiene a
migliore intuizione e chi hai a che fare
e questa è la visione così globale
rivenditore online avevano 22 suddivisioni
diversi marchi di rivenditori e avevano
migliaia di prodotti diversi loro
avere un negozio online e hanno reale
negozi che vuoi capire se a
cliente che va online e guarda
qualcosa in realtà va al tuo vero
immagazzinalo e acquistalo più tardi
combinare questi dati e per ciascuno
suddivisione in cui hanno fondamentalmente avuto un sacco di
processi ripetitivi hanno fatto lo stesso
elaborazione in mateesah o l’ intero
dati che avevano entrambi e in tutto il
luogo hanno avuto la stessa elaborazione
attraverso parti dei dati e loro
effettivamente fatto una strategia Hadoop a
decisione di sostituirne una parte
un repository di dati su Hadoop riduce a
molti carichi di lavoro di elaborazione ambientale
che sono stati fatti da ciascun dipartimento
potrebbe ottimizzare il data warehousing
ambiente e indovina cosa potrebbero fare
marketing migliore supporto clienti migliore
e invece di aspettare quattro settimane per
accedere ad alcune di queste fonti di dati a
trovare questi miglioramenti di business che
stavano bloccando le loro squadre da fare
il loro lavoro ogni squadra potrebbe ottenere i dati
immediatamente quando ne avevano bisogno lì
è stato un sacco di tempo
cantando e questo è un grande dollaro per
quella compagnia, quindi vorrei avere di più
tempo di parlare sì come vedi c’è un
molti casi d’uso interessanti che io
non andrò più in profondità oggi ma qui
stiamo toccando quella terra di
eccitazione che mi piace davvero imparare
di più ma posso indicarti di più
usa i casi se sei interessato a leggere
così che cosa prendere in considerazione
un minuto per questo i vantaggi chiave bit
di passare a Hadoop è un per lineare
scala senza i lotti estremi del cartellino del prezzo
di flessibilità che non devi decidere
da cosa fare con i tuoi dati tu
puoi cambiare strada più tardi perché tu
non applicare la struttura ai tuoi dati
fino a quando non vuoi chiedere qualcosa, non lo è
salvati con i tuoi dati ora puoi combinarli
e analizzare diversi dati di silos in un modo
non è possibile o costoso o tu
devo fare un sacco di lavoro da fare oggi
apre la porta per espandere il business
nuove domande okay ma prima di andare
lì ora ti ho promesso che conosci l’oro
e castelli lucenti proprio quello che ho visto
con tutte queste compagnie se non lo fai
avere un caso d’uso guidato dal business valido
come se avessi in realtà un obiettivo da mantenere
quella finestra di 18 ore e tu stai per
rompilo sai o la società non lo è
con te su ciò che puoi guadagnare da
facendo questo investimento per fare ah tu sei
molto probabile che si adatti perché Hadoop è un
investimento forse ad un prezzo più economico
tag ma quello di cui sto parlando è qui
ci sono un sacco di materiale didattico che non lo è
la spina preconfezionata e giocare è
arrivarci ma questo è un
cosa hai visto come 13 15 diversi
componenti che devono essere intrecciati
insieme e sì, Clara lo fa fuori
la scatola per te ma quello era il mio unico
passo del prodotto e lo rende più facile con
gestione e tutto ma è ancora
una curva di apprendimento per ogni cliente che parlo
a te è come dal primo
comprensione che questa potrebbe essere la volontà
in realtà risolvono i loro problemi attuali
guidato da imprese, sei sei mesi tu
sai che devi allenare le persone che frequentano la scuola
infrastruttura di gestione che potresti farti
conosci l’acquisto che dalla confusione ma tu
so che è come si fa a integrare con la
resto del tuo ambiente come fai tu
in realtà sai che lo sosterrai
nella tua organizzazione, fuori e
l’ultimo punto poi mi fermerò
parlando finalmente conosci la sicurezza PCI
visibilità della produzione di conformità AJ questo
stiamo arrivando come vuoi gestire
questo perché sì ci sono soluzioni
ma sta ancora emergendo, quindi devi
conosci molto prima di andare in produzione
su questo e non ci sono tutti i casi d’uso
chi è montato su come lo faccio spesso
ottenere la domanda intorno a ciò che riguarda LTPS
è a testa alta pronto per il vero come tutti
i casi d’uso su un interessato in
magazzino e no non ancora adesso io
direi che questo è ciò che fa la maggior parte delle persone
prendi un carico di lavoro etail essere il
il più semplice più semplice e
business motivato per qualcuno che
non è a conoscenza di tutte le altre bontà
questo è il numero uno per le persone da utilizzare
iniziato perché in realtà risulta
grande successo poi, quando si ha
l’attenzione di tutti voi espandete
altri questi casi e poi puoi pensare
di fare in realtà devono uscire
oppure posso servire qualche altra squadra in
un’organizzazione su questo posso ottenere
un’altra squadra che aumenta il tuo valore
della tua testa il tuo investimento una volta
espandere l’impronta è facile da
lì e poi si arriva a far crescere la tua squadra
addestrare le persone e aumentare il tuo Hadoop
la conoscenza all’interno dell’azienda vado
lasciarti con un quiz se loro solo
tenuto che ho avuto così tante cose interessanti
la cosa così hai imparato un po ‘
su come diremo da te
usare Hadoop ha detto che spero sia stato buono Larry
capra per favore, ecco dove puoi imparare
più le diapositive saranno al tuo
convenienza attraverso il go to come prima cosa
esce da quanti credono che il
la tecnologia è il vero grande dato
sfida buona, ok, quanti credono
che la conoscenza è i dati reali
sfidiamo la conoscenza come posso accedere
informazioni su questa tecnologia alcuni
lavoro sai che è l’esperienza
di questa conoscenza un po ‘di questa tecnologia
condividi hmm yeah conoscenza del
la tecnologia va bene così ci sono poche mani
Direi di sì, sai che sai
un po ‘la sfida che molti pensano
è la mancanza di persone in realtà
con esperienza con cui sei tornato a casa
la loro costruzione è iniziata sì quindi è molto
difficile trovare scienziati di dati o
persone esperte in Hadoop che è
conosci una delle ragioni principali che amo
questa conferenza va a perché posso esserlo
qui posso condividere la mia felicità su questo
tecnologia ed eccitazione e posso
incoraggiare le persone ad entrarci perché
loro avranno bisogno di parole fidatevi di me
e passare il tuo tempo prezioso con me
o i prossimi 45 minuti ah questo è un nuovo
presentazione così da portare con me, per favore, dai
un segno se ho bisogno di sapere per te smettere
domande o se ho bisogno di accelerare il bordo
sai che voglio davvero che sia così
tempo prezioso per te quindi sentiti libero di farlo
salta dentro con commenti lungo la strada
come ha detto Steve sono qui per parlare
circa un po ‘più pratico in giro
come le organizzazioni usano Hadoop è il
la domanda più frequente che ho è come
ok, so come fare questo
so che è un’elaborazione distribuita
struttura e soluzione di archiviazione ma che cosa
i clienti cosa fanno le organizzazioni
effettivamente fare con esso non so se io
necessità di fare quando dovrei distribuirlo
apri cosa fa effettivamente per me così
quelli sono i tipi di domande che sono
andando a cercare di concentrarsi su e poi di
Certo che vado in giro
in seguito se vuoi di più lo sai
informazioni dettagliate o più domande
Sono felice di prendere questa discussione
in seguito, quanti di voi conoscono il Duca
oh, quindi la mia panoramica super veloce potrebbe
in realtà non essere la cosa super veloce così
Ho intenzione di poi camminare attraverso cosa
Hadoop è e prendilo un po ‘di più
tempo qui che significa che potrei avere a
tagliare alcune diapositive alla fine che è
bene li lascerò indietro così Hadoop
è come ho detto distribuito distribuito
piattaforma per l’elaborazione dei dati che è il
modo più semplice per descrivere cosa diavolo
pisci e sta mirando a quelli difficili
problemi che sono diventati sempre di più
frequenti questi giorni intorno ai big data
c’è un volume più grande di dati
entrando ci sono molti tipi diversi
di dati che potrebbero non corrispondere all’improvviso
i tuoi attuali modelli di dati o struttura
database come ti metti a sapere
Feed di Twitter nei tuoi dati di vita SQL
infrastruttura e fare domande attraverso
set di dati non è davvero un
modo economico di metterlo in
sistemi tradizionali perché il flusso
i dati sono così ricchi della varietà di dati
i tipi sta espandendo ciò che possiamo gestire
con i sistemi tradizionali e tu sai
che la velocità dei dati generati
è in crescita esponenziale quindi questo è il
grande spazio di problemi di dati in cui è venuto Hadoop
in giro come una tecnologia molto interessante
è cresciuto in quello che sai di più
tecnologia popolare per risolverli
problemi così Hadoop è in realtà consiste
di due componenti MapReduce e HDFS
Hadoop ha distribuito il file system in modo HDFS
puoi pensare come il file distribuito
sistema la memoria più tardi sto andando a
passa avanti e indietro così davvero
avere un’idea di tutti questi componenti
MapReduce è un framework basato su java che
puoi implementare i tuoi algoritmi di
carichi di lavoro cosa vuoi fare al tuo
dati come vuoi elaborarlo ciò che
vuoi estrarre le righe in questo file
sono di tuo interesse e tu
in realtà voglio fare con quello che vuoi
contare il numero di a
dice che vuoi conoscere aggregato
applica qualche logica a questi dati bene una volta
a trovarlo questo è il problema che
MapReduce le anime così i mapper sono
trovando i tuoi dati nel tuo set di dati
hai memorizzato in confusione HD in a
moda distribuita e i riduttori sono
effettivamente facendo la logica di aggregazione
riducendo quel set di dati alla risposta
stavamo cercando di tenerlo molto
i livelli alti lo hanno reso così MapReduce
elaborazione parallela distribuita
quadro è scritto in Java ma tu
può realmente integrarsi con C ++ che conosci
altri linguaggi di programmazione in molti
modi diversi MapReduce è estensibile
tramite connettori o tramite API
integrazioni, ma in realtà si deve
il codice che mappate riduce il carico di lavoro da soli
che limita l’usabilità a forse
solo i programmatori, ecco perché nel
ecosistema sono spuntati altri tipi di strumenti
per rendere tali dati accessibili in più
modi tradizionali quindi se si guarda all’alveare
e maiale qui quelli erano una specie di
i prossimi progetti da far apparire nell’Hadoop
l’ecosistema hi fondamentalmente sta traducendo
erano le tue query SQL per MapReduce
chiuso così da uno standard tradizionale come
selezionerà la stella da la la dove questo
in questo corrisponde proprio a dire il vero
crea i processi Java lo percepiscono
il file system distribuito con il
i dati risiedono in piccoli blocchi trasversali
molte macchine e processano quei dati
al suo posto restituisce il valore
alveare di indossare la tua domanda recita un poema
dal sito comune e alto è
integrato con odbc e jdbc
connettori in modo che inizi a guardare
come oh ora sono un BDA o una bi persona
posso provenire da uno sfondo SQL
in realtà integrare e lavorare con Hadoop
e pagato è venuto in giro come molto semplice
conosci il linguaggio della carriera come preferisci ma
non il processo di sequenza segreta di quello che è
più orientato al processo quindi se sei un
programmatore che cammina leggermente nell’SQL
e il bi e lo spazio di analisi dei dati ha il maiale
stato che conosci diventare il più popolare
strumento strumento di query o linguaggio di carriera per
programmatori che si muovono nell’analisi dei dati
mentre l’alveare sta affrontando di più il bi
lato business intelligence e DBA
utenti che si muovono verso chi fa il programma pin
quindi in pratica serve lo stesso
scopo di semplificare la query sul tuo
dati ma è leggermente diverso
architettato per soddisfare questi due diversi
i gruppi di utenti hanno più senso
Certo che faccio re con una promessa di più
analisi avanzate perché in realtà
avere accesso a tutti i dati grezzi nella loro
i dati così come vengono generati vengono memorizzati
esattamente come questo in HDFS perché tu
non voglio lasciare nulla sul
tabella sei tipo di promessa di grande
i dati sono se memorizzi i dati non elaborati
può decidere in seguito cosa interrogare rispetto a
il mondo tradizionale che devi applicare
una struttura ai dati scala verso il basso
forse perdere alcune informazioni perché tu
devi adattarlo al tuo modello di dati tu
effettivamente forma i tuoi dati per il tuo
domanda nel mondo tradizionale mentre
in Hadoop pianificato non è necessario
decidere cosa chiedere fino a tempo di query e
è quando fai volare la tua struttura
i tuoi dati a quel punto nel tempo ci sono
nessun modello di dati bene con me finora sì
freddo
analisi così avanzate a questo
l’analitica avanzata è la promessa di
questo va bene cosa-cosa può fare con questo nuovo
tipo di dati che posso memorizzare all’improvviso
e questo apre la porta e l’ interesse
estremamente nel machine learning nella
paese quindi c’è un sacco di macchine
ricerca di apprendimento da molti anni
fa che ora sono entrati nell’indù
insipido e formato in te lo sai
implementando questi algoritmi sia tu
conoscere il clustering dei motori di raccomandazione
algoritmi di categorizzazione di algoritmi in
una moda parallela usando MapReduce
ricorda che MapReduce era il Java
quadro che è possibile implementare la vostra
algoritmo in modo da pensare alla macchina
algoritmi di apprendimento e come l’avvio
terra e terra di ricerca è ora in piena espansione
tutti questi scienziati stanno pensando bene
e se ora disponessimo di dati sufficienti
può avere senso con l’apprendimento automatico
l’apprendimento automatico ha faticato per il
modo per molto tempo come va bene funziona
per piccoli set e una volta che si espande
forse i modelli non seguono davvero
cosa succede se riesci ad allenare una modella su a
petabyte di dati, come puoi essere sicuro?
che funziona bene più sicuro che se tu
aveva solo alcune compresse, quindi è così
questo è come il fiorente interesse I
vedere un sacco di start-up nella Silicon Valley
su come fare algoritmi statistici
e algoritmi di apprendimento automatico
implementato tramite MapReduce
ornato nativamente attraverso qualche altro lavoro
caricare su colpirlo che sta succedendo
così l’apprendimento automatico è il mahout
progetto che fa parte dell’ecosistema ma
Scommetto che c’è di più da venire, noi
ultimamente ho visto un bisogno di più vicino
il lavoro in tempo reale vive nel tradizionale
mondo di Hadoop hi Mah mah e
MappaRiduce il nostro vecchio significato orientato alla produzione di lotti
devi prendere una JVM per ciascuno
MapReduce e immagina di avere
come migliaia di processi MapReduce
correndo in parallelo perché è possibile
questo è ciò che consente la scala lineare di
elaborazione / terabyte di dati ora che
non sono tutti i tuoi casi d’uso di cui hai bisogno
per applicare a quei dati che hai memorizzato
in questa piattaforma ne hai effettivamente alcuni
casi di uso del tempo narrativo pure per
seduta di analisi aziendale di istanza
seduto dietro di lui non so clic
visualizza l’interfaccia utente o tableau o micro
Scotty conosci uno strumento di zombi se tu
fai una domanda attraverso i tuoi tavoli in a
database i tempi di risposta è ciò che meno
di pochi secondi non lo so
a seconda della query, ma questo è
dati limitati a destra forse sono minuti se
è un uccello davvero complesso ora, se tu
dare il via alla stessa query sul riduttore di mappe
attraverso l’alto rutto che ci vorrà
un po ‘di tempo è come paragonare una Ferrari
su un autobus proprio sulla Ferrari puoi avere un
poche persone ci sono davvero veloci
andando a fare puoi avere molto e molto
di persone dentro ma ci vuole un po ‘di tempo
ma è più potente che puoi trasportare
più puoi sapere di far arrivare più persone
dove hanno bisogno di essere non so se
quell’analogia aveva senso, ma tu stai andando
per ascoltare altre analogie divertenti per
tutte le persone non ce l’hanno fatta
solo così le esigenze quasi in tempo reale create
queste nuove integrazioni per nuovi progetti
anche se guardi l’impala chris è così
era un’iniziativa in realtà da parte del
compagnia io lavoro per Claudia ma quello
non importa è ancora open source
di chiunque altro possa partecipare così è Impala
in realtà in tempo reale motore di query
non è basato su MapReduce che è il
tutta la chiave qui insieme ad alcuni altri
interessanti ottimizzazioni a basso livello come
basandosi sul pacchetto llvm e su tutto ciò
ma impala elabora le query SQL
direttamente sui blocchi di file distribuiti
che hai su molti molti server
nella tua testa su cluster quindi non è così
dare il via a JVM in modo che non usi Java
che accelera molto quando ne hai tonnellate
e tonnellate di processi per iniziare bene
quindi Impala è un nativo molto interessante
motore di query sul tuo file distribuito
sistema tutto il giusto peso solare è solare
parte dell’ecosistema Hadoop è ancora così
ultimamente il solare non so quanti
sapere di solare non più persone proprio così
il solare è un open source molto conosciuto
la ricerca è terminata, quindi è costruita sulla scena
è il tipo di servizio web costruito
intorno alla scena che è più
motore di indicizzazione adottato là fuori così
recentemente integrato con zookeeper solare
dal modo in cui è là fuori è un po ‘
sconosciuto ad alcune persone ma è più che sono
non come definirlo in un semplice
Parola inglese ma riguarda il processo
gestione o failover se ne hai
più server in esecuzione sul tuo cluster
e vuoi che tu sappia dire failover se
un processo va giù a qualcuno ha bisogno di
essere il cervello che tiene traccia di ciò
processo è in basso facciamo qualcun altro
il padrone o meno
ruotare su un altro server per tipo di correzione
e se i tuoi servizi vanno se il
sai se l’entità che tiene traccia
di dove tutti i blocchi di file per dimensioni se
che va giù qualcuno deve essere consapevole
di quello giusto quindi è un processo
gestione è quella che tiene traccia
dei processi di failover e sai anche
tenere traccia della configurazione di configurazione
file sai se un nuovo server si gira
cosa dovrei fare quando dovrei
appartiene a quel tipo di contatto informativo
zookeeper quel ragazzo lo sa tutto il
zookeepers tipo di cervello è come
semplice posso spiegare così la comunità solare
spostato in integrazione con zookeeper
qualcosa per abilitare un più robusto e
soluzione di ricerca scalabile ora hey aspetta a
minuto integrato con zucchi ma quello
significa che il solare è un po ‘come entrare in un
un po ‘toccando sulla testa di
comunità quindi l’ho messo qui perché
recentemente abbiamo anche integrato il solare per funzionare
in modo nativo su lettura e scrittura HMS
indici a questo file system distribuito
hey forse sta risolvendo questo problema di scala
archiviazione indice sai tutte queste cose
si stanno muovendo allo stesso modo che è
fondamentalmente porta il carico di lavoro al tuo
dati invece del contrario
perché spostare i dati in giro è costoso
quando cresce nelle dimensioni ha senso
Ho intenzione di tagliare questo breve non posso
ho così tanto da parlare, quindi q è un
strumento davvero buono se vuoi giocare
con la testa aperta e realizzare ciò che tutti
estremità posteriori sono circa e vi consiglio
in un download e gioca con te lo sai
forse puoi giocare con il nostro vm pre-costruito
ed esplorare questi diversi bonus per
devi essere l’interfaccia utente grafica
che puoi dare un senso a cosa
è tutto su ciascuna base è rapidamente
ha detto che è un negozio di valore chiave
un modo diverso di memorizzare i tuoi dati se
hai casi d’uso che richiedono una rapida ricerca
per un ID specifico ed è anche
orientato alla colonna è possibile questo è un
archiviazione eccellente per i flussi di clic per
istanza per uno specifico ID utente o IP
indirizzo o cosa hai salvato tutto
i clic sul tuo sito web per quell’ID
e questo ti permette di monitorare come gli utenti
effettivamente a piedi attraverso il tuo sito web
a proposito, ci sono molti dati da conservare
se hai molto traffico ma è a
causa d’uso molto comune per HBase perché
è basato su HDFS sotto così puoi
fondamentalmente basta memorizzare quei dati molto a caro prezzo
negozio scalabile in modo efficiente e lineare
giusto ma dal momento dell’uso di
esplorare bene cosa fanno i miei utenti sul mio
la pagina web richiede che la chiave trovi I
voglio tutto ok per tutti questi ID di I
non so dalla Danimarca, non voglio
per vedere come Danes utilizza la mia web di viaggio
sito per esempio questo è il veloce
soluzione di archiviazione per informazioni di ricerca
che vuoi elaborare per uno specifico
set di ID prima di un ID specifico di seguito
quindi è diverso da HDFS dove tu
può distorcere praticamente qualsiasi cosa
diverso mese quindi qualsiasi domanda su
Hadoop I potrebbe non rispondere ora ma
possiamo possiamo salvarli per il
domanda, ma poiché fa caldo nel tuo
la tua memoria cache in questo momento voglio
fermati e raccogli alcune domande o tu
puoi inserirli nella tua app, se lo sei
se parli solo danese hey quello è
silenzio so che sei stordito con il
visione okay grande um così ora per il reale
argomento ero qui per parlare di come
la gente lo usa bene inizierò
molto in alto ci sono due viste
nella mia mente questo è il mio due centesimi
condividendo la mia esperienza, così ci sono
due passaggi o due visualizzazioni di big data
problemi nelle organizzazioni oggi uno è
di nuovo il problema di scala che ho
questo sistema di gestione dei dati
nel mio ambiente oggi ma vedo o io
prevedere la grande crescita e non posso
davvero permettersi di aumentare il tradizionale
sistemi o ho domande così complesse
che chiedo ai miei dati di averli cresciuti
richiedere più tempo e più tempo per l’esecuzione
perché la query signore o il modello non lo è
scalabile giusto quindi è un problema di scala
per alcune aziende e questo è del
molto spesso dove le aziende iniziano da lì
sono anche altri driver per Hadoop
arrivare a loro ma se c’è come un
problema di crescita futura
sei preoccupato per l’abilità di domani
e non puoi davvero capire come
adattarsi o chiudersi nel tradizionale
sistemi che è un buon punto per andare e
guardalo, credimi più grande
le aziende hanno e l’altro driver è
più sulla combinazione di set di dati che ho
conosci le mie informazioni sul mio account e in
Salesforce ha qualche sondaggio con i clienti
in un database da qualche parte o in un file
archiviazione dei documenti ho i file di registro voi
so da questi clienti che ho il supporto
biglietti in qualche altro sistema ma puoi farlo
solo fare domande a quel silo o a te
devono lottare con qualche aggregazione
applicazione in cima e tu non davvero
sai che devi fare tutto il lavoro
proprio qui è dove lo trovo di più
interessante significa che questo è interessante
anche se è piuttosto semplice è
è più che altro voglio fare ai miei dati
quello che faccio oggi più di questo non è davvero
nuova la tecnologia è nuova ti aiuta
punto dolente ma per un ingegnere come
me stesso è come se non fosse quello
promessa di apprendimento automatico per l’innovazione
giusto così è qui che brucia il mio cuore
e perché lavoro con esso è come va bene
non c’è una scatola non so cos’altro può
le persone parlano di ok ecco la scatola
è la giusta analogia con i dati strutturati
di nuovo e pensa fuori dagli schemi ma dentro
l’inibizione quando non ci sono persone in scatola
non sono ancora venuti quando ciò che puoi fare
tutto non è stato inventato qui
questa è la parte nuova almeno per me
come posso posso davvero ottenere qualcosa
di 360 vista del mio cliente combinando
i loro dati di indagine di testo libero loro
i biglietti di supporto la loro contea fanno loro
hanno effettivamente avuto i tuoi clienti se
sono addestrati e ne hanno avuti alcuni
servizi di consulenza
è proprio vero o ciò che è un fattore
questo ti rende cliente felice perché
quello che scrivono nel testo libero non è mai
abbastanza perché non spendono abbastanza
tempo o sono come avere una brutta giornata
o sai cosa possono dirmi i dati
può aiutare a migliorare la mia attività o no
sai che mi dici cosa potresti essere in grado
fare se puoi fare domande attraverso
tutti i tuoi dati sono interessanti
domanda così irrisoria, solida, tipica
utilizzare i casi così il più comune che
sapete abbiamo molti 500 4-500
oggi le aziende sono in produzione
è guardare la tua infrastruttura
rendersi conto che i tuoi data warehouse sono fantastici
ma non è possibile ridimensionare il carico
venendo e spesso c’è un tempo fisso
finestra coinvolta quando loro realmente realmente
sai ok entriamo oggi che lo fanno
piano è un po ‘spaventoso perché non lo facciamo
lo so davvero e lo è ancora anche se
è in circolazione da molti anni cinque
più anni è ancora ok, ma è così
open source il suo tipo di evoluzione noi
non so davvero che c’è un c’è
soglia lì nella percezione di dovrebbe
entriamo davvero nel frullatore ma quando
ti rendi conto che una finestra temporale fissa di
avere quel processo di dati in tempo per
alcuni clienti isolano la maggior parte dei clienti
rendono conto di avere a guardare in questo è
il grande giorno aspetta solo naturalmente te
puoi spendere tanti e tanti soldi per te
conosci i data warehouse aziendali ma la maggior parte
le aziende non lo vogliono più quando
c’è un’alternativa quindi il lato
caso d’uso correlato qui è ovviamente quelli
query complesse se i tuoi dati crescono
è necessario eseguire la query su
cresce il tempo di risposta alle query
e alcune aziende con cui ho parlato
hanno effettivamente fermato alcuni dei loro
domande perché il non è un ragionevole
tempo di risposta più e questo è suono
bene a te e smetti di fare affari
intuizione a causa della tua infrastruttura
non essere in grado di supportarlo è come
stai perdendo soldi proprio lì almeno
secondo me puoi discutere ma voi tutti
avere il diritto alla mia opinione ci faremo tutti
ecco un esempio del mondo reale ora
Mi sto allontanando dalla mia opinione e
attaccare con i dati che è quello che sono
il tipo di dati del due per cento qui è vero è
la verità intendo um così un esempio a
la rete è un’azienda di archiviazione che avevano a
supporto proattivo molto interessante
processo di raccolta di tutti i loro dispositivi
e componenti componenti hardware e
file di registro in una casa tipo telefono di
meccanismo e analisi di questi file in
prevedere quando dovrebbero inviare a
componente di ricambio per i clienti
in tempo per quando quel componente è
in realtà fallendo in modo da poter ridurre
i loro tempi di fermo dei clienti quindi questo è gentile
di un caso d’uso di supporto proattivo ho fatto io
spiegalo chiaramente, così avevano circa
600.000 dai log di casa per elaborare ogni
settimana e avevano un limite di quaranta
percentuale di quei file di registro che devono
essere completato entro una finestra di 18 ore
durante il fine settimana per incontrare i loro saggi
ora questa era un’ottima compagnia loro
ha avuto molti clienti felici grazie a
questo processo forse e il loro cliente
sise crebbe che è una buona cosa che vuoi
che succedesse comunque anche quello
con sette terabyte a bocca dati
crescita delle dimensioni del
e stavano già colpendo il loro tempo
vincolo di finestra che non potevano elaborare
il quaranta percento di quel carico di dati in arrivo
entro 18 ore è la finestra fissa
Ho parlato di questo è dove il dolore
viene come faccio a ridimensionare l’elaborazione
per mantenere quella finestra e anche loro avevano
alcuni di questi compongono query complesse
limitazioni che ho pensato quando loro
passare a Hadoop nella produzione che hanno fatto
scoprire che potrebbero sicuramente incontrare
tasso di crescita di sette terabyte al mese e
anche loro sanno di aver anticipato i costi
di dover crescere ancora di più con
la loro infrastruttura tradizionale è
più economico da buttare di più
nodi in un cluster Hadoop e vai a comprare
alcune soluzioni proprietarie che sono obsolete
e illimitato nella sua flessibilità giusta
e potrebbero anche improvvisamente fare quelli
parole complesse potrebbero chiedere anche a loro
potrebbe fare domande che non avevano chiesto
prima delle domande che toccavano oltre 240
miliardi registra la query che non lo era
possibile nel loro sistema precedente
perché non era una risposta realistica
tempo nessuno si sarebbe seduto lì per te lo sai
mesi perché la risposta è andata così
dai tempi di risposta del più complesso
domande che hanno ancora funzionato da settimane
di tempo di risposta due ore è a
miglioramento misurabile e potrebbero
improvvisamente chiedi di conoscere nuovi modelli
per eseguire il debug e aiutare il reale
qualità dei componenti così là
non c’è solo il punto che sto cercando di fare
fai qui non c’è solo una vittoria con
Hadoop una volta che vai a Hadoop devi fare
altre cose è la tua giornata
tanti dieci minuti dalla fine questo è solo
caso d’uso divertente va bene così un po ‘
architettura per avvolgere quel caso in uso
e ho altri cinque casi d’uso che è
un triste dovrei avere due ore o parlare
più veloce quindi ecco un molto comune
dispiegamento oggi hai il tuo
data warehouse o database aziendali
o i backend tradizionali usi lo scoop
di cui non abbiamo parlato prima ma
è il connettore che è in grado di parlare
a backend strutturati trasporta il tuo
dati in HDFS e mantenere così la struttura
conosci effettivamente colonne o righe e
tutto ciò che riguarda i tuoi dati se tu se vuoi
a te puoi prenderlo per questo tu
prendi i tuoi dati in HDFS che fanno
MapReduce l’elaborazione per fare un po ‘
pulire più aggregazione di dati è
è etl so che voglio preparare i miei dati
un certo modo per questo tipo di query o
la prossima settimana voglio prepararmi in modo diverso
per la mia domanda non importa che puoi
cambia sempre idea, ma è di più
flessibile in Hadoop li usano così
MapReduce per fare un po ‘di aggregazione attraverso
paio di database o back-end e
poi hanno schierato ciao perché era così
tu conosci il percorso più semplice in avanti
già ne sapevo un po ‘
MapReduce e loro potrebbero fare dei test
domande attraverso il loro tradizionale bi
strumenti abbastanza rapidamente si sono stancati di
tempi di risposta elevati e Impala distribuito
quindi hanno ottenuto secondi tempi di risposta o
minuti di risposta al posto tuo
conoscere ore e poi anche molte aziende
poiché fa parte dell’elaborazione dei dati
pipeline sai che hanno 18 ore
finestra temporale per elaborare tutti questi registri
entrando a destra ma poi vogliono anche loro
fare qualcos’altro con quei registri
vogliono farti conoscere l’elaborazione dei log
in qualche altra forma quindi si puoi fare
quello in Hadoop ma molte aziende no
Oh molte aziende non fanno tutto a
una volta che inizi da qualche parte, portano il tuo
carico di lavoro carico di lavoro ben definito su
YouTube e poi lo vedono in
successo significa che potrebbero portare
quelli che preparano pezzi di dati a
i loro sistemi tradizionali di nuovo usando
prendi e poi puoi servire al tuo
rapporti regolari non devi cambiare
tutto in una volta, ma cosa succede
spesso come le persone si muovono per fare è quelli
altre cose che ho detto apre i loro occhi
possono fare più cose così si muovono
un altro carico di lavoro su colpirlo e
rendersi conto che questo ha funzionato abbastanza bene come
bene e poi la parola si diffonde agli altri
squadre all’interno della loro organizzazione
voglio usare Hadoop e all’improvviso
diventa questa funzione di servizio Hadoop in
la compagnia e questo è dove interessante
le cose accadono perché poi improvvisamente due
iniziano i team all’interno della stessa organizzazione
condividere i dati e puoi andare da lì
al mio preferito sai usare il caso di cosa
nuovo puoi davvero fare ciò che è nuovo
intuizioni e tu sai che non lo farò
essere in grado di coprire gli altri
introduzione rapida ha portato via un po ‘di tempo per ricordare
ma ho un caso d’uso di elaborazione del registro
conosci un sacco e molti tronchi
tipi e di elaborare oggi non in realtà
avere la capacità di raccogliere
tutto ciò che potevano e solo a
citare il momento saliente della loro unica compagnia
So che ho preso questi blocchi ops
correlato con la campagna di marketing
campagne e realizzi per lo sai
Le campagne di marketing incentrate sul debito erano
in realtà il motivo che pochi giorni
in seguito i loro servizi web sono andati giù
perché il traffico stava sbirciando all’improvviso
così per ogni campagna di marketing dev
in avanti hanno fatto un’espansione del cluster
per il loro piano di servizi web in modo che loro
potrebbe mantenere i loro saggi al nuovo
traffico che in realtà volevano
catturare
da quegli eventi così dati correlati
tra le organizzazioni è eccellente
esempio di quale valore funziona anche io
alcuni servizi finanziari ti hanno fermato
conoscere il rilevamento delle frodi è molto molto
caso di uso comune su chi è in grado di
realizzare le anomalie di molti
i dati sono più facili di quelli che hai
solo il lavoro può permettersi tre mesi di
dati in modo anomalo rilevamento anomalia
rilevamento di qualsiasi dato tu abbia voi
voglio vedere dove non va bene il
schema ora ci stiamo toccando
ancora una volta apprendimento automatico della previsione degli eventi
nessuna categorizzazione di estrazione del modello
cluster all’occhio umano o due basati su
troppe poche informazioni disponibili
nei tuoi sistemi tradizionali non puoi
li percepisco davvero e ne abbiamo molti
società di servizi finanziari telco
rivenditori online che distribuiscono frodi
rilevando questo anomalo che hanno già
quegli algoritmi di pattern precedenti ma
applicato a meno dati ora hanno
li ha reimplementati in parallelo a MapReduce
modo di elaborare più dati e quindi
loro possono sapere ottenere questo più difficile a
trovare anomalie e mantenere il loro marchio come un
cervello sicuro di fiducia ma i dettagli lo sono
nelle diapositive qui possono leggerli
in seguito anche in questo caso usano
floom floom è che conosci lo streaming
il lavoro di stampa di data ingest è a
pub tradizionale sub architettura it
esce dalla scatola con un gazillion
fonti che consumano streaming diversi
data log4j Twitter API sai cosa
hai e puoi configurare il canale
trasmetti quegli eventi e conosci il filtro
in qualsiasi modo tu voglia sul modo di dati
in esso e dal canale si può anche
scrivi direttamente al solare se lo vuoi
indicizzato sulla sua strada in te puoi scrivere il
i dati su HBase o HDFS sono molto
il framework molto scalabile tutto a
gestire la coppia di terabyte che conosci
Terabyte aggiungere una grande generazione e
i clienti dicono che non hanno
che oggi potrebbe essere perché loro
non li raccolgo ma di nuovo lo farei
voglio prenderlo perché sono
dove il valore è giusto un altro e io
ho parlato di HP scrivendo ad una faccia questo
uno quanto tempo sono fuori tempo oh
davvero e ho tempo extra tutto bene
starà proprio fuori dalla porta e
fai domande um così il 360 faccio
in realtà parlato all’inizio
hai dati di account di dati di mercato
trovare il cliente ora cambia cliente
ricetta come ricetta di successo del cliente per
dati di successo paziente ricetta hmm medica
come possiamo disegnare sì ci sono tonnellate di
a proposito, possiamo trarre conclusioni
di voi conoscete un trattamento applicato alcuni
finestra temporale prima del trattamento essere per a
paziente con un insieme casuale di sai
categorie o definizioni possiamo consentire
i medici per fornire effettivamente un migliore e
trattamento accurato e più personalizzato
non questo non è solo usato per
marketing personalizzato puoi farlo
utilizzare personalizzato per molti diversi
processi e sta succedendo molto
settore medico oggi come si fa
ottimizzare per fare meno Eric Hadoop se
c’è una cosa che Hadoop è bravo in questo
Ho visto gli schieramenti di produzione finiti
e ancora una volta sta raccogliendo dati fatti
nuove intuizioni per migliorare un essere umano
processo interattivo sia come dovrei
distribuire i miei film a diversi
regioni
negli Stati Uniti, ad esempio in base al loro
preferenze un sabato sera lo sai
puoi fare analisi dei dati del paziente
o dati dei clienti come posso distribuire il mio
la mia merce in un modo migliore per
accogliere il cliente Regents that
Ho davvero avuto la possibilità di mettere fine alle bugie
con più dati disponibili sia non solo
feed Twitter ma sai se puoi
combinare queste due risorse si ottiene a
migliore intuizione e chi hai a che fare
e questa è la visione così globale
rivenditore online avevano 22 suddivisioni
diversi marchi di rivenditori e avevano
migliaia di prodotti diversi loro
avere un negozio online e hanno reale
negozi che vuoi capire se a
cliente che va online e guarda
qualcosa in realtà va al tuo vero
immagazzinalo e acquistalo più tardi
combinare questi dati e per ciascuno
suddivisione in cui hanno fondamentalmente avuto un sacco di
processi ripetitivi hanno fatto lo stesso
elaborazione in mateesah o l’ intero
dati che avevano entrambi e in tutto il
luogo hanno avuto la stessa elaborazione
attraverso parti dei dati e loro
effettivamente fatto una strategia Hadoop a
decisione di sostituirne una parte
un repository di dati su Hadoop riduce a
molti carichi di lavoro di elaborazione ambientale
che sono stati fatti da ciascun dipartimento
potrebbe ottimizzare il data warehousing
ambiente e indovina cosa potrebbero fare
marketing migliore supporto clienti migliore
e invece di aspettare quattro settimane per
accedere ad alcune di queste fonti di dati a
trovare questi miglioramenti di business che
stavano bloccando le loro squadre da fare
il loro lavoro ogni squadra potrebbe ottenere i dati
immediatamente quando ne avevano bisogno lì
è stato un sacco di tempo
cantando e questo è un grande dollaro per
quella compagnia, quindi vorrei avere di più
tempo di parlare sì come vedi c’è un
molti casi d’uso interessanti che io
non andrò più in profondità oggi ma qui
stiamo toccando quella terra di
eccitazione che mi piace davvero imparare
di più ma posso indicarti di più
usa i casi se sei interessato a leggere
così che cosa prendere in considerazione
un minuto per questo i vantaggi chiave bit
di passare a Hadoop è un per lineare
scala senza i lotti estremi del cartellino del prezzo
di flessibilità che non devi decidere
da cosa fare con i tuoi dati tu
puoi cambiare strada più tardi perché tu
non applicare la struttura ai tuoi dati
fino a quando non vuoi chiedere qualcosa, non lo è
salvati con i tuoi dati ora puoi combinarli
e analizzare diversi dati di silos in un modo
non è possibile o costoso o tu
devo fare un sacco di lavoro da fare oggi
apre la porta per espandere il business
nuove domande okay ma prima di andare
lì ora ti ho promesso che conosci l’oro
e castelli lucenti proprio quello che ho visto
con tutte queste compagnie se non lo fai
avere un caso d’uso guidato dal business valido
come se avessi in realtà un obiettivo da mantenere
quella finestra di 18 ore e tu stai per
rompilo sai o la società non lo è
con te su ciò che puoi guadagnare da
facendo questo investimento per fare ah tu sei
molto probabile che si adatti perché Hadoop è un
investimento forse ad un prezzo più economico
tag ma quello di cui sto parlando è qui
ci sono un sacco di materiale didattico che non lo è
la spina preconfezionata e giocare è
arrivarci ma questo è un
cosa hai visto come 13 15 diversi
componenti che devono essere intrecciati
insieme e sì, Clara lo fa fuori
la scatola per te ma quello era il mio unico
passo del prodotto e lo rende più facile con
gestione e tutto ma è ancora
una curva di apprendimento per ogni cliente che parlo
a te è come dal primo
comprensione che questa potrebbe essere la volontà
in realtà risolvono i loro problemi attuali
guidato da imprese, sei sei mesi tu
sai che devi allenare le persone che frequentano la scuola
infrastruttura di gestione che potresti farti
conosci l’acquisto che dalla confusione ma tu
so che è come si fa a integrare con la
resto del tuo ambiente come fai tu
in realtà sai che lo sosterrai
nella tua organizzazione, fuori e
l’ultimo punto poi mi fermerò
parlando finalmente conosci la sicurezza PCI
visibilità della produzione di conformità AJ questo
stiamo arrivando come vuoi gestire
questo perché sì ci sono soluzioni
ma sta ancora emergendo, quindi devi
conosci molto prima di andare in produzione
su questo e non ci sono tutti i casi d’uso
chi è montato su come lo faccio spesso
ottenere la domanda intorno a ciò che riguarda LTPS
è a testa alta pronto per il vero come tutti
i casi d’uso su un interessato in
magazzino e no non ancora adesso io
direi che questo è ciò che fa la maggior parte delle persone
prendi un carico di lavoro etail essere il
il più semplice più semplice e
business motivato per qualcuno che
non è a conoscenza di tutte le altre bontà
questo è il numero uno per le persone da utilizzare
iniziato perché in realtà risulta
grande successo poi, quando si ha
l’attenzione di tutti voi espandete
altri questi casi e poi puoi pensare
di fare in realtà devono uscire
oppure posso servire qualche altra squadra in
un’organizzazione su questo posso ottenere
un’altra squadra che aumenta il tuo valore
della tua testa il tuo investimento una volta
espandere l’impronta è facile da
lì e poi si arriva a far crescere la tua squadra
addestrare le persone e aumentare il tuo Hadoop
la conoscenza all’interno dell’azienda vado
lasciarti con un quiz se loro solo
tenuto che ho avuto così tante cose interessanti
la cosa così hai imparato un po ‘
su come diremo da te
usare Hadoop ha detto che spero sia stato buono Larry
capra per favore, ecco dove puoi imparare
più le diapositive saranno al tuo
convenienza attraverso il go to come prima cosa
esce da quanti credono che il
la tecnologia è il vero grande dato
sfida buona, ok, quanti credono
che la conoscenza è i dati reali
sfidiamo la conoscenza come posso accedere
informazioni su questa tecnologia alcuni
lavoro sai che è l’esperienza
di questa conoscenza un po ‘di questa tecnologia
condividi hmm yeah conoscenza del
la tecnologia va bene così ci sono poche mani
Direi di sì, sai che sai
un po ‘la sfida che molti pensano
è la mancanza di persone in realtà
con esperienza con cui sei tornato a casa
la loro costruzione è iniziata sì quindi è molto
difficile trovare scienziati di dati o
persone esperte in Hadoop che è
conosci una delle ragioni principali che amo
questa conferenza va a perché posso esserlo
qui posso condividere la mia felicità su questo
tecnologia ed eccitazione e posso
incoraggiare le persone ad entrarci perché
loro avranno bisogno di parole fidatevi di me
Please follow and like us: