il titolo del discorso è un grande dato
sfide e opportunità come una questione
di fatto ti dirò tre storie
e poi deciderete quale storia
sei come meglio così sai che questo è
big data Penso che stavamo parlando
sui dati che conosci nel
conferenza già i dati provengono da tutti
tipi di fonti che conosci digitali
immagini o video o post per social
media e cose del genere e c’è un
molti di loro quindi ci sono molti dati
venendo ogni giorno quindi inizierò con
la prima storia così quello che vorrei
fare è raccontarti la nostra storia
detto dal punto di vista del business in primo luogo
e poi avremo un piccolo minuto per
rivedere se si guarda a ciò che i media
dice che i big data stanno diventando una cosa importante quindi
se pensi a McKinsey ha un rapporto
i big data sono una nuova frontiera per
produttività della concorrenza dell’innovazione
La Commissione europea dice che i dati sono a
nuovo oro e hanno un’iniziativa per
aprendo i dati dati pubblici in
il settore pubblico, quindi cosa fanno?
loro bene prima di tutto non c’è nemmeno un
definizione di Big Data e ho trovato
uno che ho trovato molto interessante
perché è molto bello il Big Data
tutto ciò che è abbastanza grande in modo che il
strumenti software esistenti sono ora in grado di
gestirlo quindi vale a dire le basi di dati o
qualunque sia , è molto bello
definizione perché in realtà
puoi usarlo col passare del tempo così i dati lo faranno
Crescere la cosa interessante è ora il
i dati sono veloci e sono molti
dati ma sarebbe più lì e
ci saranno più dati che noi di più
strumenti ed è come qui entriamo in un
situazione in cui i dati sono come dati
scienza così lo scienziato lo sa
molto tempo perché hanno un sacco di
dati scienza e spazio ma ora il
l’industria sta vivendo l’intero importo
dei dati che non ha avuto prima
e il Kachina
quindi questo finale è abbastanza buono
perché non è definito in termini di
dimensione dei dati saranno i set di dati
aumentare in futuro comunque e anche
varia a seconda del settore, quindi è così
diverso sai che può variare
terabyte che non è big data per alcuni
definizione per pagare il pregiudizio su qualcosa
così è così ovunque
questo è ciò che McKinsey ha capito è
non molto di una scoperta qui e
è importante per ciò che è così
I Big Data dovrebbero fare bene
supposto per creare valore almeno cosa
McKinsey si sta dicendo noi così lasciato che
rivedere ciò che sta creando lucidi
la scoperta ha bisogno di una variabilità delle esportazioni in
clienti di segmentazione delle prestazioni così tu
può indirizzare le persone a una migliore sostituzione
sostenere la decisione umana e fare le cose
automatico e non manualmente più e
trovare un nuovo modello di business che è cosa
dicono che questo è uno degli esempi di
come loro sanno che sostengono questo
potrebbe essere la base per la competizione
crescita e azienda individuale e non c’è
un esempio qui è un particolare sarto
che in una citazione del nome che
perché scavano nei dati con nuovi
l’analisi effettivamente migliorerà il
margine operativo del 60% ora la domanda
è come lo calcolano sessanta
per cento ora questo è il tipo di rapporto
che l’azienda sta facendo per definire il
opportunità e poi lo capiscono
come lo misuro e dicono bene
Dovrei considerare solo quelle azioni
sono legati ai dati e se in altro
non è un somalo al 60% che cita cosa
dicono al momento, ma penso sia
interessante che identificano alcuni settori
quello che promette l’ assistenza sanitaria è uno
il ministero del settore pubblico è uno ma
c’è un soldo lì perché c’è
nessun incentivo a pubblicare i dati così
i dati non sono in genere digitali e loro
bisogno di essere trasformato e renderlo aperto
e a meno che non ci sia una spinta per
il
non lo faranno globale personale
dati sulla posizione ben sapete a riguardo
c’è molto rischio perché molto
i dati personali hanno fatto tutto il posto
vendita al dettaglio e produzione questi sono i
gli errori con McKinsey hanno identificato
i settori promettenti che McKinsey lo rappresenta
fuori quello la scarsità e il
limitazione su ciò è che ci sono
non abbastanza persone talento in giro
di solito avete bisogno di persone con un sacco di
competenza tipicamente con il dottorato di ricerca in
informatica forse in analitica in
apprendimento dell’apprendimento automatico di data mining
e non sono troppi in giro e quello
potrebbe diventare un fattore limitante, quindi è così
cosa ci dicono anche gli affari
identifico quello che chiamano problemi andrò
più tecnico, ma io vado
molto velocemente a casa da quella parte che chiamano
sulle politiche di dati che è in genere
non la parte tecnica sai come faccio
memorizzare e calcolare i dati una volta che ho
loro con analisi e voi in genere
Le Olimpiadi lo chiamano tecnologia e
tecniche
Mi piace che le tecniche funzionino perché
sembra molto vecchio stile, ma deve
fare con la sicurezza della privacy intellettuale
accesso di proprietà ai dati
perché i dati provengono da fonti diverse
e la struttura del settore che è il
cosa interessante che non tutti i settori
sono gli stessi un esempio qui è un
non c’è pressione nel settore pubblico
così in un altro settore potrebbero farlo
essere alla guida del profitto non è il caso
nel settore pubblico anche se c’è un
molto potenziale lì in genere se
guardi alle sfide nei big data
puoi classificarli in tre
gestione e gestione dei dati delle categorie I
Ho appena passato una lista che non volevo
per metterli nella categoria e vado
rapidamente su quello prima di tutto è un volume
perché la difficoltà è fuori per affrontare
con la dimensione di questi dati questi sono
alcuni numeri che puoi leggere
Ero interessante, c’era un gentiluomo
a partire dal
prima che Twitter ne generasse sette e più
terabyte di dati ogni giorno e Facebook
dieci terabyte vida quindi non puoi immaginare
per citare ad esempio intelligente
sensori c’è un qualcosa chiamato il
Internet of Things il modo futuro di
usando internet con sensore intelligente
guiderà e ti invierà tutti i tipi di
i dati in tutto il luogo in modo poi tutto ad un
improvviso si avrà una marea di dati le
la varietà è in realtà un fattore importante
perché hai un tipo multi-ciclico
quindi non solo tu hai dati strutturati
avere dati semi strutturati come e tu
avere dati grezzi in genere il più morbido
gli strumenti che abbiamo sono in qualche modo
specializzazione del database delle relazioni
funziona molto bene con i dati strutturati con
testo non funzionano affatto e noi
ruotare che non sanno nemmeno cosa
è provare a memorizzare le immagini in un database
e lo vedrai così l’altro
le sfide non sono davvero tecniche
ma è importante se sei interessato
nella tua attività sul tuo sviluppo in
lavorare con i big data è dato
disponibilità è là dei dati disponibili e
molto interessante un buon processo sarà
in genere prendere una decisione sbagliata se il
i dati non sono buoni e questo dà a
la qualità dei dati quanto sono buoni i dati
e all’estero è una copertura che conosci se tu
avere un dato che sta indicando una malattia
in determinati luoghi e alcuni dei
posizione ha dati di cattiva qualità e in
qualche altra posizione è abbastanza buona allora
potresti finire per fare il cattivo
analisi perché allora sei
predire qualcosa che non è basato
su dati coerenti che è molto
importante applicabilità che vedi come
esempio che ha un mio collega
fatto su di te conosce l’influenza e questo è
ha davvero a che fare con la migliore qualità
velocità, sapresti che c’era
esattamente la presentazione prima di parlare
sul calcolo delle stringhe quindi è chiaro
un problema, ma credo che il più
questione importante che non è molto
capito è ciò che chiamano l’ ira
città così ancora una volta mi farà fronte con
incertezza in posizione mancante
informazioni o anche errori su
la verità nei dati è un sacco dei nostri problemi
qua e là uno studioso è un grande
sfida sai come trovare in alto
dati di qualità là fuori sul web il
persone su Google a cui stanno lavorando duramente
loro lo sai questo c’è un gruppo di
persone che lavorano su Google tabelle e
questa è esattamente la loro sfida senza dati
scoperta una volta che hanno i dati loro
può aggregarlo e presentarlo
un qualche tipo di visual così ancora una volta determinare
la qualità dei set di dati e dei loro
la rilevanza per il problema specifico è
abbastanza difficile e questi sono tutti aperti
domande quindi queste sono tutte aree di lavoro
sia in ricerca e sviluppo che
dovrebbe essere affrontato e combinato
più set di dati perché è così
in realtà sono di nuovo la parte difficile
Vado per i dati della lista
comprensibilità così sono in onda con
la nostra copertura di esempio supponiamo che
ti piacerebbe analizzare i dati che deve
fare con la geografia ci dovrebbe essere no
problema tranne che potresti finire in un
zona dove non si dovrebbe
raccogli dati così come mai dovresti
per raccogliere i dati perché non dovrei
raccogliere dati perché forse c’è un
problema di sicurezza c’è una zona militare
e i dati non devono essere divulgati
vedi queste sono alcune delle cose che
stanno rendendo le cose abbastanza difficili quando
si sta tentando di utilizzare i dati per un certo
significato e ovviamente personale
informazioni la cosa interessante siamo noi
tendono ad essere molto preoccupati per il nostro
privacy e cosa fanno le persone con i nostri dati
nel mondo reale ma quando siamo nel
il mondo digitale in qualche modo è sorprendente per noi
diventare molto rilassato ho tre bambini
io stesso non siamo più bambini ma
ci sono tre adolescenti che sanno anche
il loro 21 19 18
Le ragazze adulte Ricola vanno bene e bene
questa è una generazione in cui usano
Facebook e tutti i tipi di cose e e
questa è la vita si sa che fa parte del
la loro vita non fa parte della mia vita ha combattuto
tutta la loro vita così alla fine della giornata
hai un sacco di informazioni personali
nella rete non importa se il
la sicurezza di Facebook li sta limitando
o no, quindi è molto importante
attori di cui hai bisogno per sederti sul
stesso tavolo e prova a definire cos’è
ragionevole in termini di qualche regolamento
cosa significa in realtà un realistico
riconsiderazione che privacy davvero
significa ok, penso che Facebook abbia un po ‘di
Lo cambio così abbastanza interessante
sai solo che è come uno sviluppatore
conferenza penso che sia necessario
importante qui non dovremmo diventare dati
dogmatismo quindi sì, è importante ma
sarà come se tu stia cercando di andare
a un dottore e piuttosto che a
capire quello che hai ora il
dottori ho un computer che controlli
fuori e poi ti danno una ricevuta o
Ti dirò che tipo di malattia tu
Penso che avere dei dati è solo una parte della
la storia e e ci dovrebbe essere
qualcosa di più lì anche se tu
analizzare i dati il più possibile in modo
questo è sapete che c’è un sacco di problemi
hanno a che fare con i dati e la lezione
a proposito della tecnologia, quindi dell’altro
le scoperte hanno a che fare con gli strumenti ma
è anche un ecosistema molto complicato
con molti attori devono suonare correttamente
il processo bene c’è un sacco di
sfide ad esempio per catturare il
i dati devono combinarli insieme
specialmente quando due oggetti hanno il
stesso tipo di significato ma diverso
tipo di formato che trasforma i dati
in modo che possa essere analizzato e
ed è necessario applicare piuttosto
tecnica sofisticata e quindi applicare
e la modellazione in modo che abbia senso
lavorare sui dati e quindi interessante
abbastanza che è molto importante una volta
avere un risultato
pochissime persone capiranno il
risultato quindi affrontiamolo a meno che tu non abbia
una visualizzazione che lo mostra chiaramente
quindi pochissime persone al di fuori del dominio
esperto comprenderà ciò che scopri
quindi c’è anche c’è molto
di lavoro che deve essere fatto nel
visualizzazione dei risultati su a
parte di gestione stiamo parlando di dati
governance della sicurezza della privacy , ma questo
non è veramente nuovo, è solo che il
la scala è così grande e quindi tutti usano
perché se pensi che questa sia una citazione
da un mio collega Misha blog molto
famoso nel mondo del database nel
modellando e sta parlando di dati
magazzino questo non ha nulla a che fare con
il nuovo tipo di cose dupe ma al
Alla fine della giornata le due questioni sono legali
ed etico quindi è solo quello che abbiamo
più dati e dati come parte della nostra vita
quindi sta diventando sempre più simile a
affari quotidiani, quindi sto prendendo un secondo
insieme per rivedere questa storia che è il
storia del business che ci dice così il mio
il mio punto qui è tutto sull’intenzione
qual è l’intenzione che stiamo provando
per scavare nei dati così tuo
l’intenzione è buona
sarebbe bene che la mia intenzione non lo fosse
bene sarebbe male e questo non lo è
detto così nessuno te lo dirà mai
ti diranno che non ci sono grossi dati
l’analisi aumenterà la produttività
margine di innovazione rivolto a persone e
tutte cose di cancro al cancro ma alla fine di
il giorno in cui si possono abusare dei dati in un modo
o in realtà non è così triste
le cose non saranno dette ma lo sarà
fatto così sai che questo è tutto
affari che volevo menzionare a te I
penso che sia in esecuzione era importante
per dirlo perché conosci il resto
della presentazione è più su un
sfida tecnologica e questo è il
seconda storia e poi ho una prima
raccontare la gioia di dirti così questi
sono alcuni esempi di ciò che puoi
fare analizzando l’analisi del log dei dati
tutti ne parlano , ecco perché
il signore ma con Twitter ha
sviluppare è lambda e Thatcher nel
presentazione prima perché io posso voi
conoscere molti calcoli di calcolo
quel rilevamento di frodi perché è possibile
inizia a guardare i modelli nel raw
dati e capire chi è in realtà
per esempio usando una carta di credito in
modo corretto social media e sentimento
l’analisi è un sentimentalismo importante
significa che vado sul web guardo tutti i
tweets e cerco di capirlo dal
contenuto se c’è una tendenza come la sai
politicamente chi vincerà il prossimo
elezione negli Stati Uniti
posso solo guardando la traccia su
il saldo fuori che che si chiama
analisi del sentimento va bene che è uh
ci sono molte ricerche su e
c’è molto interesse è tutto
cercare di prevedere o cercare di capire
cosa succede con la modellazione e
gestione ed energia del settore energetico
settore è abbastanza interessante perché per
esempio in Germania fa bene prima
tutto quello che c’è un regolamento europeo
lo dice in un certo numero di anni
avremo metri intelligenti nel
casa solo se nel mondo è
metri intelligenti ma tu conosci il
misuratore di gas ed elettricità che hai ora
diventerà intelligente perché
capirai come usi i dati e
invieranno queste informazioni sui dati a
un posto che è il governo e
il governo avrà tutti questi dati
e loro capiranno o qualcosa
vedi che è un esempio di come lo fai
cose con grandi quantità di dati per cui potevano farlo
esempio capisci che non dovresti
fai questa cosa o quella cosa
forse quando i widget agiscono è sicuramente un
area interessante ebbene si li sensore io
ho avuto il piacere di parlare con poche persone
su questo argomento quindi cito alcune persone
uno di questi è Florian Bass di EMC
piano verde quello che sta dicendo è
fondamentalmente dire che se ne hai un sacco
dati sai che hai bisogno di mettere il
analisi dei dati e non dei dati
alla procedura
che è fondamentalmente ciò che è stato fatto
tipicamente nel database delle relazioni del mondo
mondo ha anche inviato qualcosa di interessante
che con terabyte non ci sono problemi
hai un database là fuori che sono
gestione terabyte ha fatto magazzino con
terabyte nessun problema quando si va a
petabyte allora questo diventa molto
complicato il cache su questo
l’ipotesi è chi ha davvero un petabyte
problema nel mio in azienda ora
perché petabyte molti dati così
comunque questo è interessante perché lui
ha confermato qualcosa che si chiama il
Grays Jim Gray era uno scienziato in
purtroppo non più qui ma lo è stato
molto famoso nel mondo dei deva e lui
ha iniziato a collaborare con gli scienziati
o cercando di utilizzare la tecnologia di database per
scienza dei dati e ne ha escogitati alcuni
leggi per ingegneria morta e ha detto
prendi l’analogia con i dati che sono
esattamente quello che sta succedendo ora così
problema è che ora siamo tutti i tipi di
parti separate ETL business intelligence
segnalazione di prodotti analitici diversi
e sarebbe bello avere una soluzione perfetta
l’integrazione di quelli non è felice è
non succede nemmeno con il nuovo
tecnologia e vedrai perché così è
un desiderio ma in realtà questo non è davvero
accadendo uno dei più importanti di tutti
la tecnologia dei database relazionali ha molto
di problemi con questi nuovi grandi dati
è quella l’ architettura sottostante
che è fondamentalmente ciò che il mio collega
prima anche menzionato non era davvero
realizzato per gestire i big data con
non strutturato e quindi non formattato
parti quindi in pratica hai una tecnologia
dove il modello sottostante non è realmente
fatto per quello e prova a ripararlo è
abbastanza difficile è la citazione che è
me
quindi ho chiesto a poche persone e io
ha anche
alcune persone penso che abbiano qualcosa
per dire come se non fossero cartelle da
Amazon the CTO e ha detto bene, ecco cosa
sta citando sta dicendo fondamentalmente quello
il modo in cui fanno l’analisi è diverso
è come l’espirazione così alla vecchia maniera
sapevi esattamente cosa chiedere e tu
avere uno schema e tu eri fondamentalmente
ottenere qualcosa indietro ora
esplorano e capirlo che cosa
voglio, naturalmente, anche provare a spingere
la loro nuvola è per questo che hanno una coppia
molto con il cloud ma comunque è così
esattamente la stessa cosa alla fine del
giorno che stai esplorando e esplorando
enorme quantità di dati ci vuole tempo così e
questo è in realtà la cosa che in ordine
per esplorare i dati a cui serve il tempo
fallo in modo batch, ma è così
in realtà il problema qui ora batch
l’elaborazione è stata molto bella ma quando
gli affari cominciano a pensare oh, potrei fare
qualcosa di utile con i dati che vogliono
ora è così che sei divertente
sapere che non sono felici con il lotto
elaborazione vogliono analisi in tempo reale
ecco perché ora hai tutto questo svanire
Warnock, la vera piastrella delle persone analitiche
immediatamente per capire cosa
i modelli sono ovviamente questo in realtà
abbastanza difficile perché vedrai
che gli strumenti che abbiamo sono
tipicamente l’elaborazione in batch e anche se
puoi mettere insieme le cose non è così
Davvero ovvio in cima al maestro il
i dati sono semi strutturati o non strutturati
Qualunque cosa si voglia chiamare, e questo
rende le cose abbastanza complicate, quindi come va
la situazione al momento se tu
So solo che sono un venditore neutro che è
una cosa buona o essere un venditore
neutrale Non devo vendere nulla
quindi osserva così tipicamente quando vuoi
fai analisi dei big data hai questo
configurazione hai un parallelo
tipo di archivio dati NoSQL o database
collegato all’interno di un’elaborazione batch dupe
va bene così puoi vedere tutti i tipi di
variazioni aperte a tutti i tipi di fornitori
loro lo diranno
sai che la soluzione è la migliore ma a
Alla fine della giornata ce ne sono alcuni
preoccupazioni per la performance di quello
perché avrai una quantità enorme di
archivio dati nel batch e quando esso
arriva al momento reale che devi mettere
in un database perilico o database NoSQL
fare ciò che vogliono così quando
arriva alla scalabilità gli esperti gratuiti
che in genere guardano i nostri dati
volume parliamo di una dimensione hardware
che non è più un grosso problema perché tu
Conoscere bene con materie prime e concorrenza
ne parliamo in diversi questo
presentazione su di loro non può temerlo
e consistenza finale tutti i tipi di
roba ho avuto una discussione interessante
con bash o dire che non avrei la mia banca
account alla fine aggiornamento coerente
quindi abbiamo una discussione lì così
e c’è anche molto interessante
cose da ascoltare, ma lasciami andare
attraverso la domanda è quale e quale
la piattaforma per l’analisi di grandi dati
ho bisogno di capire che sono iniziati i big data
in due parole diverse
Io stesso sono basato sui dati
prospettiva ma la cosa interessante sei tu
conoscere i grandi dati nella guerra del database
iniziato negli anni ottanta e e la chiave
erano database paralleli, sfortunatamente
I database terrali non sono necessariamente
facile né non esiste nemmeno l’ open source
implementazione quindi la cosa interessante
è in tutti questi anni che sono in realtà
più di 20 la comunità non ha davvero
trovare una fonte aperta
implementazione di un database parallelo
ma cose come condividere nulla
architettura la chiarezza orientata
domande e volontà divide et impera
MapReduce roba del genere hai un Intel
dati dati Tara è la base di dati che è
effettivamente vedrai l’uso in molto
applicazioni ad alta intensità di dati
Ho qualcosa su eBay e poi
sotto a volte il nome nuovo SQL che
non è necessariamente un nome carino ma
è fondamentalmente reimplementation
database relazionali dove essi
la ricollocazione di tutte le parti interne
e quindi non hai un HP vertica IBM
il teaser ha un compito con i dati EMC
piano verde la cosa interessante che vedi
che hai sempre una grande compagnia /
un’altra società sono stati tutti acquisiti
quindi Teradata acquisisce i dati applicati da EMC
Greenplum HP ha applicato Vertica e di
certo lo sai perché tutti questi sono
la tecnologia che era come una nuova
implementazione di database relazionali
per una grande quantità di dati in parallelo il
sistema di mondo in modo che le persone che vengono utilizzate
fare networking di implementazione del sistema
e e tutte quelle cose che avevano
problema e alla fine degli anni novanta
hai conosciuto l’adieu p– the
MappaRiduci che sai di certo
ispirare e dalle grandi aziende web e
allora hai la Google BigTable
loro lo usano non puoi una dinamo Amazon
puoi leggere la carta ma non puoi usarla
il sistema è il motivo per cui usi un Pasha
dupe perché è open source così
questa è la ragione per cui quindi ne sto prendendo un po ‘
concetti dal mio paese collie Mischa
portare che è un database abbastanza famoso
ragazzo a rivedere il per impilare il pericolo
database fuori dallo stack e poi noi
rivedere lo stack del software hardware ora
iniziamo dal basso al
parte inferiore di un database relazionale
avere un gestore di archiviazione che è riga o
colonna un record orientato e puoi
fondamentalmente struttura il tuo gestore di archivi
così che poi in cima abbiamo a
i dati relazionali per layer eseguono la query
pianifica e capisce il locale
gestore di archiviazione e poi lo sceriffo in
servizi di archiviazione e sulla parte superiore del SQL
non c’è altro modo per entrare in questo
sistema come abbiamo chiesto
questo è molto importante non si può rompere
sai che è la cosa che non puoi trasformare
a parte e decide di utilizzare solo il
gestore di archiviazione che desidero utilizzerò a
responsabile della memorizzazione o devi andare
attraverso l’SQL che è in realtà il
il problema è una cosa monolitica ed è
non è nemmeno facile da usare perché tell
database e non c’è open source
implementazione in modo che nessuno possa innovare
questa è la cosa in realtà piuttosto brutta
se guardi lo stack del software Hadoop
non sembra buono ma è completamente
diverso perché si ricomincia da
la bottiglia hai questo dupe
file system distribuito se si pensa
a riguardo è un file orientato ai byte
i file di astrazione appaiono come molto
ampio contiguo e casuale
sequenza indirizzabile di byte che non lo facciamo
capisci anche che il confine
non c’è più come un disco ben si
normalmente sai di non rompere mai a
registra in due parti che conosci qui
tutti i byte e quindi il sistema no
capisci che sai che c’è un
confine che dà una registrazione che significa così
puoi naturalmente avere parti del tuo
dati che vanno in altri blocchi in cima
di questo hai ad esempio una base alta
c’è un negozio di valore chiave e questo può
essere una cosa meno interessante che tu
non può accedere che sia direttamente mediante
client o tramite la mappa adotta ridurre così voi
vedi , non è più monolitico così tu
può iniziare
Stavo ascoltando la presentazione o
reagire o questa mattina è una buona cosa
esempio hanno un nucleo e possono
basta avere si conosce nel pannello
database puoi dire che ho un rischio
database core e fai quello che vuoi tu
prendi tutto e quindi no
sembra bello ma in realtà non c’è più
monolitico e MapReduce e un dupe
è l’ unica cosa che ti permette di
elaborare una quantità enorme di dati al giorno d’oggi
così l’analisi dei lotti sai e in primo piano
di quello la cosa interessante che
persone
che sono molto intelligenti, lo capiscono
non tutti hanno visto sorridere e quando tu
iniziare a utilizzare un sistema che è abbastanza
complicato hanno iniziato ad avere un
livello più alto di ostruzione e così via
l’ecosistema Hadoop ora hai alto
lingue di livello cinque Big Pig Latin J SQL
e questi sono linguaggi di alto livello
perché è più facile gestirlo in a
tipo di I era uno stile SQL piuttosto che
solo programmando in MapReduce così Misha
portare che ora è un ragazzo di prodotto che ho preso
a tal fine ha fatto quel tipo di bello
i pro ei contro di Hadoop sono questi
i pro okay open source non monolitico
scala definita va bene ed è così
supporto per la replica e tu
non è necessario avere un’operazione manuale così
al momento un dupe sembra essere il
soluzione che tutti usano ma io
penso che sia anche alla ricerca e penso sia
molto importante che guardiamo anche
dire in modo critico qualcosa che non lo è
necessariamente una buona cosa
Ho un po ‘cambiare il fraseggio era
molto più forte ho detto discutibile lui
detto qualcosa di molto negativo, piuttosto noi
Dì che i punti sono prima di tutto
è discutibile almeno avere un
strato in fondo che ha byte
e poi sulla stella in alto che ha qualcosa
sembra un join dichiarativo okay
così perché il livello di astrazione va
più alto e quindi i tuoi byte capiscono
e questa è esattamente la cosa che tu
avere tutto ciò che è performante
MapReduce va bene e sicuramente se ci provi
per eseguire qualcosa come una gioia con
MapReduce puoi farlo ma non lo è
necessariamente fatto per quello così e ora
è molto interessato alla cosa che io
penso che fosse piuttosto interessante
qualcuno di voi
la precedente mancanza di presentazione dello schema
il no movimento SQL ha detto bene se non lo faccio
avere uno schema più flessibile vero ma mio
sapere di avere uno schema, sto perdendo tutto
informazioni a loro che ho e nel
futuro potrebbe diventare molto difficile da
mantenere quei sistemi e Misha che porto
in realtà ha detto che era in realtà uno dei
la prima lezione che il mondo del database
deve imparare che sta davvero diventando
difficile anche per correggere bug forse il
la cosa sarà affrontata ma è così
sicuramente un dupe non è solo buono e
In realtà volevo dartene un po ‘
cita qui perché penso che stia dicendo
che la comunità di database stava saltando
no in tutto quest’anno non l’hanno fatto davvero
capire cosa stava succedendo e poi
si sono svegliati e gli altri la
la guerra di sistema era già stata implementata
i sistemi avevano ben poco a che fare con il
database e questa era la nota chiave che
l’ha fatto a Berlino quest’anno e basta
in realtà ciò che sta raccontando al database
comunità quindi penso che sia buono perché io
non pensarlo qui è un mix e lì
c’era molta discussione su di te
i pro ei contro su quello che penso sia
sempre importante rivedere criticamente
che i due progetti che stanno accadendo
adesso
Kerry sta lavorando al progetto
chiamato asterix
uc-irvine verrà alla fine
quest’anno con Apache open source
stile una variante doof di questo
interessante dare un’occhiata ad alcuni di
sei più nella parte di ricerca e
c’è un altro progetto chiamato
stratosfera alla diversità tecnica
a Berlino, che sta anche cercando di fare qualsiasi
è un’implementazione leggermente diversa
della mappa Riduci la cosa solo per la tua
informazioni da tanto tempo
tutti usano una droga che sai che facciamo
passare un po ‘di tempo sulla mia droga è una droga
davvero un ecosistema di progetti come te
vedi che mi riferivo a te
conoscere
scegli il 60% di questi casi per ridurre la mappa
usando il linguaggio che è come un
algebra maiale latino
il maiale è davvero un motore per i quattro
l’ hive delle lingue è stato sviluppato da Facebook
ispirato anche a SQL e al 90% di
casi di MapReduce che uso come lì e
ci sono un sacco di altre cose quindi al
Finisci di avere un ecosistema ed è per questo
Io ho una distribuzione di doop
distribuzione in modo da ridimensionare, elaborare e
i dati di struttura sono la chiave importante
cose e poi puoi fare tutti i tipi di
cose interessanti con la combinazione
apprendimento automatico
consiglio di raccomandare nei motori e
ciò crea l’opportunità di business
di cui abbiamo parlato prima del principale
la limitazione di un duplicato è l’elaborazione in batch
e ora alcune persone stanno lavorando su
provando a sistemarlo sono gli altri pochi
limitazione di un dupe di cui è per
esempio che è difficile da usare e lui
ha un nodo centralizzato se si utilizza il
Implementazione di Apache hai a
archivio di metadati centralizzato come master
quindi se si va giù e quando si tratta up
potrebbe volerci molto tempo, ma quale altro a
distribuzione dupe o farlo
ri-implementare parte di questo e così tu
avere un esempio di una distribuzione dupe
distribuzione commerciale come mappa sono
hanno reimplementato il file
sistema in modo da renderlo diverso da te
avere come potere MapReduce ma il
l’implementazione è diversa e poi tu
hai di nuovo questa dicotomia ?
analytics no MapReduce un dupe e poi
hai bisogno della parte in tempo reale e poi di te
avere tutti questi negozi di valore chiave e poi
è possibile utilizzare ad esempio nessun database SQL
come per esempio il signore menzionato
prima e abbiamo detto che un dupe non lo fa
ho bisogno di uno schema ed ero curioso e come me
chiesto in realtà non sono Vogel perché
hai scelto un duca perché amaz
usando un cane che è la sua risposta lo trovo
abbastanza interessante questa risposta se leggi
con attenzione il primo è un tecnico
problema sapere se si conosce una scala il
il secondo è open source e il terzo è
fondamentalmente dicendo che tutti lo stanno usando così
meglio essere lì e poi è un tre
anni dopo abbiamo fatto la scelta giusta
perché fa un sacco di affari con
il cloud così potrebbe benissimo essere quello
l’ecosistema inizierà a cambiare e
visitare il fornitore intelligente inizierà
adattarsi a un dupe e un dupe volontà
diventare come una merce che devi
ricorda che ci sono altri sistemi fuori
Loro chiamano in SQL nuovo che provo
sceglierne uno solo tu sai citare
quello che sai sapere è verticale ora HP
ma puoi scegliere un piano verde o
qualunque cosa provino a fare anche loro
analisi su big data e sono SQL
basato quindi sul motore del database delle colonne e
puoi discuterne, ma forniscono
transazione di asset standard quindi e poi
diventa molto difficile quando inizi
guardando tutto questo sistema quando inizi
parlando di prestazioni perché lì
non è davvero un modo per fare un benchmarking
su di loro volevo solo darti un
idea di come ad esempio vengono utilizzate le analisi
da una grande compagnia web, ma questo è
molto specifico è eBay la domanda è
quanti eBay ci sono, quindi come?
molti di voi alla fine ne avranno bisogno ma
eBay ha sicuramente bisogno di così ho avuto un
chatta con uno dei tecnici a
eBay che è responsabile del cibo per
quello e le principali sfide tecniche
per eBay in termini di big data sono loro
tutta la larghezza di banda si conosce la concorrenza
nella gestione del carico di lavoro effettivamente a
la fine e il movimento dei dati tra
il sistema che vedi lì è interessante
cosa che eBay questo non è completamente
effettivo
ma molto veloce di dieci minuti di cinque
minuti e poi sette minuti va bene
molto veloce salterà comunque posso dirlo
eBay sta attualmente utilizzando sistemi gratuiti per
l’analisi è quella per la maggior parte
i dati usati o strutturati sono dati di terrore
quindi, ma poi hanno un altro sistema
dove hanno bisogno di denormalizzare
relazione ed è di nuovo è il secondo
il sistema è di nuovo un sistema di dati terroristici
e fanno il comportamento dell’utente che non farebbero
essere in grado di farlo con normalizzare i dati e
allora hanno un terzo sistema che è un
dupe per una struttura complessa di dati voi
sanno e fanno comportamento utente il
diverso è il numero di utenti
loro sono su un dupe può essere dieci e da
circa l’altro sistema sono usati dal
intera azienda ad esempio solo per eBay
la cosa del motore di ricerca hanno di più
di un migliaio di persone che lavorano su quel
quindi fondamentalmente alla fine della giornata
avere molte più fette che puoi
quando sarai in grado di scaricare puoi
vedere che hanno praticamente trovato
diversi strumenti per diversi lavori ora l’a
i dati strutturati gestiscono sicuramente a
dupe e questo è in realtà ciò che fa eBay
e queste sono alcune delle diciamo che
gli strumenti sono utilizzati come si vede è il
alta una cosa facile avete bisogno di un sacco di
complessità anche per gestire tutti questi
gli strumenti che conosci è l’integrazione perfetta
sicuramente non è davvero qualcosa che è
succede così e perché lo fanno
perché possono quindi avere un
migliorato dalla ricerca esperienza
ottimizzazione sono rimasto scioccato quando tu
ho menzionato quante persone lavorano solo
sul piccolo recinto l’unica finestra bassa
farai una ricerca in in eBay comprare un
protezione sai frode e un cellulare
commercio che è quello che fanno bene così chi
sei il tipico abusatore che puoi
distinguere in utente avanzato di classe
forse ce ne sono alcuni qui ma quanti
utente avanzato ci sono
o è necessario avere probabilmente il dottorato di ricerca a
buona scuola per l’altro è un dupe
abbastanza complicato quindi i venditori sono
cercando di espandere o cambiare l’ adulto
distribuire quali tipi di miglioramento
e queste sono alcune delle sfide
che abbiamo una cosa è questo
portare un dupe in affari critici
il progetto è ora un compito facile soprattutto
se è se non hai abbastanza abile
persone e in cima ai dati
proteggere i dati contro l’utente dell’applicazione
gli errori non sono un lavoro facile
quindi che dire del cloud delle persone
le persone in generale sono preoccupate per
mettendo i loro dati sul cloud ma ma
questo è come fare Amazon fa bene
lavoro con quello e facendo un buon affare
ora che dire delle imprese tradizionali
qui è una citazione interessante che mi piace questo
cito molto perché Mike
Stonebreaker è un collega molto famoso
nel database ha tutti i tipi di database
abbiamo diretto un gruppo ma ne hanno iniziati molti
le aziende prodigiose che si chiamano vol
DB vol DB non è focalizzato su analisi e
quindi leggi l’ultima frase a
facilitare questa architettura vol DB
offre un connettore dupe in modo sostanziale
anche qualcuno a cui non piaceva Adobe
Dole sta effettivamente guardando il segno e
Dite bene che le persone usano un dupe quindi meglio io
avere un connettore in modo da poter saltare alcuni
da lì sai che sarà per questo
esempio caffè ma se parli a come
lei sarà che diranno che avranno tutto
i dati della vittima e quindi utilizzarlo il
la piccola parte in NoSQL in tempo reale
e poi in fondo rinviarlo ad un
dupe hai qualcosa come un connettore
Scoop Apache che è uno strumento in cui tu
può fondamentalmente trasferire alla rinfusa o
dati relazionali voi
– un duplice è quello che pensa che io penso
che tu sappia che il dupe sarebbe il nostro
merce l’unica presa è in realtà
ovviamente nessuna base SQL e questo è no
ovviamente l’unico modo Tralascio che
parte ma solo per farvi sapere che lo è
molto difficile per il benchmarking di
i sistemi che si pretende di essere
veloce scalabile ma non è facile
modo di fare un punto di riferimento lì perché
per esempio il database classico
benchmark come TPC vedono che non funzionano
perché sono combattuti per i dati
magazzini in cui hai una risorsa
transazione e nessuno di questi sistemi
è così che non si qualificano così da fare
Insomma, penso che dovresti dare un’occhiata
a questo c’è un punto di riferimento
fatto da Yahoo Research non ci sono più
lì scompaiono tutti, ma è possibile
in realtà l’ hanno come open source a
il tempo di andare su quel bene è questo
e con quello che potresti effettivamente avere
confronto tra vari sistemi
cosa interessante di questo punto di riferimento
che il tipo di query è un altro tipico
query che hai in relazione al database
una query di lettura molto semplice e devi
carico di lavoro sai leggere solo o leggere e
scrivi e sono molto semplici ma con
un sacco di dati e questo è l’unico
punto di riferimento che è là fuori che non lo è
venditore fatto perché questa è la domanda
se fai la domanda a un venditore come
Misuri il tuo benchmark che ho fatto io
punto di riferimento ma è il venditore fa il
benchmark è un benchmark vandalico va bene così
qui è una fonte neutrale
carta quindi questo è un altro interessante
cita quanto sia facile una droga dipende
dipende da quanto sei abile ma
è davvero una preoccupazione sapere John
Schroeder è in realtà dal modo in cui il
il fondatore di questo e Matt siamo noi
è una distribuzione Hadoop quindi forse
c’è qualcosa che ha menzionato bisogno di
essere menzionato che la ricerca aziendale
che in realtà è ora un nuovo modo di trovare
nei dati e salterò e verrò al mio
cinque minuti ho questo e poi quello
questo è il finale di questa storia
cosa ho trovato in un rapporto di quest’anno
da un analista di Deutsche Bank in
Londra, lo cito e basta incollarlo
esattamente come è scritto, non importa
qual è la verità su questo rapporto
perché nessuno può davvero leggere il
futuro ma puoi vedere quanto è conservativo
questo atteggiamento è la cosa davvero spaventosa
il numero due in che misura grande
i dati sono al momento del pad davvero nel
impresa penso che se il futuro lo farà
mostra che i dati arriveranno da ogni parte
il posto in modo da non essere in grado di fuggire
ma penso che questo sia qualcosa per te
sappi considerare soprattutto quando c’è un
tentare di sostituire la tecnologia nel
posto okay, questo è il tempo per
e avrò cinque minuti e io
usa gli ultimi cinque minuti per qualcosa
che sono molto desideroso di dirti che è così
la prima storia di dati profondi quindi
nessuno ti sta dicendo o almeno molto
poche persone penso che tu conosca un film
questa è l’altra storia sui big data
storia mi piace la storia di Big Data è
il seguente che nessuno o pochissimi
le persone si preoccupano di usare i dati per
qualcosa che ha un significato sociale molto
poche persone li conoscono tutti ma molto
soprattutto nel nostro mondo di ricerca
lo sviluppo lì a volte non è davvero
questo interesse e mi sono chiesto perché così
Sono preso questa citazione che penso sia
abbastanza buono perché puoi dire bene te
può chiamare una buona sfida comune per
Big Data
Penso che suoni abbastanza bene perché
c’è un’opportunità
prima si può abusare se posso usarlo
bene ora il World Economic Forum tu
so che questi ragazzi si incontrano in Svizzera
in ogni anno discutono anche di
grandi dati con un rapporto chiamato big data
grande impatto nuova possibilità per
lo sviluppo internazionale che è
in realtà il sommario esattamente ciò che è
interessante e hanno un rapporto che
puoi scaricare dal web che è
chiamato big data di grande impatto nuovo
possibilità per internazionale
sviluppo e questo sta prendendo il
atteggiamento di guardare come si può fare
big data qualcosa per social e loro
identificare per esempio c’è un an
iniziativa per un appello UN Global pearls
e questo è il sito web allora c’è un
previsioni virali globali ma puoi farlo
previsione sulle malattie e quindi pianta da
e poi chiedo a poche persone che conosci
alcune domande che conosci quali sono le
principali sfide perché i ricercatori che conosci
non guardare davvero quello che sai chiedere
loro dalla ricerca di Google e IBM
Cerca un consulente su qualcuno micro
stregone
quello che mi piace in sintesi è ciò che è
scritto Paul Miller è un consulente quindi
non è realmente basato su un’azienda che
è importante ha detto guarda quello che dicono
su ciò su cui gli sviluppatori dovrebbero lavorare
roba che conta sapete wow questo è
una buona cosa
cerchiamo di lavorare e roba la questione come pure
e alla fine della giornata, se vuoi
puoi scaricare il rapporto completo che c’è
un sito web è possibile scaricarlo mi piace
sai finire con alcuni pensando che sia
sempre possibile seguire e dire ok I
utilizzare i big data perché il mio margine con
meglio la mia produttività andrà meglio
più soldi la sviluppo interessante
tecnologia e c’è molto di bello
Dane è qui e grandi sviluppatori e
forse alcuni manager sarebbe bello se
potremmo anche usare parte della nostra energia e
Dico noi perché siamo tutti lì per
forse andare in quella direzione pure e
questa è la prima storia che ho voluto
dirti quale non è necessariamente il
quello che normalmente viene detto necessario in
conferenze di lavoro né in
conferenze tecnologiche bene e
questa è la fine della mia presentazione
sfide e opportunità come una questione
di fatto ti dirò tre storie
e poi deciderete quale storia
sei come meglio così sai che questo è
big data Penso che stavamo parlando
sui dati che conosci nel
conferenza già i dati provengono da tutti
tipi di fonti che conosci digitali
immagini o video o post per social
media e cose del genere e c’è un
molti di loro quindi ci sono molti dati
venendo ogni giorno quindi inizierò con
la prima storia così quello che vorrei
fare è raccontarti la nostra storia
detto dal punto di vista del business in primo luogo
e poi avremo un piccolo minuto per
rivedere se si guarda a ciò che i media
dice che i big data stanno diventando una cosa importante quindi
se pensi a McKinsey ha un rapporto
i big data sono una nuova frontiera per
produttività della concorrenza dell’innovazione
La Commissione europea dice che i dati sono a
nuovo oro e hanno un’iniziativa per
aprendo i dati dati pubblici in
il settore pubblico, quindi cosa fanno?
loro bene prima di tutto non c’è nemmeno un
definizione di Big Data e ho trovato
uno che ho trovato molto interessante
perché è molto bello il Big Data
tutto ciò che è abbastanza grande in modo che il
strumenti software esistenti sono ora in grado di
gestirlo quindi vale a dire le basi di dati o
qualunque sia , è molto bello
definizione perché in realtà
puoi usarlo col passare del tempo così i dati lo faranno
Crescere la cosa interessante è ora il
i dati sono veloci e sono molti
dati ma sarebbe più lì e
ci saranno più dati che noi di più
strumenti ed è come qui entriamo in un
situazione in cui i dati sono come dati
scienza così lo scienziato lo sa
molto tempo perché hanno un sacco di
dati scienza e spazio ma ora il
l’industria sta vivendo l’intero importo
dei dati che non ha avuto prima
e il Kachina
quindi questo finale è abbastanza buono
perché non è definito in termini di
dimensione dei dati saranno i set di dati
aumentare in futuro comunque e anche
varia a seconda del settore, quindi è così
diverso sai che può variare
terabyte che non è big data per alcuni
definizione per pagare il pregiudizio su qualcosa
così è così ovunque
questo è ciò che McKinsey ha capito è
non molto di una scoperta qui e
è importante per ciò che è così
I Big Data dovrebbero fare bene
supposto per creare valore almeno cosa
McKinsey si sta dicendo noi così lasciato che
rivedere ciò che sta creando lucidi
la scoperta ha bisogno di una variabilità delle esportazioni in
clienti di segmentazione delle prestazioni così tu
può indirizzare le persone a una migliore sostituzione
sostenere la decisione umana e fare le cose
automatico e non manualmente più e
trovare un nuovo modello di business che è cosa
dicono che questo è uno degli esempi di
come loro sanno che sostengono questo
potrebbe essere la base per la competizione
crescita e azienda individuale e non c’è
un esempio qui è un particolare sarto
che in una citazione del nome che
perché scavano nei dati con nuovi
l’analisi effettivamente migliorerà il
margine operativo del 60% ora la domanda
è come lo calcolano sessanta
per cento ora questo è il tipo di rapporto
che l’azienda sta facendo per definire il
opportunità e poi lo capiscono
come lo misuro e dicono bene
Dovrei considerare solo quelle azioni
sono legati ai dati e se in altro
non è un somalo al 60% che cita cosa
dicono al momento, ma penso sia
interessante che identificano alcuni settori
quello che promette l’ assistenza sanitaria è uno
il ministero del settore pubblico è uno ma
c’è un soldo lì perché c’è
nessun incentivo a pubblicare i dati così
i dati non sono in genere digitali e loro
bisogno di essere trasformato e renderlo aperto
e a meno che non ci sia una spinta per
il
non lo faranno globale personale
dati sulla posizione ben sapete a riguardo
c’è molto rischio perché molto
i dati personali hanno fatto tutto il posto
vendita al dettaglio e produzione questi sono i
gli errori con McKinsey hanno identificato
i settori promettenti che McKinsey lo rappresenta
fuori quello la scarsità e il
limitazione su ciò è che ci sono
non abbastanza persone talento in giro
di solito avete bisogno di persone con un sacco di
competenza tipicamente con il dottorato di ricerca in
informatica forse in analitica in
apprendimento dell’apprendimento automatico di data mining
e non sono troppi in giro e quello
potrebbe diventare un fattore limitante, quindi è così
cosa ci dicono anche gli affari
identifico quello che chiamano problemi andrò
più tecnico, ma io vado
molto velocemente a casa da quella parte che chiamano
sulle politiche di dati che è in genere
non la parte tecnica sai come faccio
memorizzare e calcolare i dati una volta che ho
loro con analisi e voi in genere
Le Olimpiadi lo chiamano tecnologia e
tecniche
Mi piace che le tecniche funzionino perché
sembra molto vecchio stile, ma deve
fare con la sicurezza della privacy intellettuale
accesso di proprietà ai dati
perché i dati provengono da fonti diverse
e la struttura del settore che è il
cosa interessante che non tutti i settori
sono gli stessi un esempio qui è un
non c’è pressione nel settore pubblico
così in un altro settore potrebbero farlo
essere alla guida del profitto non è il caso
nel settore pubblico anche se c’è un
molto potenziale lì in genere se
guardi alle sfide nei big data
puoi classificarli in tre
gestione e gestione dei dati delle categorie I
Ho appena passato una lista che non volevo
per metterli nella categoria e vado
rapidamente su quello prima di tutto è un volume
perché la difficoltà è fuori per affrontare
con la dimensione di questi dati questi sono
alcuni numeri che puoi leggere
Ero interessante, c’era un gentiluomo
a partire dal
prima che Twitter ne generasse sette e più
terabyte di dati ogni giorno e Facebook
dieci terabyte vida quindi non puoi immaginare
per citare ad esempio intelligente
sensori c’è un qualcosa chiamato il
Internet of Things il modo futuro di
usando internet con sensore intelligente
guiderà e ti invierà tutti i tipi di
i dati in tutto il luogo in modo poi tutto ad un
improvviso si avrà una marea di dati le
la varietà è in realtà un fattore importante
perché hai un tipo multi-ciclico
quindi non solo tu hai dati strutturati
avere dati semi strutturati come e tu
avere dati grezzi in genere il più morbido
gli strumenti che abbiamo sono in qualche modo
specializzazione del database delle relazioni
funziona molto bene con i dati strutturati con
testo non funzionano affatto e noi
ruotare che non sanno nemmeno cosa
è provare a memorizzare le immagini in un database
e lo vedrai così l’altro
le sfide non sono davvero tecniche
ma è importante se sei interessato
nella tua attività sul tuo sviluppo in
lavorare con i big data è dato
disponibilità è là dei dati disponibili e
molto interessante un buon processo sarà
in genere prendere una decisione sbagliata se il
i dati non sono buoni e questo dà a
la qualità dei dati quanto sono buoni i dati
e all’estero è una copertura che conosci se tu
avere un dato che sta indicando una malattia
in determinati luoghi e alcuni dei
posizione ha dati di cattiva qualità e in
qualche altra posizione è abbastanza buona allora
potresti finire per fare il cattivo
analisi perché allora sei
predire qualcosa che non è basato
su dati coerenti che è molto
importante applicabilità che vedi come
esempio che ha un mio collega
fatto su di te conosce l’influenza e questo è
ha davvero a che fare con la migliore qualità
velocità, sapresti che c’era
esattamente la presentazione prima di parlare
sul calcolo delle stringhe quindi è chiaro
un problema, ma credo che il più
questione importante che non è molto
capito è ciò che chiamano l’ ira
città così ancora una volta mi farà fronte con
incertezza in posizione mancante
informazioni o anche errori su
la verità nei dati è un sacco dei nostri problemi
qua e là uno studioso è un grande
sfida sai come trovare in alto
dati di qualità là fuori sul web il
persone su Google a cui stanno lavorando duramente
loro lo sai questo c’è un gruppo di
persone che lavorano su Google tabelle e
questa è esattamente la loro sfida senza dati
scoperta una volta che hanno i dati loro
può aggregarlo e presentarlo
un qualche tipo di visual così ancora una volta determinare
la qualità dei set di dati e dei loro
la rilevanza per il problema specifico è
abbastanza difficile e questi sono tutti aperti
domande quindi queste sono tutte aree di lavoro
sia in ricerca e sviluppo che
dovrebbe essere affrontato e combinato
più set di dati perché è così
in realtà sono di nuovo la parte difficile
Vado per i dati della lista
comprensibilità così sono in onda con
la nostra copertura di esempio supponiamo che
ti piacerebbe analizzare i dati che deve
fare con la geografia ci dovrebbe essere no
problema tranne che potresti finire in un
zona dove non si dovrebbe
raccogli dati così come mai dovresti
per raccogliere i dati perché non dovrei
raccogliere dati perché forse c’è un
problema di sicurezza c’è una zona militare
e i dati non devono essere divulgati
vedi queste sono alcune delle cose che
stanno rendendo le cose abbastanza difficili quando
si sta tentando di utilizzare i dati per un certo
significato e ovviamente personale
informazioni la cosa interessante siamo noi
tendono ad essere molto preoccupati per il nostro
privacy e cosa fanno le persone con i nostri dati
nel mondo reale ma quando siamo nel
il mondo digitale in qualche modo è sorprendente per noi
diventare molto rilassato ho tre bambini
io stesso non siamo più bambini ma
ci sono tre adolescenti che sanno anche
il loro 21 19 18
Le ragazze adulte Ricola vanno bene e bene
questa è una generazione in cui usano
Facebook e tutti i tipi di cose e e
questa è la vita si sa che fa parte del
la loro vita non fa parte della mia vita ha combattuto
tutta la loro vita così alla fine della giornata
hai un sacco di informazioni personali
nella rete non importa se il
la sicurezza di Facebook li sta limitando
o no, quindi è molto importante
attori di cui hai bisogno per sederti sul
stesso tavolo e prova a definire cos’è
ragionevole in termini di qualche regolamento
cosa significa in realtà un realistico
riconsiderazione che privacy davvero
significa ok, penso che Facebook abbia un po ‘di
Lo cambio così abbastanza interessante
sai solo che è come uno sviluppatore
conferenza penso che sia necessario
importante qui non dovremmo diventare dati
dogmatismo quindi sì, è importante ma
sarà come se tu stia cercando di andare
a un dottore e piuttosto che a
capire quello che hai ora il
dottori ho un computer che controlli
fuori e poi ti danno una ricevuta o
Ti dirò che tipo di malattia tu
Penso che avere dei dati è solo una parte della
la storia e e ci dovrebbe essere
qualcosa di più lì anche se tu
analizzare i dati il più possibile in modo
questo è sapete che c’è un sacco di problemi
hanno a che fare con i dati e la lezione
a proposito della tecnologia, quindi dell’altro
le scoperte hanno a che fare con gli strumenti ma
è anche un ecosistema molto complicato
con molti attori devono suonare correttamente
il processo bene c’è un sacco di
sfide ad esempio per catturare il
i dati devono combinarli insieme
specialmente quando due oggetti hanno il
stesso tipo di significato ma diverso
tipo di formato che trasforma i dati
in modo che possa essere analizzato e
ed è necessario applicare piuttosto
tecnica sofisticata e quindi applicare
e la modellazione in modo che abbia senso
lavorare sui dati e quindi interessante
abbastanza che è molto importante una volta
avere un risultato
pochissime persone capiranno il
risultato quindi affrontiamolo a meno che tu non abbia
una visualizzazione che lo mostra chiaramente
quindi pochissime persone al di fuori del dominio
esperto comprenderà ciò che scopri
quindi c’è anche c’è molto
di lavoro che deve essere fatto nel
visualizzazione dei risultati su a
parte di gestione stiamo parlando di dati
governance della sicurezza della privacy , ma questo
non è veramente nuovo, è solo che il
la scala è così grande e quindi tutti usano
perché se pensi che questa sia una citazione
da un mio collega Misha blog molto
famoso nel mondo del database nel
modellando e sta parlando di dati
magazzino questo non ha nulla a che fare con
il nuovo tipo di cose dupe ma al
Alla fine della giornata le due questioni sono legali
ed etico quindi è solo quello che abbiamo
più dati e dati come parte della nostra vita
quindi sta diventando sempre più simile a
affari quotidiani, quindi sto prendendo un secondo
insieme per rivedere questa storia che è il
storia del business che ci dice così il mio
il mio punto qui è tutto sull’intenzione
qual è l’intenzione che stiamo provando
per scavare nei dati così tuo
l’intenzione è buona
sarebbe bene che la mia intenzione non lo fosse
bene sarebbe male e questo non lo è
detto così nessuno te lo dirà mai
ti diranno che non ci sono grossi dati
l’analisi aumenterà la produttività
margine di innovazione rivolto a persone e
tutte cose di cancro al cancro ma alla fine di
il giorno in cui si possono abusare dei dati in un modo
o in realtà non è così triste
le cose non saranno dette ma lo sarà
fatto così sai che questo è tutto
affari che volevo menzionare a te I
penso che sia in esecuzione era importante
per dirlo perché conosci il resto
della presentazione è più su un
sfida tecnologica e questo è il
seconda storia e poi ho una prima
raccontare la gioia di dirti così questi
sono alcuni esempi di ciò che puoi
fare analizzando l’analisi del log dei dati
tutti ne parlano , ecco perché
il signore ma con Twitter ha
sviluppare è lambda e Thatcher nel
presentazione prima perché io posso voi
conoscere molti calcoli di calcolo
quel rilevamento di frodi perché è possibile
inizia a guardare i modelli nel raw
dati e capire chi è in realtà
per esempio usando una carta di credito in
modo corretto social media e sentimento
l’analisi è un sentimentalismo importante
significa che vado sul web guardo tutti i
tweets e cerco di capirlo dal
contenuto se c’è una tendenza come la sai
politicamente chi vincerà il prossimo
elezione negli Stati Uniti
posso solo guardando la traccia su
il saldo fuori che che si chiama
analisi del sentimento va bene che è uh
ci sono molte ricerche su e
c’è molto interesse è tutto
cercare di prevedere o cercare di capire
cosa succede con la modellazione e
gestione ed energia del settore energetico
settore è abbastanza interessante perché per
esempio in Germania fa bene prima
tutto quello che c’è un regolamento europeo
lo dice in un certo numero di anni
avremo metri intelligenti nel
casa solo se nel mondo è
metri intelligenti ma tu conosci il
misuratore di gas ed elettricità che hai ora
diventerà intelligente perché
capirai come usi i dati e
invieranno queste informazioni sui dati a
un posto che è il governo e
il governo avrà tutti questi dati
e loro capiranno o qualcosa
vedi che è un esempio di come lo fai
cose con grandi quantità di dati per cui potevano farlo
esempio capisci che non dovresti
fai questa cosa o quella cosa
forse quando i widget agiscono è sicuramente un
area interessante ebbene si li sensore io
ho avuto il piacere di parlare con poche persone
su questo argomento quindi cito alcune persone
uno di questi è Florian Bass di EMC
piano verde quello che sta dicendo è
fondamentalmente dire che se ne hai un sacco
dati sai che hai bisogno di mettere il
analisi dei dati e non dei dati
alla procedura
che è fondamentalmente ciò che è stato fatto
tipicamente nel database delle relazioni del mondo
mondo ha anche inviato qualcosa di interessante
che con terabyte non ci sono problemi
hai un database là fuori che sono
gestione terabyte ha fatto magazzino con
terabyte nessun problema quando si va a
petabyte allora questo diventa molto
complicato il cache su questo
l’ipotesi è chi ha davvero un petabyte
problema nel mio in azienda ora
perché petabyte molti dati così
comunque questo è interessante perché lui
ha confermato qualcosa che si chiama il
Grays Jim Gray era uno scienziato in
purtroppo non più qui ma lo è stato
molto famoso nel mondo dei deva e lui
ha iniziato a collaborare con gli scienziati
o cercando di utilizzare la tecnologia di database per
scienza dei dati e ne ha escogitati alcuni
leggi per ingegneria morta e ha detto
prendi l’analogia con i dati che sono
esattamente quello che sta succedendo ora così
problema è che ora siamo tutti i tipi di
parti separate ETL business intelligence
segnalazione di prodotti analitici diversi
e sarebbe bello avere una soluzione perfetta
l’integrazione di quelli non è felice è
non succede nemmeno con il nuovo
tecnologia e vedrai perché così è
un desiderio ma in realtà questo non è davvero
accadendo uno dei più importanti di tutti
la tecnologia dei database relazionali ha molto
di problemi con questi nuovi grandi dati
è quella l’ architettura sottostante
che è fondamentalmente ciò che il mio collega
prima anche menzionato non era davvero
realizzato per gestire i big data con
non strutturato e quindi non formattato
parti quindi in pratica hai una tecnologia
dove il modello sottostante non è realmente
fatto per quello e prova a ripararlo è
abbastanza difficile è la citazione che è
me
quindi ho chiesto a poche persone e io
ha anche
alcune persone penso che abbiano qualcosa
per dire come se non fossero cartelle da
Amazon the CTO e ha detto bene, ecco cosa
sta citando sta dicendo fondamentalmente quello
il modo in cui fanno l’analisi è diverso
è come l’espirazione così alla vecchia maniera
sapevi esattamente cosa chiedere e tu
avere uno schema e tu eri fondamentalmente
ottenere qualcosa indietro ora
esplorano e capirlo che cosa
voglio, naturalmente, anche provare a spingere
la loro nuvola è per questo che hanno una coppia
molto con il cloud ma comunque è così
esattamente la stessa cosa alla fine del
giorno che stai esplorando e esplorando
enorme quantità di dati ci vuole tempo così e
questo è in realtà la cosa che in ordine
per esplorare i dati a cui serve il tempo
fallo in modo batch, ma è così
in realtà il problema qui ora batch
l’elaborazione è stata molto bella ma quando
gli affari cominciano a pensare oh, potrei fare
qualcosa di utile con i dati che vogliono
ora è così che sei divertente
sapere che non sono felici con il lotto
elaborazione vogliono analisi in tempo reale
ecco perché ora hai tutto questo svanire
Warnock, la vera piastrella delle persone analitiche
immediatamente per capire cosa
i modelli sono ovviamente questo in realtà
abbastanza difficile perché vedrai
che gli strumenti che abbiamo sono
tipicamente l’elaborazione in batch e anche se
puoi mettere insieme le cose non è così
Davvero ovvio in cima al maestro il
i dati sono semi strutturati o non strutturati
Qualunque cosa si voglia chiamare, e questo
rende le cose abbastanza complicate, quindi come va
la situazione al momento se tu
So solo che sono un venditore neutro che è
una cosa buona o essere un venditore
neutrale Non devo vendere nulla
quindi osserva così tipicamente quando vuoi
fai analisi dei big data hai questo
configurazione hai un parallelo
tipo di archivio dati NoSQL o database
collegato all’interno di un’elaborazione batch dupe
va bene così puoi vedere tutti i tipi di
variazioni aperte a tutti i tipi di fornitori
loro lo diranno
sai che la soluzione è la migliore ma a
Alla fine della giornata ce ne sono alcuni
preoccupazioni per la performance di quello
perché avrai una quantità enorme di
archivio dati nel batch e quando esso
arriva al momento reale che devi mettere
in un database perilico o database NoSQL
fare ciò che vogliono così quando
arriva alla scalabilità gli esperti gratuiti
che in genere guardano i nostri dati
volume parliamo di una dimensione hardware
che non è più un grosso problema perché tu
Conoscere bene con materie prime e concorrenza
ne parliamo in diversi questo
presentazione su di loro non può temerlo
e consistenza finale tutti i tipi di
roba ho avuto una discussione interessante
con bash o dire che non avrei la mia banca
account alla fine aggiornamento coerente
quindi abbiamo una discussione lì così
e c’è anche molto interessante
cose da ascoltare, ma lasciami andare
attraverso la domanda è quale e quale
la piattaforma per l’analisi di grandi dati
ho bisogno di capire che sono iniziati i big data
in due parole diverse
Io stesso sono basato sui dati
prospettiva ma la cosa interessante sei tu
conoscere i grandi dati nella guerra del database
iniziato negli anni ottanta e e la chiave
erano database paralleli, sfortunatamente
I database terrali non sono necessariamente
facile né non esiste nemmeno l’ open source
implementazione quindi la cosa interessante
è in tutti questi anni che sono in realtà
più di 20 la comunità non ha davvero
trovare una fonte aperta
implementazione di un database parallelo
ma cose come condividere nulla
architettura la chiarezza orientata
domande e volontà divide et impera
MapReduce roba del genere hai un Intel
dati dati Tara è la base di dati che è
effettivamente vedrai l’uso in molto
applicazioni ad alta intensità di dati
Ho qualcosa su eBay e poi
sotto a volte il nome nuovo SQL che
non è necessariamente un nome carino ma
è fondamentalmente reimplementation
database relazionali dove essi
la ricollocazione di tutte le parti interne
e quindi non hai un HP vertica IBM
il teaser ha un compito con i dati EMC
piano verde la cosa interessante che vedi
che hai sempre una grande compagnia /
un’altra società sono stati tutti acquisiti
quindi Teradata acquisisce i dati applicati da EMC
Greenplum HP ha applicato Vertica e di
certo lo sai perché tutti questi sono
la tecnologia che era come una nuova
implementazione di database relazionali
per una grande quantità di dati in parallelo il
sistema di mondo in modo che le persone che vengono utilizzate
fare networking di implementazione del sistema
e e tutte quelle cose che avevano
problema e alla fine degli anni novanta
hai conosciuto l’adieu p– the
MappaRiduci che sai di certo
ispirare e dalle grandi aziende web e
allora hai la Google BigTable
loro lo usano non puoi una dinamo Amazon
puoi leggere la carta ma non puoi usarla
il sistema è il motivo per cui usi un Pasha
dupe perché è open source così
questa è la ragione per cui quindi ne sto prendendo un po ‘
concetti dal mio paese collie Mischa
portare che è un database abbastanza famoso
ragazzo a rivedere il per impilare il pericolo
database fuori dallo stack e poi noi
rivedere lo stack del software hardware ora
iniziamo dal basso al
parte inferiore di un database relazionale
avere un gestore di archiviazione che è riga o
colonna un record orientato e puoi
fondamentalmente struttura il tuo gestore di archivi
così che poi in cima abbiamo a
i dati relazionali per layer eseguono la query
pianifica e capisce il locale
gestore di archiviazione e poi lo sceriffo in
servizi di archiviazione e sulla parte superiore del SQL
non c’è altro modo per entrare in questo
sistema come abbiamo chiesto
questo è molto importante non si può rompere
sai che è la cosa che non puoi trasformare
a parte e decide di utilizzare solo il
gestore di archiviazione che desidero utilizzerò a
responsabile della memorizzazione o devi andare
attraverso l’SQL che è in realtà il
il problema è una cosa monolitica ed è
non è nemmeno facile da usare perché tell
database e non c’è open source
implementazione in modo che nessuno possa innovare
questa è la cosa in realtà piuttosto brutta
se guardi lo stack del software Hadoop
non sembra buono ma è completamente
diverso perché si ricomincia da
la bottiglia hai questo dupe
file system distribuito se si pensa
a riguardo è un file orientato ai byte
i file di astrazione appaiono come molto
ampio contiguo e casuale
sequenza indirizzabile di byte che non lo facciamo
capisci anche che il confine
non c’è più come un disco ben si
normalmente sai di non rompere mai a
registra in due parti che conosci qui
tutti i byte e quindi il sistema no
capisci che sai che c’è un
confine che dà una registrazione che significa così
puoi naturalmente avere parti del tuo
dati che vanno in altri blocchi in cima
di questo hai ad esempio una base alta
c’è un negozio di valore chiave e questo può
essere una cosa meno interessante che tu
non può accedere che sia direttamente mediante
client o tramite la mappa adotta ridurre così voi
vedi , non è più monolitico così tu
può iniziare
Stavo ascoltando la presentazione o
reagire o questa mattina è una buona cosa
esempio hanno un nucleo e possono
basta avere si conosce nel pannello
database puoi dire che ho un rischio
database core e fai quello che vuoi tu
prendi tutto e quindi no
sembra bello ma in realtà non c’è più
monolitico e MapReduce e un dupe
è l’ unica cosa che ti permette di
elaborare una quantità enorme di dati al giorno d’oggi
così l’analisi dei lotti sai e in primo piano
di quello la cosa interessante che
persone
che sono molto intelligenti, lo capiscono
non tutti hanno visto sorridere e quando tu
iniziare a utilizzare un sistema che è abbastanza
complicato hanno iniziato ad avere un
livello più alto di ostruzione e così via
l’ecosistema Hadoop ora hai alto
lingue di livello cinque Big Pig Latin J SQL
e questi sono linguaggi di alto livello
perché è più facile gestirlo in a
tipo di I era uno stile SQL piuttosto che
solo programmando in MapReduce così Misha
portare che ora è un ragazzo di prodotto che ho preso
a tal fine ha fatto quel tipo di bello
i pro ei contro di Hadoop sono questi
i pro okay open source non monolitico
scala definita va bene ed è così
supporto per la replica e tu
non è necessario avere un’operazione manuale così
al momento un dupe sembra essere il
soluzione che tutti usano ma io
penso che sia anche alla ricerca e penso sia
molto importante che guardiamo anche
dire in modo critico qualcosa che non lo è
necessariamente una buona cosa
Ho un po ‘cambiare il fraseggio era
molto più forte ho detto discutibile lui
detto qualcosa di molto negativo, piuttosto noi
Dì che i punti sono prima di tutto
è discutibile almeno avere un
strato in fondo che ha byte
e poi sulla stella in alto che ha qualcosa
sembra un join dichiarativo okay
così perché il livello di astrazione va
più alto e quindi i tuoi byte capiscono
e questa è esattamente la cosa che tu
avere tutto ciò che è performante
MapReduce va bene e sicuramente se ci provi
per eseguire qualcosa come una gioia con
MapReduce puoi farlo ma non lo è
necessariamente fatto per quello così e ora
è molto interessato alla cosa che io
penso che fosse piuttosto interessante
qualcuno di voi
la precedente mancanza di presentazione dello schema
il no movimento SQL ha detto bene se non lo faccio
avere uno schema più flessibile vero ma mio
sapere di avere uno schema, sto perdendo tutto
informazioni a loro che ho e nel
futuro potrebbe diventare molto difficile da
mantenere quei sistemi e Misha che porto
in realtà ha detto che era in realtà uno dei
la prima lezione che il mondo del database
deve imparare che sta davvero diventando
difficile anche per correggere bug forse il
la cosa sarà affrontata ma è così
sicuramente un dupe non è solo buono e
In realtà volevo dartene un po ‘
cita qui perché penso che stia dicendo
che la comunità di database stava saltando
no in tutto quest’anno non l’hanno fatto davvero
capire cosa stava succedendo e poi
si sono svegliati e gli altri la
la guerra di sistema era già stata implementata
i sistemi avevano ben poco a che fare con il
database e questa era la nota chiave che
l’ha fatto a Berlino quest’anno e basta
in realtà ciò che sta raccontando al database
comunità quindi penso che sia buono perché io
non pensarlo qui è un mix e lì
c’era molta discussione su di te
i pro ei contro su quello che penso sia
sempre importante rivedere criticamente
che i due progetti che stanno accadendo
adesso
Kerry sta lavorando al progetto
chiamato asterix
uc-irvine verrà alla fine
quest’anno con Apache open source
stile una variante doof di questo
interessante dare un’occhiata ad alcuni di
sei più nella parte di ricerca e
c’è un altro progetto chiamato
stratosfera alla diversità tecnica
a Berlino, che sta anche cercando di fare qualsiasi
è un’implementazione leggermente diversa
della mappa Riduci la cosa solo per la tua
informazioni da tanto tempo
tutti usano una droga che sai che facciamo
passare un po ‘di tempo sulla mia droga è una droga
davvero un ecosistema di progetti come te
vedi che mi riferivo a te
conoscere
scegli il 60% di questi casi per ridurre la mappa
usando il linguaggio che è come un
algebra maiale latino
il maiale è davvero un motore per i quattro
l’ hive delle lingue è stato sviluppato da Facebook
ispirato anche a SQL e al 90% di
casi di MapReduce che uso come lì e
ci sono un sacco di altre cose quindi al
Finisci di avere un ecosistema ed è per questo
Io ho una distribuzione di doop
distribuzione in modo da ridimensionare, elaborare e
i dati di struttura sono la chiave importante
cose e poi puoi fare tutti i tipi di
cose interessanti con la combinazione
apprendimento automatico
consiglio di raccomandare nei motori e
ciò crea l’opportunità di business
di cui abbiamo parlato prima del principale
la limitazione di un duplicato è l’elaborazione in batch
e ora alcune persone stanno lavorando su
provando a sistemarlo sono gli altri pochi
limitazione di un dupe di cui è per
esempio che è difficile da usare e lui
ha un nodo centralizzato se si utilizza il
Implementazione di Apache hai a
archivio di metadati centralizzato come master
quindi se si va giù e quando si tratta up
potrebbe volerci molto tempo, ma quale altro a
distribuzione dupe o farlo
ri-implementare parte di questo e così tu
avere un esempio di una distribuzione dupe
distribuzione commerciale come mappa sono
hanno reimplementato il file
sistema in modo da renderlo diverso da te
avere come potere MapReduce ma il
l’implementazione è diversa e poi tu
hai di nuovo questa dicotomia ?
analytics no MapReduce un dupe e poi
hai bisogno della parte in tempo reale e poi di te
avere tutti questi negozi di valore chiave e poi
è possibile utilizzare ad esempio nessun database SQL
come per esempio il signore menzionato
prima e abbiamo detto che un dupe non lo fa
ho bisogno di uno schema ed ero curioso e come me
chiesto in realtà non sono Vogel perché
hai scelto un duca perché amaz
usando un cane che è la sua risposta lo trovo
abbastanza interessante questa risposta se leggi
con attenzione il primo è un tecnico
problema sapere se si conosce una scala il
il secondo è open source e il terzo è
fondamentalmente dicendo che tutti lo stanno usando così
meglio essere lì e poi è un tre
anni dopo abbiamo fatto la scelta giusta
perché fa un sacco di affari con
il cloud così potrebbe benissimo essere quello
l’ecosistema inizierà a cambiare e
visitare il fornitore intelligente inizierà
adattarsi a un dupe e un dupe volontà
diventare come una merce che devi
ricorda che ci sono altri sistemi fuori
Loro chiamano in SQL nuovo che provo
sceglierne uno solo tu sai citare
quello che sai sapere è verticale ora HP
ma puoi scegliere un piano verde o
qualunque cosa provino a fare anche loro
analisi su big data e sono SQL
basato quindi sul motore del database delle colonne e
puoi discuterne, ma forniscono
transazione di asset standard quindi e poi
diventa molto difficile quando inizi
guardando tutto questo sistema quando inizi
parlando di prestazioni perché lì
non è davvero un modo per fare un benchmarking
su di loro volevo solo darti un
idea di come ad esempio vengono utilizzate le analisi
da una grande compagnia web, ma questo è
molto specifico è eBay la domanda è
quanti eBay ci sono, quindi come?
molti di voi alla fine ne avranno bisogno ma
eBay ha sicuramente bisogno di così ho avuto un
chatta con uno dei tecnici a
eBay che è responsabile del cibo per
quello e le principali sfide tecniche
per eBay in termini di big data sono loro
tutta la larghezza di banda si conosce la concorrenza
nella gestione del carico di lavoro effettivamente a
la fine e il movimento dei dati tra
il sistema che vedi lì è interessante
cosa che eBay questo non è completamente
effettivo
ma molto veloce di dieci minuti di cinque
minuti e poi sette minuti va bene
molto veloce salterà comunque posso dirlo
eBay sta attualmente utilizzando sistemi gratuiti per
l’analisi è quella per la maggior parte
i dati usati o strutturati sono dati di terrore
quindi, ma poi hanno un altro sistema
dove hanno bisogno di denormalizzare
relazione ed è di nuovo è il secondo
il sistema è di nuovo un sistema di dati terroristici
e fanno il comportamento dell’utente che non farebbero
essere in grado di farlo con normalizzare i dati e
allora hanno un terzo sistema che è un
dupe per una struttura complessa di dati voi
sanno e fanno comportamento utente il
diverso è il numero di utenti
loro sono su un dupe può essere dieci e da
circa l’altro sistema sono usati dal
intera azienda ad esempio solo per eBay
la cosa del motore di ricerca hanno di più
di un migliaio di persone che lavorano su quel
quindi fondamentalmente alla fine della giornata
avere molte più fette che puoi
quando sarai in grado di scaricare puoi
vedere che hanno praticamente trovato
diversi strumenti per diversi lavori ora l’a
i dati strutturati gestiscono sicuramente a
dupe e questo è in realtà ciò che fa eBay
e queste sono alcune delle diciamo che
gli strumenti sono utilizzati come si vede è il
alta una cosa facile avete bisogno di un sacco di
complessità anche per gestire tutti questi
gli strumenti che conosci è l’integrazione perfetta
sicuramente non è davvero qualcosa che è
succede così e perché lo fanno
perché possono quindi avere un
migliorato dalla ricerca esperienza
ottimizzazione sono rimasto scioccato quando tu
ho menzionato quante persone lavorano solo
sul piccolo recinto l’unica finestra bassa
farai una ricerca in in eBay comprare un
protezione sai frode e un cellulare
commercio che è quello che fanno bene così chi
sei il tipico abusatore che puoi
distinguere in utente avanzato di classe
forse ce ne sono alcuni qui ma quanti
utente avanzato ci sono
o è necessario avere probabilmente il dottorato di ricerca a
buona scuola per l’altro è un dupe
abbastanza complicato quindi i venditori sono
cercando di espandere o cambiare l’ adulto
distribuire quali tipi di miglioramento
e queste sono alcune delle sfide
che abbiamo una cosa è questo
portare un dupe in affari critici
il progetto è ora un compito facile soprattutto
se è se non hai abbastanza abile
persone e in cima ai dati
proteggere i dati contro l’utente dell’applicazione
gli errori non sono un lavoro facile
quindi che dire del cloud delle persone
le persone in generale sono preoccupate per
mettendo i loro dati sul cloud ma ma
questo è come fare Amazon fa bene
lavoro con quello e facendo un buon affare
ora che dire delle imprese tradizionali
qui è una citazione interessante che mi piace questo
cito molto perché Mike
Stonebreaker è un collega molto famoso
nel database ha tutti i tipi di database
abbiamo diretto un gruppo ma ne hanno iniziati molti
le aziende prodigiose che si chiamano vol
DB vol DB non è focalizzato su analisi e
quindi leggi l’ultima frase a
facilitare questa architettura vol DB
offre un connettore dupe in modo sostanziale
anche qualcuno a cui non piaceva Adobe
Dole sta effettivamente guardando il segno e
Dite bene che le persone usano un dupe quindi meglio io
avere un connettore in modo da poter saltare alcuni
da lì sai che sarà per questo
esempio caffè ma se parli a come
lei sarà che diranno che avranno tutto
i dati della vittima e quindi utilizzarlo il
la piccola parte in NoSQL in tempo reale
e poi in fondo rinviarlo ad un
dupe hai qualcosa come un connettore
Scoop Apache che è uno strumento in cui tu
può fondamentalmente trasferire alla rinfusa o
dati relazionali voi
– un duplice è quello che pensa che io penso
che tu sappia che il dupe sarebbe il nostro
merce l’unica presa è in realtà
ovviamente nessuna base SQL e questo è no
ovviamente l’unico modo Tralascio che
parte ma solo per farvi sapere che lo è
molto difficile per il benchmarking di
i sistemi che si pretende di essere
veloce scalabile ma non è facile
modo di fare un punto di riferimento lì perché
per esempio il database classico
benchmark come TPC vedono che non funzionano
perché sono combattuti per i dati
magazzini in cui hai una risorsa
transazione e nessuno di questi sistemi
è così che non si qualificano così da fare
Insomma, penso che dovresti dare un’occhiata
a questo c’è un punto di riferimento
fatto da Yahoo Research non ci sono più
lì scompaiono tutti, ma è possibile
in realtà l’ hanno come open source a
il tempo di andare su quel bene è questo
e con quello che potresti effettivamente avere
confronto tra vari sistemi
cosa interessante di questo punto di riferimento
che il tipo di query è un altro tipico
query che hai in relazione al database
una query di lettura molto semplice e devi
carico di lavoro sai leggere solo o leggere e
scrivi e sono molto semplici ma con
un sacco di dati e questo è l’unico
punto di riferimento che è là fuori che non lo è
venditore fatto perché questa è la domanda
se fai la domanda a un venditore come
Misuri il tuo benchmark che ho fatto io
punto di riferimento ma è il venditore fa il
benchmark è un benchmark vandalico va bene così
qui è una fonte neutrale
carta quindi questo è un altro interessante
cita quanto sia facile una droga dipende
dipende da quanto sei abile ma
è davvero una preoccupazione sapere John
Schroeder è in realtà dal modo in cui il
il fondatore di questo e Matt siamo noi
è una distribuzione Hadoop quindi forse
c’è qualcosa che ha menzionato bisogno di
essere menzionato che la ricerca aziendale
che in realtà è ora un nuovo modo di trovare
nei dati e salterò e verrò al mio
cinque minuti ho questo e poi quello
questo è il finale di questa storia
cosa ho trovato in un rapporto di quest’anno
da un analista di Deutsche Bank in
Londra, lo cito e basta incollarlo
esattamente come è scritto, non importa
qual è la verità su questo rapporto
perché nessuno può davvero leggere il
futuro ma puoi vedere quanto è conservativo
questo atteggiamento è la cosa davvero spaventosa
il numero due in che misura grande
i dati sono al momento del pad davvero nel
impresa penso che se il futuro lo farà
mostra che i dati arriveranno da ogni parte
il posto in modo da non essere in grado di fuggire
ma penso che questo sia qualcosa per te
sappi considerare soprattutto quando c’è un
tentare di sostituire la tecnologia nel
posto okay, questo è il tempo per
e avrò cinque minuti e io
usa gli ultimi cinque minuti per qualcosa
che sono molto desideroso di dirti che è così
la prima storia di dati profondi quindi
nessuno ti sta dicendo o almeno molto
poche persone penso che tu conosca un film
questa è l’altra storia sui big data
storia mi piace la storia di Big Data è
il seguente che nessuno o pochissimi
le persone si preoccupano di usare i dati per
qualcosa che ha un significato sociale molto
poche persone li conoscono tutti ma molto
soprattutto nel nostro mondo di ricerca
lo sviluppo lì a volte non è davvero
questo interesse e mi sono chiesto perché così
Sono preso questa citazione che penso sia
abbastanza buono perché puoi dire bene te
può chiamare una buona sfida comune per
Big Data
Penso che suoni abbastanza bene perché
c’è un’opportunità
prima si può abusare se posso usarlo
bene ora il World Economic Forum tu
so che questi ragazzi si incontrano in Svizzera
in ogni anno discutono anche di
grandi dati con un rapporto chiamato big data
grande impatto nuova possibilità per
lo sviluppo internazionale che è
in realtà il sommario esattamente ciò che è
interessante e hanno un rapporto che
puoi scaricare dal web che è
chiamato big data di grande impatto nuovo
possibilità per internazionale
sviluppo e questo sta prendendo il
atteggiamento di guardare come si può fare
big data qualcosa per social e loro
identificare per esempio c’è un an
iniziativa per un appello UN Global pearls
e questo è il sito web allora c’è un
previsioni virali globali ma puoi farlo
previsione sulle malattie e quindi pianta da
e poi chiedo a poche persone che conosci
alcune domande che conosci quali sono le
principali sfide perché i ricercatori che conosci
non guardare davvero quello che sai chiedere
loro dalla ricerca di Google e IBM
Cerca un consulente su qualcuno micro
stregone
quello che mi piace in sintesi è ciò che è
scritto Paul Miller è un consulente quindi
non è realmente basato su un’azienda che
è importante ha detto guarda quello che dicono
su ciò su cui gli sviluppatori dovrebbero lavorare
roba che conta sapete wow questo è
una buona cosa
cerchiamo di lavorare e roba la questione come pure
e alla fine della giornata, se vuoi
puoi scaricare il rapporto completo che c’è
un sito web è possibile scaricarlo mi piace
sai finire con alcuni pensando che sia
sempre possibile seguire e dire ok I
utilizzare i big data perché il mio margine con
meglio la mia produttività andrà meglio
più soldi la sviluppo interessante
tecnologia e c’è molto di bello
Dane è qui e grandi sviluppatori e
forse alcuni manager sarebbe bello se
potremmo anche usare parte della nostra energia e
Dico noi perché siamo tutti lì per
forse andare in quella direzione pure e
questa è la prima storia che ho voluto
dirti quale non è necessariamente il
quello che normalmente viene detto necessario in
conferenze di lavoro né in
conferenze tecnologiche bene e
questa è la fine della mia presentazione
Please follow and like us: