il nome di questo discorso è cento
Percentuale di big data che devi pronunciare
mi piace in modo interessante quindi sono grandi dati
ed è zero per cento di Hadoop e 0% di Java
qualunque cosa significhi fondamentalmente dopo il
Keynote di Sun dato oggi posso solo fare i bagagli
le mie borse e vai a casa perché quelle sono
numeri impressionanti e questo è utile
roba e ma bene ho avuto questo
presentazione hai questa volta quindi facciamolo
fai il meglio da ciò che effettivamente mi piace
stanze più piccole a causa della vicinanza
il pubblico e essere come un bene
obiettivo in modo da poter lanciare bottiglie di birra
io sono un po ‘troppo sarcastico
pensi che lo chiameresti così
okay brevemente su di me um bene io sono
sto lavorando per il codice centrico
consulenza tecnologica e all’avanguardia
aree anche qualunque cosa significhi intendo
tutto è un po ‘sanguinante
tecnologia che in genere non è jsf
la primavera e l’ibernazione così bene io sono
cercando di trovare la mia strada attraverso diversi
tecnologie e scrivo anche libri
su cose diverse quindi ne ho tre
di loro già fatto e ho anche io
questo in questo momento sta funzionando con grandi dati
80 decisori è assolutamente
non tecnico rispetto al precedente
uno che è sul mercato per ora uno
anno è una linea OTP okay lasciami mettere
questo disclaimer ti ho detto che sono sarcastico
ma fondamentalmente non affido solo
espresso la mia opinione e coloro che sanno
anche io che ho partecipato ai miei discorsi
so che mi piace raccontare storie così è
una storia e possiamo fare domande
dopo è un’esperienza
presentazione così qualcuno sa cosa
questo è davvero spiacente questo libro
okay, andiamo così la storia inizia come
che sono in una presentazione di diverso
aziende e prodotti seduti lì
ascoltare è qualcuno dalla compagnia
chiamato intensità qui in questa stanza
nessuno va bene nessuno sa cosa loro
lo ha fatto in sostanza la presentazione è stata
come sai, abbiamo grandi dati e
big data e big data e ricorda no
affittare così per la mia esperienza ogni discorso
dato alla conferenza è una specie di
marketing sul quale commercializzi un prodotto
un punto o commercializzi la società o te
mercato te stesso che è la mia esperienza così
ma in questo caso sono solo seduto lì
ascoltando questa fine sembra
La magia di Houdini, quindi quello che viene fatto non esiste
qualcuno sa cosa sia Houdini fantastico
quindi è come se sapessero che analizzano il reale
tempo verrò a questo punto più tardi braccio
social network e in cerca di
esempio per diverse aziende che sono
partner con loro o clienti per
affitti su prodotti per esempio qualcuno
Scrivo solo questo cazzo, mi dispiace, sono io
permesso di dirlo anche in video
questo cazzo di samsung s3 non funziona e
è l’analisi in tempo reale quindi il venditore
sarà informato su questo
incidente in un modo così sembra magico
e sono nella presentazione era un
mappa del mondo tendente tutto il tempo
alcuni tweet stanno spuntando con gli affitti
e roba così quello che ho fatto appena in
metà della presentazione che ho inviato a
twittare noleggiando praticamente su a
prodotto che potrei derivare dal
presentazione ma la mia non ho mai visto la mia
tweet per apparire così bene
Intendo ok, quindi penso che me lo stai dicendo
è fumo e specchi proprio oh sono dentro
questo settore da oltre 20 anni quindi io
ho imparato che non c’è niente come il fumo
e gli specchi qui bene fumano fondamentalmente
quando si brucia solo i dischi rigidi wow
quindi è come se fosse naturale
l’elaborazione del linguaggio non piace a nessuno
elaborazione del linguaggio naturale in questo
il pubblico qualcuno sa cosa sia
va bene così sembra a me e questo
sembra un sacco di matematica e anche bene
sorta di apprendimento automatico della macchina
fa qualcosa e informa le persone
sui marchi fa anche qualcuno
apprendimento automatico per vivere che è caldo
roba quindi penso che andiamo, posso pensare
di ciò che sta accadendo là intendo
come vedo il mio twitter non sta scoppiando
così qualcosa deve essere dietro il
scene quindi è una specie di big data
fondamentalmente la spiegazione su cosa ho fatto
pensa a questo così la prima cosa che
Sto pensando di tornare al
l’hotel è il nostro stiamo andando a ottenere questo grande
dati e amici hai bisogno di una piattaforma
dove le persone dicono cosa pensano
prima che pensino quello che dicono quello che è
questa piattaforma ovviamente è Twitter e
incluso me dico anche quello che penso
prima di pensare a quello che dico di più
tempo quindi mi rendo conto, naturalmente, che ho bisogno di
bevo i miei dati grandi abbastanza dritti
dal firehose è così che vuoi
nome questa cosa così ho chiesto a Twitter
attraverso ricerche e roba come posso
bere da te o dalla tua manichetta antincendio
in pratica la caserma dei pompieri non è disponibile
per le persone normali in modo da poter ottenere il
dati da Nippon da DataSift per a
piccola tassa di licenza più o meno forse pre
analizzato o qualcosa così non è niente
che posso facilmente fare in una stanza d’albergo e
c’è stato qualcosa come il giardino
tubo flessibile ma per quanto posso capire
non esiste più nemmeno per la ricerca
progetto quindi l’alternativa del povero
sarebbe a voi sapere di consumare questo
flusso pubblico ha fatto qualcuno fare qualcosa
come quello che in precedenza consumava pubblico
flusso da Twitter va bene così ottieni
qualcosa come te lo sai fino a due
mille tweets al minuto massimo giusto
fallo venire
quindi intendo bene non è opprimente
giusto non è big data non è dove
sono questi grandi dati, ma ricordati che sono
seduto lì ad ascoltare il
presentazione senza nemmeno vedere la mia
tweet e tuttavia penso di poter essere gentile
di pensare a questo in modo da iniziare a delineare alcuni
bolle qui bene, fondamentalmente come vorrei
fai questo ho dei tweet qui io
ha consumato questa cosa e IQ questa roba
e poi ho fatto un po ‘di analisi e poi ho fatto
segnalerei questo nel mio caso solo
ho deciso di scrivere un file perché non l’ho fatto
voglio mandare tweets a tutti così
ora ho bisogno di un tag di base adeguato per
armeggiare questo
così bene sto facendo java da più di 10 anni
anni e c’è un sacco di cose
puoi usare nel mondo Java per farlo
qualcosa del genere più o meno velocemente
quindi è una grande selezione qui di cose
ci sono dei fanatici di java qui intorno
in questo pubblico veri fanatici del hardcore
ricorda che sono sarcastico, non lo prendo
personalmente se affitto o se sto facendo
essendo onesto è tutto così divertente
quando penso a Java arrivano strane cose
a mio parere, ne ho visti molti
soluzioni basate fondamentalmente bene
scritto in Java e usando il tutto
ecosistema sono piuttosto sovraccarichi e
per il mio armeggiare sto solo pensando di venire
un po ‘troppo forse e solo
un altro disclaimer mi piace la JVM I
in realtà amo la JVM perché è una
complesso ed è un tag di prova e anche tu
può fare simpatia meccanica a nessuno
sapere quali simpatie meccaniche vanno bene
questo è un termine piuttosto interessante, penso L
fa in modo che i ragazzi l’abbiano portato nell’IT
settore ma quando lo fai sulla JVM
i tuoi cappotti che iniziano a sembrare mare
e tu spingi via per vedere i cicli come
per quanto possibile, quindi la domanda è allora
perchè non solo tu vedi ma comunque intorno
Java c’è un grande ecosistema e
quindi una grande comunità e ci sono reali
ragazzi brillanti che lavorano sulla stessa JVM
sono dei veri esperti fantastici
ma comunque mi piace, lo adoro ma
cose strane mi vengono in mente e io
pensa che qualcuno sappia di cosa si tratta
qualcuno può dirmi questo cos’è
mi scusi, sì, in realtà potrebbe essere
vero ma direi che è solo grande
quello sul tuo basso sul tuo disco rigido
perché per compilare qualcosa
che è a metà strada sofisticato lo farai
scarica la metà di internet sul tuo hard
disco che è davvero grandi dati così in realtà
i grandi dati sulla JVM sono anche belli
cosa ricca quindi hai Hadoop che hai
maiale hai un aspirante tempesta tutti questi CP
i motori non hanno speranza di fare macchina
imparando hai anche un sacco di labbra e
esperienze di quadri e librerie
da altre persone ed è anche un grande
parte di un hype attorno all’Hadoop
ecosistema ma arrivano ancora cose strane
nella mia mente vuoi che io elabori
su questo non lo diamo davvero
c’è anche questo dipendente da a
piattaforma diversa per i motivi I
volevo solo impararlo, volevo solo
incontra quei fantastici ragazzi che lavorano in questo
comunità quindi mi piace erling e lo faccio anche io
erling ho anche scritto un intero libro
su Erling solo per impararlo, così ci è voluto
come due anni e mezzo farlo e
c’è una prospettiva diversa su questo
Penso che non sia ben leggibile, quindi solo
lascia che ti legga per te, io sono uno di questi
i miei tweet e mi piace dire qualcosa
pensa prima che io pensi che tu lo sappia anche tu
ho lentamente capito che non lo farò mai
avere qualcosa che chiamano successo perché
Semplicemente rifiuto di scrivere il mainstream
onda così voglio solo sperimentare
quindi quello che ho deciso di combinare
software basato su erling che ho approfondito
in precedenza con l’ hacking di Python
perché volevo fare più python
l’hacking e il pulsante sono in realtà o python
è in realtà molto popolare tra
scienziati se lo sapete e lo è
anche script e mi sono davvero il valore
scripting voglio dire che ha, naturalmente
svantaggi quando hai davvero bisogno del tuo
roba da compilare ma comunque io
come lo scripting perché è carino
flessibile quindi prendiamo un po ‘di cemento
bolle per quello, voglio solo dire che lo è
piuttosto semplice hai appena letto dal
flusso di esempio utilizzando una piccola libreria di tweets
per Twitter XS attraverso Python poi io
vorrei solo costruire su coniglio direi
Vorrei citare questa roba e userei
un TK e scriverò i risultati a
il file non conosce nessuno su NLT k
qui bene NLT k questo è il quadro
è scritto in python e anche su
fortran bene fondamentalmente la base
le librerie sono scritte in fortran
parzialmente quindi è assolutamente fantastico
fare cose sul testo analizzando il testo in
in qualunque modo la PNL ne avrebbe bisogno ma
la domanda da un esperto di big data
potrebbe anche significare che potresti davvero fare
MapReduce multifase su quello bene
il problema qui è che hai letto
il flusso quindi prima di tutto questo campione
in streaming non saprai mai dove finisce
e il problema con MapReduce che tu
prima ad esempio con una nuova bellissima
prima necessità di compilare il tipo di dati in
l’HDFS se non lo fai bene il
in un altro modo sarebbe solo per consumarlo
dal web o da qualche parte, ma poi
arriva allo split che devi dividere
questi dati sono necessari
che molti erano lavoratori o mappatori
qualunque cosa si adatti a questo
concetto a questo modello così lui solo
in genere non è possibile ridurre il flusso
dati che non lo fai non ho partecipato al
ciao ciao ciao niente motta ieri ma
Penso che avrà spiegato in dettaglio
perché non è possibile e ancora cosa
sarà fatto non c’è niente da fare
con tempo reale in tempo reale entra in termini di
l’informatica è qualcosa di diverso
intendo dire che il tempo è ora, quindi è il momento
legato e hai duro in tempo reale
soft in tempo reale la differenza è giusta
cosa succede nel caso dell’errore di
il problema quindi puoi chiamarlo vicino al reale
tempo o il più velocemente possibile o Eve o
anche qualcosa che tu possa essere fatto
mentre stai ordinando una pizza ma
comunque tutto in questa catena è
piuttosto noioso, penso che metà di voi ragazzi
almeno hanno fatto qualcosa in giro
coniglio in q4 in coda bene eccetto NLT k
eccetto PNL quindi quello che pensavo fosse prima
bene, io userei analytica solo per analizzare
il testo e poi posso pensare a questo
tipo di intento che posso trovare riscattato il mio
il problema era che era solo diverso
in questo caso a causa di questo
qualcuno sa chi è Justin Bieber
qualcuno come lui è in questo pubblico
ok io non giudico ma il problema è
che era un fluido di credenti e
i miscredenti sono persone che amano
ufficiale in amore Justin Bieber così dentro
questo caso mi piace in giro
il sessanta per cento del flusso campione era
solo immondizia non era utile, intendo
qualcosa entra non ha niente da fare
con qualsiasi cosa è solo una promozione
tweet o qualcosa per Justin Bieber così
quelli di voi che fanno l’apprendimento automatico e
roba lo saprà per statistico
lavoro hai bisogno di un sacco di dati così tanto più
i dati che hai, meglio puoi commerciare
i tuoi classificatori se classifichi il letto
è il risultato o la fine della giornata così
poi dico ok ho bisogno di filtrare
qualcosa che posso filtrare i belieber
va bene, ma quale sarà il prossimo?
i prossimi criteri per farlo camminiamo
attraverso possibili criteri um ragionevole
i nomi utente fanno nessuno in questo pubblico
sapere con questi ragazzi va bene questo è un grande
geek e il problema è che probabilmente
tutti sanno chi è ma come può funzionare
conoscendolo voglio dire che è solo dhh
qui quasi impossibile, quindi dimentica
i veri nomi dimenticano semplicemente i nomi degli utenti
dimentica con i nomi che è bello
quasi tutto passiamo attraverso il
prossima possibilità ad esempio un profilo
bio James è un geek fantastico ma nel suo
profilo nella biografia che dice sexy come cazzo
quindi filtreresti questa conoscenza
che questo ragazzo potrebbe anche affittare
la risposta è no, quindi non filtreresti
così anche se è lì che le parole ci sono
gli altri fantastici ragazzi sulla storia di
questa diapositiva è abbastanza semplice che ho incontrato
a San Francisco a marzo e se ne andò
prima di partire e penso per tre o
quattro mesi anche dopo che è tornato a
Israele
i suoi tweet sono stati geo-localizzati con
San Francisco quindi è assolutamente
informazioni inaffidabili pure questo
non è molto ben noto, fondamentalmente
hai questo campo per te
posizione che puoi fornire a Twitter
la mia posizione dice bene anatra di gomma anziano
è una specie di titolo professionale, ah sì
qualcuno fa anatra di gomma qui per un
vivendo siete ragazzi popolari lo faccio dentro
entrambe le direzioni mi piace è una figata
cosa così volevo solo magnaccia il mio
pagina del profilo di Twitter, quindi che ne dici?
linguaggio corretto come fai cosa vorrebbe
lo fai con la lingua questo è solo un
piccolo esempio da google traduttore noi
basta digitare sarebbe notte e si ottiene
essere rilevato come tedesco intendo Google
il traduttore è una cosa davvero fantastica
è davvero bello che mi ci sia voluto del tempo
pensa a questo insieme qui, ma bene io
Voglio dire, so che Google II non ha questo
dati non ho questa informazione quindi io
ho bisogno di pensare a qualcosa dalla mia
tu fondamentalmente non è inglese è
non tedesco e bene per me sembrava
come l’ottanta percento di tutti i tweet
vieni attraverso il flusso del campione ah quando io
grattare via il sessanta per cento della spazzatura
va bene così posso fare solo del mio meglio e quello
significa che non vorrei filtrare per la posizione i
non filtrerei per profilo da oh I
userebbe un TK per classificare tra
inglese e spagnolo
lascia che venga il problema lì
senza NLT k è tutto tutto
tutto è basato sulla coopera in modo corpus
è solo un testo che potrebbe essere aggiunto
potrebbe non essere taggato comunque lo usi
ma fondamentalmente hai bisogno di una sorta di base
informazioni dove puoi che puoi
sorta di confronto con ciò che entra e
scoprire se è negativo o positivo o
qualcosa che fanno sono in realtà
nei corpora disponibili è usato
recensioni di film e alcuni protocolli di chat
i dati non sono così grandi e io sono carina
certo che è stato censurato prima di allora
per invettive reali con parolacce IT
Non avrebbe funzionato così bene in modo da quello che avevo da
armeggiare anche due separati ragionevole
fronte della lingua inglese da inutile
lingua per me è stato quello di bene che ho appena detto
spagnolo dopo un paio d’ore di
armeggiare spagnolo sembra essere una calamita
per nient’altro che inglese
quindi basta spingerlo via tutto ciò
arriva in spagnolo e il resto lo è
l’inglese e io posso occuparmi dell’inglese
cosa che la probabilità chiamava argilla
calcolo non c’è anche quello
semplice, comunque , rischierei di prendere il mio
bolle allora e le bolle sembrerebbero
così mangerò il flusso I
vorrei dire questo che devo filtrare
che lo spingerei in un’altra coda
poi faccio le mie analisi e poi lo farò
pre-porta solo un po ‘
più grandi stanno guardando le bolle di cemento
così è ancora piuttosto semplice
solo 2 q nello scambio di conigli quindi sono
attento ora e in fondo cosa posso fare
filtrare perdendo alcuni dati che non lo sono
buono ma ho bisogno di dati utilizzabili quindi significa
che posso anche posso quasi filtrare
niente fuori
quindi questo significa anche che cosa c’è
dal punto di vista dei dati è quasi
niente, quindi ho bisogno di rendere questi dati anche
più grande ha bisogno di odorare come grandi dati
perché è Houdini magico e grandi dati
e roba così mi avresti chiesto
se come faresti a perseguitare qualcuno
conosci gli utenti e ottieni che puoi ottenere di più
gli utenti attraverso te sanno quando il tuo
riferimento utilizzando o menzione di utente
può avere questo utente così così sarebbe
tipo di esplosione e come puoi fermarti
questo è il problema che hai
la limitazione attuale è 150
chiamate API non autenticate all’ora quando
vuoi fare cose come me che ti servono
avere un’autenticazione in un’app per
così solo 350 chiamate all’ora
confrontalo con i numeri che ti ho detto
a quel punto hai dei limiti / indirizzo IP
quindi come avresti scala questa scala
significa che puoi usare più indirizzi IP I
getterò solo il nome cloud nel
pubblico in questo momento qualsiasi cosa tu possa
scala più utenti che hai appena creato
utenti e app e ti ridimensionerai
questo, ma è probabile che ti farà male
te stesso con Termini di servizio ed è
solo un esperimento quindi volevo solo
armatevi di questa magia edina qui così comunque
ci sono più bolle che in origine
consumato q filtro q negozio da qualche parte
MapReduce analizza i dati e il report
questo le bolle concrete sono quelle
ho usato anche ancora thuy p coniglio e
l coniglio TK reagisce per memorizzare il disco dati 0
fare il file MapReduce NLT k
ma aspetta reagire alla disco mapreduce intendo
non ti ho detto che non l’avrei fatto
senza quello lo farei senza di lei
fai bene lasciami spiegare un po ‘il tag
quindi quello che non ho spiegato prima di una foto
coniglio perché RabbitMQ è veloce e
è affidabile e flessibile è scritto in
presto così è l’Irlanda come e affidabile
prima di tutto la seconda cosa che riguarda la reazione
siamo nel sequel di cui non ha bisogno il trachsel
essere collegato a questo è anche scritto in
in Erlang può memorizzare i tuoi dati
distribuito ridondante e affidabile e
si basa su un link quindi il nostro link
ridondanza e affidabilità della distribuzione
lo compri solo con quello che ha fatto chiunque
ascoltare il progetto discoteca non è una buona discoteca
progetto è stato creato fino a me
conosci pi di Nokia e open-source è
qualcosa che usano internamente per
le mie cose producono ed è fantastico
perché non è solo scritto all’inizio
bene il suo nucleo per la distribuzione per
licenziando i lavoratori e poi a tutto questo
roba è scritta in anticipo, ma cosa tu
fai lì tu scrivi i mappatori Python Python
e riduttori o posti di lavoro e ottengono questo
distribuito in modo che tu sia nativamente
in grado di accedere a un TK e basta
beh, in realtà questa è un’intera catena
che volevo solo usare il NLT k con
il più esperto di tutti e ragazzi LP
in tutto il mondo, quindi quello che faccio questo
bene quello che faccio con questa catena qui sono io
utilizzare ancora questo nell’archivio dati posteriore
quindi eseguo localmente i dati dei localizzatori della discoteca
i nodi reagire e vorrei chiedere a Twitter
per gli utenti e i follower che conosci
ordine di far crescere il database
è molto lento in modo ricorsivo
diventando un enorme grafico lento a causa di
le limitazioni API ma ancora solo
ricorda che sono seduto lì ad ascoltare
alla magia Houdini quindi perché sarebbe un
coda questo perché voglio bere da
il flusso di esempio ho appena assunto che io
non so quanti dati otterranno
non sono numeri impressionanti ma io ancora
volevo solo memorizzare dati di data e reagire
nel modo distribuito senza nessuno
possibilità di rallentare un archivio dati
giù per l’intera catena posso assolutamente
non impressionare reagire con questi numeri ma
può diventare sempre di più e
più forse acquisterò una licenza annuale
con i dati salvati sto scherzando e allora
su questo Python, roba da Python
è quale modello è lento in alcuni punti
sì, l’intera catena si bilancia
fuori così ancora voglio fare qualificato
PNL con LDK e bene ci sono
è un paio di possibilità come
risolvilo ad esempio con pi PI per correre
punti di riferimento impressionanti su come è possibile eseguire un
l programmi TK su programmi basati su TK
script con PI PI ancora più veloce, naturalmente
Posso fare tutto questo sulla JVM ma
ricorda quelle strane cose
mi viene in mente intendendo solo essere
Onesti, siamo tutti forse ragazzi in questo
il pubblico sta facendo attualmente jvm
lavoro per vivere ma tu sai solo
armeggiare qualcosa che è assolutamente
al di fuori di questo mainstream e di questo
tutta la montatura perché ti spiegherò
Alla fine della presentazione che è
non su questo
strumenti e cose così bene finalmente
questo punto di questo rant analizza ora io
ho tutta la catena di strumenti che ho il mio
tweets posso far crescere il mio database con il
gli utenti e le cose che avrei inseguito per loro io
leggerebbe l’ultimo sui tweets o
qualcosa così come lo farei bene
il modo molto ingenuo per fare questo sarebbe giusto
cercare parole imprecise, ma come farai
trattare con qualcosa del genere dice oh
Mio Dio fa freddo come cazzo, lo adoro come
classificheresti questo è un negativo
o emozione positiva
quasi impossibile, in questo caso, io
direbbe che il cazzo di amore sarebbe forse gentile
di bilanciarsi l’un l’altro e oh mio dio
beh, anche questo può essere positivo
come negativo, ma in ogni caso questo non lo fa
aiutare molto non si può nemmeno filtrare fuori
perché non si tratta di Justin Bieber così
il giusto il modo giusto per fare questo e
questo è ciò che ha funzionato in questo caso
centrato sulle analisi del sentimento per
esempio da nave bias classico basato
la classificazione non conosce nessuno
questo va bene, quindi vorrei solo
suggerire che anche se tu odi il discorso
e se non sei d’accordo con non usare
Hadoop o qualcosa da dare un’occhiata
statistiche e cose del genere um bene
di base in realtà questa classificazione
problema del testo è una casa di ml TK
è per questo che l’ho scelto e creato a
tutta la catena di strumenti intorno a esso in modo che possa
dire a da essere sul testo classificare
questo ma hai bisogno di migliori corpora per
perché, come ti ho detto, lo usano
recensioni di film e sono abbastanza sicuro lì
sono stati censurati prima di allora
non troverai quelle parole pesanti in questo
la domanda è dove lo otterresti
i corpora hanno qualcuno un suggerimento
se qualcuno non sa cosa sia un
corpus è solo una lista di parole per
esempio o parole di testo o parti di testo
e roba cosa posso ottenere qualcosa
è una vera bestemmia
cinguettio sto cercando di analizzare
Twitter è necessario sedersi lì e
classificare tutto ciò di cui hai bisogno
che forse è anche più prevedibile
questo è facile
tutti sanno che Linda ha viaggiato
beh lui non teme che tanto è un
ragazzo fantastico è uno di quelli che hanno
in realtà è riuscito a cambiare il mondo IT
ma comunque quando hai un post che inizia
con come hai visto il nostro puoi aspettarti
che forse è così negativo
puoi ricavare qualche informazione un po ‘
un po ‘di più qui, signora. hecho fa nessuno
conoscilo, sento qualcuno ridere
o è nella stanza diversa, ora è lui
anche un grande concerto, ma voglio dire che dice
i programmatori hanno bisogno di imparare la statistica ah
o li ucciderò tutti e va avanti
e continua nel post quindi è carina
impressionante quanto bene l’affitto
informazioni classificabili che puoi scegliere
fuori da questo post così alla fine del
giorno ho il mio file con affitto e il
numeri di questo giro circa 50.000 utenti
a settimana forse cinque veramente qualificati
amici non ho carte colorate io
non avere questa mappa e i tweet che scoppiano
anche il mio tweet non è saltato fuori
lì perché sono abbastanza sicuro che il
flusso di esempio di twitter sta andando bene
esplicitamente pieno di tweet belieber
ma non importa cosa ho imparato da questo
e cosa posso dirti cosa a cosa è
anche possibile imparare così ho imparato un po ‘
cose utili che stanno sperimentando sono
ora più elettrico contro il kool-aid allora
Sono stato prima che abbiano scritto a
libro chiamato architettura pragmatica dell’IT
che è puro sarcasmo
ben grande nei grandi dati no
significa necessariamente che è grande qualunque cosa
grande significa che alcuni ragazzi sanno cosa
grande è ma in un modo diverso ci sono
modi diversi per gestire i big data così
quello che ho fatto qui ho dovuto armeggiare un po ‘
la tecnologia dovevo insegnare in discoteca a no
licenziare lavoratori su nodi esistenti o
note disponibili ho dovuto armeggiare a
utilizzare i nodi pre-avviati e due chiamate
funzioni di erling in modo nativo perché voglio
località dati voglio estrarre i dati da
le v note di questo reagiscono bene al nodo
forse con possibili rischi di duplicati
ma la località dei dati è ancora molto
principio importante quando lo fai
quando fai MapReduce su qualcosa
indossando solo bisogno di riempire pila a con
i dati dalla pila saranno così lenti
tutta questa storia ho anche iniziato
implementando qualcosa chiamato così è a
parola tedesca per tedeschi in là a destra
ok così puoi sapere cosa intendo ok
è come maiale ma in tedesco e fatto
nessuno usa la foto qui, ora non posso
credilo davvero quando lo accendi
dice grugnito così il mio dice olio solo per divertimento
quindi lavorerò su di esso rispetto al
prova forse il potenziale solo per avere un
implementazione di Python Python
del motore di elaborazione latina maiale qui così io
può usare anche un modo più astratto di fare
MapReduce per scrivere i lavori MapReduce in cima
di questo disco sull’intera catena di strumenti
dietro le quinte
quindi intendo per quei numeri che sono
non molto impressionante forse è possibile
per eseguire il tutto durante la settimana
durante diverse settimane su un singolo w520 così
la macchina settentrionale stessa è una nuvola i
chiamalo a metà dei saluti video su cloud
Sig. La gentilezza di Darrow l’ ama quando io
dì questo come se fosse una workstation mobile
quindi ho un laptop da 7 chili di peso
cosa impariamo sui big data in questo
parla bene nella zona del
l’analisi dei dati social è il primo problema
è assolutamente caotico quindi tu
bisogno di trovare modi per memorizzare questi dati a
elaborare questi dati in modo che tu
non mi aspettavo di venire non puoi fare affidamento
su qualsiasi cosa io sia la posizione o qualcosa del genere
come quello nel caso di questo flusso
è per lo più spazzatura che puoi aspettarti
lo stesso problema anche quando si accede
facebook o qualcosa è un sacco di
armeggiare Penso a tutti quelli che lo fanno
qualche statistica Brooke lo direbbe
è necessario armeggiare il risultato di tipo
fino a quando non ha senso quindi è necessario
scusa, quindi devi armeggiare il tuo
algoritmi necessari per filtrare questo è uno
prossimo problema quindi devi combinare due
si avvicina a questa roba MapReduce non lo farebbe
lavoro come filtro perché intendo
prima che colpisca l’archivio dati lo faresti
bisogno di filtrare i dati quindi ne abbiamo bisogno di due
diversi approcci qui si tratta di un sacco di
apprendimento automatico delle statistiche matematiche
analisi e tutto ciò che è fondamentalmente
non è così complicato con NLT per
esempio ma devi ancora capire
quale algoritmo è migliore per cosa e
elaborazione del linguaggio naturale in questo caso
la libertà di selezione degli strumenti è molto importante
questo è quello che sto cercando di dire che non lo è
sullo strumento e su cosa scegli
non aspettarti che quando scegli un dupe
fuori dallo scaffale
si romperà automaticamente per te
questo è il punto in questo kool-aid
accettazione o non accettazione nella sua
parco giochi senza fine per geek con
aspirazione, penso di averne un po ‘
ispirazione qui voglio solo ottenere
meglio ogni giorno per imparare cose nuove così
Ho bisogno di capire come
elaborare questi dati tuttavia viene fornito
dovunque provenga nel modo migliore
che è possibile, quindi lasciami dire
più astratto riguarda ciò che sei
cercando di trovare nei dati che è grande
dati devi sapere cosa vuoi
scoprire che si tratta di trovare il meglio
modo matematico per trovarlo perché è
riguardo l’analisi matematica è su di esso
su come filtrare ciò che non vuoi
per vedere ed è praticamente spazzatura
lì da dove viene è di circa
conoscendo limiti e punti caldi e provando
per creare un set intorno a questo ed è
anche sulla scelta della giusta catena di utensili
per questo lavoro quindi solo uno due è un
combinazione di diversi strumenti anche se
tu vai per la JVM che potresti essere gentile
di combinare per scopi differenti secondo
o tempesta e Hadoop per cose diverse
dalla mia esperienza le aziende hanno fallito
in questo momento i potenziali clienti in questo
adozione di grandi quantità di dati non perché hanno
sentito parlare di Hadoop e non ho davvero
qualcuno a farlo perché è
la tecnologia tecnologica è apprendibile è
perché non sanno cosa fare con
i dati quindi se esci e li dici
hey è la matematica possiamo analizzare questo
quindi il mio lavoro è fatto quindi lasciami fare
basta avvolgerlo a raccogliere che è cento
dati percentuali non è nuovo è proprio come
caos ma sono ancora dati che puoi
analizzare questo è possibile elaborarlo
con tutte le possibili incertezze che tu
è zero al cento per cento
Hadoop quindi è in realtà diverso da
è anche il titolo originale del discorso
lo zero all’uno per cento java è molto
importante sapere che anche se questo Java
il mondo è davvero ricco, ci sono diversi
soluzioni per scopi diversi che
puoi usare ed è sempre un
combinazione di cose diverse è
inoltre non solo non sequel nessun sequel qualunque
comunque qualunque parola buzz useresti
che nessun sequel o no lo è anche no
nero o bianco hai solo bisogno del giusto
strumento per questo lavoro speciale nel mio caso
appena scelto reagire perché volevo
essere creato essere ho avuto esperienza con reagire
vedi, so come distribuisce e come
può accedervi quindi è stato il migliore
strumento lo strumento migliore per questo caso e
è assolutamente scienza, assolutamente
analisi e si tratta di un sacco di
sperimentare prima di ottenere risultati
che sono ragionevoli, quindi è grazie
tu molto
Percentuale di big data che devi pronunciare
mi piace in modo interessante quindi sono grandi dati
ed è zero per cento di Hadoop e 0% di Java
qualunque cosa significhi fondamentalmente dopo il
Keynote di Sun dato oggi posso solo fare i bagagli
le mie borse e vai a casa perché quelle sono
numeri impressionanti e questo è utile
roba e ma bene ho avuto questo
presentazione hai questa volta quindi facciamolo
fai il meglio da ciò che effettivamente mi piace
stanze più piccole a causa della vicinanza
il pubblico e essere come un bene
obiettivo in modo da poter lanciare bottiglie di birra
io sono un po ‘troppo sarcastico
pensi che lo chiameresti così
okay brevemente su di me um bene io sono
sto lavorando per il codice centrico
consulenza tecnologica e all’avanguardia
aree anche qualunque cosa significhi intendo
tutto è un po ‘sanguinante
tecnologia che in genere non è jsf
la primavera e l’ibernazione così bene io sono
cercando di trovare la mia strada attraverso diversi
tecnologie e scrivo anche libri
su cose diverse quindi ne ho tre
di loro già fatto e ho anche io
questo in questo momento sta funzionando con grandi dati
80 decisori è assolutamente
non tecnico rispetto al precedente
uno che è sul mercato per ora uno
anno è una linea OTP okay lasciami mettere
questo disclaimer ti ho detto che sono sarcastico
ma fondamentalmente non affido solo
espresso la mia opinione e coloro che sanno
anche io che ho partecipato ai miei discorsi
so che mi piace raccontare storie così è
una storia e possiamo fare domande
dopo è un’esperienza
presentazione così qualcuno sa cosa
questo è davvero spiacente questo libro
okay, andiamo così la storia inizia come
che sono in una presentazione di diverso
aziende e prodotti seduti lì
ascoltare è qualcuno dalla compagnia
chiamato intensità qui in questa stanza
nessuno va bene nessuno sa cosa loro
lo ha fatto in sostanza la presentazione è stata
come sai, abbiamo grandi dati e
big data e big data e ricorda no
affittare così per la mia esperienza ogni discorso
dato alla conferenza è una specie di
marketing sul quale commercializzi un prodotto
un punto o commercializzi la società o te
mercato te stesso che è la mia esperienza così
ma in questo caso sono solo seduto lì
ascoltando questa fine sembra
La magia di Houdini, quindi quello che viene fatto non esiste
qualcuno sa cosa sia Houdini fantastico
quindi è come se sapessero che analizzano il reale
tempo verrò a questo punto più tardi braccio
social network e in cerca di
esempio per diverse aziende che sono
partner con loro o clienti per
affitti su prodotti per esempio qualcuno
Scrivo solo questo cazzo, mi dispiace, sono io
permesso di dirlo anche in video
questo cazzo di samsung s3 non funziona e
è l’analisi in tempo reale quindi il venditore
sarà informato su questo
incidente in un modo così sembra magico
e sono nella presentazione era un
mappa del mondo tendente tutto il tempo
alcuni tweet stanno spuntando con gli affitti
e roba così quello che ho fatto appena in
metà della presentazione che ho inviato a
twittare noleggiando praticamente su a
prodotto che potrei derivare dal
presentazione ma la mia non ho mai visto la mia
tweet per apparire così bene
Intendo ok, quindi penso che me lo stai dicendo
è fumo e specchi proprio oh sono dentro
questo settore da oltre 20 anni quindi io
ho imparato che non c’è niente come il fumo
e gli specchi qui bene fumano fondamentalmente
quando si brucia solo i dischi rigidi wow
quindi è come se fosse naturale
l’elaborazione del linguaggio non piace a nessuno
elaborazione del linguaggio naturale in questo
il pubblico qualcuno sa cosa sia
va bene così sembra a me e questo
sembra un sacco di matematica e anche bene
sorta di apprendimento automatico della macchina
fa qualcosa e informa le persone
sui marchi fa anche qualcuno
apprendimento automatico per vivere che è caldo
roba quindi penso che andiamo, posso pensare
di ciò che sta accadendo là intendo
come vedo il mio twitter non sta scoppiando
così qualcosa deve essere dietro il
scene quindi è una specie di big data
fondamentalmente la spiegazione su cosa ho fatto
pensa a questo così la prima cosa che
Sto pensando di tornare al
l’hotel è il nostro stiamo andando a ottenere questo grande
dati e amici hai bisogno di una piattaforma
dove le persone dicono cosa pensano
prima che pensino quello che dicono quello che è
questa piattaforma ovviamente è Twitter e
incluso me dico anche quello che penso
prima di pensare a quello che dico di più
tempo quindi mi rendo conto, naturalmente, che ho bisogno di
bevo i miei dati grandi abbastanza dritti
dal firehose è così che vuoi
nome questa cosa così ho chiesto a Twitter
attraverso ricerche e roba come posso
bere da te o dalla tua manichetta antincendio
in pratica la caserma dei pompieri non è disponibile
per le persone normali in modo da poter ottenere il
dati da Nippon da DataSift per a
piccola tassa di licenza più o meno forse pre
analizzato o qualcosa così non è niente
che posso facilmente fare in una stanza d’albergo e
c’è stato qualcosa come il giardino
tubo flessibile ma per quanto posso capire
non esiste più nemmeno per la ricerca
progetto quindi l’alternativa del povero
sarebbe a voi sapere di consumare questo
flusso pubblico ha fatto qualcuno fare qualcosa
come quello che in precedenza consumava pubblico
flusso da Twitter va bene così ottieni
qualcosa come te lo sai fino a due
mille tweets al minuto massimo giusto
fallo venire
quindi intendo bene non è opprimente
giusto non è big data non è dove
sono questi grandi dati, ma ricordati che sono
seduto lì ad ascoltare il
presentazione senza nemmeno vedere la mia
tweet e tuttavia penso di poter essere gentile
di pensare a questo in modo da iniziare a delineare alcuni
bolle qui bene, fondamentalmente come vorrei
fai questo ho dei tweet qui io
ha consumato questa cosa e IQ questa roba
e poi ho fatto un po ‘di analisi e poi ho fatto
segnalerei questo nel mio caso solo
ho deciso di scrivere un file perché non l’ho fatto
voglio mandare tweets a tutti così
ora ho bisogno di un tag di base adeguato per
armeggiare questo
così bene sto facendo java da più di 10 anni
anni e c’è un sacco di cose
puoi usare nel mondo Java per farlo
qualcosa del genere più o meno velocemente
quindi è una grande selezione qui di cose
ci sono dei fanatici di java qui intorno
in questo pubblico veri fanatici del hardcore
ricorda che sono sarcastico, non lo prendo
personalmente se affitto o se sto facendo
essendo onesto è tutto così divertente
quando penso a Java arrivano strane cose
a mio parere, ne ho visti molti
soluzioni basate fondamentalmente bene
scritto in Java e usando il tutto
ecosistema sono piuttosto sovraccarichi e
per il mio armeggiare sto solo pensando di venire
un po ‘troppo forse e solo
un altro disclaimer mi piace la JVM I
in realtà amo la JVM perché è una
complesso ed è un tag di prova e anche tu
può fare simpatia meccanica a nessuno
sapere quali simpatie meccaniche vanno bene
questo è un termine piuttosto interessante, penso L
fa in modo che i ragazzi l’abbiano portato nell’IT
settore ma quando lo fai sulla JVM
i tuoi cappotti che iniziano a sembrare mare
e tu spingi via per vedere i cicli come
per quanto possibile, quindi la domanda è allora
perchè non solo tu vedi ma comunque intorno
Java c’è un grande ecosistema e
quindi una grande comunità e ci sono reali
ragazzi brillanti che lavorano sulla stessa JVM
sono dei veri esperti fantastici
ma comunque mi piace, lo adoro ma
cose strane mi vengono in mente e io
pensa che qualcuno sappia di cosa si tratta
qualcuno può dirmi questo cos’è
mi scusi, sì, in realtà potrebbe essere
vero ma direi che è solo grande
quello sul tuo basso sul tuo disco rigido
perché per compilare qualcosa
che è a metà strada sofisticato lo farai
scarica la metà di internet sul tuo hard
disco che è davvero grandi dati così in realtà
i grandi dati sulla JVM sono anche belli
cosa ricca quindi hai Hadoop che hai
maiale hai un aspirante tempesta tutti questi CP
i motori non hanno speranza di fare macchina
imparando hai anche un sacco di labbra e
esperienze di quadri e librerie
da altre persone ed è anche un grande
parte di un hype attorno all’Hadoop
ecosistema ma arrivano ancora cose strane
nella mia mente vuoi che io elabori
su questo non lo diamo davvero
c’è anche questo dipendente da a
piattaforma diversa per i motivi I
volevo solo impararlo, volevo solo
incontra quei fantastici ragazzi che lavorano in questo
comunità quindi mi piace erling e lo faccio anche io
erling ho anche scritto un intero libro
su Erling solo per impararlo, così ci è voluto
come due anni e mezzo farlo e
c’è una prospettiva diversa su questo
Penso che non sia ben leggibile, quindi solo
lascia che ti legga per te, io sono uno di questi
i miei tweet e mi piace dire qualcosa
pensa prima che io pensi che tu lo sappia anche tu
ho lentamente capito che non lo farò mai
avere qualcosa che chiamano successo perché
Semplicemente rifiuto di scrivere il mainstream
onda così voglio solo sperimentare
quindi quello che ho deciso di combinare
software basato su erling che ho approfondito
in precedenza con l’ hacking di Python
perché volevo fare più python
l’hacking e il pulsante sono in realtà o python
è in realtà molto popolare tra
scienziati se lo sapete e lo è
anche script e mi sono davvero il valore
scripting voglio dire che ha, naturalmente
svantaggi quando hai davvero bisogno del tuo
roba da compilare ma comunque io
come lo scripting perché è carino
flessibile quindi prendiamo un po ‘di cemento
bolle per quello, voglio solo dire che lo è
piuttosto semplice hai appena letto dal
flusso di esempio utilizzando una piccola libreria di tweets
per Twitter XS attraverso Python poi io
vorrei solo costruire su coniglio direi
Vorrei citare questa roba e userei
un TK e scriverò i risultati a
il file non conosce nessuno su NLT k
qui bene NLT k questo è il quadro
è scritto in python e anche su
fortran bene fondamentalmente la base
le librerie sono scritte in fortran
parzialmente quindi è assolutamente fantastico
fare cose sul testo analizzando il testo in
in qualunque modo la PNL ne avrebbe bisogno ma
la domanda da un esperto di big data
potrebbe anche significare che potresti davvero fare
MapReduce multifase su quello bene
il problema qui è che hai letto
il flusso quindi prima di tutto questo campione
in streaming non saprai mai dove finisce
e il problema con MapReduce che tu
prima ad esempio con una nuova bellissima
prima necessità di compilare il tipo di dati in
l’HDFS se non lo fai bene il
in un altro modo sarebbe solo per consumarlo
dal web o da qualche parte, ma poi
arriva allo split che devi dividere
questi dati sono necessari
che molti erano lavoratori o mappatori
qualunque cosa si adatti a questo
concetto a questo modello così lui solo
in genere non è possibile ridurre il flusso
dati che non lo fai non ho partecipato al
ciao ciao ciao niente motta ieri ma
Penso che avrà spiegato in dettaglio
perché non è possibile e ancora cosa
sarà fatto non c’è niente da fare
con tempo reale in tempo reale entra in termini di
l’informatica è qualcosa di diverso
intendo dire che il tempo è ora, quindi è il momento
legato e hai duro in tempo reale
soft in tempo reale la differenza è giusta
cosa succede nel caso dell’errore di
il problema quindi puoi chiamarlo vicino al reale
tempo o il più velocemente possibile o Eve o
anche qualcosa che tu possa essere fatto
mentre stai ordinando una pizza ma
comunque tutto in questa catena è
piuttosto noioso, penso che metà di voi ragazzi
almeno hanno fatto qualcosa in giro
coniglio in q4 in coda bene eccetto NLT k
eccetto PNL quindi quello che pensavo fosse prima
bene, io userei analytica solo per analizzare
il testo e poi posso pensare a questo
tipo di intento che posso trovare riscattato il mio
il problema era che era solo diverso
in questo caso a causa di questo
qualcuno sa chi è Justin Bieber
qualcuno come lui è in questo pubblico
ok io non giudico ma il problema è
che era un fluido di credenti e
i miscredenti sono persone che amano
ufficiale in amore Justin Bieber così dentro
questo caso mi piace in giro
il sessanta per cento del flusso campione era
solo immondizia non era utile, intendo
qualcosa entra non ha niente da fare
con qualsiasi cosa è solo una promozione
tweet o qualcosa per Justin Bieber così
quelli di voi che fanno l’apprendimento automatico e
roba lo saprà per statistico
lavoro hai bisogno di un sacco di dati così tanto più
i dati che hai, meglio puoi commerciare
i tuoi classificatori se classifichi il letto
è il risultato o la fine della giornata così
poi dico ok ho bisogno di filtrare
qualcosa che posso filtrare i belieber
va bene, ma quale sarà il prossimo?
i prossimi criteri per farlo camminiamo
attraverso possibili criteri um ragionevole
i nomi utente fanno nessuno in questo pubblico
sapere con questi ragazzi va bene questo è un grande
geek e il problema è che probabilmente
tutti sanno chi è ma come può funzionare
conoscendolo voglio dire che è solo dhh
qui quasi impossibile, quindi dimentica
i veri nomi dimenticano semplicemente i nomi degli utenti
dimentica con i nomi che è bello
quasi tutto passiamo attraverso il
prossima possibilità ad esempio un profilo
bio James è un geek fantastico ma nel suo
profilo nella biografia che dice sexy come cazzo
quindi filtreresti questa conoscenza
che questo ragazzo potrebbe anche affittare
la risposta è no, quindi non filtreresti
così anche se è lì che le parole ci sono
gli altri fantastici ragazzi sulla storia di
questa diapositiva è abbastanza semplice che ho incontrato
a San Francisco a marzo e se ne andò
prima di partire e penso per tre o
quattro mesi anche dopo che è tornato a
Israele
i suoi tweet sono stati geo-localizzati con
San Francisco quindi è assolutamente
informazioni inaffidabili pure questo
non è molto ben noto, fondamentalmente
hai questo campo per te
posizione che puoi fornire a Twitter
la mia posizione dice bene anatra di gomma anziano
è una specie di titolo professionale, ah sì
qualcuno fa anatra di gomma qui per un
vivendo siete ragazzi popolari lo faccio dentro
entrambe le direzioni mi piace è una figata
cosa così volevo solo magnaccia il mio
pagina del profilo di Twitter, quindi che ne dici?
linguaggio corretto come fai cosa vorrebbe
lo fai con la lingua questo è solo un
piccolo esempio da google traduttore noi
basta digitare sarebbe notte e si ottiene
essere rilevato come tedesco intendo Google
il traduttore è una cosa davvero fantastica
è davvero bello che mi ci sia voluto del tempo
pensa a questo insieme qui, ma bene io
Voglio dire, so che Google II non ha questo
dati non ho questa informazione quindi io
ho bisogno di pensare a qualcosa dalla mia
tu fondamentalmente non è inglese è
non tedesco e bene per me sembrava
come l’ottanta percento di tutti i tweet
vieni attraverso il flusso del campione ah quando io
grattare via il sessanta per cento della spazzatura
va bene così posso fare solo del mio meglio e quello
significa che non vorrei filtrare per la posizione i
non filtrerei per profilo da oh I
userebbe un TK per classificare tra
inglese e spagnolo
lascia che venga il problema lì
senza NLT k è tutto tutto
tutto è basato sulla coopera in modo corpus
è solo un testo che potrebbe essere aggiunto
potrebbe non essere taggato comunque lo usi
ma fondamentalmente hai bisogno di una sorta di base
informazioni dove puoi che puoi
sorta di confronto con ciò che entra e
scoprire se è negativo o positivo o
qualcosa che fanno sono in realtà
nei corpora disponibili è usato
recensioni di film e alcuni protocolli di chat
i dati non sono così grandi e io sono carina
certo che è stato censurato prima di allora
per invettive reali con parolacce IT
Non avrebbe funzionato così bene in modo da quello che avevo da
armeggiare anche due separati ragionevole
fronte della lingua inglese da inutile
lingua per me è stato quello di bene che ho appena detto
spagnolo dopo un paio d’ore di
armeggiare spagnolo sembra essere una calamita
per nient’altro che inglese
quindi basta spingerlo via tutto ciò
arriva in spagnolo e il resto lo è
l’inglese e io posso occuparmi dell’inglese
cosa che la probabilità chiamava argilla
calcolo non c’è anche quello
semplice, comunque , rischierei di prendere il mio
bolle allora e le bolle sembrerebbero
così mangerò il flusso I
vorrei dire questo che devo filtrare
che lo spingerei in un’altra coda
poi faccio le mie analisi e poi lo farò
pre-porta solo un po ‘
più grandi stanno guardando le bolle di cemento
così è ancora piuttosto semplice
solo 2 q nello scambio di conigli quindi sono
attento ora e in fondo cosa posso fare
filtrare perdendo alcuni dati che non lo sono
buono ma ho bisogno di dati utilizzabili quindi significa
che posso anche posso quasi filtrare
niente fuori
quindi questo significa anche che cosa c’è
dal punto di vista dei dati è quasi
niente, quindi ho bisogno di rendere questi dati anche
più grande ha bisogno di odorare come grandi dati
perché è Houdini magico e grandi dati
e roba così mi avresti chiesto
se come faresti a perseguitare qualcuno
conosci gli utenti e ottieni che puoi ottenere di più
gli utenti attraverso te sanno quando il tuo
riferimento utilizzando o menzione di utente
può avere questo utente così così sarebbe
tipo di esplosione e come puoi fermarti
questo è il problema che hai
la limitazione attuale è 150
chiamate API non autenticate all’ora quando
vuoi fare cose come me che ti servono
avere un’autenticazione in un’app per
così solo 350 chiamate all’ora
confrontalo con i numeri che ti ho detto
a quel punto hai dei limiti / indirizzo IP
quindi come avresti scala questa scala
significa che puoi usare più indirizzi IP I
getterò solo il nome cloud nel
pubblico in questo momento qualsiasi cosa tu possa
scala più utenti che hai appena creato
utenti e app e ti ridimensionerai
questo, ma è probabile che ti farà male
te stesso con Termini di servizio ed è
solo un esperimento quindi volevo solo
armatevi di questa magia edina qui così comunque
ci sono più bolle che in origine
consumato q filtro q negozio da qualche parte
MapReduce analizza i dati e il report
questo le bolle concrete sono quelle
ho usato anche ancora thuy p coniglio e
l coniglio TK reagisce per memorizzare il disco dati 0
fare il file MapReduce NLT k
ma aspetta reagire alla disco mapreduce intendo
non ti ho detto che non l’avrei fatto
senza quello lo farei senza di lei
fai bene lasciami spiegare un po ‘il tag
quindi quello che non ho spiegato prima di una foto
coniglio perché RabbitMQ è veloce e
è affidabile e flessibile è scritto in
presto così è l’Irlanda come e affidabile
prima di tutto la seconda cosa che riguarda la reazione
siamo nel sequel di cui non ha bisogno il trachsel
essere collegato a questo è anche scritto in
in Erlang può memorizzare i tuoi dati
distribuito ridondante e affidabile e
si basa su un link quindi il nostro link
ridondanza e affidabilità della distribuzione
lo compri solo con quello che ha fatto chiunque
ascoltare il progetto discoteca non è una buona discoteca
progetto è stato creato fino a me
conosci pi di Nokia e open-source è
qualcosa che usano internamente per
le mie cose producono ed è fantastico
perché non è solo scritto all’inizio
bene il suo nucleo per la distribuzione per
licenziando i lavoratori e poi a tutto questo
roba è scritta in anticipo, ma cosa tu
fai lì tu scrivi i mappatori Python Python
e riduttori o posti di lavoro e ottengono questo
distribuito in modo che tu sia nativamente
in grado di accedere a un TK e basta
beh, in realtà questa è un’intera catena
che volevo solo usare il NLT k con
il più esperto di tutti e ragazzi LP
in tutto il mondo, quindi quello che faccio questo
bene quello che faccio con questa catena qui sono io
utilizzare ancora questo nell’archivio dati posteriore
quindi eseguo localmente i dati dei localizzatori della discoteca
i nodi reagire e vorrei chiedere a Twitter
per gli utenti e i follower che conosci
ordine di far crescere il database
è molto lento in modo ricorsivo
diventando un enorme grafico lento a causa di
le limitazioni API ma ancora solo
ricorda che sono seduto lì ad ascoltare
alla magia Houdini quindi perché sarebbe un
coda questo perché voglio bere da
il flusso di esempio ho appena assunto che io
non so quanti dati otterranno
non sono numeri impressionanti ma io ancora
volevo solo memorizzare dati di data e reagire
nel modo distribuito senza nessuno
possibilità di rallentare un archivio dati
giù per l’intera catena posso assolutamente
non impressionare reagire con questi numeri ma
può diventare sempre di più e
più forse acquisterò una licenza annuale
con i dati salvati sto scherzando e allora
su questo Python, roba da Python
è quale modello è lento in alcuni punti
sì, l’intera catena si bilancia
fuori così ancora voglio fare qualificato
PNL con LDK e bene ci sono
è un paio di possibilità come
risolvilo ad esempio con pi PI per correre
punti di riferimento impressionanti su come è possibile eseguire un
l programmi TK su programmi basati su TK
script con PI PI ancora più veloce, naturalmente
Posso fare tutto questo sulla JVM ma
ricorda quelle strane cose
mi viene in mente intendendo solo essere
Onesti, siamo tutti forse ragazzi in questo
il pubblico sta facendo attualmente jvm
lavoro per vivere ma tu sai solo
armeggiare qualcosa che è assolutamente
al di fuori di questo mainstream e di questo
tutta la montatura perché ti spiegherò
Alla fine della presentazione che è
non su questo
strumenti e cose così bene finalmente
questo punto di questo rant analizza ora io
ho tutta la catena di strumenti che ho il mio
tweets posso far crescere il mio database con il
gli utenti e le cose che avrei inseguito per loro io
leggerebbe l’ultimo sui tweets o
qualcosa così come lo farei bene
il modo molto ingenuo per fare questo sarebbe giusto
cercare parole imprecise, ma come farai
trattare con qualcosa del genere dice oh
Mio Dio fa freddo come cazzo, lo adoro come
classificheresti questo è un negativo
o emozione positiva
quasi impossibile, in questo caso, io
direbbe che il cazzo di amore sarebbe forse gentile
di bilanciarsi l’un l’altro e oh mio dio
beh, anche questo può essere positivo
come negativo, ma in ogni caso questo non lo fa
aiutare molto non si può nemmeno filtrare fuori
perché non si tratta di Justin Bieber così
il giusto il modo giusto per fare questo e
questo è ciò che ha funzionato in questo caso
centrato sulle analisi del sentimento per
esempio da nave bias classico basato
la classificazione non conosce nessuno
questo va bene, quindi vorrei solo
suggerire che anche se tu odi il discorso
e se non sei d’accordo con non usare
Hadoop o qualcosa da dare un’occhiata
statistiche e cose del genere um bene
di base in realtà questa classificazione
problema del testo è una casa di ml TK
è per questo che l’ho scelto e creato a
tutta la catena di strumenti intorno a esso in modo che possa
dire a da essere sul testo classificare
questo ma hai bisogno di migliori corpora per
perché, come ti ho detto, lo usano
recensioni di film e sono abbastanza sicuro lì
sono stati censurati prima di allora
non troverai quelle parole pesanti in questo
la domanda è dove lo otterresti
i corpora hanno qualcuno un suggerimento
se qualcuno non sa cosa sia un
corpus è solo una lista di parole per
esempio o parole di testo o parti di testo
e roba cosa posso ottenere qualcosa
è una vera bestemmia
cinguettio sto cercando di analizzare
Twitter è necessario sedersi lì e
classificare tutto ciò di cui hai bisogno
che forse è anche più prevedibile
questo è facile
tutti sanno che Linda ha viaggiato
beh lui non teme che tanto è un
ragazzo fantastico è uno di quelli che hanno
in realtà è riuscito a cambiare il mondo IT
ma comunque quando hai un post che inizia
con come hai visto il nostro puoi aspettarti
che forse è così negativo
puoi ricavare qualche informazione un po ‘
un po ‘di più qui, signora. hecho fa nessuno
conoscilo, sento qualcuno ridere
o è nella stanza diversa, ora è lui
anche un grande concerto, ma voglio dire che dice
i programmatori hanno bisogno di imparare la statistica ah
o li ucciderò tutti e va avanti
e continua nel post quindi è carina
impressionante quanto bene l’affitto
informazioni classificabili che puoi scegliere
fuori da questo post così alla fine del
giorno ho il mio file con affitto e il
numeri di questo giro circa 50.000 utenti
a settimana forse cinque veramente qualificati
amici non ho carte colorate io
non avere questa mappa e i tweet che scoppiano
anche il mio tweet non è saltato fuori
lì perché sono abbastanza sicuro che il
flusso di esempio di twitter sta andando bene
esplicitamente pieno di tweet belieber
ma non importa cosa ho imparato da questo
e cosa posso dirti cosa a cosa è
anche possibile imparare così ho imparato un po ‘
cose utili che stanno sperimentando sono
ora più elettrico contro il kool-aid allora
Sono stato prima che abbiano scritto a
libro chiamato architettura pragmatica dell’IT
che è puro sarcasmo
ben grande nei grandi dati no
significa necessariamente che è grande qualunque cosa
grande significa che alcuni ragazzi sanno cosa
grande è ma in un modo diverso ci sono
modi diversi per gestire i big data così
quello che ho fatto qui ho dovuto armeggiare un po ‘
la tecnologia dovevo insegnare in discoteca a no
licenziare lavoratori su nodi esistenti o
note disponibili ho dovuto armeggiare a
utilizzare i nodi pre-avviati e due chiamate
funzioni di erling in modo nativo perché voglio
località dati voglio estrarre i dati da
le v note di questo reagiscono bene al nodo
forse con possibili rischi di duplicati
ma la località dei dati è ancora molto
principio importante quando lo fai
quando fai MapReduce su qualcosa
indossando solo bisogno di riempire pila a con
i dati dalla pila saranno così lenti
tutta questa storia ho anche iniziato
implementando qualcosa chiamato così è a
parola tedesca per tedeschi in là a destra
ok così puoi sapere cosa intendo ok
è come maiale ma in tedesco e fatto
nessuno usa la foto qui, ora non posso
credilo davvero quando lo accendi
dice grugnito così il mio dice olio solo per divertimento
quindi lavorerò su di esso rispetto al
prova forse il potenziale solo per avere un
implementazione di Python Python
del motore di elaborazione latina maiale qui così io
può usare anche un modo più astratto di fare
MapReduce per scrivere i lavori MapReduce in cima
di questo disco sull’intera catena di strumenti
dietro le quinte
quindi intendo per quei numeri che sono
non molto impressionante forse è possibile
per eseguire il tutto durante la settimana
durante diverse settimane su un singolo w520 così
la macchina settentrionale stessa è una nuvola i
chiamalo a metà dei saluti video su cloud
Sig. La gentilezza di Darrow l’ ama quando io
dì questo come se fosse una workstation mobile
quindi ho un laptop da 7 chili di peso
cosa impariamo sui big data in questo
parla bene nella zona del
l’analisi dei dati social è il primo problema
è assolutamente caotico quindi tu
bisogno di trovare modi per memorizzare questi dati a
elaborare questi dati in modo che tu
non mi aspettavo di venire non puoi fare affidamento
su qualsiasi cosa io sia la posizione o qualcosa del genere
come quello nel caso di questo flusso
è per lo più spazzatura che puoi aspettarti
lo stesso problema anche quando si accede
facebook o qualcosa è un sacco di
armeggiare Penso a tutti quelli che lo fanno
qualche statistica Brooke lo direbbe
è necessario armeggiare il risultato di tipo
fino a quando non ha senso quindi è necessario
scusa, quindi devi armeggiare il tuo
algoritmi necessari per filtrare questo è uno
prossimo problema quindi devi combinare due
si avvicina a questa roba MapReduce non lo farebbe
lavoro come filtro perché intendo
prima che colpisca l’archivio dati lo faresti
bisogno di filtrare i dati quindi ne abbiamo bisogno di due
diversi approcci qui si tratta di un sacco di
apprendimento automatico delle statistiche matematiche
analisi e tutto ciò che è fondamentalmente
non è così complicato con NLT per
esempio ma devi ancora capire
quale algoritmo è migliore per cosa e
elaborazione del linguaggio naturale in questo caso
la libertà di selezione degli strumenti è molto importante
questo è quello che sto cercando di dire che non lo è
sullo strumento e su cosa scegli
non aspettarti che quando scegli un dupe
fuori dallo scaffale
si romperà automaticamente per te
questo è il punto in questo kool-aid
accettazione o non accettazione nella sua
parco giochi senza fine per geek con
aspirazione, penso di averne un po ‘
ispirazione qui voglio solo ottenere
meglio ogni giorno per imparare cose nuove così
Ho bisogno di capire come
elaborare questi dati tuttavia viene fornito
dovunque provenga nel modo migliore
che è possibile, quindi lasciami dire
più astratto riguarda ciò che sei
cercando di trovare nei dati che è grande
dati devi sapere cosa vuoi
scoprire che si tratta di trovare il meglio
modo matematico per trovarlo perché è
riguardo l’analisi matematica è su di esso
su come filtrare ciò che non vuoi
per vedere ed è praticamente spazzatura
lì da dove viene è di circa
conoscendo limiti e punti caldi e provando
per creare un set intorno a questo ed è
anche sulla scelta della giusta catena di utensili
per questo lavoro quindi solo uno due è un
combinazione di diversi strumenti anche se
tu vai per la JVM che potresti essere gentile
di combinare per scopi differenti secondo
o tempesta e Hadoop per cose diverse
dalla mia esperienza le aziende hanno fallito
in questo momento i potenziali clienti in questo
adozione di grandi quantità di dati non perché hanno
sentito parlare di Hadoop e non ho davvero
qualcuno a farlo perché è
la tecnologia tecnologica è apprendibile è
perché non sanno cosa fare con
i dati quindi se esci e li dici
hey è la matematica possiamo analizzare questo
quindi il mio lavoro è fatto quindi lasciami fare
basta avvolgerlo a raccogliere che è cento
dati percentuali non è nuovo è proprio come
caos ma sono ancora dati che puoi
analizzare questo è possibile elaborarlo
con tutte le possibili incertezze che tu
è zero al cento per cento
Hadoop quindi è in realtà diverso da
è anche il titolo originale del discorso
lo zero all’uno per cento java è molto
importante sapere che anche se questo Java
il mondo è davvero ricco, ci sono diversi
soluzioni per scopi diversi che
puoi usare ed è sempre un
combinazione di cose diverse è
inoltre non solo non sequel nessun sequel qualunque
comunque qualunque parola buzz useresti
che nessun sequel o no lo è anche no
nero o bianco hai solo bisogno del giusto
strumento per questo lavoro speciale nel mio caso
appena scelto reagire perché volevo
essere creato essere ho avuto esperienza con reagire
vedi, so come distribuisce e come
può accedervi quindi è stato il migliore
strumento lo strumento migliore per questo caso e
è assolutamente scienza, assolutamente
analisi e si tratta di un sacco di
sperimentare prima di ottenere risultati
che sono ragionevoli, quindi è grazie
tu molto
Please follow and like us: