questo è un discorso in realtà su cosa
significa essere uno sviluppatore di big data e io
ho bisogno di uno in anticipo che io sia
forse troppo sarcastico per questo mondo, quindi se
puoi prenderlo potrebbe essere difficile ma
comunque spero di poterti dire un
un po ‘di queste cose
sono necessari per diventare una foto per essere grandi
sviluppatore di dati prima di tutto un breve
disclaimer non voglio fiammeggiare dove voglio
non affitto non bash alcun prodotto o
fare qualcosa di simile qui sarò sarcastico
ma non è quello ed è solo di più
perché sono solo troppo stanco
lo sai dopo un paio di anni
combattendo ma comunque spero vi piaccia
questo quindi quello che farò è questo tipo di
Non sono un attore, ma cercherò di farlo a
sorta di alzare la commedia suonando due
persone che una persona chiederà stupide
domande a cui l’ altra persona proverà
rispondere a queste domande stupide pure io
non voglio essere giudicato da chi è chi
questa persona è in realtà io ma comunque
okay iniziamo così questo è il ragazzo
fare domande in modo che sia solo hey amico
Sono un grande sviluppatore di dati che non è questo
room è in realtà un grande sviluppatore di dati
direi che ho a che fare con i big data come a
sviluppatore okay cool um cosa abbiamo
enormi dati e continuiamo a leggere
articoli sul elevata scalabilità calma fa
che tutti leggono gli articoli in alto
scalabilità calma no dovresti stare bene
in realtà si dovrebbe assolutamente ma il
il problema è che è solo un te
sapere una sorta di informazioni compresse e
hai bisogno di molto più di quello che farò
citare oggi um
ma in ogni caso l’ho letto quindi dai uno così
ragazzo ha grandi dati è facile è come
dati normali ma forse un po ‘
più grande quindi parliamo della dimensione del
dati um qual’è questo rumore sono io
penso di aver mangiato qualcosa ma non lo è
che male va bene il problema, quindi è così grande
come diresti che questo è il più piccolo
pesce nel mondo per quanto ho potuto chiedere
Wikipedia um è grande questo è giusto
come se fosse massiccio, so che posso farlo
confrontalo Posso confrontare le dimensioni
qualunque cosa significhi, lasciami definire grande
dati solo per essere sicuri che sia grande
abbastanza è petabyte di dati ogni ora
in diversi continenti con complessi
relazioni e con la necessità di analizzare
li in quasi tempo reale per le anomalie
e visualizzarli per il tuo
gestione che puoi chiamare questo grande dato
siamo d’accordo su ciò che ho imparato oggi
questo è il sole giusto comunque
è tutto sotto questo è Topolino
dati così buone notizie sono che puoi
crescere intenzionalmente questi dati possono diventare
sempre più grande e più grande è solo
dipende dal caso d’uso forse tecnologia o
il buon senso ma facciamo l’altro
fare è svolgere il suo ruolo senza problemi farlo
i dati sono dati sono solo gli stessi principi
così è davvero gli stessi principi quando tu
trattare con enormi quantità di dati o mai
vengono da dove vengono così
consideriamo la conservazione prima ok, hey no
il problema è iniziato come un database
lo fa tutti sono d’accordo su questo
beh lo avrei soprannominato perché il
La capacità di archiviazione di una singola scatola è
limitato sappiamo tutti questo e il comune
anche il senso lo sa, quindi non lo sa
importa quanto grande crescerai
la macchina da qualche parte è il limite e
è in genere la fisica non è un problema tizio
di sicuro stai parlando di sequel
è tutto roba da nonno che non è così
scala un po ‘ non conta più
abbiamo questo nuovo mondo splendente così bene
suona come questo quando ti aspetti
questo grande dato l’ho anche imparato
pronuncia questo grande dato perché è
grandi dati ma questi grandi dati suonano
più interessante quando ti aspetti che i big data ti servano
per scalare molto lontano costruiamo su
distribuzione e combinare teoricamente
quantità illimitata di macchine yada yada
yada su un’unica memoria distribuita lì
non è intorno a questo, tranne che tu hai
inventare qualcosa come una piaga nera
DB del foro
in realtà c’è quanto ho visto lì
è un back-end per il mio sequel chiamato black
buco, è carino, intendo qualcuno
già inventato questo non lo so davvero
sapere cosa significa e cosa no
gioca con questo ma comunque il nome è
già già ben protetto
nessun problema ha fatto sequel scale ed è
questa è la cosa più importante
questo è il più importante architettonico
fattore in questi giorni l’ offerta di freschezza di
qualcosa non dimenticare che sono sarcastico così
quelli non sequel ragazzi che raggiungono questi
le cose attraverso gridando sai che è
come gridare nasconde questa distribuzione
roba per me non ho bisogno di stare attento
di vecchia così tanto da costruire
la distribuzione proviene molto dalle mie esperienze
più difficile di qualsiasi cosa tu abbia visto o fatto
prima voglio dire che comprate solo tutti
possibile problema che puoi comprare con
parallelismo ma hai anche il
rete in là e quelli di voi che
si stanno effettivamente occupando di reti e
cose del genere sarebbero forse d’accordo
ogni singolo pollice di un filo rende il
tutta la cosa inaffidabile più inaffidabile
di ogni altra cosa, quindi la cosa migliore è
che avresti appena eseguito il tutto
sul pezzo di xant e poi è tutto
ma anche quello può bloccarsi e diventare lento
comunque è la cosa più difficile che tu
potrebbe mai fare tranne che hai nutrito una folla
con sette marmocchi e salì sul
acqua tutti voi cristiani o a
almeno ha sentito parlare di questa religione
non importa non è un religioso
discussione qui nessun problema ho fatto solo
hai questo berretto che conosci tutti
sai cosa è il teorema di cappuccio
Conosco davvero in dettaglio ciò che ha tenuto il teorema
è bene, in realtà non lo so
Penso che nessuno sappia in profondità cosa
catturare em significa davvero così tanto
discussione intorno a questo ha un termine steve
ha avuto un’ottima presentazione in merito
spiegando reagire e ci sono nuovi termini
beh, in realtà non è chiaro ma
comunque non odi nessun problema che lo farò
scegline due su tre è così semplice
è assolutamente facile, proprio l’unico
cosa di cui è assolutamente certo
sistemi distribuiti è che alcune parti
ne verrebbe un solo giorno e tu
non avrò assolutamente idea di cosa
succede lì che è assolutamente certo
è un dato che puoi provare a proteggere
te stesso contro questo attraverso il monitoraggio
e attraverso le persone che stanno portando in alto
sistemi e cose ma comunque la pipì
questo limite quando gestisci distribuito
sistemi di sistema e quando si avvia
distribuendo hai il dolore da buttare
i tuoi dati su più macchine su molti
macchine così p è un dato che il tuo sistema ha
essere una petizione tollerante o lo farà
fai schifo, quindi giocherai con c vs. a
conosci la coerenza rispetto alla disponibilità
è sufficiente spostare il cursore attorno ad esso
il nero o il bianco dipende solo da
il caso d’uso anche se ne usassi uno
dei disponibili ci sono dati stupendi
che stanno implementando bene
la carta dinamica come un sanrio reagisce è
non è sempre solo bianco o nero
non lo dirò per ogni caso d’uso in
la tua applicazione lo farai
sempre coerente o è sempre
disponibile forse è da qualche parte nel
medio per questa parte è sufficiente
essere incoerente ma per questo no
nessun problema amico questo lavoro funziona
senza problemi e non ho bisogno di stare attento
di tutto
beh, permettimi di doppiare di nuovo questo perché
per esempio è uno dei più difficili
sfide quando si avvia la distribuzione
gridando comunque lo chiami così quando
devi cercare nei dati a
attraversa i dati quando ti piace
grafici per esempio questo è uno dei
i problemi più difficili per distribuire il grafico
perché gli attraversamenti non sono semplici, intendo
è necessario mantenere i vostri dati insieme
da qualche parte ed è valido anche per qualsiasi
altra cosa perché lo farai in qualsiasi
sistema, per esempio, colpirai un nodo
e se questa nota non ha i dati
ha bisogno di sapere velocemente dove si trovano i dati
quindi ti piace non è più grande
che eri solito saltare ai due
è necessario accedere ai dati, ma
in realtà andrà al salto successivo e
è assolutamente necessario sapere dove
è nell’intero sistema, quindi non c’è
un’altra dura sfida in questo
intento roba tutta intenta intendo solo
andando un po ‘più in profondità del marketing
scorre ciò che si chiama hashing navale
qualcuno sa che la pesca vicino è no
andare a prendere quando quando ne hai 10
macchine e per la schiusa al fine di
sapere dove si costruiscono i dati
come una funzione di hash in genere questo
la funzione con l’hashing del coltello dipenderebbe
sulla quantità sul numero di macchine
così ogni volta che cambi il numero di
macchine e il modo più positivo per
cambiare il numero di macchine è da aggiungere
uno dei più stupidi è solo perdere
uno senza che tu sappia che è sparito
ma comunque dovresti cambiare la tua
funzione hash perché quando tu quando tu
vai quando usi il modulo per esempio
è solo completamente diverso
funziona lì e quindi avresti
per ridipingere quasi tutto tu
sposta semplicemente i dati in giro perché dopo
momento in cui qualcuno eccede questi dati
attraverso la nuova funzione non lo farà
trovate lì è necessario per aiutare ulteriormente
e sempre di più quindi è necessario
rimaneggiamento
quindi l’opposto di questo è coerente
tritare comunque il trade-off tra
La località dei dati di località di dati è
cosa assolutamente importante nel trattare
con distribuzione durante l’elaborazione dei dati
devi essere il più vicino possibile ai dati
disponibilità di coerenza possibile è
molto più che vedere AP è come te
sapere leggere la velocità di ricerca e Layton
vede dappertutto e così via e così via
quindi è un vero e proprio trade-off di cui hai bisogno
considerarlo come un grande sviluppatore di dati
dovunque potrebbe essere che devi prendere
questo in considerazione non è un problema
amico, niente sequel intendo davvero
diritto sarcastico non userei questo termine
per descrivere una tecnologia perché
è solo movimento che conosci, ma comunque
nessun sequel scriverà in modo sincrono e
fare MapReduce è la parola magica che loro
metti il Mac per trovare i dati bene
i sistemi asincroni sono molto impegnati
almeno è necessario creare un sistema
che è distribuito dove parti del
sistema comunicano tra loro in un
modo asincrono attraverso un messaggio
passando per esempio è il migliore
esempio in modo che ci siano anche dei libri
che non stanno nemmeno prendendo qualcos’altro
in considerazione, ma un sistema sincrono così
il problema è che con questo
roba sincrona è che conduce a
la considerazione dell’eventuale
coerenza tutti sanno qui
diversi tipi di eventuali Casilla
coerenza come leggere i propri diritti
e così via e così via, voglio dire che non lo farei
approfondisci su questo possiamo discuterne
dopo se ti piace ma comunque lì
sono diversi casi d’uso ed è di nuovo
usi i casi che non vogliamo avere
avventurarsi
consistenza che vuoi avere
completa coerenza comunque si chiama
questa cosa quando provi a trasferire un
quantità di dati da A a B beh
non voglio imbattersi in situazione in cui
hai due account che hanno lo stesso
dati trasferiti o importo trasferito
nessun problema ha fatto, naturalmente, che non ho
soldi da trasferire proprio come iniziare a
nuova startup no Sto solo scherzando di cui ho bisogno
per memorizzare un sacco di dati e posso da qualsiasi
quantità di dati fino a quando nessun sequel e quello
lo gestirà automaticamente lo farà
solo lavoro hai mai vissuto
qualcuno a cui piace cose come Pick
prodotto a e gettare questi dati in esso
e andrà bene, davvero, l’ho fatto
forse non è completamente libero dal mio
possiedi le tue esperienze che vorresti
buttare i tuoi dati che è forse il
la cosa più importante è la più importante
bene della tua azienda da qualche parte nel giusto
spero che funzioni quello che succede se tu
ho appena mancato il bersaglio così riguardo al
ridondanza della localizzazione dei dati di archiviazione
hashing coerente per una distribuzione
sistema per trovare i dati molto velocemente
anche con ulteriori speranze se quelle
le note non sono disponibili è ancora vicino
a una maggiore efficienza eventuale
coerenza come un concetto combinato con
utilizzare il concetto di archiviazione basato sui casi di
design di archiviazione quelli sono i principi chiave
nel riuscire con enormi dati con
interpretato da enormi dati montati è quello che io
chiamerebbe lo sviluppo dei Big Data
tutti sono d’accordo sul fatto che andiamo avanti quando
hai dati di dati quando hai dati
hai bisogno di portare questi dati forse a
i tuoi clienti in qualunque bene
modulo di presentazione in modo che possa essere una rete
applicazione o qualcosa o solo un an
API qualunque sia, discutiamo di questo no
nessun problema amico è sempre e io davvero
persone esperte che lo dicono
sempre il database è il collo di bottiglia
in tutta la catena da qualche parte dietro il
scene così non importa quanto velocemente
sei di fronte, non è la mia rete
servizio così bene quando ne hai migliaia
milioni di milioni comunque paralleli
richieste al secondo elemosinando i dati
il primo miglio significa che significa
il tuo cliente alla prima parte del
tutta la catena diventerà presto la
collo di bottiglia perché intendo cosa farà
capita che ci siano cose che si otterrebbero
carino scarta tutti i pacchetti che vuoi
perderli puoi anche monitorarlo ma
quanto ti aiuta il monitoraggio se tu
perdere i clienti in anticipo quando ti aspetti
persone di usare la tua piattaforma qualunque cosa
è in un modo che non vedono il
differenza tra il grande tempo e
tempo normale questo diventerà rapidamente
il collo di bottiglia dimentica un database
non è nessun problema tizio Prendo il mio cellulare
Comprerei un vero porto sexy
sì scommetto che questa sarà la mia risposta
ho bisogno di suonare questi strumenti è un po ‘
un po ‘difficile ma ben al di sotto
caricare quando il carico è veramente alto il problema
ha fatto che i limiti che colpirà
la nostra fisica ancora una volta voglio dire tutta la faccenda
da qualche parte in parti o ovunque lo farà
iniziare a rompere in modo che ciò che accadrà è
brucerai solo i tuoi dischi rigidi
le schede si scioglieranno le tue carte qualunque sia tutto
i fili e tu ti riscalderai
la massima potenza e il riscaldamento sono davvero grandi
problema ancora intendo non ogni azienda
è in grado di andare in Svezia o qualsiasi altra cosa
Google è andato a e tu sai di avere
un iceberg conosciuto solo per la prossima coppia
di anni comunque non si tratta di questo sexy
hardware qualunque sia l’hardware sexy
ma conosco davvero persone che stanno dicendo
hey sexy hot well è almeno non il
termine che vorrei usare bene lo è comunque
Sto solo potendo sostituire questo
pezzi di questo hardware hanno diversi
percorsi attraverso il sistema così tu
distribuire il tutto ancora una volta
semplicemente cresci in modo orizzontale
di licenziamenti licenziati e con
concetti che ti permetterebbero di perdere
parte del sistema e per portare il nostro nuovo
potere di far apparire nuove parti del
sistema comunque grande potrebbe essere anche
mentre il tuo sistema è in esecuzione, questo è il
cosa molto importante ciò che può accadere a
è con cose come l’hashing del coltello
per esempio quando dipendi completamente
su questo in un modo fante alla fine il
quantità del numero di note in
il sistema che dovresti portare
tutto giù accendi la nuova nota
porta tutto e aspetta
per il completo rifacimento
quando o per le cache che si riscaldano e
roba del genere comunque quando vuoi
mantenere questo primo miglio scalabile che potresti
Devo pagare più soldi per questo
l’infrastruttura diventa sempre di più
costoso e bene il problema è allora
che non vorresti averlo
automaticamente non dovresti solo accettare
un venditore che ti dice di odiarti
nuova macchina qui bene vincerai come
cinque per cento in più di prestazioni qui
qualunque prestazione sia questa performance
una prova di termine molto difficile diversa
sfaccettature ma in ogni caso lo farai con questo
macchina che è come 10 milioni all’anno
avrai il cinque per cento in più
produttività qui si preferisce provare a
spingere al massimo le tue macchine
che hai delle reti che tu
avere e cercare le tecnologie come te
può fare questo un signor Derek Ennis dice di nuovo
Saluto a Derek ed Esther video lui
dice che devi saturare la tua rete
quindi sì, è il termine ok andiamo avanti
um nessun problema amico, probabilmente scriverò
naturalmente da solo o mi faccio un sexy
vedi server 10k tutti sanno cosa
C 10 KS c 10k è una forma breve qualcosa
questo è in grado di fare più di 10.000
connessioni al secondo quindi apache HTTP
il demone ha dei limiti
benchmarks dimostrando così è come
con 4000 o qualcosa intorno a questo
quando usi questo server web lo farai
iniziare inizierai a eseguire il
modo previsto e ci sono server che
andare molto più in là di quello che pensi
ingegnere o qualcosa del genere quindi il
l’altra cosa è che ho promesso che io
non bash o affittare su qualsiasi progetto
qualsiasi prodotto qui comunque puoi costruire
c’è una tecnologia che puoi usare
costruire qualcosa di simile e di
Certo la prima cosa che un grande che
lo sviluppatore di big data dovrebbe fare è costruire
tutta roba da sola, forse tu
otterrà questo o scrivi il tuo
ma non ti aiuterà quando sei un utente
distribuito in tutto il mondo
il problema è che la distanza tra
li nella tua prima macchina qualunque cosa
è se è bilanciamento del carico o qualcosa del genere
è solo geograficamente grande
ancora troppo lontano quindi se hai questo
un massiccio carico di fronte che avresti dovuto
andare per qualcosa come CDN fa tutti
conoscere la consegna di contenuti siriani
reti Akamai bene i tempi di punta di
bene i tempi di punta erano web o internet
essendo acceduto al drive come forse
dal sessanta al settanta per cento del totale
traffico che hanno davvero interessante
algoritmi sull’ottimizzazione del routing e
cose del genere, così tu come vorresti
useresti la loro infrastruttura
non puoi pagare per questa infrastruttura
nell’infrastruttura dei negozi perché loro
sono già in forse un migliaio di dati
centri in tutto il mondo che sono
sempre più vicino ai tuoi clienti di te
stanno facendo trucchi dns che mettono a segno
il tuo cliente ad un server diverso così
è ancora la tua fantastica calma all’avvio
così si vuole solo spingere questo carico fuori
di te solo per la strada
a qualcun altro quando hai questo dolore
dovrai pagare per questo perché
non è così poco costoso non è no
problema amico e spingerò tutto il mio
piattaforma verso il cloud che in realtà
il cloud computing in questa stanza intendo
sei un esperto in questo anno, naturalmente
okay, quindi ti piacerebbe fornirci il giusto no
basta usare il fornitore che suggeriresti
qualcuno di sicuro è sicuro
starai bene è più flessibile e
scale come l’inferno, certo che lo farai
vedere la scalabilità in realtà nel conto
arrivando ogni mese bene comunque bene cosa
succede in questa configurazione del cloud quando vai
per loro è ancora un problema difficile
per esempio con facile a con facile
e l’intera infrastruttura il problema
c’è che fondamentalmente non puoi
prevedere in modo affidabile quanto sei vicino
software pezzo di software che lo farà
elaborano i dati saranno effettivamente alla
i dati che elabora così per te è solo
completamente trasparente ma è necessario
essere il più vicino possibile ai dati così
puoi elaborarlo velocemente se inizi
spostare le cose intorno a questo costerà solo
tu tempo e ogni volta in qualche modo diverso
casi in cui le macchine virtuali vengono semplicemente ricevute
spostato puoi vederlo nel tuo privato
nuvole però lo chiami nei tuoi dati
centro così solo il mondo si ferma per a
mentre solo per un po ‘ma penso
miliardi di richieste parallele in arrivo
al secondo naturalmente puoi forzare i dati
località in configurazioni cloud quando si
pagare di più è una sorta di accordo di
Certo che possiamo affittarlo senza problemi
che comunque è necessario avere il dolore
devi avere i soldi per quello
specialità geografiche della località di dati è
molto importante nel provisioning dei dati
virtualizzazione dedicata nel contesto
contenuto calcolabile precomputer pre-calcolo
abilità cosa significherebbe che puoi usare
cdns per ospitare i tuoi dati o host interi
applicazioni o pagine host che sono
essendo precalcolato da te, quindi non lo fai
colpire il database non si arriva al
L’ultimo miglio hai appena presentato una sorta di
dati incoerenti per un momento o per 15
minuti o qualcosa che è un modo di fare
questo se hai questo problema geografico
e di nuovo è usato K è guidato
notifica è necessario avere il diritto
utilizzare il caso per il giusto cloud based
strategia e non è più non lo è
nero o bianco quelli sono i principi chiave
quando sei un grande sviluppatore di dati, facciamolo
parlare di elaborazione dei dati hey no
problema amico è solo facile che è
classico MapReduce proprio tu
elaborare tutto con MapReduce anche
la tua stessa nonna bene io quasi
d’accordo il problema qui è quello che fa
tutti conoscono queste immagini di MapReduce
e roba sì, così tu hai diverso
fasi come mappa simile e ridurre così
la fase più difficile in quelle per mappare e
Ridurre si chiama dividere sarebbe davvero
succhiare se sarebbe chiamato split
MapReduce non è un nome interessante ma il
problema che hai due enormi
pile di dati quando dipende solo
sul prodotto che scegli ma comunque
o è un file system o un virtuale
file system o qualcosa di cui avresti bisogno
per portare i tuoi dati in questo archivio dati
e se cerchi di spostarti di terabyte
di dati
conti solo minuti minuti qualunque
dipende dall’infrastruttura nessun problema
amico, quindi solo questo potrebbe essere un
soluzione vorrei proprio dritto a
l’ archivio dati di questo MapReduce
quadro sarà semplicemente veloce come l’inferno
dopo può essere questo sarebbe il mio
rispondi ma c’è ancora qualcosa sul se
nella tua faccia della mappa è necessario cercare il
dati e devi ancora pensare ai dati
località così quando vuoi cercare i dati
probabilmente andresti per un indice o
qualcosa è quello che fanno tutti
naturalmente nessun problema amico vorrei solo prendere
un motore di ricerca per la ricerca per indicizzazione
qualunque cosa troverà il mio debito in un attimo
facciamo la domanda sarebbe davvero
fai questo devi solo immaginarti
avere una pila di dati dove ben grande
carote in là ed è distribuito
oltre le note che non avete idea di
questo su dove sono effettivamente i dati
quali dati puoi chiedere quando tu
inizia a indicizzare questo attraverso il
processo che i pezzi di indice farebbero
devono essere sulla stessa macchina perché
non avrebbe molto senso avere un indice
qui e qui un’enorme pila di dati quando tu
può produrre in ricerca durante la faccia mmm
per esempio qualunque faccia nel tuo insieme
pipeline che ti piacerebbe trovare
i dati in cui il processo di questi dati
è in realtà in esecuzione su entrambi
chiave o chiave basata su hash basata su te
accesso o semplicemente alla ricerca di dati
disponibilità e indisponibilità di
pezzi qui per sistema è quello che è
un altro problema con quello così dati e
indicizza località entrambe insieme se ne hai
questo caso d’uso
combinato con il riempimento di questo archivio dati di
questo quadro direttamente o preparando
i tuoi dati per questo in una forma che può
consumare localmente i dati localmente
macchine diverse così come l’uso
Caso d’uso dell’uso della tecnologia basata sui casi
la tecnologia guidata lo userà no
lanciare uno strumento su tutto ciò che è il
messaggio qui se vuoi che funzioni
non voglio fare questo che sono quelli
i fattori che devi prendere in
considerazione quando vuoi essere un grande
data sviluppatore arancione solo per ottenere un
un po ‘meglio meglio attraverso
imparare così come fa l’analisi
nessuno qui fa statistiche di analisi
machine learning yada yada yada cool
roba che mi piace davvero, ma questo ragazzo
dice semplicemente hey il framework MapReduce
farà questo tipo di magicamente
automaticamente voglio solo prenderlo
e lo fa su Linux così io
posso semplicemente mettere i miei dati in questa cosa e
dopo posso fare analisi così sei tu
sono sicuro che non ce ne sono due
diversi casi d’uso di base che analizzano in modo piatto
analizzare i dati che effettivamente stanno volando
in tempo quasi reale e facendo batch
l’analisi in seguito considera solo il
fattore tempo e suona un po ‘
diverso giusto quindi pensi davvero
che questi sono entrambi casi d’uso per e
Struttura MapReduce
Vorrei solo mantenere questo in realtà come
era ad Amsterdam era come il
scivolo preferito qui quei ragazzi comunque
non vuoi credere nella mappa
riducendo per entrambi i casi d’uso davvero e
di nuovo a quest’ora pensando in modo reale
tempo significa tempo significa davvero tempo
ci sono due tipi fondamentali di tempo reale
è o un caldo tempo reale di soft real
tempo quindi dipende solo da quello che fai
nel caso di un problema come vi
gestiscilo ma comunque è ora che sia
corretto quindi non significa che sia come
Il più velocemente possibile o perché tu possa ottenere
un caffè o qualcosa in cui si usa
ancora aspettando che sia accettabile
che sta ricevendo la richiesta
risposta in cinque minuti ed è ancora
in tempo reale no non è, ma comunque è possibile
chiamalo vicino in tempo reale il problema qui
è questo quando si considera il tempo fisso
in un sistema distribuito qualcosa di simile
questo accadrà che non puoi prevedere il tempo
cose in un sistema distribuito davvero
morirai in un incendio qui no
problema ha fatto è la risposta tipica I
lo adoro, mi procurerò un hardware sexy
farà tutto ciò che l’hardware sexy fa
tutto ovviamente non ne hai nemmeno bisogno
la testa al cervello per
installare l’ hardware pensa solo a me
giusto ma sarcastico che tu abbia appena iniziato
Lanciarmi uova cattive sono sicuro che
questo ragazzo si prenderà un po ‘di razzo
hardware veloce, quindi di nuovo non è possibile
prevedere fisso e fisso sono in mapreduce
è impossibile che tu non possa garantire il
completezza dei dati che è il prossimo
problema quando pezzi quando parti del tuo
dati
Sono appena andato, non puoi
mappare questi dati perché non lo fanno
fallo bene se pensi alla ridondanza
forse sì sì ma è ancora possibile
perdere tutto ciò che e
la causalità è un altro problema quando tu
prova ad analizzare per la causalità dell’evento
cosa succede dopo quello che è davvero difficile
problema in un sistema distribuito a voi
sapere di fare un ordine di cose
capita per l’analisi perché, per esempio
il tempo non è affidabile in un ambiente distribuito
del sistema e così via, quindi se avete bisogno di
prevedere meglio mentre la data sta volando
in per causalità e roba che vorresti
bisogno di CP i tuoi dati è questo termine per
Elaborazione di eventi complessi CP java
sviluppatori di sviluppo Java in giro
sistema come sistemi come una spa ok no
problema quindi quello che fa veramente è te
avere una finestra scorrevole che attraversa a
attraverso un flusso infinito di cose che
capita che tu possa definire questa finestra
come 10 minuti e all’interno di questa finestra
puoi analizzare usando una lingua speciale
quale è diverso per ogni
piattaforma ma in ogni caso è possibile analizzare come
le cose sono successe a seconda di cosa
è l’esempio tipico è come quando
tu quando ascolti le campane di una chiesa e e
vedi una donna in abito bianco e e
il riso sta volando in giro, quindi è carino
sicuro che questo è un matrimonio che conosci così
questa catena causale qui è per questo
questo e tu puoi farlo in tempo reale
bene in tempo quasi reale di nuovo in tempo reale
le cose sono davvero difficili le più importanti
cosa in questo intero strumento di zoom è così
di ora il tuo tipico strumento bi che tu
userebbe forse è completamente inconsapevole
di nessun deposito sequel esistente in giro
questo è un grosso problema davvero
perché si aspetterebbero come sai
usando jdbc odbc accedendo a questi dati
store ed è solo un sottoinsieme di dati
che puoi uscire o almeno a
sottoinsieme di questo protocollo come è possibile
accedere ai dati perché non lo fanno
implementare tutto bene dipende dal
soluzione nessun problema ha fatto il mio MapReduce a
posso nascondere completamente questo per me che posso
concentrati solo sul fare cose bene
questo è l’argomento killer che voglio
per fare questo bene sulla matematica I
direi semplicemente che non è possibile
definisci uno sviluppatore di big data quando
quando stai bene quando non lavori
probabilità di statistica matematica e
apprendimento automatico e cose del genere
perché è quello che è per nessuno
compito analitico che vorresti fare
hai bisogno di un sacco di matematica per te
bisogno di statistiche matematiche e cose del genere
chiunque in questo mondo ha bisogno di un iPad o
due o tre conosco persone che hanno
tre non so perché mi scusi loro
non avere bambini, specialmente questo ragazzo no
comunque è una sorta di beniamino diamo
quindi il principio è la separazione di
analisi immediata e post fact e
elaborazione di eventi complessi di flussi di dati
i suoi dati volano combinando oh mio dio
tagliamo bene combinato con il caso d’uso
utilizzo della tecnologia guidata invece utilizzare caso
utilizzo della tecnologia guidato ancora una volta e
le conoscenze statistiche sono principi chiave
qui nell’analisi dei big data
elaborazione che è lo sviluppo di grandi quantità di dati
quindi abbiamo dimenticato questa visualizzazione
la parte di visualizzazione non è un problema
Non ne ho idea e nemmeno a me
non ne ho idea , intendo davvero
una scienza da sola, ma lo so
persone che sono reali nel profondo e e
sai creare diversi tipi di
mappa come presentare i big data intendo te
non posso farlo con un ex oh merda
segno più è solo troppi dati voi
bisogno di raggruppare il tipo di cui hai bisogno
coloralo in un certo modo e così via
avanti quindi cerca solo questo e trovi
molti di loro hmm quindi qual è il
messaggio così bene che dice che sono modesto
bene io sono a volte più intelligente non mi piace
essere più intelligente ma a volte lo è
necessario per convincere la gente in ogni caso um I
suggerirei semplicemente di seguire per un grande
lo sviluppatore di sviluppo dati non si fida
e mezzo-cotto blog post come Beckett
Mick significa in questo caso persone che lo sono
scrivendoli sono davvero piccoli ma loro
non iniziare con Adam e Adam e
Eve tu sai che hanno letto tutto questo
loro hanno usato quasi tutto dentro
quelli fanno tutti qui in questa stanza
avere tutti questi libri che dovresti avere
te stesso qualcosa di veramente buono in realtà
se vuoi fare networking, lo farai
non voglio perdere questo almeno
le statistiche e così via ce n’è una
un sacco di letteratura su di esso questo è un
ottimo per capire come
i sistemi di database funzionano e, naturalmente, a
tannenbaum da te se hai grandi dati
sviluppare o no dovresti avere questo libro
e questo libro dovrebbe essere solo dovrebbe
sembra una merda completamente usata, lo sai
non esiste una versione elettronica di questo come
Per quanto mi ricordi, ma comunque, facciamolo
parla brevemente di tutto lo stack fai tu
conosco questo termine full stack developer okay
è molto emergente e sta diventando
popolare popolare questo termine così il pieno
stack è tutto questo e quando parlo di
hardware qui non intendo solo tu
sistema basato su int’l ma tutto il tuo carico
equilibratori e anche se vuoi andare per
velocità reale andrai per GPU e e
farai qualche fpga su alcuni chip e
roba così in realtà non posso chiamarmi a
grande sviluppatore di dati se non lo faccio tutti
questo ma bene lo imparo ancora, forse lo sono
solo un altro passo avanti per sapere cosa io
perdere ma ci vorrà un sacco di tempo per
sappi tutto questo qui il tempo è un grosso problema
sai okay comunque la matematica
algoritmi di archiviazione hardware molto
cosa importante sistema operativo il
il più grande problema che ho con
il mondo Java non è che la JVM sia
schifo, la JVM è fantastica ma molte persone
ignora semplicemente il fatto che sia lì
e sono nelle situazioni in cui usano
ibernare per non caricare nemmeno pigro
65.000 oggetti nella memoria intendo
e combattendo le cose con mezzo cotto
su cache scritte e cose che conosci
quando hai sul sistema operativo
livello hai come tre quattro di loro
a seconda del sistema in esecuzione
devi solo sapere di questo e di
fidati di quelli che sono
implementando kernel e cose che faranno
essere sempre meglio di chiunque altro
perché si concentrano solo su questo
archivio dati astrazione il nostro deposito e
strumenti due catene che è molto importante
non una sola due lingue diverse
molto importante ci sono diversi
lingue intendo bene dovrei
questo no no no nessun problema su questo
puoi fare con molte cose diverse
molte cose diverse sanno anche ma
ci sono piattaforme e lingue
meglio adattarsi ad alcuni casi d’uso e tu
dovrebbe andare per loro e guardarli e
solo essere curioso di loro l’esistenza
di loro li controlla e non solo
lanciare un singolo strumento e tutto e
dì hey, vieni, funzionerà, posso ancora
pensa che tu sia adottato parole così potrebbe
tipo di lavoro di distribuzione della rete lì
è un sacco di letteratura su questo
è molto complesso, è molto reale
area complessa e statistiche
visualizzazione e tutto ciò di cui hai bisogno
la matematica è assolutamente come un iPad e tu
anche quando i tuoi big data ti sviluppano
bisogno di sapere il tuo punto di dolore lì
non sono molte aziende nel business
area intendo dire escludiamo solo il turno
e quindi molto speciale o medico
istituti sono anche molto speciali
facendo in dimensioni diverse dimensioni
facendo foto e cose analizzando
animale anomalo e tutto ciò giusto
escludere questo dall’impresa di
prospettiva aziendale di te o di un punto
di vista hai twitter facebook da
google hanno tutti i problemi di
Certo che sono i pionieri di tutto ciò
quindi hanno anche i dati che hanno
anche qui c’è un dolore totale, ma forse
sei nella tua compagnia e questo è molto
importante capire, forse no
avere questo dolore o solo uno dei
questi fagioli forse hai solo bisogno di
soddisfare i tuoi clienti in arrivo e
avere milioni di connessioni parallele
beh, il problema è che è noioso quando tu
non ce l’ho perché non puoi giocare
con la tecnologia con il nucleo
la tecnologia bene, comunque è necessario girare
sul tuo cervello e questo è il massimo
cosa importante nella tua catena di strumenti
accetta se non hai questi problemi
basta saltare forse dovresti cercare
un’altra compagnia va bene
è grazie mille alla Torah
di diversi strumenti e mentalità e
la tecnologia e giocare bene puoi vedere
beh, intendo dire che la curiosità è molto
fattore importante e il desiderio di imparare
devi combinare una squadra per avere un
squadra di persone che forse hanno differenti
si concentra ma hai bisogno di questa conoscenza
nel complesso almeno si devono essere consapevoli di
cose e devi sapere che tu
non posso sapere tutto così hai bisogno di me
significa che getti qualcosa da qualche parte
e tu pensi che tutto andrà a posto
dovrebbe andare 12 passi più in là
il terreno vede come le cose funzionano di più
di questi data store ad esempio il nostro
le soluzioni open source studiano semplicemente
codice guarda il codice cosa fanno io
il codice medio è leggibile anche se lo è
scritto in tesoro e ancora leggibile no
scherzare è un linguaggio interessante
questo semplice quindi forse dovresti avere un
guarda che lo farà uno dei ragazzi tedeschi
dare un’occhiata a questo lo spero, ma comunque
devi effettivamente per fare
qualcosa del genere dovrai
fai crescere il tuo prestito e la tua conoscenza di più
e più forse con più persone i
non credo davvero nel concetto di
qualcuno ha chiamato Data Scientist perché io
pensalo fino in fondo
uno sviluppatore ha anche bisogno di essere dati
scienziato perché odio implementarlo
formule matematiche che io no
capisco quindi ho bisogno di sapere cos’è
che uno dei principi forse no
così profondo perché è tutto
armeggiare i dati da qualcosa di formazione
i tuoi classificatori, ma non lo sono comunque
ho bisogno di capire questo che non voglio
usa una libreria o un algoritmo scritto da
qualcun altro se devo
esegui questo in produzione in seguito importante
per accelerare allora il periodo di tutto il
ramificazioni dei dati non sarebbe
intelligente solo per impostare i lavori nostri
modo anticipato che non avevamo conosciuto regolarmente
distribuiti, quindi dovresti essere in grado
per mandare i lavori al giorno e poi a noi
ottieni risultati sì, puoi effettivamente farlo
ma è un po ‘simile perché tu
spedirebbe dei lavori alle macchine
tenendo i dati così dove è il
differenza intendo se comunque la chiami
MapReduce o quant’altro lo farai
aspetta qualcosa che produce risultati
forse pre-calcolato precompilato così
questo è fondamentalmente lo stesso concetto grazie
voi molto ragazzi
significa essere uno sviluppatore di big data e io
ho bisogno di uno in anticipo che io sia
forse troppo sarcastico per questo mondo, quindi se
puoi prenderlo potrebbe essere difficile ma
comunque spero di poterti dire un
un po ‘di queste cose
sono necessari per diventare una foto per essere grandi
sviluppatore di dati prima di tutto un breve
disclaimer non voglio fiammeggiare dove voglio
non affitto non bash alcun prodotto o
fare qualcosa di simile qui sarò sarcastico
ma non è quello ed è solo di più
perché sono solo troppo stanco
lo sai dopo un paio di anni
combattendo ma comunque spero vi piaccia
questo quindi quello che farò è questo tipo di
Non sono un attore, ma cercherò di farlo a
sorta di alzare la commedia suonando due
persone che una persona chiederà stupide
domande a cui l’ altra persona proverà
rispondere a queste domande stupide pure io
non voglio essere giudicato da chi è chi
questa persona è in realtà io ma comunque
okay iniziamo così questo è il ragazzo
fare domande in modo che sia solo hey amico
Sono un grande sviluppatore di dati che non è questo
room è in realtà un grande sviluppatore di dati
direi che ho a che fare con i big data come a
sviluppatore okay cool um cosa abbiamo
enormi dati e continuiamo a leggere
articoli sul elevata scalabilità calma fa
che tutti leggono gli articoli in alto
scalabilità calma no dovresti stare bene
in realtà si dovrebbe assolutamente ma il
il problema è che è solo un te
sapere una sorta di informazioni compresse e
hai bisogno di molto più di quello che farò
citare oggi um
ma in ogni caso l’ho letto quindi dai uno così
ragazzo ha grandi dati è facile è come
dati normali ma forse un po ‘
più grande quindi parliamo della dimensione del
dati um qual’è questo rumore sono io
penso di aver mangiato qualcosa ma non lo è
che male va bene il problema, quindi è così grande
come diresti che questo è il più piccolo
pesce nel mondo per quanto ho potuto chiedere
Wikipedia um è grande questo è giusto
come se fosse massiccio, so che posso farlo
confrontalo Posso confrontare le dimensioni
qualunque cosa significhi, lasciami definire grande
dati solo per essere sicuri che sia grande
abbastanza è petabyte di dati ogni ora
in diversi continenti con complessi
relazioni e con la necessità di analizzare
li in quasi tempo reale per le anomalie
e visualizzarli per il tuo
gestione che puoi chiamare questo grande dato
siamo d’accordo su ciò che ho imparato oggi
questo è il sole giusto comunque
è tutto sotto questo è Topolino
dati così buone notizie sono che puoi
crescere intenzionalmente questi dati possono diventare
sempre più grande e più grande è solo
dipende dal caso d’uso forse tecnologia o
il buon senso ma facciamo l’altro
fare è svolgere il suo ruolo senza problemi farlo
i dati sono dati sono solo gli stessi principi
così è davvero gli stessi principi quando tu
trattare con enormi quantità di dati o mai
vengono da dove vengono così
consideriamo la conservazione prima ok, hey no
il problema è iniziato come un database
lo fa tutti sono d’accordo su questo
beh lo avrei soprannominato perché il
La capacità di archiviazione di una singola scatola è
limitato sappiamo tutti questo e il comune
anche il senso lo sa, quindi non lo sa
importa quanto grande crescerai
la macchina da qualche parte è il limite e
è in genere la fisica non è un problema tizio
di sicuro stai parlando di sequel
è tutto roba da nonno che non è così
scala un po ‘ non conta più
abbiamo questo nuovo mondo splendente così bene
suona come questo quando ti aspetti
questo grande dato l’ho anche imparato
pronuncia questo grande dato perché è
grandi dati ma questi grandi dati suonano
più interessante quando ti aspetti che i big data ti servano
per scalare molto lontano costruiamo su
distribuzione e combinare teoricamente
quantità illimitata di macchine yada yada
yada su un’unica memoria distribuita lì
non è intorno a questo, tranne che tu hai
inventare qualcosa come una piaga nera
DB del foro
in realtà c’è quanto ho visto lì
è un back-end per il mio sequel chiamato black
buco, è carino, intendo qualcuno
già inventato questo non lo so davvero
sapere cosa significa e cosa no
gioca con questo ma comunque il nome è
già già ben protetto
nessun problema ha fatto sequel scale ed è
questa è la cosa più importante
questo è il più importante architettonico
fattore in questi giorni l’ offerta di freschezza di
qualcosa non dimenticare che sono sarcastico così
quelli non sequel ragazzi che raggiungono questi
le cose attraverso gridando sai che è
come gridare nasconde questa distribuzione
roba per me non ho bisogno di stare attento
di vecchia così tanto da costruire
la distribuzione proviene molto dalle mie esperienze
più difficile di qualsiasi cosa tu abbia visto o fatto
prima voglio dire che comprate solo tutti
possibile problema che puoi comprare con
parallelismo ma hai anche il
rete in là e quelli di voi che
si stanno effettivamente occupando di reti e
cose del genere sarebbero forse d’accordo
ogni singolo pollice di un filo rende il
tutta la cosa inaffidabile più inaffidabile
di ogni altra cosa, quindi la cosa migliore è
che avresti appena eseguito il tutto
sul pezzo di xant e poi è tutto
ma anche quello può bloccarsi e diventare lento
comunque è la cosa più difficile che tu
potrebbe mai fare tranne che hai nutrito una folla
con sette marmocchi e salì sul
acqua tutti voi cristiani o a
almeno ha sentito parlare di questa religione
non importa non è un religioso
discussione qui nessun problema ho fatto solo
hai questo berretto che conosci tutti
sai cosa è il teorema di cappuccio
Conosco davvero in dettaglio ciò che ha tenuto il teorema
è bene, in realtà non lo so
Penso che nessuno sappia in profondità cosa
catturare em significa davvero così tanto
discussione intorno a questo ha un termine steve
ha avuto un’ottima presentazione in merito
spiegando reagire e ci sono nuovi termini
beh, in realtà non è chiaro ma
comunque non odi nessun problema che lo farò
scegline due su tre è così semplice
è assolutamente facile, proprio l’unico
cosa di cui è assolutamente certo
sistemi distribuiti è che alcune parti
ne verrebbe un solo giorno e tu
non avrò assolutamente idea di cosa
succede lì che è assolutamente certo
è un dato che puoi provare a proteggere
te stesso contro questo attraverso il monitoraggio
e attraverso le persone che stanno portando in alto
sistemi e cose ma comunque la pipì
questo limite quando gestisci distribuito
sistemi di sistema e quando si avvia
distribuendo hai il dolore da buttare
i tuoi dati su più macchine su molti
macchine così p è un dato che il tuo sistema ha
essere una petizione tollerante o lo farà
fai schifo, quindi giocherai con c vs. a
conosci la coerenza rispetto alla disponibilità
è sufficiente spostare il cursore attorno ad esso
il nero o il bianco dipende solo da
il caso d’uso anche se ne usassi uno
dei disponibili ci sono dati stupendi
che stanno implementando bene
la carta dinamica come un sanrio reagisce è
non è sempre solo bianco o nero
non lo dirò per ogni caso d’uso in
la tua applicazione lo farai
sempre coerente o è sempre
disponibile forse è da qualche parte nel
medio per questa parte è sufficiente
essere incoerente ma per questo no
nessun problema amico questo lavoro funziona
senza problemi e non ho bisogno di stare attento
di tutto
beh, permettimi di doppiare di nuovo questo perché
per esempio è uno dei più difficili
sfide quando si avvia la distribuzione
gridando comunque lo chiami così quando
devi cercare nei dati a
attraversa i dati quando ti piace
grafici per esempio questo è uno dei
i problemi più difficili per distribuire il grafico
perché gli attraversamenti non sono semplici, intendo
è necessario mantenere i vostri dati insieme
da qualche parte ed è valido anche per qualsiasi
altra cosa perché lo farai in qualsiasi
sistema, per esempio, colpirai un nodo
e se questa nota non ha i dati
ha bisogno di sapere velocemente dove si trovano i dati
quindi ti piace non è più grande
che eri solito saltare ai due
è necessario accedere ai dati, ma
in realtà andrà al salto successivo e
è assolutamente necessario sapere dove
è nell’intero sistema, quindi non c’è
un’altra dura sfida in questo
intento roba tutta intenta intendo solo
andando un po ‘più in profondità del marketing
scorre ciò che si chiama hashing navale
qualcuno sa che la pesca vicino è no
andare a prendere quando quando ne hai 10
macchine e per la schiusa al fine di
sapere dove si costruiscono i dati
come una funzione di hash in genere questo
la funzione con l’hashing del coltello dipenderebbe
sulla quantità sul numero di macchine
così ogni volta che cambi il numero di
macchine e il modo più positivo per
cambiare il numero di macchine è da aggiungere
uno dei più stupidi è solo perdere
uno senza che tu sappia che è sparito
ma comunque dovresti cambiare la tua
funzione hash perché quando tu quando tu
vai quando usi il modulo per esempio
è solo completamente diverso
funziona lì e quindi avresti
per ridipingere quasi tutto tu
sposta semplicemente i dati in giro perché dopo
momento in cui qualcuno eccede questi dati
attraverso la nuova funzione non lo farà
trovate lì è necessario per aiutare ulteriormente
e sempre di più quindi è necessario
rimaneggiamento
quindi l’opposto di questo è coerente
tritare comunque il trade-off tra
La località dei dati di località di dati è
cosa assolutamente importante nel trattare
con distribuzione durante l’elaborazione dei dati
devi essere il più vicino possibile ai dati
disponibilità di coerenza possibile è
molto più che vedere AP è come te
sapere leggere la velocità di ricerca e Layton
vede dappertutto e così via e così via
quindi è un vero e proprio trade-off di cui hai bisogno
considerarlo come un grande sviluppatore di dati
dovunque potrebbe essere che devi prendere
questo in considerazione non è un problema
amico, niente sequel intendo davvero
diritto sarcastico non userei questo termine
per descrivere una tecnologia perché
è solo movimento che conosci, ma comunque
nessun sequel scriverà in modo sincrono e
fare MapReduce è la parola magica che loro
metti il Mac per trovare i dati bene
i sistemi asincroni sono molto impegnati
almeno è necessario creare un sistema
che è distribuito dove parti del
sistema comunicano tra loro in un
modo asincrono attraverso un messaggio
passando per esempio è il migliore
esempio in modo che ci siano anche dei libri
che non stanno nemmeno prendendo qualcos’altro
in considerazione, ma un sistema sincrono così
il problema è che con questo
roba sincrona è che conduce a
la considerazione dell’eventuale
coerenza tutti sanno qui
diversi tipi di eventuali Casilla
coerenza come leggere i propri diritti
e così via e così via, voglio dire che non lo farei
approfondisci su questo possiamo discuterne
dopo se ti piace ma comunque lì
sono diversi casi d’uso ed è di nuovo
usi i casi che non vogliamo avere
avventurarsi
consistenza che vuoi avere
completa coerenza comunque si chiama
questa cosa quando provi a trasferire un
quantità di dati da A a B beh
non voglio imbattersi in situazione in cui
hai due account che hanno lo stesso
dati trasferiti o importo trasferito
nessun problema ha fatto, naturalmente, che non ho
soldi da trasferire proprio come iniziare a
nuova startup no Sto solo scherzando di cui ho bisogno
per memorizzare un sacco di dati e posso da qualsiasi
quantità di dati fino a quando nessun sequel e quello
lo gestirà automaticamente lo farà
solo lavoro hai mai vissuto
qualcuno a cui piace cose come Pick
prodotto a e gettare questi dati in esso
e andrà bene, davvero, l’ho fatto
forse non è completamente libero dal mio
possiedi le tue esperienze che vorresti
buttare i tuoi dati che è forse il
la cosa più importante è la più importante
bene della tua azienda da qualche parte nel giusto
spero che funzioni quello che succede se tu
ho appena mancato il bersaglio così riguardo al
ridondanza della localizzazione dei dati di archiviazione
hashing coerente per una distribuzione
sistema per trovare i dati molto velocemente
anche con ulteriori speranze se quelle
le note non sono disponibili è ancora vicino
a una maggiore efficienza eventuale
coerenza come un concetto combinato con
utilizzare il concetto di archiviazione basato sui casi di
design di archiviazione quelli sono i principi chiave
nel riuscire con enormi dati con
interpretato da enormi dati montati è quello che io
chiamerebbe lo sviluppo dei Big Data
tutti sono d’accordo sul fatto che andiamo avanti quando
hai dati di dati quando hai dati
hai bisogno di portare questi dati forse a
i tuoi clienti in qualunque bene
modulo di presentazione in modo che possa essere una rete
applicazione o qualcosa o solo un an
API qualunque sia, discutiamo di questo no
nessun problema amico è sempre e io davvero
persone esperte che lo dicono
sempre il database è il collo di bottiglia
in tutta la catena da qualche parte dietro il
scene così non importa quanto velocemente
sei di fronte, non è la mia rete
servizio così bene quando ne hai migliaia
milioni di milioni comunque paralleli
richieste al secondo elemosinando i dati
il primo miglio significa che significa
il tuo cliente alla prima parte del
tutta la catena diventerà presto la
collo di bottiglia perché intendo cosa farà
capita che ci siano cose che si otterrebbero
carino scarta tutti i pacchetti che vuoi
perderli puoi anche monitorarlo ma
quanto ti aiuta il monitoraggio se tu
perdere i clienti in anticipo quando ti aspetti
persone di usare la tua piattaforma qualunque cosa
è in un modo che non vedono il
differenza tra il grande tempo e
tempo normale questo diventerà rapidamente
il collo di bottiglia dimentica un database
non è nessun problema tizio Prendo il mio cellulare
Comprerei un vero porto sexy
sì scommetto che questa sarà la mia risposta
ho bisogno di suonare questi strumenti è un po ‘
un po ‘difficile ma ben al di sotto
caricare quando il carico è veramente alto il problema
ha fatto che i limiti che colpirà
la nostra fisica ancora una volta voglio dire tutta la faccenda
da qualche parte in parti o ovunque lo farà
iniziare a rompere in modo che ciò che accadrà è
brucerai solo i tuoi dischi rigidi
le schede si scioglieranno le tue carte qualunque sia tutto
i fili e tu ti riscalderai
la massima potenza e il riscaldamento sono davvero grandi
problema ancora intendo non ogni azienda
è in grado di andare in Svezia o qualsiasi altra cosa
Google è andato a e tu sai di avere
un iceberg conosciuto solo per la prossima coppia
di anni comunque non si tratta di questo sexy
hardware qualunque sia l’hardware sexy
ma conosco davvero persone che stanno dicendo
hey sexy hot well è almeno non il
termine che vorrei usare bene lo è comunque
Sto solo potendo sostituire questo
pezzi di questo hardware hanno diversi
percorsi attraverso il sistema così tu
distribuire il tutto ancora una volta
semplicemente cresci in modo orizzontale
di licenziamenti licenziati e con
concetti che ti permetterebbero di perdere
parte del sistema e per portare il nostro nuovo
potere di far apparire nuove parti del
sistema comunque grande potrebbe essere anche
mentre il tuo sistema è in esecuzione, questo è il
cosa molto importante ciò che può accadere a
è con cose come l’hashing del coltello
per esempio quando dipendi completamente
su questo in un modo fante alla fine il
quantità del numero di note in
il sistema che dovresti portare
tutto giù accendi la nuova nota
porta tutto e aspetta
per il completo rifacimento
quando o per le cache che si riscaldano e
roba del genere comunque quando vuoi
mantenere questo primo miglio scalabile che potresti
Devo pagare più soldi per questo
l’infrastruttura diventa sempre di più
costoso e bene il problema è allora
che non vorresti averlo
automaticamente non dovresti solo accettare
un venditore che ti dice di odiarti
nuova macchina qui bene vincerai come
cinque per cento in più di prestazioni qui
qualunque prestazione sia questa performance
una prova di termine molto difficile diversa
sfaccettature ma in ogni caso lo farai con questo
macchina che è come 10 milioni all’anno
avrai il cinque per cento in più
produttività qui si preferisce provare a
spingere al massimo le tue macchine
che hai delle reti che tu
avere e cercare le tecnologie come te
può fare questo un signor Derek Ennis dice di nuovo
Saluto a Derek ed Esther video lui
dice che devi saturare la tua rete
quindi sì, è il termine ok andiamo avanti
um nessun problema amico, probabilmente scriverò
naturalmente da solo o mi faccio un sexy
vedi server 10k tutti sanno cosa
C 10 KS c 10k è una forma breve qualcosa
questo è in grado di fare più di 10.000
connessioni al secondo quindi apache HTTP
il demone ha dei limiti
benchmarks dimostrando così è come
con 4000 o qualcosa intorno a questo
quando usi questo server web lo farai
iniziare inizierai a eseguire il
modo previsto e ci sono server che
andare molto più in là di quello che pensi
ingegnere o qualcosa del genere quindi il
l’altra cosa è che ho promesso che io
non bash o affittare su qualsiasi progetto
qualsiasi prodotto qui comunque puoi costruire
c’è una tecnologia che puoi usare
costruire qualcosa di simile e di
Certo la prima cosa che un grande che
lo sviluppatore di big data dovrebbe fare è costruire
tutta roba da sola, forse tu
otterrà questo o scrivi il tuo
ma non ti aiuterà quando sei un utente
distribuito in tutto il mondo
il problema è che la distanza tra
li nella tua prima macchina qualunque cosa
è se è bilanciamento del carico o qualcosa del genere
è solo geograficamente grande
ancora troppo lontano quindi se hai questo
un massiccio carico di fronte che avresti dovuto
andare per qualcosa come CDN fa tutti
conoscere la consegna di contenuti siriani
reti Akamai bene i tempi di punta di
bene i tempi di punta erano web o internet
essendo acceduto al drive come forse
dal sessanta al settanta per cento del totale
traffico che hanno davvero interessante
algoritmi sull’ottimizzazione del routing e
cose del genere, così tu come vorresti
useresti la loro infrastruttura
non puoi pagare per questa infrastruttura
nell’infrastruttura dei negozi perché loro
sono già in forse un migliaio di dati
centri in tutto il mondo che sono
sempre più vicino ai tuoi clienti di te
stanno facendo trucchi dns che mettono a segno
il tuo cliente ad un server diverso così
è ancora la tua fantastica calma all’avvio
così si vuole solo spingere questo carico fuori
di te solo per la strada
a qualcun altro quando hai questo dolore
dovrai pagare per questo perché
non è così poco costoso non è no
problema amico e spingerò tutto il mio
piattaforma verso il cloud che in realtà
il cloud computing in questa stanza intendo
sei un esperto in questo anno, naturalmente
okay, quindi ti piacerebbe fornirci il giusto no
basta usare il fornitore che suggeriresti
qualcuno di sicuro è sicuro
starai bene è più flessibile e
scale come l’inferno, certo che lo farai
vedere la scalabilità in realtà nel conto
arrivando ogni mese bene comunque bene cosa
succede in questa configurazione del cloud quando vai
per loro è ancora un problema difficile
per esempio con facile a con facile
e l’intera infrastruttura il problema
c’è che fondamentalmente non puoi
prevedere in modo affidabile quanto sei vicino
software pezzo di software che lo farà
elaborano i dati saranno effettivamente alla
i dati che elabora così per te è solo
completamente trasparente ma è necessario
essere il più vicino possibile ai dati così
puoi elaborarlo velocemente se inizi
spostare le cose intorno a questo costerà solo
tu tempo e ogni volta in qualche modo diverso
casi in cui le macchine virtuali vengono semplicemente ricevute
spostato puoi vederlo nel tuo privato
nuvole però lo chiami nei tuoi dati
centro così solo il mondo si ferma per a
mentre solo per un po ‘ma penso
miliardi di richieste parallele in arrivo
al secondo naturalmente puoi forzare i dati
località in configurazioni cloud quando si
pagare di più è una sorta di accordo di
Certo che possiamo affittarlo senza problemi
che comunque è necessario avere il dolore
devi avere i soldi per quello
specialità geografiche della località di dati è
molto importante nel provisioning dei dati
virtualizzazione dedicata nel contesto
contenuto calcolabile precomputer pre-calcolo
abilità cosa significherebbe che puoi usare
cdns per ospitare i tuoi dati o host interi
applicazioni o pagine host che sono
essendo precalcolato da te, quindi non lo fai
colpire il database non si arriva al
L’ultimo miglio hai appena presentato una sorta di
dati incoerenti per un momento o per 15
minuti o qualcosa che è un modo di fare
questo se hai questo problema geografico
e di nuovo è usato K è guidato
notifica è necessario avere il diritto
utilizzare il caso per il giusto cloud based
strategia e non è più non lo è
nero o bianco quelli sono i principi chiave
quando sei un grande sviluppatore di dati, facciamolo
parlare di elaborazione dei dati hey no
problema amico è solo facile che è
classico MapReduce proprio tu
elaborare tutto con MapReduce anche
la tua stessa nonna bene io quasi
d’accordo il problema qui è quello che fa
tutti conoscono queste immagini di MapReduce
e roba sì, così tu hai diverso
fasi come mappa simile e ridurre così
la fase più difficile in quelle per mappare e
Ridurre si chiama dividere sarebbe davvero
succhiare se sarebbe chiamato split
MapReduce non è un nome interessante ma il
problema che hai due enormi
pile di dati quando dipende solo
sul prodotto che scegli ma comunque
o è un file system o un virtuale
file system o qualcosa di cui avresti bisogno
per portare i tuoi dati in questo archivio dati
e se cerchi di spostarti di terabyte
di dati
conti solo minuti minuti qualunque
dipende dall’infrastruttura nessun problema
amico, quindi solo questo potrebbe essere un
soluzione vorrei proprio dritto a
l’ archivio dati di questo MapReduce
quadro sarà semplicemente veloce come l’inferno
dopo può essere questo sarebbe il mio
rispondi ma c’è ancora qualcosa sul se
nella tua faccia della mappa è necessario cercare il
dati e devi ancora pensare ai dati
località così quando vuoi cercare i dati
probabilmente andresti per un indice o
qualcosa è quello che fanno tutti
naturalmente nessun problema amico vorrei solo prendere
un motore di ricerca per la ricerca per indicizzazione
qualunque cosa troverà il mio debito in un attimo
facciamo la domanda sarebbe davvero
fai questo devi solo immaginarti
avere una pila di dati dove ben grande
carote in là ed è distribuito
oltre le note che non avete idea di
questo su dove sono effettivamente i dati
quali dati puoi chiedere quando tu
inizia a indicizzare questo attraverso il
processo che i pezzi di indice farebbero
devono essere sulla stessa macchina perché
non avrebbe molto senso avere un indice
qui e qui un’enorme pila di dati quando tu
può produrre in ricerca durante la faccia mmm
per esempio qualunque faccia nel tuo insieme
pipeline che ti piacerebbe trovare
i dati in cui il processo di questi dati
è in realtà in esecuzione su entrambi
chiave o chiave basata su hash basata su te
accesso o semplicemente alla ricerca di dati
disponibilità e indisponibilità di
pezzi qui per sistema è quello che è
un altro problema con quello così dati e
indicizza località entrambe insieme se ne hai
questo caso d’uso
combinato con il riempimento di questo archivio dati di
questo quadro direttamente o preparando
i tuoi dati per questo in una forma che può
consumare localmente i dati localmente
macchine diverse così come l’uso
Caso d’uso dell’uso della tecnologia basata sui casi
la tecnologia guidata lo userà no
lanciare uno strumento su tutto ciò che è il
messaggio qui se vuoi che funzioni
non voglio fare questo che sono quelli
i fattori che devi prendere in
considerazione quando vuoi essere un grande
data sviluppatore arancione solo per ottenere un
un po ‘meglio meglio attraverso
imparare così come fa l’analisi
nessuno qui fa statistiche di analisi
machine learning yada yada yada cool
roba che mi piace davvero, ma questo ragazzo
dice semplicemente hey il framework MapReduce
farà questo tipo di magicamente
automaticamente voglio solo prenderlo
e lo fa su Linux così io
posso semplicemente mettere i miei dati in questa cosa e
dopo posso fare analisi così sei tu
sono sicuro che non ce ne sono due
diversi casi d’uso di base che analizzano in modo piatto
analizzare i dati che effettivamente stanno volando
in tempo quasi reale e facendo batch
l’analisi in seguito considera solo il
fattore tempo e suona un po ‘
diverso giusto quindi pensi davvero
che questi sono entrambi casi d’uso per e
Struttura MapReduce
Vorrei solo mantenere questo in realtà come
era ad Amsterdam era come il
scivolo preferito qui quei ragazzi comunque
non vuoi credere nella mappa
riducendo per entrambi i casi d’uso davvero e
di nuovo a quest’ora pensando in modo reale
tempo significa tempo significa davvero tempo
ci sono due tipi fondamentali di tempo reale
è o un caldo tempo reale di soft real
tempo quindi dipende solo da quello che fai
nel caso di un problema come vi
gestiscilo ma comunque è ora che sia
corretto quindi non significa che sia come
Il più velocemente possibile o perché tu possa ottenere
un caffè o qualcosa in cui si usa
ancora aspettando che sia accettabile
che sta ricevendo la richiesta
risposta in cinque minuti ed è ancora
in tempo reale no non è, ma comunque è possibile
chiamalo vicino in tempo reale il problema qui
è questo quando si considera il tempo fisso
in un sistema distribuito qualcosa di simile
questo accadrà che non puoi prevedere il tempo
cose in un sistema distribuito davvero
morirai in un incendio qui no
problema ha fatto è la risposta tipica I
lo adoro, mi procurerò un hardware sexy
farà tutto ciò che l’hardware sexy fa
tutto ovviamente non ne hai nemmeno bisogno
la testa al cervello per
installare l’ hardware pensa solo a me
giusto ma sarcastico che tu abbia appena iniziato
Lanciarmi uova cattive sono sicuro che
questo ragazzo si prenderà un po ‘di razzo
hardware veloce, quindi di nuovo non è possibile
prevedere fisso e fisso sono in mapreduce
è impossibile che tu non possa garantire il
completezza dei dati che è il prossimo
problema quando pezzi quando parti del tuo
dati
Sono appena andato, non puoi
mappare questi dati perché non lo fanno
fallo bene se pensi alla ridondanza
forse sì sì ma è ancora possibile
perdere tutto ciò che e
la causalità è un altro problema quando tu
prova ad analizzare per la causalità dell’evento
cosa succede dopo quello che è davvero difficile
problema in un sistema distribuito a voi
sapere di fare un ordine di cose
capita per l’analisi perché, per esempio
il tempo non è affidabile in un ambiente distribuito
del sistema e così via, quindi se avete bisogno di
prevedere meglio mentre la data sta volando
in per causalità e roba che vorresti
bisogno di CP i tuoi dati è questo termine per
Elaborazione di eventi complessi CP java
sviluppatori di sviluppo Java in giro
sistema come sistemi come una spa ok no
problema quindi quello che fa veramente è te
avere una finestra scorrevole che attraversa a
attraverso un flusso infinito di cose che
capita che tu possa definire questa finestra
come 10 minuti e all’interno di questa finestra
puoi analizzare usando una lingua speciale
quale è diverso per ogni
piattaforma ma in ogni caso è possibile analizzare come
le cose sono successe a seconda di cosa
è l’esempio tipico è come quando
tu quando ascolti le campane di una chiesa e e
vedi una donna in abito bianco e e
il riso sta volando in giro, quindi è carino
sicuro che questo è un matrimonio che conosci così
questa catena causale qui è per questo
questo e tu puoi farlo in tempo reale
bene in tempo quasi reale di nuovo in tempo reale
le cose sono davvero difficili le più importanti
cosa in questo intero strumento di zoom è così
di ora il tuo tipico strumento bi che tu
userebbe forse è completamente inconsapevole
di nessun deposito sequel esistente in giro
questo è un grosso problema davvero
perché si aspetterebbero come sai
usando jdbc odbc accedendo a questi dati
store ed è solo un sottoinsieme di dati
che puoi uscire o almeno a
sottoinsieme di questo protocollo come è possibile
accedere ai dati perché non lo fanno
implementare tutto bene dipende dal
soluzione nessun problema ha fatto il mio MapReduce a
posso nascondere completamente questo per me che posso
concentrati solo sul fare cose bene
questo è l’argomento killer che voglio
per fare questo bene sulla matematica I
direi semplicemente che non è possibile
definisci uno sviluppatore di big data quando
quando stai bene quando non lavori
probabilità di statistica matematica e
apprendimento automatico e cose del genere
perché è quello che è per nessuno
compito analitico che vorresti fare
hai bisogno di un sacco di matematica per te
bisogno di statistiche matematiche e cose del genere
chiunque in questo mondo ha bisogno di un iPad o
due o tre conosco persone che hanno
tre non so perché mi scusi loro
non avere bambini, specialmente questo ragazzo no
comunque è una sorta di beniamino diamo
quindi il principio è la separazione di
analisi immediata e post fact e
elaborazione di eventi complessi di flussi di dati
i suoi dati volano combinando oh mio dio
tagliamo bene combinato con il caso d’uso
utilizzo della tecnologia guidata invece utilizzare caso
utilizzo della tecnologia guidato ancora una volta e
le conoscenze statistiche sono principi chiave
qui nell’analisi dei big data
elaborazione che è lo sviluppo di grandi quantità di dati
quindi abbiamo dimenticato questa visualizzazione
la parte di visualizzazione non è un problema
Non ne ho idea e nemmeno a me
non ne ho idea , intendo davvero
una scienza da sola, ma lo so
persone che sono reali nel profondo e e
sai creare diversi tipi di
mappa come presentare i big data intendo te
non posso farlo con un ex oh merda
segno più è solo troppi dati voi
bisogno di raggruppare il tipo di cui hai bisogno
coloralo in un certo modo e così via
avanti quindi cerca solo questo e trovi
molti di loro hmm quindi qual è il
messaggio così bene che dice che sono modesto
bene io sono a volte più intelligente non mi piace
essere più intelligente ma a volte lo è
necessario per convincere la gente in ogni caso um I
suggerirei semplicemente di seguire per un grande
lo sviluppatore di sviluppo dati non si fida
e mezzo-cotto blog post come Beckett
Mick significa in questo caso persone che lo sono
scrivendoli sono davvero piccoli ma loro
non iniziare con Adam e Adam e
Eve tu sai che hanno letto tutto questo
loro hanno usato quasi tutto dentro
quelli fanno tutti qui in questa stanza
avere tutti questi libri che dovresti avere
te stesso qualcosa di veramente buono in realtà
se vuoi fare networking, lo farai
non voglio perdere questo almeno
le statistiche e così via ce n’è una
un sacco di letteratura su di esso questo è un
ottimo per capire come
i sistemi di database funzionano e, naturalmente, a
tannenbaum da te se hai grandi dati
sviluppare o no dovresti avere questo libro
e questo libro dovrebbe essere solo dovrebbe
sembra una merda completamente usata, lo sai
non esiste una versione elettronica di questo come
Per quanto mi ricordi, ma comunque, facciamolo
parla brevemente di tutto lo stack fai tu
conosco questo termine full stack developer okay
è molto emergente e sta diventando
popolare popolare questo termine così il pieno
stack è tutto questo e quando parlo di
hardware qui non intendo solo tu
sistema basato su int’l ma tutto il tuo carico
equilibratori e anche se vuoi andare per
velocità reale andrai per GPU e e
farai qualche fpga su alcuni chip e
roba così in realtà non posso chiamarmi a
grande sviluppatore di dati se non lo faccio tutti
questo ma bene lo imparo ancora, forse lo sono
solo un altro passo avanti per sapere cosa io
perdere ma ci vorrà un sacco di tempo per
sappi tutto questo qui il tempo è un grosso problema
sai okay comunque la matematica
algoritmi di archiviazione hardware molto
cosa importante sistema operativo il
il più grande problema che ho con
il mondo Java non è che la JVM sia
schifo, la JVM è fantastica ma molte persone
ignora semplicemente il fatto che sia lì
e sono nelle situazioni in cui usano
ibernare per non caricare nemmeno pigro
65.000 oggetti nella memoria intendo
e combattendo le cose con mezzo cotto
su cache scritte e cose che conosci
quando hai sul sistema operativo
livello hai come tre quattro di loro
a seconda del sistema in esecuzione
devi solo sapere di questo e di
fidati di quelli che sono
implementando kernel e cose che faranno
essere sempre meglio di chiunque altro
perché si concentrano solo su questo
archivio dati astrazione il nostro deposito e
strumenti due catene che è molto importante
non una sola due lingue diverse
molto importante ci sono diversi
lingue intendo bene dovrei
questo no no no nessun problema su questo
puoi fare con molte cose diverse
molte cose diverse sanno anche ma
ci sono piattaforme e lingue
meglio adattarsi ad alcuni casi d’uso e tu
dovrebbe andare per loro e guardarli e
solo essere curioso di loro l’esistenza
di loro li controlla e non solo
lanciare un singolo strumento e tutto e
dì hey, vieni, funzionerà, posso ancora
pensa che tu sia adottato parole così potrebbe
tipo di lavoro di distribuzione della rete lì
è un sacco di letteratura su questo
è molto complesso, è molto reale
area complessa e statistiche
visualizzazione e tutto ciò di cui hai bisogno
la matematica è assolutamente come un iPad e tu
anche quando i tuoi big data ti sviluppano
bisogno di sapere il tuo punto di dolore lì
non sono molte aziende nel business
area intendo dire escludiamo solo il turno
e quindi molto speciale o medico
istituti sono anche molto speciali
facendo in dimensioni diverse dimensioni
facendo foto e cose analizzando
animale anomalo e tutto ciò giusto
escludere questo dall’impresa di
prospettiva aziendale di te o di un punto
di vista hai twitter facebook da
google hanno tutti i problemi di
Certo che sono i pionieri di tutto ciò
quindi hanno anche i dati che hanno
anche qui c’è un dolore totale, ma forse
sei nella tua compagnia e questo è molto
importante capire, forse no
avere questo dolore o solo uno dei
questi fagioli forse hai solo bisogno di
soddisfare i tuoi clienti in arrivo e
avere milioni di connessioni parallele
beh, il problema è che è noioso quando tu
non ce l’ho perché non puoi giocare
con la tecnologia con il nucleo
la tecnologia bene, comunque è necessario girare
sul tuo cervello e questo è il massimo
cosa importante nella tua catena di strumenti
accetta se non hai questi problemi
basta saltare forse dovresti cercare
un’altra compagnia va bene
è grazie mille alla Torah
di diversi strumenti e mentalità e
la tecnologia e giocare bene puoi vedere
beh, intendo dire che la curiosità è molto
fattore importante e il desiderio di imparare
devi combinare una squadra per avere un
squadra di persone che forse hanno differenti
si concentra ma hai bisogno di questa conoscenza
nel complesso almeno si devono essere consapevoli di
cose e devi sapere che tu
non posso sapere tutto così hai bisogno di me
significa che getti qualcosa da qualche parte
e tu pensi che tutto andrà a posto
dovrebbe andare 12 passi più in là
il terreno vede come le cose funzionano di più
di questi data store ad esempio il nostro
le soluzioni open source studiano semplicemente
codice guarda il codice cosa fanno io
il codice medio è leggibile anche se lo è
scritto in tesoro e ancora leggibile no
scherzare è un linguaggio interessante
questo semplice quindi forse dovresti avere un
guarda che lo farà uno dei ragazzi tedeschi
dare un’occhiata a questo lo spero, ma comunque
devi effettivamente per fare
qualcosa del genere dovrai
fai crescere il tuo prestito e la tua conoscenza di più
e più forse con più persone i
non credo davvero nel concetto di
qualcuno ha chiamato Data Scientist perché io
pensalo fino in fondo
uno sviluppatore ha anche bisogno di essere dati
scienziato perché odio implementarlo
formule matematiche che io no
capisco quindi ho bisogno di sapere cos’è
che uno dei principi forse no
così profondo perché è tutto
armeggiare i dati da qualcosa di formazione
i tuoi classificatori, ma non lo sono comunque
ho bisogno di capire questo che non voglio
usa una libreria o un algoritmo scritto da
qualcun altro se devo
esegui questo in produzione in seguito importante
per accelerare allora il periodo di tutto il
ramificazioni dei dati non sarebbe
intelligente solo per impostare i lavori nostri
modo anticipato che non avevamo conosciuto regolarmente
distribuiti, quindi dovresti essere in grado
per mandare i lavori al giorno e poi a noi
ottieni risultati sì, puoi effettivamente farlo
ma è un po ‘simile perché tu
spedirebbe dei lavori alle macchine
tenendo i dati così dove è il
differenza intendo se comunque la chiami
MapReduce o quant’altro lo farai
aspetta qualcosa che produce risultati
forse pre-calcolato precompilato così
questo è fondamentalmente lo stesso concetto grazie
voi molto ragazzi
Please follow and like us: