[Musica]
okay, perché non iniziamo grazie per?
venuta
il mio nome è Dean Wampler in pista
ospite e il primo oratore e io devo
dire che sono davvero entusiasta di questa pista
sai con l’eccezione del primo
speaker penso che abbiamo messo insieme un bene
lineup un paio di loro sono qui nel
pubblico Glen e Jesse è l’unico
quelli che noto ma in realtà penso questo
sarà il mio discorso sarà come un
introduzione al tipo di streaming
paesaggio in cui è sorta di emergenti
una sorta di mondo dei big data intendo davvero
abbiamo sempre scritto app in streaming
anche app rilassanti sono una specie di se tu
pensaci , sono un po ‘come lo sai
i dati continuano a venire e non si ferma mai e
è lo stesso nella sua scala di
corso e poi colloqui successivi oggi
ci tufferemo in alcuni dei particolari
di raggio e Kafka e scintilla e così via
avanti così dovrei essere piuttosto eccitante
spero spero che ti piaccia tutto il
foto in questa cosa che ho preso e
sono fondamentalmente immagini di acqua
perché stiamo parlando di streaming così
e puoi ottenere questo discorso e questo
ovviamente sul sito web della conferenza
ma tengo tutti i miei discorsi e la mia vanità
programmazione poliglotta sito calmo ok
quindi, per favore, vota sempre le sessioni
quando hai finito perché sono l’oratore
Non posso davvero guardare l’app
facilmente ha fatto quattro domande in modo prego appena
fammi domande alla fine se non lo fai
mente e ancora una volta per favore vota il
sessione più di quello che ho intenzione di parlare
riguardo è entrare più in profondità in questo
la piccola Riley riferisce che è come un 30 40
pagina di rapporto quindi non è troppo doloroso per
digerire l’unico problema è che devi
Dacci il tuo indirizzo email come piegato
spero che non ti dispiaccia troppo, ma è così
va più nel dettaglio, ma quello che sto andando
per descrivere oggi, quindi parliamo
alcuni iniziano con qualche contesto in merito
streaming questa è l’area nella tua
Sacramento in realtà alcuni dei migliori
i parchi eolici lì e questo sembra essere
comunque nelle Sierras
l’architettura classica Hadoop è gentile
di un buon punto di partenza, quindi quanti di
si è lavorato con la doop un sacco di
probabilmente va bene Non ho intenzione di trascorrere una
molto tempo su questo ma tu sai se tu
pensa alla sua architettura è
essenzialmente tre pezzi grandi
è un file system distribuito che conosci
questo è HDFS, è qualcosa che deve fare
calcolo sui file che conosci era
una MapReduce ora è più probabile che scintilli
di qualsiasi altra cosa e poi c’è
una struttura semplice chiamata filato che
sa come gestire tutte queste risorse
e allocare conoscete compiti attraverso il
cluster per il tuo lavoro e tutto il genere
di cose e poi c’è ovviamente
strumenti di supporto che è il tipo di cosa c’è in
l’ angolo in basso a sinistra per ottenere i dati
e fuori e così via ed ecc
sì ma le caratteristiche generali di
Hadoop lo sai almeno nella classica
i termini lì è ovviamente in evoluzione
molto ma lo sapevi in origine
solo un sistema di bachelor orientato
prendi questi dati qui e poi fallo
un’analisi massiccia su di esso sono una specie di
ignorando il ruolo di HBase che è
più di un database tradizionale a buon mercato
archiviazione massiccia sai che è una specie di
artefatto di dati di dimensioni senza precedenti
set che abbiamo acquisito nell’era di Internet
di nuovo nel Pleistocene, ma è successo
supportare cose come lavori multiutente
diversità dei flussi di lavoro e così via e
in un caso di uso comune per il risultato
essere la sostituzione del data warehouse
soprattutto se hai usato l’hive come sequel
motore di query che è stato davvero bello per
che in termini di riduzione dei costi e ma
forse rinunciando alla maturità e
raffinatezza che il tipo di dati
i magazzini sono bravi ma ora lo siamo
tipo di transizione a più di a
mondo in streaming e si riduce davvero
per il tempo è uguale a soldi, sai se ho
informazioni preziose anche nella mia giornata
prima estraggo quel valore, meglio è
fuori sono
ha anche altri vantaggi come se io fossi
eseguendo lavori in serie massicci ho bisogno di molto
di infrastrutture forse un paio di volte a
giorno, ma se io tipo di voi sapete sanguinare
nel corso della giornata lo sai ammortizzare
i dati, poi tu sai che ho bisogno
meno infrastrutture quindi è una specie di a
vantaggio laterale e quindi questo diagramma è
da quel piccolo libretto e che il
numeri corrispondono ai punti sollevati nella
libretto ma camminerò attraverso il
dettagli un po ‘c’è molto su
la diapositiva, ma spero che abbia senso
mentre lo attraversiamo questo è ciò che vedo
è una specie di emergere canonico
lo streaming dell’architettura dei dati oggi
Ovviamente è intenzione di iniziare con i dati
arrivando così ho disegnato tre
diverse bolle di dati in arrivo
tipo di rappresentare classico riposante
richieste come
qualcuno sta autorizzando una carta di credito
contro il tuo sito web o quel tipo di
cosa potrebbe anche essere il servizio
console per il tuo sistema Big Data e
quelli in genere saranno gestiti
da cosa chiamiamoli micro
toolkit di servizio che è una specie di quello
di conoscere lo stato dell’arte oggi
conosci qualsiasi strumento tu usi per quello
scopo oggi e poi il secondo in basso
i blocchi sono pensati per rappresentare lo sai
grandi volumi di dati in arrivo sai
lo sai forse in flussi molto grandi
ma in un certo senso, anonimi, e
Praticamente sono prese usate per rappresentare
tutto ciò che viene da fuori
potrebbe essere la telemetria IOT che potrebbe essere il
Twitter firehose qualcosa del genere
stai ingerendo forse dati dei partner e
quindi uso i registri in modo davvero gentile
di rappresentare qualcosa di interno come il
log di scarico che escono dal tuo server
quindi potresti volerlo fare analisi
potrebbe anche essere come i log clickstream
il tuo sito web che potresti voler fare
conosci gli studi di usabilità su qualsiasi cosa
così, ma in ogni caso il modo in cui è
tendendo a giocare in questi giorni è tutto
finisce a Kafka almeno la maggior parte dei
lo streaming di dati forse non tanto il
dati di riposo parliamo di quello
prima ancora un tipico micro servizio
tipo di kit di strumenti che potremmo essere
tutto compreso il nostro bar P lassù
ARP è la piattaforma reattiva che è
leggere curve di rotazione reagiscono su micro
servizi ma potrebbe essere non andare da te
sapere qual è la tua cosa preferita e
Menzionerò e tornerò dentro
un minuto al motivo per cui ho microservizi su
una diapositiva su Big Data bene che voglio
tornare a quel punto perché penso
c’è qualcosa di interessante in corso
qui i custodi dello zoo sono una di queste cose
che tutti hanno specialmente se tu sei
eseguire Kafka è richiesto da Kafka ma
Kafka è davvero una specie di backplane
di questo intero sistema e quando sta andando
di parlare molto di questo più tardi oggi ma
è davvero un ottimo strumento per l’ingestione
i dati in un modo affidabile e duraturo no
davvero destinato alla conservazione a lungo termine
anche se alcune persone stanno spingendo
la busta su cosa significhi
normalmente i dati durano circa sette giorni
di default in un cluster Kafka e quello
significa qualcuno che vuole consumare a
down stream anche come da sostituire
qualcosa perché qualcosa è fallito o
forse deciso di cambiare come l’analisi
è stato fatto puoi solo tornare indietro e rileggere
i dati di Kafka organizzati per argomento
come un messaggio in coda uno cruciale
la differenza però è che sotto come
la maggior parte delle code di messaggi non appena
qualcuno lo legge, eliminano il
messaggio Kafka non lo fa in questo modo
hanno preso la strada più difficile ma in realtà
più efficace di qualsiasi consumatore su a
determinato argomento vedrà il tutto
non dovranno coordinarsi con altri
consumatori che stavano consumando ciascuno
messaggi sull’argomento invece su tutti
arriva a leggere il tutto così se io
hanno come un cruscotto che riescono a vederlo
tutto se io sto facendo analisi offline
arrivare a vedere tutto macchina per l’allenamento
apprendimento ecc ecc e poi c’è un po ‘
meccanismi per la temporizzazione del
dati nel qual caso è spazzatura
raccolto come se fosse un altro importante
beneficio di Kafka per architettonico
scopi è che si sbarazza di
architetture volutamente brutte come
questo così II ha disegnato ogni possibile
combinazione almeno non dirà che è a
grafico bipartito quindi tutto a sinistra
e tutto ciò che è a destra è connesso
e questo è ovviamente disordinato da gestire
e disordinato per disegnare così se tu sei il
architetto responsabile di tutto questo tu
ti conosco come l’architetto e il
matrice sembra che me se io non sono
indossa un abito e questo non è così
ottima cosa l’altro problema con questo
Diciamo che il servizio due arresti anomali allora
tutto ad un tratto ho tutti questi problemi
connessioni e sai cosa sta succedendo
capita ai dati che arrivano da
questo servizio a sinistra è giusto
perso è sai il servizio interrotto come
funziona bene se metti Kafka dentro
nel mezzo, quindi, stai praticamente usando
la famosa informatica
affermazione che è possibile risolvere qualsiasi problema
con un altro livello di indirezione così
qui vai e intendo fa diversi
le cose per noi pulisce il
l’architettura ci dà una specie di a
protocollo comune se vuoi dire se
spingi questo fino all’estremo
l’unica cosa che sai che devo sapere come
fare è parlare con Kafka qualunque servizio
stai facendo non necessariamente quello che tu
voglio fare tutto il tempo ma tu potresti farlo
in questo modo e poi ovviamente perché
hai questa cosa nel mezzo è
abbastanza durevole se il servizio uno va giù
Diciamo che non lo farai
necessariamente perdere i dati il più a lungo possibile
recuperare entro sette giorni o qualsiasi altra cosa
non sempre assicurato, ma si spera che sette
i giorni sono abbastanza lunghi quindi Kafka è carina
importante in questa architettura ma poi
hai dati in Kafka ora cosa siamo
andando a fare bene, ovviamente noi
bisogno di elaborarlo in modo sostanziale il
analogo di MapReduce
e il mondo Hadoop è in streaming
motori se ci sei stato un grande
post sul blog circa un anno fa e io davvero
dovrebbe mettere un link in esso in questo discorso
un tizio ha guardato tutti gli Apache
progetti e trovato lì come undici di
quelli che affermano di essere motori di streaming
quindi conosci il paradosso della scelta qui
entri in te e conosci Best Buy e te
vedi un centinaio di frigoriferi e cammini
fuori perché vorrei comprare il torto
frigorifero ho tutte queste scelte
quindi come decidi cosa scegliere bene
quello che farò è discuterne
ci sono forse quattro motori che tu
davvero dovrebbe concentrarsi su perché penso
sono quelli che entrambi conoscete incontrano
tutti i criteri che potresti immaginare
l’intero spettro di ciò che potresti desiderare
fare e streaming e sono come
progetti fattibili vivranno di più
di quanto tu conosca la vita di alcuni
compagnia che sta lottando per sopravvivere
quel genere di cose, ma c’è sicuramente
altri che potremmo sopportare
diapositiva
certo che sono questi saranno tutti
open source uno quindi tornerò e
parlarne in pochi minuti ma
solo per finire questo diagramma sai
questi sono praticamente tutti open source
componenti in modo da poter fare qualsiasi cosa
la persistenza che vuoi puoi sapere
scrivere in archivi di file system come
s3 conosci elasticsearch e quel tipo
di cose oltre che tradizionali
database e poi l’altra cosa
che è bello di questa architettura è
ci libera da considerazioni diverse
scenari di distribuzione, così ci capita di essere
grandi fan di maysa come piegare ma alcuni
le persone semplicemente girano su piattaforme cloud e
sfruttare tutto ciò che forniscono
gestione delle risorse ecc. kubernetes è
ora emerge come importante in questo spazio
e la gente lo sta facendo su Hadoop
ma ne hai un sacco
flessibilità con gli strumenti che ho messo qui
in pratica tutto quello che ho disegnato qui di
Naturalmente non ho dato un sacco di dettagli
sul livello di persistenza, ma tu lo sei
non necessariamente legati a colpire con dupe
uno di questi strumenti oggi va bene
torna indietro e parla dello streaming
motori un po ‘perché c’è un
molto da considerare qui quando si fa questo
scelta questo è un mio amico su un
backpacking viaggio cercando di non cadere in
il torrente mentre recupera l’acqua così
quali sono alcune delle cose che potresti
voglio considerare ho detto che ho messo per
motori di streaming su questa diapositiva così
prima, allora perché per cosa?
compromessi devo prendere in considerazione quando
Ne sto prendendo uno diciamo per a
compito particolare che devo
bene uno è qual è la tua latenza
requisito se stai usando la scintilla
streaming che non riesci a capire come 200
latenza di millisecondi che non è così eccezionale
se stai cercando di autorizzare il credito
carte diciamo al volo con cui ho parlato
qualcuno a banca alcuni mesi fa chi
ha detto che si sa quando si fa clic su acquista su
un sito di e-commerce che sai che c’è
qualcosa come te conosci i due soliti
La risposta di 200 millisecondi è come la
regola per quando la gente vuole
iniziare a infastidirsi se non ottengono un
risposta sulla pagina Web quindi 200
millisecondi che suona come che avrebbe
adattarsi al tempo di streaming di SPARC
cornice ma no perché ce n’è molta
roba in corso sai in quel ciclo
da te cliccando fino in fondo e
indietro e questo ragazzo ha detto che ottengono circa 10
millisecondi per prendere una decisione se loro
il sistema di carte di credito ha un 10
budget millisecondo per decidere sì o no
quindi ovviamente non funzionerà se
stai provando a farlo con la scintilla
streaming ma gli altri motori che
di cui parleremo potremmo gestirlo solo
bene così solo per camminare attraverso alcuni di
questi scenari se sei davvero giù
il bordo sanguinante e alcuni di voi sono dentro
finanza e potrebbe aver lavorato in alto
trading di frequenza nessuno degli strumenti che sono
parlando di affrontare davvero questo bisogno io
significa che stai parlando di costume
hardware conosci la rete di bypass del kernel
carte e cose del genere non sono del genere
Di cosa stiamo parlando davvero
di persone usano la parola in tempo reale a
molto in questo spazio e che si sa sono
macellazione della definizione del termine
in tempo reale è più come questo lo sai
picosecondi o microsecondi ma la maggior parte
le persone nel mondo dei Big Data sono davvero
parlando di millisecondi quando sono
Dicendo in tempo reale, quindi non stiamo nemmeno andando
di parlarne più se tu
sapere forse a meno di 100 microsecondi
potresti farlo con alcuni dei molto
ad alte prestazioni un messaggio basato su JVM
i gestori come la L max perturbare o se
qualcuno di voi abusa degli attori Akka
posso darti questo tipo di inversione ma
è davvero necessario sapere cosa si sta
facendo per evitare come garbage collection
pause e così via per lo più che tendiamo
lavorare di più e forse il 10
intervallo di millisecondo o qualcosa del genere
dove abbiamo una vasta gamma di scelte
e praticamente tutti gli strumenti che sto andando
di cui parlare ad eccezione di
scintilla streaming potrebbe gestire questo
scenario questo tipo di latenza
requisito e poi se tu quando sei
entrando come centinaia di
millisecondi ora potresti star pensando
circa come finestre cose come me
andando a fare una query sequel sui dati
e fai alcuni acquisti di gruppi di funzioni di finestra
quel genere di cose e poi quando arriviamo
a tempi molto più lunghi allora si ottiene
nel regno di come voglio formare una
modello di apprendimento automatico incrementale come
Dati arriva ma non io non avere
per avere il modello esattamente aggiornato
il millisecondo forse ogni cinque minuti
Scambierò un nuovo apprendimento automatico
modello nel mio processore di flusso da fare
raccomandazioni o filtro spam o
qualunque cosa e tu sai veramente quando se
arrivi a quel punto dove sei
Parlando di minuti, penso che dovresti davvero
considerare solo l’esecuzione di lavori batch con
cron o qualche equivalente perché uno di
i casi che voglio discutere qui è quello
l’elaborazione del flusso è pessima come
elaborazione di micro-servizi in cui ti trovi
ho qualcosa da distribuire e
potrebbe funzionare per mesi e se aspetti
abbastanza a lungo tutto ciò che sta per accadere
perderai i dischi rigidi da quello
partizioni di rete del tempo che conoscerai
forse una zona di disponibilità s3 andrà
giù è successo proprio così tu stai andando
imbattersi in qualsiasi tipo di contingenza plus
conosci i soliti alti e bassi e
requisiti di scalabilità quindi molto
volte è in realtà più facile eseguire semplicemente a
lotto di lavoro in batch in modo da conoscerli
deve solo essere buono per i pochi minuti
loro correranno o forse ore andranno
via poi quando il prossimo lo avvia
può essere ridimensionato in modo appropriato o qualsiasi altra cosa
ma se hai intenzione di eseguire qualcosa che è
un motore di flusso che sta per correre
mesi poi quel tipo di alzare il tiro
sulle tue esigenze di ingegneria un altro
il criterio sarebbe il tipo di
volume che voglio elaborare sì se
stai facendo sai un sacco di cose
dati come se stessi ingerendo il Twitter
Firehose che sta per essere messo alcuni
requisiti piuttosto seri su
potenza rispetto a una semplice maneggevolezza
forse le richieste di riposo per un moderato
sito Web occupato ancora una volta solo per mettere un po ‘
numeri qui se è inferiore a dire
10.000 eventi al secondo che conosci
abbiamo un sacco di strumenti in grado di gestire
questo abbastanza bene per il riposo classico
richiede che non sia davvero tu
considerato un problema su larga scala quando
stai entrando nel raggio di
centinaia di migliaia di pozzi puoi ancora
fare come il riposo non bloccante o qualcosa del genere
come questo ma devi essere
molto attento che tu non abbia
colli di bottiglia nel sistema che limita
scalabilità con la legge di Amdahl e quelli
tipo di cose, ma poi quando sei
davvero come i milioni
di eventi
registra qualunque secondo al secondo che tu sia
probabilmente intenzione di voler fare qualcosa
usa qualcosa che può in realtà solo te
conosci la partizione dei tuoi dati su un cluster
e fare le cose in parallelo come scintilla o
fianco o così avanti e solo per concludere a
poche altre cose per pensare a cosa
tipo di integrazione ho bisogno con altri
strumenti se voglio collegarmi direttamente ad a
database per il mio motore di streaming kafka
i flussi per esempio è davvero
progettato per funzionare all’interno come con kafka
argomenti di lettura e scrittura non così tanto
connettendosi ad altre cose ce n’è un’altra
strumenti per questo scopo, ad esempio e
questo è davvero il motivo per cui è qui perché
la maggior parte degli strumenti altrimenti sarà di solito
fornire una sorta di API con cui parlare
qualunque cosa tu abbia bisogno di parlare con e
allora l’ultimo è fondamentalmente
forse la domanda più importante che cosa
stai davvero provando a fare con il
dati se stai cercando di scrivere sequel
domande e qui mi sono appena sbeffeggiato
un piccolo esempio di scintilla usando il
scintilla versione API di una query sequel poi
questo è ciò che ovviamente lo farà
limitare i tuoi strumenti è la scintilla più
opzione sequel maturo mentre per esempio
i flussi di akka non forniscono un seguito
capacità a tutti, ma poi sull’altro
mano se poi stai facendo cose come ETL
sai che penso sia meraviglioso
esempio di flussi di kafka dove io
proprio come se avessi dati di log non elaborati, non lo siamo
supposto usare le stringhe per i messaggi di registro
più secondo gli esperti ma
diciamo supponiamo di essere
vecchia scuola e stai ancora registrando
stringhe ma in realtà si desidera analizzare
in un formato di registrazione per
consumo a valle che tipo di
roba è un esempio fantastico
per uno strumento come i flussi di Kafka e poi
un altro come forse l’estremo opposto
in termini di calcolo è cosa fare se lo faccio
vuole formare modelli di apprendimento automatico
dinamicamente piuttosto che fare un grande
allenamento in gruppo periodicamente ok così sono
tipo di belaboring un sacco di punti
qui ma l’ ultimo penso l’ultimo
importante è in termini di tipo di
elaborazione mi piacerebbe pensare agli eventi
sai come un server in fiamme o
qualcosa del genere per avere un’identità
dove potrei aver bisogno di elaborarlo
individualmente mentre qualcosa come il
Twitter firehose dove sono tutti i tweet
Sì, certo che potresti scavare e dire
quello che è la persona che fa questo tweet
o qualsiasi altra cosa, ma soprattutto tendiamo a
elaborare quel tipo di roba alla rinfusa e
pensala come anonima
registrazioni in un certo senso e poi in realtà
alcuni di questi motori sono migliori in
soprattutto l’ elaborazione di singoli eventi
a volumi inferiori rispetto a quelli sfusi
e viceversa va bene così è lunga
elenco dei motivi per cui scegliere uno strumento o
l’altro guardiamo il
quattro strumenti che ho avuto su questo grafico
okay, sono così è giusto
lato di quello schema risulta quello
Google ha eseguito l’elaborazione in streaming
per un lungo periodo sai chi lo sapeva ma è così
risulta che tendono a tutto
come lo sai da vent’anni
tutto ciò che sappiamo ora è qualcosa
Google ha inventato e poi entrambi
descritto in un documento o in realtà a
recentemente aperto di provenienza e un buon esempio
del fenomeno recente è che hanno avuto
diverse iterazioni dell’elaborazione del flusso
strumenti e hanno pensato a tutto il
tipo di scenari devi preoccuparti
sull’elaborazione del flusso e sull’apertura
parte del flusso di dati di Google come
Apache trasmette la parte che non hanno
su open source era il corridore reale
tranne che per un test runner che solo
funziona in una singola VM e in realtà è così
un posto interessante dove altri strumenti
come la scintilla e il flink stanno intensificando
funzionano come corridori per i flussi di dati
definito con il raggio di Apache, ciò che è grande
a proposito di raggio è che loro come io dico loro
davvero pensato attraverso tutto il
semantica sofisticata che potresti
eseguire e l’elaborazione in streaming
soprattutto se vuoi andare oltre
come yeah, facciamo solo un po ‘di calcoli
medie come l’ ultima ora di
vendite per negozio ma non lo so davvero
effettivamente bisogno come una qualità contabile
numero Voglio solo la media ma cosa
se volessi davvero fare tutto
in uno scenario di elaborazione dello stream quindi
che avrebbe dovuto gestire uno scenario come
questo dove supponiamo che tu lo sappia
ho detto qualunque sia quel tempo
minuti qui supponiamo che tutti
minuto voglio fare una sorta di
aggregazione su un dato che è
si verificano nel mio sistema un po ‘di metrica
sai che il tempo di volo ovviamente non lo è
zero per anche roba andare con lui la mia
cluster in un cluster normalmente operativo
ci sarà sempre un po ‘di ritardo
che sto cercando di mostrare con le frecce
quel tipo di tendenza a destra ma poi
Avrai dei veri problemi quando
hai come una partizione di rete dove
i dati potrebbero essere visualizzati in ritardo di dieci minuti o
forse un giorno di ritardo o qualcosa del genere
la domanda è se io sia se in realtà lo faccia
dì alimentando un cruscotto ma anche nutrendosi
mio
sistema di conteggio quando decido di farlo
in realtà è sicuro fare il calcolo
quando so di avere tutti i dati o se
So che potrei non avere tutti i dati
quando va bene fare forse a
calcolo provvisorio con alcuni
possibilità di postare una correzione in seguito
se i dati arrivano in ritardo o quando lo faccio
decidere che i dati possono essere ignorati se questo
arriva troppo tardi
questi sono il tipo di domande che tu
entrare davvero se pensi a cosa
ci vorrebbe per fare un motore di streaming
come sai, mi piacerebbe dire contabilità
Qualcosa di qualità che in realtà sei tu
sapere il 100 100% preciso in alcuni
senso della parola al contrario di
approssimativo e Google ci ha pensato
questo tipo di cose e il raggio è
davvero gentile dello stato dell’arte in
termini per definire questi tipi di
semantica che potresti voler fare
c’è un credo nelle note del relatore
per le diapositive che pubblico sempre con
le diapositive penso di avere alcuni collegamenti a
alcuni discorsi davvero buoni da parte di persone da
la squadra di travi se sei interessato a
maggiori dettagli su tutto questo e io
pensare Jess si potrebbe entrare in esso un
un po ‘ più tardi
ma comunque è una specie di stato di
l’arte per un flusso di dati di elaborazione e
una delle ragioni per cui mi piace davvero
fianco che significava che hai effettivamente
sentito parlare di link dal modo in cui è forse il
Lisa, ne conosco un bel paio
dei motivi che mi piace fianco è una che è esso
si sforza davvero di essere efficace
corridore per semantica dei fasci e per quello io
significa che tutti questi corridori di solito
fai un sottoinsieme della semantica disponibile
sai in base a cosa sono capaci
e questo è ovviamente un bersaglio mobile
ma flink è più avanti di tutti gli altri I
direi diversi da quelli di Google
flusso di dati che è se sei in Google
In realtà è possibile utilizzare i propri dati
flusso ma se anche il collegamento è progettato in
contrasto con SPARC per essere a bassa latenza
motore di elaborazione ma ancora in alto
volume sai con la partizione sapere
gasdotti dati e così via, e che
hanno un supporto iniziale ma in continua evoluzione
per cose come sequel over stream e
apprendimento automatico e così via, ma non come
maturo come SPARC, quindi i flussi di akka sono a
API di streaming in cima all’attore di akka
il modello occas è uno dei prodotti che
la luce Ben la supporta ma di nuovo lo è
open source Mi piacciono molto gli attori Akka come
una concurrency primitives rimossa
la necessità per me di preoccuparmi del thread
sicurezza e questo tipo di
fondamentalmente un attore è come lo è davvero
come un oggetto dove è garantito
essere thread-safe dall’implementazione e
gli mandi messaggi per il lavoro da fare e
quindi li elabora uno alla volta così
è un primitivo molto bello ma è un
primitivo piuttosto basso quindi se lo sei
davvero pensando a un flusso
scenario di elaborazione allora è bello
avere una API di streaming e questo è ciò che
akka stream è progettato per farlo
a causa del fatto che è costruito in su
attori è molto bassa latenza per
evento è davvero fantastico per i complessi
elaborazione degli eventi e dovrei menzionare
lampeggiare ha un evento complesso crescente
componente di elaborazione pure questo è
uno di quei motori dove se non lo fai
avere enormi dataset è in realtà molto
efficiente su base per evento come
opposto a qualcosa come SPARC dove
anche se lo SPARC è generalmente pensato
di efficienza se si butta come te
conosci migliaia di byte allora
si sta solo andando ad avere un sacco di
sovraccarico che sta andando a inondare il
il vero calcolo funziona così non lo fai
ottenere molto ammortamento sui dati ma
se hai bisogno di qualcosa di buono
piccoli dati fino alla mancanza di dimensioni medie
dati quindi i flussi di akka sono grandiosi per questo
Gli stream di Kafka sono uno strumento davvero
orientato verso l’ecosistema di Kafka così
se sei davvero basato su Kafka come tuo
nucleo si conosce il gasdotto dati nella
metà della tua schiena giocando e Kafka
i flussi sono davvero un buon motore per
scrivendo un sacco di cose che ho menzionato
Scenario ETL già un altro bello
l’astrazione che hanno nei flussi di Kafka
è qualcosa chiamato tabelle K o esso
fondamentalmente è di nuovo un’astrazione da tavolo
pensa a questo scenario dove ho
come un cruscotto e voglio solo vedere
come aggregazioni come media per
minuto o qual è l’ ultima acqua alta
segnare per un dato tipo chiave di sorta di a
doppio caso di invece di vedere ogni
evento voglio solo vedere qualche rollup di
che come un tipico database da cui il
nome tavolo K è davvero bello per quello
I flussi di Kafka non cercano di essere come
la soluzione a ogni problema di streaming
ma è davvero buono per un sacco di
scenari in cui ho solo bisogno di leggere
alcune cose su un argomento di Kafka
manipolarlo in qualche modo e scriverlo
torna a Kafka per il consumo a valle
come quello scenario ETL di registro che ho menzionato
prima
e poi c’è la scintilla che probabilmente è
quello di cui tutti avete sentito parlare
la scintilla più originariamente iniziata come a
sistema in modalità batch proprio come MapReduce
ma perché è relativamente efficiente
sono venuti con questo trucco geniale si
sapere cosa succede se catturiamo solo Windows di
dati che conosci come intervalli di tempo fissi
e poi basta eseguire piccoli lavori batch
quei dati e che funziona davvero bene
bene per la maggior parte, ma limita
la latenza ho detto 200 millisecondi
prima è come il più basso assoluto
limitare è più realistico essere come
mezzo secondo di latenza che sarebbe come
la dimensione di questa finestra ma con la scintilla
ottenere un sacco di semantica sequel molto ricca
e mette a disposizione una macchina molto carina
biblioteca di apprendimento e il e c’è a
gruppo penso guidato da alcune persone a
Cloudera per implementare effettivamente quelli
semantica del raggio in cima allo streaming di scintille
questa è una delle aree in cui è presente la scintilla
davvero in rapida evoluzione perché loro
sappi che questa latenza è in realtà a
svantaggio per loro perché apre il
porta per strumenti come il flink quindi ci aspettiamo
che nel tempo sostituiranno il nucleo
di scintilla in modo che possa effettivamente essere un
vero motore di streaming e non un mini
motore batch ma normalmente girerei
per accendere lo sai in un complesso
l’architettura come questa ti fa scintillare
streaming per cose come il mio allenamento
modelli di machine learning, per esempio anche
anche se potrei non essere in grado di farlo
segnare i dati con quei modelli se ne ho
requisiti di latenza inferiore così di fatto
una delle cose che stiamo pensando di
è come se Bend andasse bene se lo facessi se io
punteggio con fianco sicuro ma voglio
allenati con la scintilla, come posso condividerli?
modelli e ci sono molti modi per fare
ma in questo momento devi essere gentile
rotolare il proprio così stiamo pensando
come renderlo più facile e come ho detto
perché è stato avviato come una partita
motore che sai davvero scrivere
codice forse il nucleo del tuo codice che
fa una sorta di elaborazione e poi
eseguirlo in modalità batch o eseguirlo in a
modalità semi batch o mini batch, quindi se si
conosco l’architettura lambda questo
in realtà rende più facile l’implementazione
l’architettura lambda va bene
Voglio parlare un po ‘ di questo
idea di microservizi e dati veloci e
il tipo di sinergia che sta emergendo come me
vedilo è una bella roccia affettata in a
Stanno alla deriva nelle Sierre in realtà
un grande lago quindi ho pensato che fossero
micro-servizi intendevo molti ascensori
invece di sollevamenti macro o qualcosa di okay
quindi la domanda è questa come è qualcosa
in questo modo assomigliare a qualcosa di simile
e questo è solo una sorta di trucco
diagramma di un tipico micro servizio
implementazione in cui conosci il mio ecommerce
il sito ha micro servizi separati voi
conoscerne uno per l’elaborazione degli ordini
gestione degli account ecc. ognuno di essi ha
il proprio storage che di solito è un pattern
quello dovrebbe essere buono e loro
comunicare attraverso la messaggistica per ottenere
servizi gli uni dagli altri, se necessario, così
solo tu conosci il servizio micro di Strawman
beh penso che in realtà ce ne siano alcuni
interessanti sinergie qui è la prima
che una tipica applicazione di dati come
quel lavoro ETL in cui scriverai
Kafka scorre o forse il tuo quotidiano
roll-up che stai facendo e scintilla
sequel tendono ad essere qualcosa che
hanno una sola responsabilità
piccolo e per qualche definizione di piccolo
sai che la scintilla potrebbe essere massiccia in questi posti di lavoro
potrebbe essere in esecuzione con te sai 10
heap gigabyte o qualcosa del genere ma il codice
cavalchi tende ad apparire davvero piccolo come
un microservizio molto semplice per alcuni
definizione di micro molto simile a micro
i servizi stessi dovrebbero essere
singola responsabilità e e delegato
ad altri micro servizi per altre cose
sai come ho detto all’inizio
entrambi dovranno essere in grado
per elaborare dati che non si fermano mai
in arrivo se si tratta di richieste
servizio o il suo effettivo si conosce il
Firehose di Twitter o qualcosa del genere
in modo da avere a rimanere reattivo voi
sanno che devono essere disponibili tutti
tempo devono essere scalabili e
resiliente a tutte queste cose c’è questo
idea di programmazione reattiva che è
tipo di progettato per incapsulare questi
sorta di requisiti fondamentali e micro
servizi quindi discuterò anche che se
pensi a un’azienda di successo
costruendo micro servizi alla fine i dati
diventa il loro problema dominante e quando
Twitter ha iniziato
era fondamentalmente un’app web a tre livelli
sai per un gruppo di ragazzi dentro
Frigga ciò che il nome della società era
che Twitter è effettivamente iniziato come ma di
Naturalmente il suo popolo si è iscritto a Twitter
poi improvvisamente hanno avuto il cosiddetto
Justin Bieber problema dove ogni volta
ha twittato qualcosa che avevano per te
conoscere la trasmissione a milioni di follower
quello che ha detto e quello appena alzato il
bar per rendere la loro architettura più
data centric quindi la penso davvero
stiamo vedendo questo accada che se tu
Pensa al passato dove volevamo
servizi monolitici e grandi dati dove
non c’era davvero un sacco di
si sovrappongono tra loro loro gli ingegneri
diciamo in ognuno di questi mondi tendevano
pensare a diversi problemi che
ora stanno iniziando a sembrare più simili
quel tipo di microservice è una specie di
sopraffatto dai dati se lo sono
dati di successo e veloci che le persone devono
essere molto bravo a scrivere molto
disponibili servizi resilienti durevoli, ecc
quindi penso che ci sia un sacco di sovrapposizioni qui
così pochi tasselli svergognate da da
luce Ben In realtà sto conducendo la squadra
quello sta costruendo una piattaforma e l’ho fatto
nel colore, perché sai che è un
prodotto commerciale quindi sì, io in realtà
ho disegnato un pezzo ma in ogni caso lo stiamo provando
pensa a questi problemi e come lo farebbe
aiutiamo le persone a costruire queste architetture
che fondono il microservizio e nel digiuno
strumenti di streaming dei dati in un insieme coerente
abbiamo parlato di questi pezzi cerchiati
in rosso ovviamente un prodotto commerciale
come questo ti aspetteresti di avere
strumenti di produzione quindi abbiamo il monitoraggio
utensili e strumenti di gestione pure
e in realtà siamo concentrati su Enterprise
DCOs che è la versione commerciale
Amazo dice che la nostra piattaforma di distribuzione e
pensiamo anche che ci sia davvero
interessante opportunità per la macchina
imparare in questa situazione perché come me
menzionato questi servizi devono essere eseguiti
per sempre e così come stanno andando
Rimani affidabile, penso che sia il modo di
fallo il più possibile facendoli
il cluster autogestito e
auto-guarigione quindi stiamo spendendo molto
tempo in cui conosci i servizi di costruzione in giro
quell’idea per farcela lo sai veramente
diciamocelo una volta ci si abitua ad
installare questi cluster e scrivere
queste app quindi forse non ti servono
distribuzione commerciale
molto, ma speriamo che questo continui davvero
è prezioso per sempre bene, in realtà
finito un po ‘presto quindi ecco il
link di nuovo per quel libro e io
grazie mille per qualsiasi domanda si
la domanda era da ripetere per il video
come gestisci la fusione dei flussi
soprattutto quando sono come un altro
le velocità variano molto bene se tu
guarda i Ghost Busters che non dovresti mai
attraversa i tuoi stream in modo solo professionale
punta lì sì, questo è un
interessante perché la maggior parte di questi
strumenti forniscono una qualche nozione di un join
e questo è davvero interessante
domanda quando non hai tutto il
dati cosa significa in realtà fare a
unisciti tra due tavoli in questo
senso di nuovo questi sono alcuni dei
semantica che alla gente piace la squadra di travi
ho pensato e c’è solo un
un sacco di soluzioni come per
esempio se alcuni dei dati sono piccoli a
molti di questi motori ora stanno costruendo
la capacità di mantenere lo stato mobile dentro
memoria e con forse il supporto di
di qualche tipo in modo da poter dire
hai una specie di tabella di ricerca
ed è leggermente in evoluzione , non lo so
diciamo che è come un catalogo di skew in
il tuo negozio e vuoi davvero farlo
si unisce al traffico in tempo reale in
il negozio contro il catalogo attuale o
qualcosa del genere quel tipo di cose
penseresti che ne stia davvero facendo un po ‘
roba incredibile in questa zona in questo momento
rendere facile ottenere questo tipo di tuo
dati fuori banda nel sistema o persino
scrivilo fuori dal sistema mentre vai ma
un sacco di volte si può effettivamente pensare
questi come un flusso stesso che tu sei
solo andando a sapere come tornare indietro
l’esempio che distorce un catalogo sta andando
essere un flusso e ho il mio lo sai
traffico come un flusso e sto andando
fare join e come entrano
quindi dovresti capire bene
Va bene che sembra che abbia un senso se si tratta di
forse Delta è al catalogo che voglio
per aggiornare ma cosa succede se voglio solo il
tutto ciò che in realtà significa
in questo caso, quindi penso che faccia apparire
alcuni esempi per sottolineare davvero questo
probabilmente dipende molto da
scenario
ma questi sono tutti problemi che questi
i motori di streaming stanno cercando di affrontare
in un modo o nell’altro e in a
caso particolare si finirebbe lo sai
capire cosa ha senso e molto
di volte ciò che avrebbe un senso dipende
sulla quantità di dati che stai parlando
circa per uno o entrambi i flussi
sì, la domanda era qual è il
corridore fare nel caso fascio, se abbiamo
Ho già orchestratori e suppongo
Vuoi dire come filo meso sabbia e così
avanti è molto bene se pensi
a riguardo è che è come te
definire il flusso di dati e come tu
in realtà gestirlo come da dove vai
come un buon analogo sarebbe come te
scrivi una query sequel in astratto
e trasformarlo in un fisico
rappresentazione che è effettivamente eseguita
contro le attività reali dei file di dati reali
distribuire su un cluster, se lo hai
mai guardato come descritto
comando di una query sequel sapete che lo farà
mostra questa ripartizione da come a
query logica fino a una query fisica
e in pratica cosa sei quello che sei
mettere lì con il corridore è una specie
di quella manifestazione fisica di questo
flusso di dati più logico quindi è così
ordina tutto a come sono quei test
sarà pianificato in runtime e
e gestito praticamente chiunque altro sì
La tempesta di Pachi è davvero buona
domanda dovrei probabilmente aggiungere una diapositiva
a questo proposito
Penso che pragmaticamente parlando tempesta
sembra svanire dal paesaggio
indipendente dalle sue qualità come a
motore sai che è ed è una specie di
il solito dilemma dove non è sempre
la cosa migliore che vince o la cosa
questo è il più nuovo tende ad essere si ottiene
l’attenzione che cosa farei se fossi
Devo davvero dedicarmi alla tempesta
uno sguardo ad un airone di Twitter che era
la loro completa riscrittura è l’API
compatibile non ne so molto
Ho parlato con gli ingegneri di Twitter
su di esso un po ‘e e loro hanno
hanno affrontato alcuni dei
limiti di tempeste come il
problema di cercare di evolvere il the
grafico dei nodi quindi dimentico la topologia
e penso che abbiano abilitato quell’abilità
in modo che possa ora essere più dinamica a
runtime se pensi alla tempesta
tipicamente funziona il tipo di lay out il
topologia dei nodi e poi si esegue
dati attraverso di loro
considerando quali strumenti come flink e spark
stanno facendo invece è una sorta di dinamica
costruire quella topologia basata su un tipo
di astrazione che è il programma tu
scrivi invece di aver dedicato
nodi che sono più orientati staticamente
questa è la mia comprensione degli inconvenienti
di tempesta il modo in cui tendo a pensarci
è è come la prima generazione
flusso di elaborazione del motore e davvero
bravo, ma abbiamo imparato molto
negli ultimi sai che è stato solo come
sette anni che è fondamentalmente 49 cane
anni immagino quindi ci si sente come un lungo
tempo ma e penso alcuni dei più recenti
i partecipanti stanno cercando di conoscere la leva
cosa abbiamo imparato ed essere più adattabili
ma sì, certamente non lo rimuoverei
tempesta solo perché sai che non è il
cosa sexy adesso
qualcun altro sì
coltello, sì sì, questo è davvero
interessante Apache proietta la domanda
Riguarda il coltello I è interessante
Progetto Apache in cui fondamentalmente
disegnare graficamente il flusso del flusso
e quindi genera i compiti per te
l’unica cosa che non mi piace è
che usano la loro proprietà
motori ma è ancora open source di
decoro
nel senso che non è come la scintilla o
qualcosa penso che sia davvero grandioso
idea in particolare per gli utenti inesperti che
voglio definire i flussi l’ unica cosa
Sono davvero meravigliato però
in realtà è dove sono le query sequel
il genere di cose che tutti vogliono
essere in grado di scrivere non importa quale sia il loro
livello di competenza non ne sono del tutto sicuro
che le persone definiranno il flusso
l’elaborazione scorre arbitrariamente ciò che sembra
più come un lavoro di ingegneria per me lo farei
piace essere smentito allo stesso tempo
meno quello che mi piacerebbe davvero vedere
il coltello in cui mi sono evoluto è in realtà entrambi
lo strumento di definizione per i flussi ma anche
come un visualizzatore del comportamento di runtime di
il flusso se potessi avere lo stesso
cosa in una vista quindi vorrei usarlo
di sicuro
perché poi penso che sarebbe davvero
utile per voi sapere entrambi vedere ciò che ho scritto
e poi vederlo in runtime si
il prossimo anno si è di nuovo sette cani
anni quindi è un po ‘difficile sapere cosa
sembrerebbe che io pensi davvero quello
vedrai il fascio molto più penso che sia
tipo di uno di quelli è interessante
riguardo il raggio, stavo parlando con Jessie
di questo ieri stanno andando a
adotta un’API Scala che ha scritto Spotify
giusto sì e sì sono uno studioso
sviluppatore come potresti sapere lavorando per a
la luce potrebbe non essere una sorpresa, quindi lo sono
davvero un grande in merito a Scala è un
parola forte ma in realtà non mi piace
il raggio API che tanto almeno il lavoro
di uno rispetto alla Scala api così
mi piacerebbe molto vedere un’API di Scala
e ma ma la ragione per cui ho menzionato questo
è perché ciò che sembra emergere è
quella trave potrebbe essere la meta API quella
si trova sulla cima di tutti questi altri così in
un anno potremmo parlare di no
utilizzando SPARC API o stream kafka o
qualunque cosa potremmo essere tutti scrivendo al
beam API e quindi materializzarsi
sotto con il corridore che fa
senso per qualsiasi cosa come i dati
il formato sembra o alcuni per unità
qualunque sia quel genere di cose, quindi penso
il raggio sarà la cosa da guardare
a tal proposito è davvero buono
questione di altre cose, penso che lo farai
sicuramente vedere più machine learning in
un contesto di streaming e più sequel in a
contesto di streaming perché ancora una volta
tutti amano scrivere sequel e loro
non voglio rinunciare solo perché
il loro flusso di elaborazione ora invece di
elaborazione in batch, quindi è sempre un bene
via d’uscita da una domanda del genere
solo più o meno lo stesso se c’è un
domanda qui
che ne dici di girare set di dati legacy e
fonti in flussi
beh penso che se tu chiedi al raggio
ragazzi o qualsiasi e anche i Flint ragazzi questo
domanda che cosa diranno è davvero
un lavoro batch è solo un flusso finito e
è così che implementano effettivamente il batch
nel fianco per esempio è solo il trattamento del
lo streaming è finito e questo è un modo per farlo
si potrebbe certamente collegare un flusso
lavoro a un database legacy e averlo
basta processare l’intero tavolo e
allora è finito o potrei anche io
non so se ho visto qualcuno farlo
ma a te piace l’uso interessante
forse per lo streaming delle scintille
supponiamo di avere aggiornamenti periodici
a un database e vuoi una scintilla
guardalo e subito afferra
quei delta e poi elaborarli per
alcuni usi a valle quindi penso che tu sia
vedrò molto di più di questo genere di
cosa su cui è un po ‘spinto
quali database sono usati per trattare
in termini di connessioni e il tipo di
elaborazione ma l’altra cosa interessante
su questi progetti open source sei tu
sapere se il tuo materiale batch legacy è giusto
come i file HDFS, sai che è no
sono diversi per quanto riguarda la scintilla o il flink
preoccupato che tu stia andando a leggerli
dentro e processarli e magari unirmi
loro contro un dato live e sì sì
per chiarirti chiarisci questa domanda
per il video che si sa che dire
Ho intenzione di convertire come un lotto
applicazioni orientate a un flusso più
elaborazione e un paio di commenti su
che ho parlato con te
conosci un sacco di volte la tua verruca in cui ti trovi
un’industria in cui è davvero difficile
solo perché si potrebbe essere sempre solo
i dati una volta al giorno come medici sono davvero
male di questo sai che lo faranno ancora
FTP un file per voi una volta al giorno, quindi non c’è
in nessun modo farai l’elaborazione in streaming
comunque sai che è una specie di sconfitte
punto
quindi se, ma se si può fare che
trasformazione quindi alla domanda successiva I
chiederebbe davvero qual è la tua latenza
requisito sai che è un piacere
avere come sottoinsieme ed elaborazione
o è veramente 10 secondi o un minuto o
qualunque sia abbastanza veloce perché se lo è
allora hai molte più opzioni come
forse semplicemente eseguendo di più quei lavori batch
frequentemente su set di dati di dati più piccoli
che stanno arrivando sai nuove o
qualunque cosa e poi si evita tutto questo
sforzo che ho menzionato sul mantenere un
lo streaming di lavoro felice per mesi e mesi
ma se davvero arriva al
soprattutto a grandi volumi dove tu
voglio davvero elaborare le cose al volo
forse perché ti piacerebbe avere
motori di ricerca aggiornati e simili sono a
ottimo esempio di questo si ultime notizie
vuoi vederlo sul tuo motore di ricerca
subito poi quello che probabilmente farei
eviterei l’architettura lambda
in realtà perché penso sia troppo difficile
implementare sia l’elaborazione del flusso in
una modalità batch, se si può evitare, ma una
molti di questi lavori batch se la logica
può effettivamente essere riproposto come streaming
ma potresti dover usare un nuovo set di strumenti
farlo come e questo è qualcosa
SPARC è in realtà molto utile per se
stai usando SPARC già così era
una specie di risposta vagante ma, si spera
ti ha dato alcuni pensieri forse uno di più
domanda
vai avanti sì, Alyssa è così
la domanda riguardava l’ ho fatto questo commento
sulla sfida della condivisione di modelli
tra il motore di allenamento come forse
scintilla mini-batch e stai segnando
motore che potrebbe scorticare Karaka o
qualcosa del genere quindi ecco qui c’è un
un sacco di modi per fare questo è se
stai usando molte di queste grandi macchine
sistemi di apprendimento come l’apprendimento profondo per
J o tensorflow
puoi eseguirli come server quindi se tu
può tollerare il sovraccarico di fare un
chiamata riposante a un server per fare il
segnando così siamo ora sul lato del punteggio
hai anche tensorflow che ti allena
modelli in qualche modo e ora ho
dati voglio segnare contro il
modello puoi usare tensorflow come server
quindi almeno tutto dalla macchina
la prospettiva di apprendimento è in un unico posto
è in flusso tensoriale se è abbastanza
modello semplice come la regressione logistica o
qualcosa del genere dove potresti
in realtà basta prendere i parametri
sono stati addestrati e quindi solo
reimplementazione nel tuo punteggio
motore allora potresti muovere il
parametri oltre c’è diversi modi
che sono un po ‘emergenti per fare questo e
Li tirerò fuori solo uno si potrebbe
scrivi quelli in un database e lo hai
un processo che periodicamente si aggiorna
dal database con flink che hanno
questa funzione di input e output del sito I
pensa che sia il nome di un membro
che ti consente di leggere i dati che conosci
hanno la cosa stream processing andare
e poi periodicamente leggi i dati
dal
ed è così che potresti portare il tuo
parametri e potresti farlo con a
database che potreste fare quella scrittura a
Argomento di Kafka e poi portarlo in questo
bit potrebbe essere un altro esempio di
la domanda dell’altro gentiluomo riguardo forse
In realtà sto facendo una specie di pseudo
unisciti a dove ho qui è il mio modello
i parametri che arrivano qui sono i miei dati e
In qualche modo mi unisco a loro un po ‘
imbarazzante da fare in realtà ma e poi il
l’ultimo che menzionerò è per davvero grande
modelli come i modelli di rete neurale
soprattutto in un contesto distribuito
ci sono questi server parametri che
stanno emergendo come un modo veloce
sono come un database personalizzato
davvero per servire i parametri di a
modello per motore quindi lo faccio ad esempio
forse in tensorflow alleno un neurale
rete scrivo a questo server parametri
e poi li tiro in un altro
modello oltre in flink diciamo e il
l’ultimo che è correlato è lì
sono questi formati di interscambio come PMML
e PFA e anche se hanno il loro
i critici e i loro limiti in questo
senso che stai davvero solo scambiando il
metadati relativi al modello o al
parametri e poi ancora una volta se tu
avere un modo di riprodurre il modello in
entrambi gli ambienti o attraverso a
libreria o un’implementazione separata
allora si potrebbe anche farlo in quel modo così
quello era fuori dalla mia testa solo un
un sacco di modi in cui può essere fatto bene
grazie ancora
tu
okay, perché non iniziamo grazie per?
venuta
il mio nome è Dean Wampler in pista
ospite e il primo oratore e io devo
dire che sono davvero entusiasta di questa pista
sai con l’eccezione del primo
speaker penso che abbiamo messo insieme un bene
lineup un paio di loro sono qui nel
pubblico Glen e Jesse è l’unico
quelli che noto ma in realtà penso questo
sarà il mio discorso sarà come un
introduzione al tipo di streaming
paesaggio in cui è sorta di emergenti
una sorta di mondo dei big data intendo davvero
abbiamo sempre scritto app in streaming
anche app rilassanti sono una specie di se tu
pensaci , sono un po ‘come lo sai
i dati continuano a venire e non si ferma mai e
è lo stesso nella sua scala di
corso e poi colloqui successivi oggi
ci tufferemo in alcuni dei particolari
di raggio e Kafka e scintilla e così via
avanti così dovrei essere piuttosto eccitante
spero spero che ti piaccia tutto il
foto in questa cosa che ho preso e
sono fondamentalmente immagini di acqua
perché stiamo parlando di streaming così
e puoi ottenere questo discorso e questo
ovviamente sul sito web della conferenza
ma tengo tutti i miei discorsi e la mia vanità
programmazione poliglotta sito calmo ok
quindi, per favore, vota sempre le sessioni
quando hai finito perché sono l’oratore
Non posso davvero guardare l’app
facilmente ha fatto quattro domande in modo prego appena
fammi domande alla fine se non lo fai
mente e ancora una volta per favore vota il
sessione più di quello che ho intenzione di parlare
riguardo è entrare più in profondità in questo
la piccola Riley riferisce che è come un 30 40
pagina di rapporto quindi non è troppo doloroso per
digerire l’unico problema è che devi
Dacci il tuo indirizzo email come piegato
spero che non ti dispiaccia troppo, ma è così
va più nel dettaglio, ma quello che sto andando
per descrivere oggi, quindi parliamo
alcuni iniziano con qualche contesto in merito
streaming questa è l’area nella tua
Sacramento in realtà alcuni dei migliori
i parchi eolici lì e questo sembra essere
comunque nelle Sierras
l’architettura classica Hadoop è gentile
di un buon punto di partenza, quindi quanti di
si è lavorato con la doop un sacco di
probabilmente va bene Non ho intenzione di trascorrere una
molto tempo su questo ma tu sai se tu
pensa alla sua architettura è
essenzialmente tre pezzi grandi
è un file system distribuito che conosci
questo è HDFS, è qualcosa che deve fare
calcolo sui file che conosci era
una MapReduce ora è più probabile che scintilli
di qualsiasi altra cosa e poi c’è
una struttura semplice chiamata filato che
sa come gestire tutte queste risorse
e allocare conoscete compiti attraverso il
cluster per il tuo lavoro e tutto il genere
di cose e poi c’è ovviamente
strumenti di supporto che è il tipo di cosa c’è in
l’ angolo in basso a sinistra per ottenere i dati
e fuori e così via ed ecc
sì ma le caratteristiche generali di
Hadoop lo sai almeno nella classica
i termini lì è ovviamente in evoluzione
molto ma lo sapevi in origine
solo un sistema di bachelor orientato
prendi questi dati qui e poi fallo
un’analisi massiccia su di esso sono una specie di
ignorando il ruolo di HBase che è
più di un database tradizionale a buon mercato
archiviazione massiccia sai che è una specie di
artefatto di dati di dimensioni senza precedenti
set che abbiamo acquisito nell’era di Internet
di nuovo nel Pleistocene, ma è successo
supportare cose come lavori multiutente
diversità dei flussi di lavoro e così via e
in un caso di uso comune per il risultato
essere la sostituzione del data warehouse
soprattutto se hai usato l’hive come sequel
motore di query che è stato davvero bello per
che in termini di riduzione dei costi e ma
forse rinunciando alla maturità e
raffinatezza che il tipo di dati
i magazzini sono bravi ma ora lo siamo
tipo di transizione a più di a
mondo in streaming e si riduce davvero
per il tempo è uguale a soldi, sai se ho
informazioni preziose anche nella mia giornata
prima estraggo quel valore, meglio è
fuori sono
ha anche altri vantaggi come se io fossi
eseguendo lavori in serie massicci ho bisogno di molto
di infrastrutture forse un paio di volte a
giorno, ma se io tipo di voi sapete sanguinare
nel corso della giornata lo sai ammortizzare
i dati, poi tu sai che ho bisogno
meno infrastrutture quindi è una specie di a
vantaggio laterale e quindi questo diagramma è
da quel piccolo libretto e che il
numeri corrispondono ai punti sollevati nella
libretto ma camminerò attraverso il
dettagli un po ‘c’è molto su
la diapositiva, ma spero che abbia senso
mentre lo attraversiamo questo è ciò che vedo
è una specie di emergere canonico
lo streaming dell’architettura dei dati oggi
Ovviamente è intenzione di iniziare con i dati
arrivando così ho disegnato tre
diverse bolle di dati in arrivo
tipo di rappresentare classico riposante
richieste come
qualcuno sta autorizzando una carta di credito
contro il tuo sito web o quel tipo di
cosa potrebbe anche essere il servizio
console per il tuo sistema Big Data e
quelli in genere saranno gestiti
da cosa chiamiamoli micro
toolkit di servizio che è una specie di quello
di conoscere lo stato dell’arte oggi
conosci qualsiasi strumento tu usi per quello
scopo oggi e poi il secondo in basso
i blocchi sono pensati per rappresentare lo sai
grandi volumi di dati in arrivo sai
lo sai forse in flussi molto grandi
ma in un certo senso, anonimi, e
Praticamente sono prese usate per rappresentare
tutto ciò che viene da fuori
potrebbe essere la telemetria IOT che potrebbe essere il
Twitter firehose qualcosa del genere
stai ingerendo forse dati dei partner e
quindi uso i registri in modo davvero gentile
di rappresentare qualcosa di interno come il
log di scarico che escono dal tuo server
quindi potresti volerlo fare analisi
potrebbe anche essere come i log clickstream
il tuo sito web che potresti voler fare
conosci gli studi di usabilità su qualsiasi cosa
così, ma in ogni caso il modo in cui è
tendendo a giocare in questi giorni è tutto
finisce a Kafka almeno la maggior parte dei
lo streaming di dati forse non tanto il
dati di riposo parliamo di quello
prima ancora un tipico micro servizio
tipo di kit di strumenti che potremmo essere
tutto compreso il nostro bar P lassù
ARP è la piattaforma reattiva che è
leggere curve di rotazione reagiscono su micro
servizi ma potrebbe essere non andare da te
sapere qual è la tua cosa preferita e
Menzionerò e tornerò dentro
un minuto al motivo per cui ho microservizi su
una diapositiva su Big Data bene che voglio
tornare a quel punto perché penso
c’è qualcosa di interessante in corso
qui i custodi dello zoo sono una di queste cose
che tutti hanno specialmente se tu sei
eseguire Kafka è richiesto da Kafka ma
Kafka è davvero una specie di backplane
di questo intero sistema e quando sta andando
di parlare molto di questo più tardi oggi ma
è davvero un ottimo strumento per l’ingestione
i dati in un modo affidabile e duraturo no
davvero destinato alla conservazione a lungo termine
anche se alcune persone stanno spingendo
la busta su cosa significhi
normalmente i dati durano circa sette giorni
di default in un cluster Kafka e quello
significa qualcuno che vuole consumare a
down stream anche come da sostituire
qualcosa perché qualcosa è fallito o
forse deciso di cambiare come l’analisi
è stato fatto puoi solo tornare indietro e rileggere
i dati di Kafka organizzati per argomento
come un messaggio in coda uno cruciale
la differenza però è che sotto come
la maggior parte delle code di messaggi non appena
qualcuno lo legge, eliminano il
messaggio Kafka non lo fa in questo modo
hanno preso la strada più difficile ma in realtà
più efficace di qualsiasi consumatore su a
determinato argomento vedrà il tutto
non dovranno coordinarsi con altri
consumatori che stavano consumando ciascuno
messaggi sull’argomento invece su tutti
arriva a leggere il tutto così se io
hanno come un cruscotto che riescono a vederlo
tutto se io sto facendo analisi offline
arrivare a vedere tutto macchina per l’allenamento
apprendimento ecc ecc e poi c’è un po ‘
meccanismi per la temporizzazione del
dati nel qual caso è spazzatura
raccolto come se fosse un altro importante
beneficio di Kafka per architettonico
scopi è che si sbarazza di
architetture volutamente brutte come
questo così II ha disegnato ogni possibile
combinazione almeno non dirà che è a
grafico bipartito quindi tutto a sinistra
e tutto ciò che è a destra è connesso
e questo è ovviamente disordinato da gestire
e disordinato per disegnare così se tu sei il
architetto responsabile di tutto questo tu
ti conosco come l’architetto e il
matrice sembra che me se io non sono
indossa un abito e questo non è così
ottima cosa l’altro problema con questo
Diciamo che il servizio due arresti anomali allora
tutto ad un tratto ho tutti questi problemi
connessioni e sai cosa sta succedendo
capita ai dati che arrivano da
questo servizio a sinistra è giusto
perso è sai il servizio interrotto come
funziona bene se metti Kafka dentro
nel mezzo, quindi, stai praticamente usando
la famosa informatica
affermazione che è possibile risolvere qualsiasi problema
con un altro livello di indirezione così
qui vai e intendo fa diversi
le cose per noi pulisce il
l’architettura ci dà una specie di a
protocollo comune se vuoi dire se
spingi questo fino all’estremo
l’unica cosa che sai che devo sapere come
fare è parlare con Kafka qualunque servizio
stai facendo non necessariamente quello che tu
voglio fare tutto il tempo ma tu potresti farlo
in questo modo e poi ovviamente perché
hai questa cosa nel mezzo è
abbastanza durevole se il servizio uno va giù
Diciamo che non lo farai
necessariamente perdere i dati il più a lungo possibile
recuperare entro sette giorni o qualsiasi altra cosa
non sempre assicurato, ma si spera che sette
i giorni sono abbastanza lunghi quindi Kafka è carina
importante in questa architettura ma poi
hai dati in Kafka ora cosa siamo
andando a fare bene, ovviamente noi
bisogno di elaborarlo in modo sostanziale il
analogo di MapReduce
e il mondo Hadoop è in streaming
motori se ci sei stato un grande
post sul blog circa un anno fa e io davvero
dovrebbe mettere un link in esso in questo discorso
un tizio ha guardato tutti gli Apache
progetti e trovato lì come undici di
quelli che affermano di essere motori di streaming
quindi conosci il paradosso della scelta qui
entri in te e conosci Best Buy e te
vedi un centinaio di frigoriferi e cammini
fuori perché vorrei comprare il torto
frigorifero ho tutte queste scelte
quindi come decidi cosa scegliere bene
quello che farò è discuterne
ci sono forse quattro motori che tu
davvero dovrebbe concentrarsi su perché penso
sono quelli che entrambi conoscete incontrano
tutti i criteri che potresti immaginare
l’intero spettro di ciò che potresti desiderare
fare e streaming e sono come
progetti fattibili vivranno di più
di quanto tu conosca la vita di alcuni
compagnia che sta lottando per sopravvivere
quel genere di cose, ma c’è sicuramente
altri che potremmo sopportare
diapositiva
certo che sono questi saranno tutti
open source uno quindi tornerò e
parlarne in pochi minuti ma
solo per finire questo diagramma sai
questi sono praticamente tutti open source
componenti in modo da poter fare qualsiasi cosa
la persistenza che vuoi puoi sapere
scrivere in archivi di file system come
s3 conosci elasticsearch e quel tipo
di cose oltre che tradizionali
database e poi l’altra cosa
che è bello di questa architettura è
ci libera da considerazioni diverse
scenari di distribuzione, così ci capita di essere
grandi fan di maysa come piegare ma alcuni
le persone semplicemente girano su piattaforme cloud e
sfruttare tutto ciò che forniscono
gestione delle risorse ecc. kubernetes è
ora emerge come importante in questo spazio
e la gente lo sta facendo su Hadoop
ma ne hai un sacco
flessibilità con gli strumenti che ho messo qui
in pratica tutto quello che ho disegnato qui di
Naturalmente non ho dato un sacco di dettagli
sul livello di persistenza, ma tu lo sei
non necessariamente legati a colpire con dupe
uno di questi strumenti oggi va bene
torna indietro e parla dello streaming
motori un po ‘perché c’è un
molto da considerare qui quando si fa questo
scelta questo è un mio amico su un
backpacking viaggio cercando di non cadere in
il torrente mentre recupera l’acqua così
quali sono alcune delle cose che potresti
voglio considerare ho detto che ho messo per
motori di streaming su questa diapositiva così
prima, allora perché per cosa?
compromessi devo prendere in considerazione quando
Ne sto prendendo uno diciamo per a
compito particolare che devo
bene uno è qual è la tua latenza
requisito se stai usando la scintilla
streaming che non riesci a capire come 200
latenza di millisecondi che non è così eccezionale
se stai cercando di autorizzare il credito
carte diciamo al volo con cui ho parlato
qualcuno a banca alcuni mesi fa chi
ha detto che si sa quando si fa clic su acquista su
un sito di e-commerce che sai che c’è
qualcosa come te conosci i due soliti
La risposta di 200 millisecondi è come la
regola per quando la gente vuole
iniziare a infastidirsi se non ottengono un
risposta sulla pagina Web quindi 200
millisecondi che suona come che avrebbe
adattarsi al tempo di streaming di SPARC
cornice ma no perché ce n’è molta
roba in corso sai in quel ciclo
da te cliccando fino in fondo e
indietro e questo ragazzo ha detto che ottengono circa 10
millisecondi per prendere una decisione se loro
il sistema di carte di credito ha un 10
budget millisecondo per decidere sì o no
quindi ovviamente non funzionerà se
stai provando a farlo con la scintilla
streaming ma gli altri motori che
di cui parleremo potremmo gestirlo solo
bene così solo per camminare attraverso alcuni di
questi scenari se sei davvero giù
il bordo sanguinante e alcuni di voi sono dentro
finanza e potrebbe aver lavorato in alto
trading di frequenza nessuno degli strumenti che sono
parlando di affrontare davvero questo bisogno io
significa che stai parlando di costume
hardware conosci la rete di bypass del kernel
carte e cose del genere non sono del genere
Di cosa stiamo parlando davvero
di persone usano la parola in tempo reale a
molto in questo spazio e che si sa sono
macellazione della definizione del termine
in tempo reale è più come questo lo sai
picosecondi o microsecondi ma la maggior parte
le persone nel mondo dei Big Data sono davvero
parlando di millisecondi quando sono
Dicendo in tempo reale, quindi non stiamo nemmeno andando
di parlarne più se tu
sapere forse a meno di 100 microsecondi
potresti farlo con alcuni dei molto
ad alte prestazioni un messaggio basato su JVM
i gestori come la L max perturbare o se
qualcuno di voi abusa degli attori Akka
posso darti questo tipo di inversione ma
è davvero necessario sapere cosa si sta
facendo per evitare come garbage collection
pause e così via per lo più che tendiamo
lavorare di più e forse il 10
intervallo di millisecondo o qualcosa del genere
dove abbiamo una vasta gamma di scelte
e praticamente tutti gli strumenti che sto andando
di cui parlare ad eccezione di
scintilla streaming potrebbe gestire questo
scenario questo tipo di latenza
requisito e poi se tu quando sei
entrando come centinaia di
millisecondi ora potresti star pensando
circa come finestre cose come me
andando a fare una query sequel sui dati
e fai alcuni acquisti di gruppi di funzioni di finestra
quel genere di cose e poi quando arriviamo
a tempi molto più lunghi allora si ottiene
nel regno di come voglio formare una
modello di apprendimento automatico incrementale come
Dati arriva ma non io non avere
per avere il modello esattamente aggiornato
il millisecondo forse ogni cinque minuti
Scambierò un nuovo apprendimento automatico
modello nel mio processore di flusso da fare
raccomandazioni o filtro spam o
qualunque cosa e tu sai veramente quando se
arrivi a quel punto dove sei
Parlando di minuti, penso che dovresti davvero
considerare solo l’esecuzione di lavori batch con
cron o qualche equivalente perché uno di
i casi che voglio discutere qui è quello
l’elaborazione del flusso è pessima come
elaborazione di micro-servizi in cui ti trovi
ho qualcosa da distribuire e
potrebbe funzionare per mesi e se aspetti
abbastanza a lungo tutto ciò che sta per accadere
perderai i dischi rigidi da quello
partizioni di rete del tempo che conoscerai
forse una zona di disponibilità s3 andrà
giù è successo proprio così tu stai andando
imbattersi in qualsiasi tipo di contingenza plus
conosci i soliti alti e bassi e
requisiti di scalabilità quindi molto
volte è in realtà più facile eseguire semplicemente a
lotto di lavoro in batch in modo da conoscerli
deve solo essere buono per i pochi minuti
loro correranno o forse ore andranno
via poi quando il prossimo lo avvia
può essere ridimensionato in modo appropriato o qualsiasi altra cosa
ma se hai intenzione di eseguire qualcosa che è
un motore di flusso che sta per correre
mesi poi quel tipo di alzare il tiro
sulle tue esigenze di ingegneria un altro
il criterio sarebbe il tipo di
volume che voglio elaborare sì se
stai facendo sai un sacco di cose
dati come se stessi ingerendo il Twitter
Firehose che sta per essere messo alcuni
requisiti piuttosto seri su
potenza rispetto a una semplice maneggevolezza
forse le richieste di riposo per un moderato
sito Web occupato ancora una volta solo per mettere un po ‘
numeri qui se è inferiore a dire
10.000 eventi al secondo che conosci
abbiamo un sacco di strumenti in grado di gestire
questo abbastanza bene per il riposo classico
richiede che non sia davvero tu
considerato un problema su larga scala quando
stai entrando nel raggio di
centinaia di migliaia di pozzi puoi ancora
fare come il riposo non bloccante o qualcosa del genere
come questo ma devi essere
molto attento che tu non abbia
colli di bottiglia nel sistema che limita
scalabilità con la legge di Amdahl e quelli
tipo di cose, ma poi quando sei
davvero come i milioni
di eventi
registra qualunque secondo al secondo che tu sia
probabilmente intenzione di voler fare qualcosa
usa qualcosa che può in realtà solo te
conosci la partizione dei tuoi dati su un cluster
e fare le cose in parallelo come scintilla o
fianco o così avanti e solo per concludere a
poche altre cose per pensare a cosa
tipo di integrazione ho bisogno con altri
strumenti se voglio collegarmi direttamente ad a
database per il mio motore di streaming kafka
i flussi per esempio è davvero
progettato per funzionare all’interno come con kafka
argomenti di lettura e scrittura non così tanto
connettendosi ad altre cose ce n’è un’altra
strumenti per questo scopo, ad esempio e
questo è davvero il motivo per cui è qui perché
la maggior parte degli strumenti altrimenti sarà di solito
fornire una sorta di API con cui parlare
qualunque cosa tu abbia bisogno di parlare con e
allora l’ultimo è fondamentalmente
forse la domanda più importante che cosa
stai davvero provando a fare con il
dati se stai cercando di scrivere sequel
domande e qui mi sono appena sbeffeggiato
un piccolo esempio di scintilla usando il
scintilla versione API di una query sequel poi
questo è ciò che ovviamente lo farà
limitare i tuoi strumenti è la scintilla più
opzione sequel maturo mentre per esempio
i flussi di akka non forniscono un seguito
capacità a tutti, ma poi sull’altro
mano se poi stai facendo cose come ETL
sai che penso sia meraviglioso
esempio di flussi di kafka dove io
proprio come se avessi dati di log non elaborati, non lo siamo
supposto usare le stringhe per i messaggi di registro
più secondo gli esperti ma
diciamo supponiamo di essere
vecchia scuola e stai ancora registrando
stringhe ma in realtà si desidera analizzare
in un formato di registrazione per
consumo a valle che tipo di
roba è un esempio fantastico
per uno strumento come i flussi di Kafka e poi
un altro come forse l’estremo opposto
in termini di calcolo è cosa fare se lo faccio
vuole formare modelli di apprendimento automatico
dinamicamente piuttosto che fare un grande
allenamento in gruppo periodicamente ok così sono
tipo di belaboring un sacco di punti
qui ma l’ ultimo penso l’ultimo
importante è in termini di tipo di
elaborazione mi piacerebbe pensare agli eventi
sai come un server in fiamme o
qualcosa del genere per avere un’identità
dove potrei aver bisogno di elaborarlo
individualmente mentre qualcosa come il
Twitter firehose dove sono tutti i tweet
Sì, certo che potresti scavare e dire
quello che è la persona che fa questo tweet
o qualsiasi altra cosa, ma soprattutto tendiamo a
elaborare quel tipo di roba alla rinfusa e
pensala come anonima
registrazioni in un certo senso e poi in realtà
alcuni di questi motori sono migliori in
soprattutto l’ elaborazione di singoli eventi
a volumi inferiori rispetto a quelli sfusi
e viceversa va bene così è lunga
elenco dei motivi per cui scegliere uno strumento o
l’altro guardiamo il
quattro strumenti che ho avuto su questo grafico
okay, sono così è giusto
lato di quello schema risulta quello
Google ha eseguito l’elaborazione in streaming
per un lungo periodo sai chi lo sapeva ma è così
risulta che tendono a tutto
come lo sai da vent’anni
tutto ciò che sappiamo ora è qualcosa
Google ha inventato e poi entrambi
descritto in un documento o in realtà a
recentemente aperto di provenienza e un buon esempio
del fenomeno recente è che hanno avuto
diverse iterazioni dell’elaborazione del flusso
strumenti e hanno pensato a tutto il
tipo di scenari devi preoccuparti
sull’elaborazione del flusso e sull’apertura
parte del flusso di dati di Google come
Apache trasmette la parte che non hanno
su open source era il corridore reale
tranne che per un test runner che solo
funziona in una singola VM e in realtà è così
un posto interessante dove altri strumenti
come la scintilla e il flink stanno intensificando
funzionano come corridori per i flussi di dati
definito con il raggio di Apache, ciò che è grande
a proposito di raggio è che loro come io dico loro
davvero pensato attraverso tutto il
semantica sofisticata che potresti
eseguire e l’elaborazione in streaming
soprattutto se vuoi andare oltre
come yeah, facciamo solo un po ‘di calcoli
medie come l’ ultima ora di
vendite per negozio ma non lo so davvero
effettivamente bisogno come una qualità contabile
numero Voglio solo la media ma cosa
se volessi davvero fare tutto
in uno scenario di elaborazione dello stream quindi
che avrebbe dovuto gestire uno scenario come
questo dove supponiamo che tu lo sappia
ho detto qualunque sia quel tempo
minuti qui supponiamo che tutti
minuto voglio fare una sorta di
aggregazione su un dato che è
si verificano nel mio sistema un po ‘di metrica
sai che il tempo di volo ovviamente non lo è
zero per anche roba andare con lui la mia
cluster in un cluster normalmente operativo
ci sarà sempre un po ‘di ritardo
che sto cercando di mostrare con le frecce
quel tipo di tendenza a destra ma poi
Avrai dei veri problemi quando
hai come una partizione di rete dove
i dati potrebbero essere visualizzati in ritardo di dieci minuti o
forse un giorno di ritardo o qualcosa del genere
la domanda è se io sia se in realtà lo faccia
dì alimentando un cruscotto ma anche nutrendosi
mio
sistema di conteggio quando decido di farlo
in realtà è sicuro fare il calcolo
quando so di avere tutti i dati o se
So che potrei non avere tutti i dati
quando va bene fare forse a
calcolo provvisorio con alcuni
possibilità di postare una correzione in seguito
se i dati arrivano in ritardo o quando lo faccio
decidere che i dati possono essere ignorati se questo
arriva troppo tardi
questi sono il tipo di domande che tu
entrare davvero se pensi a cosa
ci vorrebbe per fare un motore di streaming
come sai, mi piacerebbe dire contabilità
Qualcosa di qualità che in realtà sei tu
sapere il 100 100% preciso in alcuni
senso della parola al contrario di
approssimativo e Google ci ha pensato
questo tipo di cose e il raggio è
davvero gentile dello stato dell’arte in
termini per definire questi tipi di
semantica che potresti voler fare
c’è un credo nelle note del relatore
per le diapositive che pubblico sempre con
le diapositive penso di avere alcuni collegamenti a
alcuni discorsi davvero buoni da parte di persone da
la squadra di travi se sei interessato a
maggiori dettagli su tutto questo e io
pensare Jess si potrebbe entrare in esso un
un po ‘ più tardi
ma comunque è una specie di stato di
l’arte per un flusso di dati di elaborazione e
una delle ragioni per cui mi piace davvero
fianco che significava che hai effettivamente
sentito parlare di link dal modo in cui è forse il
Lisa, ne conosco un bel paio
dei motivi che mi piace fianco è una che è esso
si sforza davvero di essere efficace
corridore per semantica dei fasci e per quello io
significa che tutti questi corridori di solito
fai un sottoinsieme della semantica disponibile
sai in base a cosa sono capaci
e questo è ovviamente un bersaglio mobile
ma flink è più avanti di tutti gli altri I
direi diversi da quelli di Google
flusso di dati che è se sei in Google
In realtà è possibile utilizzare i propri dati
flusso ma se anche il collegamento è progettato in
contrasto con SPARC per essere a bassa latenza
motore di elaborazione ma ancora in alto
volume sai con la partizione sapere
gasdotti dati e così via, e che
hanno un supporto iniziale ma in continua evoluzione
per cose come sequel over stream e
apprendimento automatico e così via, ma non come
maturo come SPARC, quindi i flussi di akka sono a
API di streaming in cima all’attore di akka
il modello occas è uno dei prodotti che
la luce Ben la supporta ma di nuovo lo è
open source Mi piacciono molto gli attori Akka come
una concurrency primitives rimossa
la necessità per me di preoccuparmi del thread
sicurezza e questo tipo di
fondamentalmente un attore è come lo è davvero
come un oggetto dove è garantito
essere thread-safe dall’implementazione e
gli mandi messaggi per il lavoro da fare e
quindi li elabora uno alla volta così
è un primitivo molto bello ma è un
primitivo piuttosto basso quindi se lo sei
davvero pensando a un flusso
scenario di elaborazione allora è bello
avere una API di streaming e questo è ciò che
akka stream è progettato per farlo
a causa del fatto che è costruito in su
attori è molto bassa latenza per
evento è davvero fantastico per i complessi
elaborazione degli eventi e dovrei menzionare
lampeggiare ha un evento complesso crescente
componente di elaborazione pure questo è
uno di quei motori dove se non lo fai
avere enormi dataset è in realtà molto
efficiente su base per evento come
opposto a qualcosa come SPARC dove
anche se lo SPARC è generalmente pensato
di efficienza se si butta come te
conosci migliaia di byte allora
si sta solo andando ad avere un sacco di
sovraccarico che sta andando a inondare il
il vero calcolo funziona così non lo fai
ottenere molto ammortamento sui dati ma
se hai bisogno di qualcosa di buono
piccoli dati fino alla mancanza di dimensioni medie
dati quindi i flussi di akka sono grandiosi per questo
Gli stream di Kafka sono uno strumento davvero
orientato verso l’ecosistema di Kafka così
se sei davvero basato su Kafka come tuo
nucleo si conosce il gasdotto dati nella
metà della tua schiena giocando e Kafka
i flussi sono davvero un buon motore per
scrivendo un sacco di cose che ho menzionato
Scenario ETL già un altro bello
l’astrazione che hanno nei flussi di Kafka
è qualcosa chiamato tabelle K o esso
fondamentalmente è di nuovo un’astrazione da tavolo
pensa a questo scenario dove ho
come un cruscotto e voglio solo vedere
come aggregazioni come media per
minuto o qual è l’ ultima acqua alta
segnare per un dato tipo chiave di sorta di a
doppio caso di invece di vedere ogni
evento voglio solo vedere qualche rollup di
che come un tipico database da cui il
nome tavolo K è davvero bello per quello
I flussi di Kafka non cercano di essere come
la soluzione a ogni problema di streaming
ma è davvero buono per un sacco di
scenari in cui ho solo bisogno di leggere
alcune cose su un argomento di Kafka
manipolarlo in qualche modo e scriverlo
torna a Kafka per il consumo a valle
come quello scenario ETL di registro che ho menzionato
prima
e poi c’è la scintilla che probabilmente è
quello di cui tutti avete sentito parlare
la scintilla più originariamente iniziata come a
sistema in modalità batch proprio come MapReduce
ma perché è relativamente efficiente
sono venuti con questo trucco geniale si
sapere cosa succede se catturiamo solo Windows di
dati che conosci come intervalli di tempo fissi
e poi basta eseguire piccoli lavori batch
quei dati e che funziona davvero bene
bene per la maggior parte, ma limita
la latenza ho detto 200 millisecondi
prima è come il più basso assoluto
limitare è più realistico essere come
mezzo secondo di latenza che sarebbe come
la dimensione di questa finestra ma con la scintilla
ottenere un sacco di semantica sequel molto ricca
e mette a disposizione una macchina molto carina
biblioteca di apprendimento e il e c’è a
gruppo penso guidato da alcune persone a
Cloudera per implementare effettivamente quelli
semantica del raggio in cima allo streaming di scintille
questa è una delle aree in cui è presente la scintilla
davvero in rapida evoluzione perché loro
sappi che questa latenza è in realtà a
svantaggio per loro perché apre il
porta per strumenti come il flink quindi ci aspettiamo
che nel tempo sostituiranno il nucleo
di scintilla in modo che possa effettivamente essere un
vero motore di streaming e non un mini
motore batch ma normalmente girerei
per accendere lo sai in un complesso
l’architettura come questa ti fa scintillare
streaming per cose come il mio allenamento
modelli di machine learning, per esempio anche
anche se potrei non essere in grado di farlo
segnare i dati con quei modelli se ne ho
requisiti di latenza inferiore così di fatto
una delle cose che stiamo pensando di
è come se Bend andasse bene se lo facessi se io
punteggio con fianco sicuro ma voglio
allenati con la scintilla, come posso condividerli?
modelli e ci sono molti modi per fare
ma in questo momento devi essere gentile
rotolare il proprio così stiamo pensando
come renderlo più facile e come ho detto
perché è stato avviato come una partita
motore che sai davvero scrivere
codice forse il nucleo del tuo codice che
fa una sorta di elaborazione e poi
eseguirlo in modalità batch o eseguirlo in a
modalità semi batch o mini batch, quindi se si
conosco l’architettura lambda questo
in realtà rende più facile l’implementazione
l’architettura lambda va bene
Voglio parlare un po ‘ di questo
idea di microservizi e dati veloci e
il tipo di sinergia che sta emergendo come me
vedilo è una bella roccia affettata in a
Stanno alla deriva nelle Sierre in realtà
un grande lago quindi ho pensato che fossero
micro-servizi intendevo molti ascensori
invece di sollevamenti macro o qualcosa di okay
quindi la domanda è questa come è qualcosa
in questo modo assomigliare a qualcosa di simile
e questo è solo una sorta di trucco
diagramma di un tipico micro servizio
implementazione in cui conosci il mio ecommerce
il sito ha micro servizi separati voi
conoscerne uno per l’elaborazione degli ordini
gestione degli account ecc. ognuno di essi ha
il proprio storage che di solito è un pattern
quello dovrebbe essere buono e loro
comunicare attraverso la messaggistica per ottenere
servizi gli uni dagli altri, se necessario, così
solo tu conosci il servizio micro di Strawman
beh penso che in realtà ce ne siano alcuni
interessanti sinergie qui è la prima
che una tipica applicazione di dati come
quel lavoro ETL in cui scriverai
Kafka scorre o forse il tuo quotidiano
roll-up che stai facendo e scintilla
sequel tendono ad essere qualcosa che
hanno una sola responsabilità
piccolo e per qualche definizione di piccolo
sai che la scintilla potrebbe essere massiccia in questi posti di lavoro
potrebbe essere in esecuzione con te sai 10
heap gigabyte o qualcosa del genere ma il codice
cavalchi tende ad apparire davvero piccolo come
un microservizio molto semplice per alcuni
definizione di micro molto simile a micro
i servizi stessi dovrebbero essere
singola responsabilità e e delegato
ad altri micro servizi per altre cose
sai come ho detto all’inizio
entrambi dovranno essere in grado
per elaborare dati che non si fermano mai
in arrivo se si tratta di richieste
servizio o il suo effettivo si conosce il
Firehose di Twitter o qualcosa del genere
in modo da avere a rimanere reattivo voi
sanno che devono essere disponibili tutti
tempo devono essere scalabili e
resiliente a tutte queste cose c’è questo
idea di programmazione reattiva che è
tipo di progettato per incapsulare questi
sorta di requisiti fondamentali e micro
servizi quindi discuterò anche che se
pensi a un’azienda di successo
costruendo micro servizi alla fine i dati
diventa il loro problema dominante e quando
Twitter ha iniziato
era fondamentalmente un’app web a tre livelli
sai per un gruppo di ragazzi dentro
Frigga ciò che il nome della società era
che Twitter è effettivamente iniziato come ma di
Naturalmente il suo popolo si è iscritto a Twitter
poi improvvisamente hanno avuto il cosiddetto
Justin Bieber problema dove ogni volta
ha twittato qualcosa che avevano per te
conoscere la trasmissione a milioni di follower
quello che ha detto e quello appena alzato il
bar per rendere la loro architettura più
data centric quindi la penso davvero
stiamo vedendo questo accada che se tu
Pensa al passato dove volevamo
servizi monolitici e grandi dati dove
non c’era davvero un sacco di
si sovrappongono tra loro loro gli ingegneri
diciamo in ognuno di questi mondi tendevano
pensare a diversi problemi che
ora stanno iniziando a sembrare più simili
quel tipo di microservice è una specie di
sopraffatto dai dati se lo sono
dati di successo e veloci che le persone devono
essere molto bravo a scrivere molto
disponibili servizi resilienti durevoli, ecc
quindi penso che ci sia un sacco di sovrapposizioni qui
così pochi tasselli svergognate da da
luce Ben In realtà sto conducendo la squadra
quello sta costruendo una piattaforma e l’ho fatto
nel colore, perché sai che è un
prodotto commerciale quindi sì, io in realtà
ho disegnato un pezzo ma in ogni caso lo stiamo provando
pensa a questi problemi e come lo farebbe
aiutiamo le persone a costruire queste architetture
che fondono il microservizio e nel digiuno
strumenti di streaming dei dati in un insieme coerente
abbiamo parlato di questi pezzi cerchiati
in rosso ovviamente un prodotto commerciale
come questo ti aspetteresti di avere
strumenti di produzione quindi abbiamo il monitoraggio
utensili e strumenti di gestione pure
e in realtà siamo concentrati su Enterprise
DCOs che è la versione commerciale
Amazo dice che la nostra piattaforma di distribuzione e
pensiamo anche che ci sia davvero
interessante opportunità per la macchina
imparare in questa situazione perché come me
menzionato questi servizi devono essere eseguiti
per sempre e così come stanno andando
Rimani affidabile, penso che sia il modo di
fallo il più possibile facendoli
il cluster autogestito e
auto-guarigione quindi stiamo spendendo molto
tempo in cui conosci i servizi di costruzione in giro
quell’idea per farcela lo sai veramente
diciamocelo una volta ci si abitua ad
installare questi cluster e scrivere
queste app quindi forse non ti servono
distribuzione commerciale
molto, ma speriamo che questo continui davvero
è prezioso per sempre bene, in realtà
finito un po ‘presto quindi ecco il
link di nuovo per quel libro e io
grazie mille per qualsiasi domanda si
la domanda era da ripetere per il video
come gestisci la fusione dei flussi
soprattutto quando sono come un altro
le velocità variano molto bene se tu
guarda i Ghost Busters che non dovresti mai
attraversa i tuoi stream in modo solo professionale
punta lì sì, questo è un
interessante perché la maggior parte di questi
strumenti forniscono una qualche nozione di un join
e questo è davvero interessante
domanda quando non hai tutto il
dati cosa significa in realtà fare a
unisciti tra due tavoli in questo
senso di nuovo questi sono alcuni dei
semantica che alla gente piace la squadra di travi
ho pensato e c’è solo un
un sacco di soluzioni come per
esempio se alcuni dei dati sono piccoli a
molti di questi motori ora stanno costruendo
la capacità di mantenere lo stato mobile dentro
memoria e con forse il supporto di
di qualche tipo in modo da poter dire
hai una specie di tabella di ricerca
ed è leggermente in evoluzione , non lo so
diciamo che è come un catalogo di skew in
il tuo negozio e vuoi davvero farlo
si unisce al traffico in tempo reale in
il negozio contro il catalogo attuale o
qualcosa del genere quel tipo di cose
penseresti che ne stia davvero facendo un po ‘
roba incredibile in questa zona in questo momento
rendere facile ottenere questo tipo di tuo
dati fuori banda nel sistema o persino
scrivilo fuori dal sistema mentre vai ma
un sacco di volte si può effettivamente pensare
questi come un flusso stesso che tu sei
solo andando a sapere come tornare indietro
l’esempio che distorce un catalogo sta andando
essere un flusso e ho il mio lo sai
traffico come un flusso e sto andando
fare join e come entrano
quindi dovresti capire bene
Va bene che sembra che abbia un senso se si tratta di
forse Delta è al catalogo che voglio
per aggiornare ma cosa succede se voglio solo il
tutto ciò che in realtà significa
in questo caso, quindi penso che faccia apparire
alcuni esempi per sottolineare davvero questo
probabilmente dipende molto da
scenario
ma questi sono tutti problemi che questi
i motori di streaming stanno cercando di affrontare
in un modo o nell’altro e in a
caso particolare si finirebbe lo sai
capire cosa ha senso e molto
di volte ciò che avrebbe un senso dipende
sulla quantità di dati che stai parlando
circa per uno o entrambi i flussi
sì, la domanda era qual è il
corridore fare nel caso fascio, se abbiamo
Ho già orchestratori e suppongo
Vuoi dire come filo meso sabbia e così
avanti è molto bene se pensi
a riguardo è che è come te
definire il flusso di dati e come tu
in realtà gestirlo come da dove vai
come un buon analogo sarebbe come te
scrivi una query sequel in astratto
e trasformarlo in un fisico
rappresentazione che è effettivamente eseguita
contro le attività reali dei file di dati reali
distribuire su un cluster, se lo hai
mai guardato come descritto
comando di una query sequel sapete che lo farà
mostra questa ripartizione da come a
query logica fino a una query fisica
e in pratica cosa sei quello che sei
mettere lì con il corridore è una specie
di quella manifestazione fisica di questo
flusso di dati più logico quindi è così
ordina tutto a come sono quei test
sarà pianificato in runtime e
e gestito praticamente chiunque altro sì
La tempesta di Pachi è davvero buona
domanda dovrei probabilmente aggiungere una diapositiva
a questo proposito
Penso che pragmaticamente parlando tempesta
sembra svanire dal paesaggio
indipendente dalle sue qualità come a
motore sai che è ed è una specie di
il solito dilemma dove non è sempre
la cosa migliore che vince o la cosa
questo è il più nuovo tende ad essere si ottiene
l’attenzione che cosa farei se fossi
Devo davvero dedicarmi alla tempesta
uno sguardo ad un airone di Twitter che era
la loro completa riscrittura è l’API
compatibile non ne so molto
Ho parlato con gli ingegneri di Twitter
su di esso un po ‘e e loro hanno
hanno affrontato alcuni dei
limiti di tempeste come il
problema di cercare di evolvere il the
grafico dei nodi quindi dimentico la topologia
e penso che abbiano abilitato quell’abilità
in modo che possa ora essere più dinamica a
runtime se pensi alla tempesta
tipicamente funziona il tipo di lay out il
topologia dei nodi e poi si esegue
dati attraverso di loro
considerando quali strumenti come flink e spark
stanno facendo invece è una sorta di dinamica
costruire quella topologia basata su un tipo
di astrazione che è il programma tu
scrivi invece di aver dedicato
nodi che sono più orientati staticamente
questa è la mia comprensione degli inconvenienti
di tempesta il modo in cui tendo a pensarci
è è come la prima generazione
flusso di elaborazione del motore e davvero
bravo, ma abbiamo imparato molto
negli ultimi sai che è stato solo come
sette anni che è fondamentalmente 49 cane
anni immagino quindi ci si sente come un lungo
tempo ma e penso alcuni dei più recenti
i partecipanti stanno cercando di conoscere la leva
cosa abbiamo imparato ed essere più adattabili
ma sì, certamente non lo rimuoverei
tempesta solo perché sai che non è il
cosa sexy adesso
qualcun altro sì
coltello, sì sì, questo è davvero
interessante Apache proietta la domanda
Riguarda il coltello I è interessante
Progetto Apache in cui fondamentalmente
disegnare graficamente il flusso del flusso
e quindi genera i compiti per te
l’unica cosa che non mi piace è
che usano la loro proprietà
motori ma è ancora open source di
decoro
nel senso che non è come la scintilla o
qualcosa penso che sia davvero grandioso
idea in particolare per gli utenti inesperti che
voglio definire i flussi l’ unica cosa
Sono davvero meravigliato però
in realtà è dove sono le query sequel
il genere di cose che tutti vogliono
essere in grado di scrivere non importa quale sia il loro
livello di competenza non ne sono del tutto sicuro
che le persone definiranno il flusso
l’elaborazione scorre arbitrariamente ciò che sembra
più come un lavoro di ingegneria per me lo farei
piace essere smentito allo stesso tempo
meno quello che mi piacerebbe davvero vedere
il coltello in cui mi sono evoluto è in realtà entrambi
lo strumento di definizione per i flussi ma anche
come un visualizzatore del comportamento di runtime di
il flusso se potessi avere lo stesso
cosa in una vista quindi vorrei usarlo
di sicuro
perché poi penso che sarebbe davvero
utile per voi sapere entrambi vedere ciò che ho scritto
e poi vederlo in runtime si
il prossimo anno si è di nuovo sette cani
anni quindi è un po ‘difficile sapere cosa
sembrerebbe che io pensi davvero quello
vedrai il fascio molto più penso che sia
tipo di uno di quelli è interessante
riguardo il raggio, stavo parlando con Jessie
di questo ieri stanno andando a
adotta un’API Scala che ha scritto Spotify
giusto sì e sì sono uno studioso
sviluppatore come potresti sapere lavorando per a
la luce potrebbe non essere una sorpresa, quindi lo sono
davvero un grande in merito a Scala è un
parola forte ma in realtà non mi piace
il raggio API che tanto almeno il lavoro
di uno rispetto alla Scala api così
mi piacerebbe molto vedere un’API di Scala
e ma ma la ragione per cui ho menzionato questo
è perché ciò che sembra emergere è
quella trave potrebbe essere la meta API quella
si trova sulla cima di tutti questi altri così in
un anno potremmo parlare di no
utilizzando SPARC API o stream kafka o
qualunque cosa potremmo essere tutti scrivendo al
beam API e quindi materializzarsi
sotto con il corridore che fa
senso per qualsiasi cosa come i dati
il formato sembra o alcuni per unità
qualunque sia quel genere di cose, quindi penso
il raggio sarà la cosa da guardare
a tal proposito è davvero buono
questione di altre cose, penso che lo farai
sicuramente vedere più machine learning in
un contesto di streaming e più sequel in a
contesto di streaming perché ancora una volta
tutti amano scrivere sequel e loro
non voglio rinunciare solo perché
il loro flusso di elaborazione ora invece di
elaborazione in batch, quindi è sempre un bene
via d’uscita da una domanda del genere
solo più o meno lo stesso se c’è un
domanda qui
che ne dici di girare set di dati legacy e
fonti in flussi
beh penso che se tu chiedi al raggio
ragazzi o qualsiasi e anche i Flint ragazzi questo
domanda che cosa diranno è davvero
un lavoro batch è solo un flusso finito e
è così che implementano effettivamente il batch
nel fianco per esempio è solo il trattamento del
lo streaming è finito e questo è un modo per farlo
si potrebbe certamente collegare un flusso
lavoro a un database legacy e averlo
basta processare l’intero tavolo e
allora è finito o potrei anche io
non so se ho visto qualcuno farlo
ma a te piace l’uso interessante
forse per lo streaming delle scintille
supponiamo di avere aggiornamenti periodici
a un database e vuoi una scintilla
guardalo e subito afferra
quei delta e poi elaborarli per
alcuni usi a valle quindi penso che tu sia
vedrò molto di più di questo genere di
cosa su cui è un po ‘spinto
quali database sono usati per trattare
in termini di connessioni e il tipo di
elaborazione ma l’altra cosa interessante
su questi progetti open source sei tu
sapere se il tuo materiale batch legacy è giusto
come i file HDFS, sai che è no
sono diversi per quanto riguarda la scintilla o il flink
preoccupato che tu stia andando a leggerli
dentro e processarli e magari unirmi
loro contro un dato live e sì sì
per chiarirti chiarisci questa domanda
per il video che si sa che dire
Ho intenzione di convertire come un lotto
applicazioni orientate a un flusso più
elaborazione e un paio di commenti su
che ho parlato con te
conosci un sacco di volte la tua verruca in cui ti trovi
un’industria in cui è davvero difficile
solo perché si potrebbe essere sempre solo
i dati una volta al giorno come medici sono davvero
male di questo sai che lo faranno ancora
FTP un file per voi una volta al giorno, quindi non c’è
in nessun modo farai l’elaborazione in streaming
comunque sai che è una specie di sconfitte
punto
quindi se, ma se si può fare che
trasformazione quindi alla domanda successiva I
chiederebbe davvero qual è la tua latenza
requisito sai che è un piacere
avere come sottoinsieme ed elaborazione
o è veramente 10 secondi o un minuto o
qualunque sia abbastanza veloce perché se lo è
allora hai molte più opzioni come
forse semplicemente eseguendo di più quei lavori batch
frequentemente su set di dati di dati più piccoli
che stanno arrivando sai nuove o
qualunque cosa e poi si evita tutto questo
sforzo che ho menzionato sul mantenere un
lo streaming di lavoro felice per mesi e mesi
ma se davvero arriva al
soprattutto a grandi volumi dove tu
voglio davvero elaborare le cose al volo
forse perché ti piacerebbe avere
motori di ricerca aggiornati e simili sono a
ottimo esempio di questo si ultime notizie
vuoi vederlo sul tuo motore di ricerca
subito poi quello che probabilmente farei
eviterei l’architettura lambda
in realtà perché penso sia troppo difficile
implementare sia l’elaborazione del flusso in
una modalità batch, se si può evitare, ma una
molti di questi lavori batch se la logica
può effettivamente essere riproposto come streaming
ma potresti dover usare un nuovo set di strumenti
farlo come e questo è qualcosa
SPARC è in realtà molto utile per se
stai usando SPARC già così era
una specie di risposta vagante ma, si spera
ti ha dato alcuni pensieri forse uno di più
domanda
vai avanti sì, Alyssa è così
la domanda riguardava l’ ho fatto questo commento
sulla sfida della condivisione di modelli
tra il motore di allenamento come forse
scintilla mini-batch e stai segnando
motore che potrebbe scorticare Karaka o
qualcosa del genere quindi ecco qui c’è un
un sacco di modi per fare questo è se
stai usando molte di queste grandi macchine
sistemi di apprendimento come l’apprendimento profondo per
J o tensorflow
puoi eseguirli come server quindi se tu
può tollerare il sovraccarico di fare un
chiamata riposante a un server per fare il
segnando così siamo ora sul lato del punteggio
hai anche tensorflow che ti allena
modelli in qualche modo e ora ho
dati voglio segnare contro il
modello puoi usare tensorflow come server
quindi almeno tutto dalla macchina
la prospettiva di apprendimento è in un unico posto
è in flusso tensoriale se è abbastanza
modello semplice come la regressione logistica o
qualcosa del genere dove potresti
in realtà basta prendere i parametri
sono stati addestrati e quindi solo
reimplementazione nel tuo punteggio
motore allora potresti muovere il
parametri oltre c’è diversi modi
che sono un po ‘emergenti per fare questo e
Li tirerò fuori solo uno si potrebbe
scrivi quelli in un database e lo hai
un processo che periodicamente si aggiorna
dal database con flink che hanno
questa funzione di input e output del sito I
pensa che sia il nome di un membro
che ti consente di leggere i dati che conosci
hanno la cosa stream processing andare
e poi periodicamente leggi i dati
dal
ed è così che potresti portare il tuo
parametri e potresti farlo con a
database che potreste fare quella scrittura a
Argomento di Kafka e poi portarlo in questo
bit potrebbe essere un altro esempio di
la domanda dell’altro gentiluomo riguardo forse
In realtà sto facendo una specie di pseudo
unisciti a dove ho qui è il mio modello
i parametri che arrivano qui sono i miei dati e
In qualche modo mi unisco a loro un po ‘
imbarazzante da fare in realtà ma e poi il
l’ultimo che menzionerò è per davvero grande
modelli come i modelli di rete neurale
soprattutto in un contesto distribuito
ci sono questi server parametri che
stanno emergendo come un modo veloce
sono come un database personalizzato
davvero per servire i parametri di a
modello per motore quindi lo faccio ad esempio
forse in tensorflow alleno un neurale
rete scrivo a questo server parametri
e poi li tiro in un altro
modello oltre in flink diciamo e il
l’ultimo che è correlato è lì
sono questi formati di interscambio come PMML
e PFA e anche se hanno il loro
i critici e i loro limiti in questo
senso che stai davvero solo scambiando il
metadati relativi al modello o al
parametri e poi ancora una volta se tu
avere un modo di riprodurre il modello in
entrambi gli ambienti o attraverso a
libreria o un’implementazione separata
allora si potrebbe anche farlo in quel modo così
quello era fuori dalla mia testa solo un
un sacco di modi in cui può essere fatto bene
grazie ancora
tu
Please follow and like us: