buon lunedì mattina oggi stiamo andando
per esplorare standard di deviazione standard
la deviazione è un concetto statistico noi
parleremo di cosa è perché
esiste e cosa è buono e come
per implementarlo e lo faremo
che in JavaScript è ciò che siamo
andando a parlare di oggi sono mpj e
stai guardando fun fun function so
che alcuni dei miei abbonati da molto tempo
potrebbe pensare perché statistiche perché a
concetto statistico questo è un
canale di programmazione ciò che stiamo imparando
alcune statistiche perché le statistiche sono
la base di apprendimento automatico di questo
episodio è un po ‘come una beta alfa
cosa voglio fare più episodi su
scienza dei dati perché penso che noi come
i programmatori si stanno muovendo verso un futuro
dove non possiamo farla franca con no
sapendo che la macchina della scienza dei dati
apprendimento e analisi e tutto il resto
tipo di cose sta diventando sempre di più
usato nel mondo degli affari e praticamente tutto
tutte le sedi dello sviluppo del software è
solo crescendo sempre di più e di più e
lasciami parlare un po ‘del perché
Pensa che è 45 è in realtà un
esempio interessante in questo contesto
da che parte se ho iniziato e circa 10
anni fa hanno fatto alcuni test utente e
loro chiesero alla gente quello che volevano
da un lettore musicale basato su cloud e loro
le persone erano a questo punto che avevano queste
librerie mp3 con un paio di migliaia
mille canzoni così è stato
il loro stato d’animo volevano che
ha detto che volevano solo tutto dentro
un elenco il problema è che se tutto
in una lista vorresti iniziare
scorrendo dall’alto come vivere su a
dove c’è il nostro bar e cose e poi tu
scorrerà scorrere e scorrere e scorrere
e scorrere e scorrere e scorrere e
scorri ma il piccolo cursore
la cosa a scorrimento non si sarebbe nemmeno mossa
perché c’era così tanta musica sul
servizio quando
hai un milione di canzoni Bajillion come
le vecchie convenzioni della semplice visualizzazione
i dati in ordine non hanno senso
quando ho iniziato a usare i computer , non lo faccio
sai esattamente come 20 anni fa, forse
il tutto era una specie di database
Mi piacciono tutte le interfacce
erano tavoli è un po ‘come tutto
razze da Excel e database perché
in informatica e programmazione
la tupla o il database Row è molto
utile forma utile per pensare ai dati
e per memorizzare i dati è fondamentalmente come
i dati sono spesso memorizzati, intendo in nessun seguito
database è un po ‘come questi dati
oggetti ma sono ancora gentili
di specie di file, quindi l’interfaccia è
venti anni fa erano fondamentalmente
solo uno strato molto sottile in cima al
dati ti ho appena mostrato dove sono i tuoi file
i tuoi file mp3 in un lettore musicale come
winamp
e ti ha dato qualche capacità di ricerca
cose che potresti metterle in altre liste
e altri tavoli come le playlist ma in
Alla fine è stato come mostrare
voi i dati in una forma molto non ostruita
e questo è ben intenzionato ora semplicemente
è pensato per dare all’utente tanto
potere il più possibile e lasciare che l’utente
capire per la loro o da soli cosa
vogliono fare con tutto questo questo dato
e ti dà un po ‘di gestione dei dati
anche gli strumenti però nel tempo ci fanno piacere
di imparare che questo pensiero potrebbe essere maggio
essere problematico l’utente non lo fa davvero
piace passare il tempo con il tuo software
l’ utente non vuole usare il software
loro quando usano un lettore musicale
Vogliono che vogliono suonare una canzone
che si adatta al loro stato d’animo, per esempio o in
il caso di aa controllare uno shopping
carrello che vogliono solo quando loro
questo appena hanno fatto il loro
decisione di acquisto che vogliono spostare come
il più veloce possibile da quel punto a
tu la cassa e il pagamento e
più tempo l’utente ha trascorso
quel processo peggiore è il peggio
loro sono e il più tu hai
fallito come team di sviluppo software in
un mondo utopico il software giusto
conosce magicamente ciò che l’utente vuole e
lo dona a loro e all’utente veramente
non deve usare il tatto del software
sbagliato in tutto questo
così negli ultimi anni abbiamo sempre di più
software che tipo di impara e figure
fuori e guarda i dati per l’utente e
capisce cosa l’utente vuole Amazon
iniziato a fare questo con lo shopping
l’esperienza è come iniziare a capire
fuori che se un utente che ha acquistato questo
anche la cosa ha comprato questa cosa e lì
è un grande schema ci sei tu possibile
puoi tipo quando un utente scelto
mettere qualcosa nel loro carrello della spesa si
può basato su quei dati raccomandarli
anche loro hanno messo questa cosa nella loro
carrello della spesa Spotify ha un estremamente
prodotto di successo chiamato scopri
settimanale che è di nuovo solo una lista ma è così
è una lista generata automaticamente che
si basa sul tuo ascolto precedente
storia negli ultimi mesi o anno I
non lo so genera un elenco di
raccomandazioni per te che lo farai
probabilmente con un grado più legato di
probabilità che ti piacerà e che
non hai ancora ascoltato non c’è
interfaccia per scoprire settimanalmente oltre
l’utente sta solo facendo quello che loro fanno
e basato su quei dati
Spotify genera genera questo questo
playlist magica per te ogni lunedì quindi
c’è questo tipo di movimento nel
settore del software da questa nozione
quello invece di dare agli utenti
un software che è un po ‘come un
potente potente database in cui il
l’utente può fare queste ricerche slew che abbiamo
software che esegue la ricerca per il
utente
20 anni fa ci si aspettava che l’utente facesse
la scienza dei dati e le analisi stesse
e 20 anni da oggi sono fermamente convinto
quel software dovrebbe fare quel lavoro
per l’utente e questo significa che noi come
gli sviluppatori di software devono imparare i dati
la scienza abbiamo bisogno di capire che dobbiamo
impara come fare l’analisi dei dati nel nostro
software perché è quello che software
sarà principalmente su non capirmi
sbagliato ci saranno interfacce e
app e fai clic su II cose
per sempre ma penso che un crescente e
forse anche la maggior parte del software
sta per essere un software come scoprire
raccomandazioni settimanali o di Amazon o
Raccomandazioni Netflix questo tipo di
cosa che si basa solo su un grande set di dati
capisce cosa è che l’utente
vuole ed è per questo che sei uno sviluppatore
ha bisogno di iniziare a guardare i dati di apprendimento
la scienza va bene così qual è lo standard
deviazione perché perché vogliamo usarlo
e so che alcune persone stanno diventando
ansiosa ora come oh dimmi solo come
la deviazione standard funziona ma lo è
estremamente importante che tu capisca
perché stai imparando qualcosa perché
se non il vostro cervello sarà solo iniziare
stai bene essere critico e come il perché è lui
imparando questa notte no no, quello che ti ferma
questo è che non capisco come sia
utile e il tuo cervello inizierà
identificando questa cosa è noioso e
quando è noioso , perdi solo tutti i tipi
di motivazione e non sarai in grado
per impararlo o se lo farai
alla fine dimenticatelo, è così
estremamente importante imparare perché va bene così
qual è la deviazione standard, diciamo solo
la deviazione standard viene fornita un set di dati
di punti piace fare come l’esempio
che stiamo andando a parlare oggi è
la media conosce l’ ordine
al giorno, quindi lunedì hai avuto 10 ordini
martedì hai avuto 13 ordini il giorno seguente
giorno hai avuto 20 ordini e così via
immagina un set di dati del genere e così loro
differiscono da un giorno all’altro proprio diverso
martedì diverso mercoledì
diverso rispetto alla deviazione standard di giovedì
è la deviazione dalla dalla norma
dalla media in quel dato
impostare è un numero che descrive come
molto il numero dell’ordine
normalmente fluttua durante un periodo di tempo
okay, disegniamo questo su questo
scala qui abbiamo ordini e su questo
scala qui abbiamo tempo così nel nostro
negozio di ecommerce immaginario che ci piace
cinque ordini di lunedì abbiamo detto
sette ordini martedì ce l’abbiamo
nove ordini mercoledì e poi
scende un po ‘ e ne abbiamo sette
ordina di nuovo allora qui sale fino a 16
ordini e poi cade di nuovo per dire
sei ordini diciamo che siamo noi vogliamo
nel nostro sistema di e-commerce vogliamo
creare una sorta di sistema di allerta quando
vediamo picchi come questo parzialmente
perché se ricevi molti ordini, noi
potrebbe aver bisogno di pianificare la persona
il personale potrebbe aver bisogno di essere avvisati di
quello o forse la goccia è enorme e là
potrebbe essere un problema con il sistema o
qualche cosa di connessione internet o te
conoscere alcune cattive notizie o qualsiasi altra cosa vogliamo
vogliamo rilevare le anomalie e come farlo
scriviamo software per una cosa del genere
Voglio dire, abbiamo cuneus hard-code i valori così
che tipo di capire quello che il
app ci limitiamo a fare un po ‘indietro del
calcolo del tovagliolo e ci immaginiamo
che l’ Ambridge è una specie di no
conosci forse forse quattro o qualcosa
la media è qui e poi lo facciamo
come alcuni mandare una mail quando il e
vorrebbero gli importi dell’ordine al giorno
abbastanza lontano dalla media che è
la sua gamma era solo scrivere alcuni numeri
ma in realtà non scala perché come
il come il negozio cresce e il varia
da una settimana all’altra come in assoluto
numeri bene, solo si spezzerà
giù e questo è dove standard
la deviazione arriva è la media
distanza dalla media così come noi
capire che la distanza media
dalla media è da qualche parte qui ora
Diciamo che è qui
in realtà questo indipendentemente questo
quindi tutti questi sono nello standard
deviazione perché è questa distanza
da questa linea e da questa distanza
da questa linea tutti questi punti qui
sono normali ma questo è
considerato fuori dalla norma e
così possiamo attivare l’allarme dopo
ogni giorno usando la deviazione standard noi
posso solo controllare che possiamo solo calcolare il
media per il periodo di tempo corrente come
Dillo negli ultimi sessanta giorni e noi
può vedere quanto è lontano il punto
la corrente del giorno corrente che noi
stavano controllando quanto lontano cioè dalla
dalla media o dalla media e noi
può quindi calcolare lo standard
deviazione e vedere se quella distanza è bassa
o oltre la deviazione standard qui così
questo va bene perché non è troppo
lontano da loro ma questo è noi
sappi che oh è tutto lo standard
deviazione questo è questo è
sospettoso dovremmo lanciare un allarme oh
giusto vediamo se possiamo implementarlo
e potresti chiederti
improvvisamente con gli occhiali ed è così
perché ho girato questo due segmento prima
ma ho dimenticato di registrare lo schermo
Tutta la faccenda, quindi va bene prima di tutto
inventare il nostro set di dati chiamiamoli blu
blu ordini blu credo o come yeah
chiamiamoli ordini questo sta andando essere
i nostri ordini al giorno il primo giorno
Lunedì tre ordini vincono i cinque di martedì
ordina sette ordini mercoledì 8:00 in poi
qualche altro giorno forse cinque di nuovo e
allora è Natale quindi è come molti
ordini e poi otto e poi quattro ok
quindi il primo obiettivo se ti ricordi
il mio schifoso disegno è quello di capire il
la media del numero medio di ordini
al giorno perché senza quello non possiamo fare
qualsiasi cosa così, prima pensiamoci
quindi come possiamo calcolare la media
gli ordini immagino che abbiamo bisogno degli ordini totali
diviso per ordini il numero di dati
punti che abbiamo ordini lunghezza punto che voglio
un po ‘ di valutazione inline qui
quindi ho intenzione di iniziare
guaca guaca è un piccolo plugin per
codice di Visual Studio che ti permette di fare
valutazione inline che è veramente buona
se si sta facendo screencast come lo faccio
vediamo qui che abbiamo un errore su
questa linea è un ordine totale che non è
definita perché bene non abbiamo che
e gli ordini totali sono un po ‘sbagliati che vogliamo
la somma degli ordini e degli ordini
come facciamo a ridurre il succo?
gli ordini si riducono se non lo sei
familiarità con Riduci Ho un video su
quell’argomento in
quell’angolo o quell’angolo o nel
Descrizione episodio se sei stato
confuso ridurre prende due argomenti il
la seconda argomentazione è la somma che siamo
a partire da quale è zero e il
il primo argomento è una funzione che ha a
il primo argomento è la somma che su
la prima prima iterazione sarà
zero e quindi il secondo argomento è il
ordina che stiamo iterando e io sono
chiamerò X perché mi sento come me
potrebbe essere uno stronzo oggi
perché sto usando X e potrebbe essere X plus
alcuni questa è la riduzione più semplice
operazione tante cose oh io
ha accidentalmente aperto un terminale di uscita
ciao chiudiamola e va bene così se
Ho appena rimosso questo no sì no ok così dentro
ordine di ottenere quokka per valutare in linea
devi farlo in linea
valuta così che significa che questo è ora
65 che bello ma vedi se ordini medi
funziona anche io intendo questo look quokka
evidenziando cosa deve toccarlo
non funzionerà
splendido tutto bene quindi ora abbiamo questo
linea qui il prossimo passo è capire
queste righe qui che è la media
distanza dalla media media come
Sono come qual è la distanza media
da questa linea tra tutti questi punti in
Per calcolare questa media , per prima cosa
bisogno di tutte le differenze, quindi vediamo se
possiamo farlo lo chiamerò semplicemente
differenze e saranno ordini
vai a usare la matematica se non usi la matematica I
hai un video anche su questo puoi controllare
quello qui fuori e nell’episodio
la mappa di descrizione prende
un argomento e un’altra funzione che è
a volte è chiamato un mappatore
a volte chiamato a volte callback
chiamato predicato è la stessa cosa
essi è una funzione che prende il
ogni ordine ogni elemento nell’array e
lo nutre e ritorna
qualcosa di nuovo e poi quello diventa
un altro array con lo stesso con quelli
nuovi valori che sto per fare
funzione qui che non si trasforma
niente di così posso illustrare questo da
dicendo come me se scrivo più uno che vedi
che tutti i numeri aumentano di uno se
Faccio un aumento di tutti i numeri di due
e così via
tuttavia questo è solo un esempio di ciò che noi
voglio fare è sottrarre la media
ordini al giorno che ci dà questi
le differenze qui ricordano che stiamo cercando
per la distanza media dalla media
Lo chiamerò in media se
[Musica]
quello e tu sai cosa noi ora che noi noi
avere questo array qui che vogliamo
calcolare la media di e abbiamo
quella logica esatta perché lo facciamo
gli ordini qui, quindi siamo già
facendo questo qui così ho intenzione di rompere
questo fuori in una funzione così sto andando
chiama questo array di media sinistra ed è
sta per essere preso una funzione che
prende una matrice che matrice stiamo andando
chiamalo sull’acciaio che quercia e io sono
andando a rubare questo andare lì che dovrebbe
fallo e poi posso solo se ricordiamo
che questo è otto punti uno due cinque
semplicemente andando
posto che con Ray hai letto degli ordini
ed è lo stesso fresco che posso rimuovere
questo che oh questo è un errore
anche se sta andando essere doveva essere ci sono
okay, ora possiamo usare questo in
per ottenere la differenza media lui
deve avere un raggio medio senza media dell’array
delle differenze che ci daranno 0
è sbagliato
bene questo è un problema perché tutti
queste sono differenze e il
la cosa è la natura delle differenze è
che se li sommiamo tutti insieme loro
sono per definizione andando a zero
perché loro si negano a vicenda così
cosa vogliamo fare si che vogliamo
in pratica rimuovi il meno uno zero
perché siamo interessati a
distanza di queste cose dalla media
quindi ora guarda dare un’occhiata a questo array
come cambia quando faccio un’altra mappa e
Io passo in dot matematica assoluto così vedi
qui che prende solo il e fa
il rende un numero nel suo assoluto
controparte che sostanzialmente sta rimuovendo
il segno meno lascia che ti mostri quando
Rimuovo questo qui vedi BAM – oh sì sì
ora funziona, abbiamo queste differenze
eccoli corretti e l’array
anche la media viene calcolata correttamente
quattro punto due, quindi ora abbiamo questi
Linee
ma ora stiamo entrando nel fastidioso
parte di questa presentazione perché cosa
stiamo guardando qui è quasi ma non
deviazione abbastanza standard per fare il
definizione rigorosa della deviazione standard
dobbiamo quadrare tutti questi numeri
invece di assoluto in loro e noi allora
dovremmo calcolare la media
proprio come abbiamo fatto qui ma dopo di noi
calcolare la media che dobbiamo fare prendere
la radice quadrata di quella media così noi
piazza le differenze e poi la media
li e poi piazzare la loro radice alla
unsquare loro la ragione per cui dobbiamo fare
è una specie di matematica
ragioni di compatibilità con algebra e io
andrà in quella un po ‘di più
più tardi ma per ora basta andare con me
qui e siamo solo andando fare il la
cosa quadrata in modo che sapessimo cosa
stanno facendo prima abbiamo parlato di
sul perché abbiamo bisogno di farlo, quindi facciamolo
prima piazza questo e tu piazza le cose
moltiplicandoli con se stessi e
lasciamo che la deviazione standard sia uguale
alla differenza media o al quadrato
radice della differenza media BAM e
ora abbiamo la deviazione standard e
ora abbiamo di nuovo questa cosa in queste righe
qui ma ce l’abbiamo nel
modo matematicamente corretto strettamente
che è chiamata la deviazione standard
ok, penso che possiamo effettivamente usare
questo per verificare se qualcosa è un outlier
ora, ricorda che siamo noi
scrivere questo codice per identificarlo
questi valori anomali e
nuovi avvisi per loro quindi cerchiamo di capire
loro hanno qualcosa di anomalo che facciamo
passare attraverso la matrice ordini creare una mappa
di quello e per ogni ordine che stiamo andando
per vedere quanto lontano sia dalla
tttttttttt
l’ordine medio mi permette di mostrarlo
viene visualizzato in linea e quindi in I
pensa che possiamo semplicemente sottrarre il
deviazione standard standard – e controllo
se se risultasse essere più di 0
sì, vedi che 3 5 7 8 5 25 false
falso falso falso falso vero falso falso
così i tipi identificati correttamente 25 come il
come l’ outlier così vedi che puoi
utilizzare facilmente la deviazione standard per rilevare
anomalie e in set di dati come questo e
puoi usare deviazioni standard per
un sacco di cose, ma questo è uno dei più
molti casi d’ uso la deviazione standard è uno
delle frasi o dei concetti più comuni
che sentirai nei dati
la scienza viene gettata molto e
è molto utile ma ho anche promesso
che vorremmo parlare un po ‘del perché
dobbiamo fare questo come perché dobbiamo
piazza questo e perché dobbiamo farlo allora
fare la radice quadrata di questa cosa era
così tanto più pulito da fare solo punti matematici
assoluto come da una programmazione
punto di vista questo sembra un po ‘senza senso
questo numero, inoltre, non sembra altrettanto
pulito, sento ciò che intendo assolutamente
funziona, ma perché lo facciamo bene?
i matematici sono stranamente bene
strano ma a loro piacciono le relazioni
tra i numeri sono piuttosto nuovo in questo
cosa così io
non so esattamente cosa vorrà
comportare ma posso dirti che questo
cosa qui quella che chiamiamo il
la differenza media in realtà ha un nome
in statistica e si chiama il
la varianza della varianza è molto utile
concetto in statistica è tutto
questi interessanti e rubricano
caratteristiche o così mi è stato detto che sono nuovo
a questo
e lo ha in parte perché lo è
è squadrata sue cose squadratura ha
l’introduzione è molto buona quando sei
facendo algebra sto facendo assoluto
numeri è molto difficile da usare
in algebra affatto come manca
algebra e anche se non lo so
esattamente quello che sarà usato per il down
la linea che può renderlo parallelo alla
qualcosa che potresti sapere e quello
è il teorema pitagorico di Pitagora
che è la relazione tra il
lati di un triangolo hanno i matematici
capito che c’è una relazione
quello tra le linee 3d di un triangolo
quindi non ricordo quale penso
è un lato con un quadrato più il
il seno b quadrato è sempre uguale al lato c
al quadrato quando sei esposto per la prima volta a
Teorema di Pitagora sembra un
novità interessante ma non di più ma
in realtà è ridicolmente utile perché
può essere usato per calcolare la distanza
tra punti e tutti i tipi di
cose interessanti e poi puoi
mischia questo intorno per capire il
distanza anche se ne conoscete solo due
punti ed è solo è carino
cool da un punto di vista algebrico e
molto molto utile e io e io ci fidiamo del
matematici che la varianza lo farà
alla fine diventerà molto utile e noi
sarà in grado di usarlo per molte cose
così, ma in fondo è a causa di
le belle proprietà algebriche del quadrato
numeri
fallo quadrare e poi sul quadrato
nell’usare il tipo di oggetto radice quadrata
e questo è tutto ciò che avevo esplorato
Deviazione standard oggi e poi ho avuto
una lunga sfuriata sul perché dobbiamo imparare
statistiche come programmatori e io lo sono
perché penso che al momento
delegare un sacco di setacciare i dati
e capire le cose all’utente ma
in futuro ci si aspetta che lo facciamo
quello per l’utente in misura maggiore e
per farlo abbiamo bisogno di conoscere la scienza dei dati
poi ho fatto uno spettacolare schifo
disegno dove ho mostrato un sacco di punti
su un’ora in un sistema di e-commerce mostra
che dovevamo calcolare
media e che la deviazione standard
sono queste queste linee che indicano come
punti di dati di gran lunga in media nei nostri dati
set tende a vagare e quindi possiamo usare
quelle medie per capire quando alcuni
anomalia sanguinosa arriva e possiamo
creare un sistema di avviso per questo per
esempio questo è solo uno dei tanti
usi per deviazione standard e poi noi
in realtà ha fatto un’implementazione dove noi
calcolato la deviazione standard di
questo di un dato set di dati abbiamo usato la mappa e
ridurre per farlo e inizialmente abbiamo fatto un
implementazione semplice dove abbiamo appena usato
ha fatto le differenze in due in assoluto
numeri prima di creare una media di
loro poi ho spiegato che era così
quasi ma non del tutto rigoroso
definizione di deviazione standard e
poi abbiamo fatto la definizione rigorosa dove
fai una versione quadrata di ciascuno
differenza e quindi fare una media di
e poi scegli la radice quadrata di
quel numero e tu esci e
questa è la deviazione standard che hai
ho appena guardato un episodio divertente
funzione li rilascio ogni lunedì
mattina Oh 800 GMT ma se non vuoi
aspettare fino a lunedì mattina, tu
puoi controllare questo episodio
quale worm per l’apprendimento automatico di Google
che essi hanno nella loro cantina ha
determinato è l’ episodio corretto per
di visualizzare in questo momento io sono MPJ fino
Lunedi prossimo mattina grazie
per esplorare standard di deviazione standard
la deviazione è un concetto statistico noi
parleremo di cosa è perché
esiste e cosa è buono e come
per implementarlo e lo faremo
che in JavaScript è ciò che siamo
andando a parlare di oggi sono mpj e
stai guardando fun fun function so
che alcuni dei miei abbonati da molto tempo
potrebbe pensare perché statistiche perché a
concetto statistico questo è un
canale di programmazione ciò che stiamo imparando
alcune statistiche perché le statistiche sono
la base di apprendimento automatico di questo
episodio è un po ‘come una beta alfa
cosa voglio fare più episodi su
scienza dei dati perché penso che noi come
i programmatori si stanno muovendo verso un futuro
dove non possiamo farla franca con no
sapendo che la macchina della scienza dei dati
apprendimento e analisi e tutto il resto
tipo di cose sta diventando sempre di più
usato nel mondo degli affari e praticamente tutto
tutte le sedi dello sviluppo del software è
solo crescendo sempre di più e di più e
lasciami parlare un po ‘del perché
Pensa che è 45 è in realtà un
esempio interessante in questo contesto
da che parte se ho iniziato e circa 10
anni fa hanno fatto alcuni test utente e
loro chiesero alla gente quello che volevano
da un lettore musicale basato su cloud e loro
le persone erano a questo punto che avevano queste
librerie mp3 con un paio di migliaia
mille canzoni così è stato
il loro stato d’animo volevano che
ha detto che volevano solo tutto dentro
un elenco il problema è che se tutto
in una lista vorresti iniziare
scorrendo dall’alto come vivere su a
dove c’è il nostro bar e cose e poi tu
scorrerà scorrere e scorrere e scorrere
e scorrere e scorrere e scorrere e
scorri ma il piccolo cursore
la cosa a scorrimento non si sarebbe nemmeno mossa
perché c’era così tanta musica sul
servizio quando
hai un milione di canzoni Bajillion come
le vecchie convenzioni della semplice visualizzazione
i dati in ordine non hanno senso
quando ho iniziato a usare i computer , non lo faccio
sai esattamente come 20 anni fa, forse
il tutto era una specie di database
Mi piacciono tutte le interfacce
erano tavoli è un po ‘come tutto
razze da Excel e database perché
in informatica e programmazione
la tupla o il database Row è molto
utile forma utile per pensare ai dati
e per memorizzare i dati è fondamentalmente come
i dati sono spesso memorizzati, intendo in nessun seguito
database è un po ‘come questi dati
oggetti ma sono ancora gentili
di specie di file, quindi l’interfaccia è
venti anni fa erano fondamentalmente
solo uno strato molto sottile in cima al
dati ti ho appena mostrato dove sono i tuoi file
i tuoi file mp3 in un lettore musicale come
winamp
e ti ha dato qualche capacità di ricerca
cose che potresti metterle in altre liste
e altri tavoli come le playlist ma in
Alla fine è stato come mostrare
voi i dati in una forma molto non ostruita
e questo è ben intenzionato ora semplicemente
è pensato per dare all’utente tanto
potere il più possibile e lasciare che l’utente
capire per la loro o da soli cosa
vogliono fare con tutto questo questo dato
e ti dà un po ‘di gestione dei dati
anche gli strumenti però nel tempo ci fanno piacere
di imparare che questo pensiero potrebbe essere maggio
essere problematico l’utente non lo fa davvero
piace passare il tempo con il tuo software
l’ utente non vuole usare il software
loro quando usano un lettore musicale
Vogliono che vogliono suonare una canzone
che si adatta al loro stato d’animo, per esempio o in
il caso di aa controllare uno shopping
carrello che vogliono solo quando loro
questo appena hanno fatto il loro
decisione di acquisto che vogliono spostare come
il più veloce possibile da quel punto a
tu la cassa e il pagamento e
più tempo l’utente ha trascorso
quel processo peggiore è il peggio
loro sono e il più tu hai
fallito come team di sviluppo software in
un mondo utopico il software giusto
conosce magicamente ciò che l’utente vuole e
lo dona a loro e all’utente veramente
non deve usare il tatto del software
sbagliato in tutto questo
così negli ultimi anni abbiamo sempre di più
software che tipo di impara e figure
fuori e guarda i dati per l’utente e
capisce cosa l’utente vuole Amazon
iniziato a fare questo con lo shopping
l’esperienza è come iniziare a capire
fuori che se un utente che ha acquistato questo
anche la cosa ha comprato questa cosa e lì
è un grande schema ci sei tu possibile
puoi tipo quando un utente scelto
mettere qualcosa nel loro carrello della spesa si
può basato su quei dati raccomandarli
anche loro hanno messo questa cosa nella loro
carrello della spesa Spotify ha un estremamente
prodotto di successo chiamato scopri
settimanale che è di nuovo solo una lista ma è così
è una lista generata automaticamente che
si basa sul tuo ascolto precedente
storia negli ultimi mesi o anno I
non lo so genera un elenco di
raccomandazioni per te che lo farai
probabilmente con un grado più legato di
probabilità che ti piacerà e che
non hai ancora ascoltato non c’è
interfaccia per scoprire settimanalmente oltre
l’utente sta solo facendo quello che loro fanno
e basato su quei dati
Spotify genera genera questo questo
playlist magica per te ogni lunedì quindi
c’è questo tipo di movimento nel
settore del software da questa nozione
quello invece di dare agli utenti
un software che è un po ‘come un
potente potente database in cui il
l’utente può fare queste ricerche slew che abbiamo
software che esegue la ricerca per il
utente
20 anni fa ci si aspettava che l’utente facesse
la scienza dei dati e le analisi stesse
e 20 anni da oggi sono fermamente convinto
quel software dovrebbe fare quel lavoro
per l’utente e questo significa che noi come
gli sviluppatori di software devono imparare i dati
la scienza abbiamo bisogno di capire che dobbiamo
impara come fare l’analisi dei dati nel nostro
software perché è quello che software
sarà principalmente su non capirmi
sbagliato ci saranno interfacce e
app e fai clic su II cose
per sempre ma penso che un crescente e
forse anche la maggior parte del software
sta per essere un software come scoprire
raccomandazioni settimanali o di Amazon o
Raccomandazioni Netflix questo tipo di
cosa che si basa solo su un grande set di dati
capisce cosa è che l’utente
vuole ed è per questo che sei uno sviluppatore
ha bisogno di iniziare a guardare i dati di apprendimento
la scienza va bene così qual è lo standard
deviazione perché perché vogliamo usarlo
e so che alcune persone stanno diventando
ansiosa ora come oh dimmi solo come
la deviazione standard funziona ma lo è
estremamente importante che tu capisca
perché stai imparando qualcosa perché
se non il vostro cervello sarà solo iniziare
stai bene essere critico e come il perché è lui
imparando questa notte no no, quello che ti ferma
questo è che non capisco come sia
utile e il tuo cervello inizierà
identificando questa cosa è noioso e
quando è noioso , perdi solo tutti i tipi
di motivazione e non sarai in grado
per impararlo o se lo farai
alla fine dimenticatelo, è così
estremamente importante imparare perché va bene così
qual è la deviazione standard, diciamo solo
la deviazione standard viene fornita un set di dati
di punti piace fare come l’esempio
che stiamo andando a parlare oggi è
la media conosce l’ ordine
al giorno, quindi lunedì hai avuto 10 ordini
martedì hai avuto 13 ordini il giorno seguente
giorno hai avuto 20 ordini e così via
immagina un set di dati del genere e così loro
differiscono da un giorno all’altro proprio diverso
martedì diverso mercoledì
diverso rispetto alla deviazione standard di giovedì
è la deviazione dalla dalla norma
dalla media in quel dato
impostare è un numero che descrive come
molto il numero dell’ordine
normalmente fluttua durante un periodo di tempo
okay, disegniamo questo su questo
scala qui abbiamo ordini e su questo
scala qui abbiamo tempo così nel nostro
negozio di ecommerce immaginario che ci piace
cinque ordini di lunedì abbiamo detto
sette ordini martedì ce l’abbiamo
nove ordini mercoledì e poi
scende un po ‘ e ne abbiamo sette
ordina di nuovo allora qui sale fino a 16
ordini e poi cade di nuovo per dire
sei ordini diciamo che siamo noi vogliamo
nel nostro sistema di e-commerce vogliamo
creare una sorta di sistema di allerta quando
vediamo picchi come questo parzialmente
perché se ricevi molti ordini, noi
potrebbe aver bisogno di pianificare la persona
il personale potrebbe aver bisogno di essere avvisati di
quello o forse la goccia è enorme e là
potrebbe essere un problema con il sistema o
qualche cosa di connessione internet o te
conoscere alcune cattive notizie o qualsiasi altra cosa vogliamo
vogliamo rilevare le anomalie e come farlo
scriviamo software per una cosa del genere
Voglio dire, abbiamo cuneus hard-code i valori così
che tipo di capire quello che il
app ci limitiamo a fare un po ‘indietro del
calcolo del tovagliolo e ci immaginiamo
che l’ Ambridge è una specie di no
conosci forse forse quattro o qualcosa
la media è qui e poi lo facciamo
come alcuni mandare una mail quando il e
vorrebbero gli importi dell’ordine al giorno
abbastanza lontano dalla media che è
la sua gamma era solo scrivere alcuni numeri
ma in realtà non scala perché come
il come il negozio cresce e il varia
da una settimana all’altra come in assoluto
numeri bene, solo si spezzerà
giù e questo è dove standard
la deviazione arriva è la media
distanza dalla media così come noi
capire che la distanza media
dalla media è da qualche parte qui ora
Diciamo che è qui
in realtà questo indipendentemente questo
quindi tutti questi sono nello standard
deviazione perché è questa distanza
da questa linea e da questa distanza
da questa linea tutti questi punti qui
sono normali ma questo è
considerato fuori dalla norma e
così possiamo attivare l’allarme dopo
ogni giorno usando la deviazione standard noi
posso solo controllare che possiamo solo calcolare il
media per il periodo di tempo corrente come
Dillo negli ultimi sessanta giorni e noi
può vedere quanto è lontano il punto
la corrente del giorno corrente che noi
stavano controllando quanto lontano cioè dalla
dalla media o dalla media e noi
può quindi calcolare lo standard
deviazione e vedere se quella distanza è bassa
o oltre la deviazione standard qui così
questo va bene perché non è troppo
lontano da loro ma questo è noi
sappi che oh è tutto lo standard
deviazione questo è questo è
sospettoso dovremmo lanciare un allarme oh
giusto vediamo se possiamo implementarlo
e potresti chiederti
improvvisamente con gli occhiali ed è così
perché ho girato questo due segmento prima
ma ho dimenticato di registrare lo schermo
Tutta la faccenda, quindi va bene prima di tutto
inventare il nostro set di dati chiamiamoli blu
blu ordini blu credo o come yeah
chiamiamoli ordini questo sta andando essere
i nostri ordini al giorno il primo giorno
Lunedì tre ordini vincono i cinque di martedì
ordina sette ordini mercoledì 8:00 in poi
qualche altro giorno forse cinque di nuovo e
allora è Natale quindi è come molti
ordini e poi otto e poi quattro ok
quindi il primo obiettivo se ti ricordi
il mio schifoso disegno è quello di capire il
la media del numero medio di ordini
al giorno perché senza quello non possiamo fare
qualsiasi cosa così, prima pensiamoci
quindi come possiamo calcolare la media
gli ordini immagino che abbiamo bisogno degli ordini totali
diviso per ordini il numero di dati
punti che abbiamo ordini lunghezza punto che voglio
un po ‘ di valutazione inline qui
quindi ho intenzione di iniziare
guaca guaca è un piccolo plugin per
codice di Visual Studio che ti permette di fare
valutazione inline che è veramente buona
se si sta facendo screencast come lo faccio
vediamo qui che abbiamo un errore su
questa linea è un ordine totale che non è
definita perché bene non abbiamo che
e gli ordini totali sono un po ‘sbagliati che vogliamo
la somma degli ordini e degli ordini
come facciamo a ridurre il succo?
gli ordini si riducono se non lo sei
familiarità con Riduci Ho un video su
quell’argomento in
quell’angolo o quell’angolo o nel
Descrizione episodio se sei stato
confuso ridurre prende due argomenti il
la seconda argomentazione è la somma che siamo
a partire da quale è zero e il
il primo argomento è una funzione che ha a
il primo argomento è la somma che su
la prima prima iterazione sarà
zero e quindi il secondo argomento è il
ordina che stiamo iterando e io sono
chiamerò X perché mi sento come me
potrebbe essere uno stronzo oggi
perché sto usando X e potrebbe essere X plus
alcuni questa è la riduzione più semplice
operazione tante cose oh io
ha accidentalmente aperto un terminale di uscita
ciao chiudiamola e va bene così se
Ho appena rimosso questo no sì no ok così dentro
ordine di ottenere quokka per valutare in linea
devi farlo in linea
valuta così che significa che questo è ora
65 che bello ma vedi se ordini medi
funziona anche io intendo questo look quokka
evidenziando cosa deve toccarlo
non funzionerà
splendido tutto bene quindi ora abbiamo questo
linea qui il prossimo passo è capire
queste righe qui che è la media
distanza dalla media media come
Sono come qual è la distanza media
da questa linea tra tutti questi punti in
Per calcolare questa media , per prima cosa
bisogno di tutte le differenze, quindi vediamo se
possiamo farlo lo chiamerò semplicemente
differenze e saranno ordini
vai a usare la matematica se non usi la matematica I
hai un video anche su questo puoi controllare
quello qui fuori e nell’episodio
la mappa di descrizione prende
un argomento e un’altra funzione che è
a volte è chiamato un mappatore
a volte chiamato a volte callback
chiamato predicato è la stessa cosa
essi è una funzione che prende il
ogni ordine ogni elemento nell’array e
lo nutre e ritorna
qualcosa di nuovo e poi quello diventa
un altro array con lo stesso con quelli
nuovi valori che sto per fare
funzione qui che non si trasforma
niente di così posso illustrare questo da
dicendo come me se scrivo più uno che vedi
che tutti i numeri aumentano di uno se
Faccio un aumento di tutti i numeri di due
e così via
tuttavia questo è solo un esempio di ciò che noi
voglio fare è sottrarre la media
ordini al giorno che ci dà questi
le differenze qui ricordano che stiamo cercando
per la distanza media dalla media
Lo chiamerò in media se
[Musica]
quello e tu sai cosa noi ora che noi noi
avere questo array qui che vogliamo
calcolare la media di e abbiamo
quella logica esatta perché lo facciamo
gli ordini qui, quindi siamo già
facendo questo qui così ho intenzione di rompere
questo fuori in una funzione così sto andando
chiama questo array di media sinistra ed è
sta per essere preso una funzione che
prende una matrice che matrice stiamo andando
chiamalo sull’acciaio che quercia e io sono
andando a rubare questo andare lì che dovrebbe
fallo e poi posso solo se ricordiamo
che questo è otto punti uno due cinque
semplicemente andando
posto che con Ray hai letto degli ordini
ed è lo stesso fresco che posso rimuovere
questo che oh questo è un errore
anche se sta andando essere doveva essere ci sono
okay, ora possiamo usare questo in
per ottenere la differenza media lui
deve avere un raggio medio senza media dell’array
delle differenze che ci daranno 0
è sbagliato
bene questo è un problema perché tutti
queste sono differenze e il
la cosa è la natura delle differenze è
che se li sommiamo tutti insieme loro
sono per definizione andando a zero
perché loro si negano a vicenda così
cosa vogliamo fare si che vogliamo
in pratica rimuovi il meno uno zero
perché siamo interessati a
distanza di queste cose dalla media
quindi ora guarda dare un’occhiata a questo array
come cambia quando faccio un’altra mappa e
Io passo in dot matematica assoluto così vedi
qui che prende solo il e fa
il rende un numero nel suo assoluto
controparte che sostanzialmente sta rimuovendo
il segno meno lascia che ti mostri quando
Rimuovo questo qui vedi BAM – oh sì sì
ora funziona, abbiamo queste differenze
eccoli corretti e l’array
anche la media viene calcolata correttamente
quattro punto due, quindi ora abbiamo questi
Linee
ma ora stiamo entrando nel fastidioso
parte di questa presentazione perché cosa
stiamo guardando qui è quasi ma non
deviazione abbastanza standard per fare il
definizione rigorosa della deviazione standard
dobbiamo quadrare tutti questi numeri
invece di assoluto in loro e noi allora
dovremmo calcolare la media
proprio come abbiamo fatto qui ma dopo di noi
calcolare la media che dobbiamo fare prendere
la radice quadrata di quella media così noi
piazza le differenze e poi la media
li e poi piazzare la loro radice alla
unsquare loro la ragione per cui dobbiamo fare
è una specie di matematica
ragioni di compatibilità con algebra e io
andrà in quella un po ‘di più
più tardi ma per ora basta andare con me
qui e siamo solo andando fare il la
cosa quadrata in modo che sapessimo cosa
stanno facendo prima abbiamo parlato di
sul perché abbiamo bisogno di farlo, quindi facciamolo
prima piazza questo e tu piazza le cose
moltiplicandoli con se stessi e
lasciamo che la deviazione standard sia uguale
alla differenza media o al quadrato
radice della differenza media BAM e
ora abbiamo la deviazione standard e
ora abbiamo di nuovo questa cosa in queste righe
qui ma ce l’abbiamo nel
modo matematicamente corretto strettamente
che è chiamata la deviazione standard
ok, penso che possiamo effettivamente usare
questo per verificare se qualcosa è un outlier
ora, ricorda che siamo noi
scrivere questo codice per identificarlo
questi valori anomali e
nuovi avvisi per loro quindi cerchiamo di capire
loro hanno qualcosa di anomalo che facciamo
passare attraverso la matrice ordini creare una mappa
di quello e per ogni ordine che stiamo andando
per vedere quanto lontano sia dalla
tttttttttt
l’ordine medio mi permette di mostrarlo
viene visualizzato in linea e quindi in I
pensa che possiamo semplicemente sottrarre il
deviazione standard standard – e controllo
se se risultasse essere più di 0
sì, vedi che 3 5 7 8 5 25 false
falso falso falso falso vero falso falso
così i tipi identificati correttamente 25 come il
come l’ outlier così vedi che puoi
utilizzare facilmente la deviazione standard per rilevare
anomalie e in set di dati come questo e
puoi usare deviazioni standard per
un sacco di cose, ma questo è uno dei più
molti casi d’ uso la deviazione standard è uno
delle frasi o dei concetti più comuni
che sentirai nei dati
la scienza viene gettata molto e
è molto utile ma ho anche promesso
che vorremmo parlare un po ‘del perché
dobbiamo fare questo come perché dobbiamo
piazza questo e perché dobbiamo farlo allora
fare la radice quadrata di questa cosa era
così tanto più pulito da fare solo punti matematici
assoluto come da una programmazione
punto di vista questo sembra un po ‘senza senso
questo numero, inoltre, non sembra altrettanto
pulito, sento ciò che intendo assolutamente
funziona, ma perché lo facciamo bene?
i matematici sono stranamente bene
strano ma a loro piacciono le relazioni
tra i numeri sono piuttosto nuovo in questo
cosa così io
non so esattamente cosa vorrà
comportare ma posso dirti che questo
cosa qui quella che chiamiamo il
la differenza media in realtà ha un nome
in statistica e si chiama il
la varianza della varianza è molto utile
concetto in statistica è tutto
questi interessanti e rubricano
caratteristiche o così mi è stato detto che sono nuovo
a questo
e lo ha in parte perché lo è
è squadrata sue cose squadratura ha
l’introduzione è molto buona quando sei
facendo algebra sto facendo assoluto
numeri è molto difficile da usare
in algebra affatto come manca
algebra e anche se non lo so
esattamente quello che sarà usato per il down
la linea che può renderlo parallelo alla
qualcosa che potresti sapere e quello
è il teorema pitagorico di Pitagora
che è la relazione tra il
lati di un triangolo hanno i matematici
capito che c’è una relazione
quello tra le linee 3d di un triangolo
quindi non ricordo quale penso
è un lato con un quadrato più il
il seno b quadrato è sempre uguale al lato c
al quadrato quando sei esposto per la prima volta a
Teorema di Pitagora sembra un
novità interessante ma non di più ma
in realtà è ridicolmente utile perché
può essere usato per calcolare la distanza
tra punti e tutti i tipi di
cose interessanti e poi puoi
mischia questo intorno per capire il
distanza anche se ne conoscete solo due
punti ed è solo è carino
cool da un punto di vista algebrico e
molto molto utile e io e io ci fidiamo del
matematici che la varianza lo farà
alla fine diventerà molto utile e noi
sarà in grado di usarlo per molte cose
così, ma in fondo è a causa di
le belle proprietà algebriche del quadrato
numeri
fallo quadrare e poi sul quadrato
nell’usare il tipo di oggetto radice quadrata
e questo è tutto ciò che avevo esplorato
Deviazione standard oggi e poi ho avuto
una lunga sfuriata sul perché dobbiamo imparare
statistiche come programmatori e io lo sono
perché penso che al momento
delegare un sacco di setacciare i dati
e capire le cose all’utente ma
in futuro ci si aspetta che lo facciamo
quello per l’utente in misura maggiore e
per farlo abbiamo bisogno di conoscere la scienza dei dati
poi ho fatto uno spettacolare schifo
disegno dove ho mostrato un sacco di punti
su un’ora in un sistema di e-commerce mostra
che dovevamo calcolare
media e che la deviazione standard
sono queste queste linee che indicano come
punti di dati di gran lunga in media nei nostri dati
set tende a vagare e quindi possiamo usare
quelle medie per capire quando alcuni
anomalia sanguinosa arriva e possiamo
creare un sistema di avviso per questo per
esempio questo è solo uno dei tanti
usi per deviazione standard e poi noi
in realtà ha fatto un’implementazione dove noi
calcolato la deviazione standard di
questo di un dato set di dati abbiamo usato la mappa e
ridurre per farlo e inizialmente abbiamo fatto un
implementazione semplice dove abbiamo appena usato
ha fatto le differenze in due in assoluto
numeri prima di creare una media di
loro poi ho spiegato che era così
quasi ma non del tutto rigoroso
definizione di deviazione standard e
poi abbiamo fatto la definizione rigorosa dove
fai una versione quadrata di ciascuno
differenza e quindi fare una media di
e poi scegli la radice quadrata di
quel numero e tu esci e
questa è la deviazione standard che hai
ho appena guardato un episodio divertente
funzione li rilascio ogni lunedì
mattina Oh 800 GMT ma se non vuoi
aspettare fino a lunedì mattina, tu
puoi controllare questo episodio
quale worm per l’apprendimento automatico di Google
che essi hanno nella loro cantina ha
determinato è l’ episodio corretto per
di visualizzare in questo momento io sono MPJ fino
Lunedi prossimo mattina grazie
Please follow and like us: