grazie a tutti per essere venuti come lei ha detto
Sono Andrea Burbank Sono un ricercatore di dati
su Pinterest se non hai familiarità con
Pinterest è una scoperta visiva
piattaforma per trovare nuove idee e provarle
nella vita reale se non l’hai provato
dovresti le persone nell’ultimo discorso
avevo degli omaggi Lego gratuiti che sto dando
iscrizione gratuita a Pinterest per tutti
lo provi dopo il mio discorso puoi andare
a Pinterest calma se non ti è familiare
con esso , ad esempio, mia sorella ha chiamato
me ieri gettò una festa di compleanno
per il mio nipote di sei anni hanno riempito
palloncini d’acqua con acqua e mettere minuscolo
i dinosauri dentro congelati li hanno presi
fuori e ora avevano uova di dinosauro che
loro hanno dovuto aprirsi e il
la bambina di sei anni pensava che fosse incredibile
questo è il genere di cose che puoi trovare
su Pinterest come per me mi sono iscritto
Pinterest nel 2012 eravamo circa 50
persone allora o circa 800 persone ora così
in quel periodo ho creato molti dati
l’infrastruttura ha fatto molti dati
l’analisi ha costruito il nostro framework di test A / B
e ora sto facendo una sorta di classifica e
tipo di rilevanza di cose così ho toccato
anche molti pezzi dello stack di dati
come fare software ed è per questo che voglio
per parlare con te oggi di software e
dati e come dipendono l’ uno dall’altro
così anche io ho la tendenza a parlare
veloce Io vado a cercare di parlare lentamente
ma se in qualsiasi momento affretto mi sento libero
per alzare la mano e cercherò di
lento giù non è perché sono
nervoso è solo un bene, parlo davvero
ok veloce il tema di questo discorso è
trasformando i dati in oro e io in realtà
obiettare un po ‘a questo tema
perché quando pensi di girare
qualcosa in oro
stai praticamente scavando qualcosa
del fatto che esiste già sei
lucidandolo e trasformandolo in
qualcosa di prezioso ma la cosa con
i dati sono che non esiste già
qualcosa crea i dati non è crudo
materiale e se pensi a cosa
crea i dati
è il tuo software è la cosa che
stai correndo ogni giorno che sta andando
per creare i dati e devi metterli
tanto pensiero nel processo di
creando i dati come a per trasformarli
dati nel cosiddetto oro um l’altro
la cosa che mi infastidisce è la gente che dice oh tu
so che non mi importa di quei grandi dati
roba e sto bene, sono solo uno scienziato dei dati
Non so nulla di software e
Penso che la chiave del successo
è quello di sposare quei due insieme nessuno
può essere solo una persona del software o solo un
persona i dati per avere successo è necessario
capire un po ‘di entrambi e così
con quei dati come software sono i dati
l’idea è un software migliore per dati migliori
dati migliori per un software migliore dove sono
Accetto che questo è un po ‘cosa
Io vado a parlare è un viaggio
che Pinterest ha attraversato così siamo andati
dall’assenza di registrazione per la registrazione
ma nessuna informazione sui dati corretti da fare
questa roba non possiamo controllare in modo errato
dati faccio questa roba che potremmo avere
controllato ma non ha capito disordinato
correlazione dei dati e causalità con i dati
e come il software può rendere ogni giorno più facile
chi viene a Pinterest questo è il
la cosa più semplice che potresti voler sapere
chi viene al mio servizio quanti?
le persone ci sono forse quante
miliardi lo fa, ma ecc
se pensi al modo in cui un servizio
funziona sembra qualcosa di simile in modo che
avere uno strato di caching della vernice che memorizza nella cache
le nostre richieste più comuni e poi passa
attraverso richieste che non colpiscono il
cache ai nostri server ng API e ng-app
parlano tra loro passano indietro
i dati per l’utente sono grandi ma quando
Dico i dati in questo contesto sono solo
letture da qualcosa come un mio sequel
database e in pratica potrebbe non farlo
essere sempre un mio sequel database che potrebbe
essere HBase o qualsiasi altra cosa, ma sono
leggendo i dati persistenti è così
quello di cui abbiamo bisogno per eseguire il servizio, così noi
avere un database di utenti che abbiamo a
database di spilli perché dal molto
primo giorno Pinterest esisteva quando tu
vieni su Pinterest, dobbiamo sapere chi
sei e quali spille hai ma cosa
non abbiamo è un modo per dire a qualsiasi
più di così, quando mi sono unito
Pinterest nella primavera del 2012 eravamo
vivendo una crescita esponenziale nel nostro
base di utenti e il modo in cui lo sapevamo
che avevamo questo database di utenti
ci ha mostrato il numero di registrazione
gli utenti stanno decollando ma quello che volevamo
sapere era perché e se guardi nel nostro
banca dati abbiamo questa base di dati che è
servendo il nostro servizio ne sappiamo molto
cose sugli utenti che conosciamo loro
nome , sappiamo il loro cognome noi
conosci il loro indirizzo email
conosciamo il loro genere sappiamo quando loro
registrati , sappiamo se ci vogliono
inviarli via email ogni giorno o una volta alla settimana
o una volta al mese, ma ciò che non sappiamo
è da dove sono venuti erano loro
di cui Google fa riferimento
Facebook sono stati indirizzati dal Nuovo
York Times sono venuti da noi dalla nostra
homepage
sono atterrati su una spilla che ho trovato
eccitanti sono atterrati su di un amico
pagina e iscriviti a Pinterest abbiamo appena avuto no
idea di cosa stessero effettivamente guidando questi
utenti di registrarsi e così abbiamo iniziato a
ipotizzo perché siamo così popolari giusto
ora è perché siamo solo su invito e
quindi la gente pensa che siamo esclusivi e di più
desiderabile è perché siamo
solo su invito
e quindi è lo stesso gruppo di persone
chi sono tutti qui si rinforzano a vicenda
è perché diffondiamo attraverso la parola di
bocca a una piccola comunità è perché
Facebook ci sta inviando un sacco di traffico
è a causa di tutte queste nuove notizie sporche
articoli che continuo a vedere su Pinterest
non avevamo idea e così abbiamo fatto quello che nessuno
vorrebbe fare se volevano tenere traccia
qualcosa come gli utenti attivi quotidianamente questo
è da Wikipedia non voglio rivedere il
tutto ma fondamentalmente se tu mai
vuole diventare una grande azienda
che Pinterest ha dall’inizio
devo avere un’idea di chi sta visitando
perché è così che piacciono le persone
gli inserzionisti vogliono davvero comprare
bulbi oculari e quindi devi sapere questo
molte persone hanno visitato oggi e fatto
qualcosa di sostanziale ma se guardi
di nuovo nella nostra architettura niente qui
ci dice qualcuna di queste cose che possiamo dire
quanti birilli sono stati creati oggi o
quanti utenti hanno firmato oggi perché
ci sono le cose che abbiamo bisogno di persistenti
esegui il nostro servizio ma non possiamo dirlo
qualcosa di più e così abbiamo aggiunto un livello
di Kafka e per quelli che non lo sono
familiarità con Kafka è solo un logging
servizio attraverso Kafka potremmo scrivere
giù quello che richiede stavamo ottenendo questo
sembra super semplice ma in realtà consapevole
quali richieste stanno arrivando nel tuo
servizio quanto tempo ci vuole per servire
loro quello che stai tornando è super
prezioso ora sai che guarda sembra
terribilmente lento in questo posto o sembra
come stiamo restituendo un sacco di 404 perché è
che o cose del genere, ma in aggiunta
significa che puoi iniziare a contare chi è
venendo così ci sono le richieste di log look
qualcosa come questo
per ogni utente di cui si scusa un tempo
ogni richiesta dice ciò che l’utente ha fatto
quella richiesta che ora era quella richiesta
quale percorso ha colpito quale stato
restituito e un sacco di altri
cose che non sto mostrando qui e così via
che abbiamo detto che possiamo finalmente contare
chi sta arrivando un Diu è un utente che colpisce
il nostro servizio con una richiesta fantastica mia
la conversazione è finita , non è così semplice
quindi se pensi a come funziona la posta elettronica
di solito quando invii a qualcuno un’email
vuoi sapere se l’hanno aperto
e non solo hanno fatto clic e andare a
Pinterest ma hanno anche disturbato
Cliccando sulla riga dell’oggetto e dicendo
ehi questo sembra un contenuto interessante
per raggiungere ciò incorporiamo un tracciamento
pixel nell’e-mail come fa la maggior parte delle persone
che lancia una piccola richiesta a
Pinterest e dice che ho aperto questa email
e sappiamo quando è stato aperto e così via
e quindi se guardi il nostro router il nostro
richiesta hog non sono solo quelle richieste
per uno spillo e un repin e visitando a
profilo utente ma c’è questo piccolo
richiesta in basso per il tracciamento
Jeff, beh , non è un vero utente
qualcuno che ha aperto la sua e-mail sul loro
telefono o sul loro laptop
non hanno visitato Pinterest a tutti loro
appena ricevuto una e-mail da noi e così ora noi
rivedere la nostra definizione di da te agli utenti
con solo un sottoinsieme di determinate richieste
in modo che è grande ora che in realtà sappiamo
chi sta arrivando , possiamo contarli e noi
puoi scrivere una query per farlo, quindi diciamo ok
sei un da te se sei nel
richieste di log e il tuo pass non è il
tenendo traccia di Jeff ed è in questo giorno
evviva
e così facciamo un grafico che assomiglia
questo e possiamo realmente vedere quanti
le persone visitano Pinterest ogni giorno
è davvero grandioso perché possiamo vedere
oops, abbiamo aperto il servizio
quei due giorni possiamo dire evviva
sembra che nel complesso stiamo crescendo ma
potremmo avere più domande che sono
quegli utenti sono gli stessi utenti ogni giorno
o nuovi utenti che ci provano per il primo
tempo le persone tornano spesso e così noi
venire con utenti attivi settimanali bene
va bene possiamo solo interrogare il nostro
richiedi di nuovo il log e dillo nell’ultimo
settimana ha fatto questa visita utente su a
questo non è il tracciamento di Jeff questi
le persone sono utenti attivi settimanali quattro
di utenti mensili attivi va bene ha fatto
queste persone visitano negli ultimi 28 giorni
e visita un percorso che non è il tracciamento
Jeff e per gli utenti attivi annuali ha fatto
visitano negli ultimi 365 giorni su a
richiesta che non sia il tracciamento Jeff
bene questo sta iniziando a sembrare un po ‘
costoso se sto registrando ogni singolo
richiesta e ritorno per un anno intero
di esso ogni volta che voglio farlo
le cose non andranno bene per me
e così invece creiamo tabelle derivate
ancora una volta è super ovvio ma
tremendamente prezioso e questo è dove
l’ingegneria del software ti aiuta a creare
i dati di cui hai bisogno , invece di solo
contando le persone che si presentano tutte
giorno possiamo scrivere una partizione su un tavolo
e s3 che dice in questo giorno questo utente
era un d8u
e sembra così così in questo giorno
questo utente aveva il tipo di azione 0 che ho
deciso arbitrariamente come da te
avevano 135 richieste che questa persona aveva
200 richieste questa persona ha avuto 3 richieste
e così di tornare alle nostre domande che
sono gli utenti sono gli stessi utenti ogni
giorno in cui posso scoprirlo possiamo scrivere
una nuova tabella di utenti xd7 persone che
visita ogni settimana ci aggreghiamo dal nostro
belle tabelle di azioni uniche non c’è
analizzando queste richieste e
provando a farlo è solo una riga per
l’utente corre in tre minuti. Ho questo
bel tavolo di attivazioni settimanali che ho a
tabella delle attivazioni mensili e ora posso
vedere quanto spesso gli utenti stanno arrivando a
Pinterest questo suona davvero stupido ma se
immagini di essere una compagnia in cui la tua
servizio è caduto quasi tutti i giorni per
negli ultimi sei mesi e tu per lo più
sto solo lavorando per assicurarmi che
le persone possono venire a Pinterest avendo
dati reali che dicono che questi sono i nostri
gli utenti questo è quanto spesso stanno venendo
indietro è super utile e quindi ecco qui
alcuni dati in cui ti ho cancellato
alcuni assi e così via ma potremmo vedere a
molte persone stavano davvero arrivando
Pinterest ogni giorno un sacco di persone erano
venendo solo una volta quella settimana volevamo
sapere cosa succede la settimana successiva e
ora possiamo guardare anche a noi perché noi
avere queste tabelle derivate e possiamo correre
una query veloce e dire bene a chi
venire ogni giorno questa settimana tendono a venire
ogni giorno della settimana prossima persone che venivano solo
una volta questa settimana quelli sono le persone che
potremmo non perdere
quelli che potrebbero non farlo
capisci pinterest e questo è un
idea intuitiva ma avendo il reale
i dati di fronte a te ti permettono allora
indirizzare quelle persone a capire cosa c’è
diverso sul loro comportamento e fare
cose per aiutarli a capire pinterest
e continuate a giocare di più ecco un altro
vista della stessa cosa nel caso in cui ti piaccia
questa visione è migliore ma in pratica è possibile
vedere le stesse tendenze in cui le persone che
visitare c’è una specie di inclinazione magica
punto in cui puoi vedere se le persone lo sono
visitando meno di forse tre giorni ish
una settimana tendono a spostarsi la settimana prossima
verso meno invece visitando più di
che tendono ad essere anche più attaccati dopo
settimana in modo che le persone che visitano sei giorni alla settimana
probabilmente tornerà ogni giorno successivo
settimana forse si sono ammalati un giorno
e così via possiamo fare altre domande così
Ho scritto questa domanda per questo discorso ma io
Volevo solo vedere se la gente tornare
è tornato una settimana all’anno fa quanti
settimane hanno probabilmente tornato questo
anno e la maggior parte di loro torna ogni
settimana e così possiamo vedere che sì di più
è comune sono venuti ogni settimana il
la seconda più comune è che sono venuti tutti
settimana tranne uno il terzo più comune è
sono venuti ogni settimana ad eccezione di due questo è
pazzo e questa è roba che non possiamo immaginare
fuori senza questa richiesta di registrazione quindi cosa
abbiamo imparato per Pinterest che possiamo
contiamo davvero i nostri utenti e Pinterest
è incredibilmente appiccicoso cosa abbiamo imparato
sui dati è software se si registra
le richieste si può ottenere molto da esso ma
devi sapere quali richieste contano
probabilmente vuoi creare la derivazione
tabelle che non stai reprimendo i tuoi registri
più e più volte e avere cose
come gli aggregati settimanali e mensili possono
rendere la vita molto più facile per
capire cose come come le persone
entrare e uscire dal servizio perché
non è che ogni giorno mi sveglio e
lavarmi i denti e dire che devo usare
Pinterest oggi è che ho costruito un
l’abitudine fuori di esso e torno sopra il
è il periodo di settimane o mesi di conteggio
difficile ma ora possiamo contare che abbiamo
completato parte una seconda parte che ho citato
una ragione per contare quale è quella
alla fine se vuoi vendere annunci
ho bisogno di sapere quante persone stanno arrivando
ci sono altri motivi come forse io
vuoi provare una nuova funzione e vedere come
ha funzionato e quindi una ragione per cui vogliamo
conteggio è sapere come stiamo facendo così
ecco il nostro grafico degli utenti attivi giornalieri
abbiamo parlato di come possiamo trovarli
interruzioni abbiamo parlato di come abbiamo potuto vedere
la crescita applichiamo questo ad un reale
situazione di caduta del 2012 abbiamo avuto solo
ha lanciato Pinterest per potersi iscrivere
con un indirizzo email così invece di
dovendo registrarsi tramite Facebook
potrebbe solo andare a pinterest.com entrare
il tuo indirizzo email che stai andando
fare dopo questa presentazione lo farò
sii eccezionale e unisciti alla rete in
Inoltre abbiamo appena rilasciato il nostro primo iOS
e app Android così invece di solo
andando al tuo computer e trovando
Pinterest ora siamo su questi adorabili
i computer tascabili bene fino a noi
volevo vedere quale risultato sarebbe
avere le nostre metriche e così abbiamo potuto vedere
che quando abbiamo fatto queste cose
le iscrizioni hanno completamente superato il
tetto questo è impressionante tutto il nostro duro
il lavoro sta pagando, possiamo vedere che no
c’è solo un urto quando abbiamo lanciato
quello che chiamiamo registrazione aperta ma c’è a
secondo colpo quando lanciamo il nostro cellulare
app stiamo ottenendo gli utenti che noi
speravo sperando di ottenere evviva
ma abbiamo iniziato a chiederci cosa stava succedendo
e spero che si presenti li sopra
in particolare chiesto che cosa stava succedendo
quando qualche mese dopo saltano dentro
le iscrizioni andarono via e noi dicemmo bene noi
hanno ancora una registrazione aperta e abbiamo ancora
App iOS e Android cosa sta succedendo e
quindi abbiamo dato un’occhiata più da vicino ai nostri dati e
abbiamo guardato le persone che si sono registrate e
avevamo candy 21 387 su hotmail.com e
Deborah 29 43 a hotmail calmo e 2
ballando 91 46 calmo hotmail e ti scommetto
potrei nominare circa 300 altri utenti
anche firmato
e allo stesso modo più tardi avevamo un visitato
fare a Yahoo e tagliare il tofu su Yahoo
e tutti questi indirizzi di posta elettronica che
probabilmente nessuno che conosci ha qualcosa
così e così sì, quello che eravamo
misurare era spam non avevamo idea di cosa
stava andando avanti con i nostri affari perché
di tutte queste persone in più che non lo sono
in realtà persone che stanno oscurando la nostra
metriche cosa con filtraggio dello spam è
che è contraddittorio ciò che intendo
questo è quello ogni volta che vieni con
è uno schema che identifichi cosa
gli spammer ci stanno facendo
andando a regolare le loro tattiche per non essere
catturato più e poi ti occupi di a
nuova regola che regolano le loro tattiche e
combatti costantemente con ciascuno di loro
altro
tranne la cosa bella di fare per
le tue metriche interne è che non ha
essere più contraddittorio che tu non hai
per bloccare il loro comportamento che non hai
far sapere a tutti che sai che sono un
spammer puoi solo dire che è adorabile
che stai facendo quello che stai facendo noi
non ti conteremo quando saremo
cercando di capire come la nostra attività è
facendo e quindi potresti prendere il
contraddittorio fuori dall’equazione e
in realtà capisco di nuovo la tua attività
e questo è quello che abbiamo fatto, ecco alcuni
esempi di alcune delle persone che potremmo
prendere così questi sono un numero di utenti in
il nostro database che ha questa bella citazione
Sono nato botanico con l’anima di un
animale adesso se ti iscrivi a Pinterest
e questa è la tua descrizione che sembra
persone perfettamente plausibili amano mettere
citazioni nelle loro descrizioni di
se stessi, ma se guardi loro
indirizzi email di nuovo vediamo questo comune
modello in cui è mai stato in maiuscolo
nome e un cognome in maiuscolo e
poi alcune lettere e poi yahoo.com
queste persone erano spammer e possiamo
dì che sono spammer perché sono così
simili tra loro ecco un altro
esempio queste sono persone il cui nome utente
è un nome femminile comune seguito da a
cifra seguita da due lettere o
a volte seguito da due lettere e
poi seguito da una cifra e così ottieni
l’ idea qui come se non fossimo computer
siamo molto molto bravi a modello
riconoscimento diciamo che queste persone guardano
come feccia abbiamo bisogno di tirarli fuori
a volte è un po ‘diverso quindi
e questo è un utente dalla Cina che ne ha 50
schede ma nessun pitone ogni uno di
queste schede è un numero di telefono per un
servizio di scorta in una città diversa in
Cina ci sono centinaia di utenti come
questo in modo che i loro profili vengano visualizzati
su Google e quando vedi il loro a
piccolo frammento vi dirà come
chiama questo servizio di scorta questi sono i
tipi di persone con cui stiamo combattendo
la cosa buona è che possiamo farlo così abbiamo
questo database di utenti e possiamo scrivere
regole che trovano queste persone persone che
avere la stessa descrizione l’una dell’altra
le persone che soddisfano questi determinati regolari
espressioni nel loro indirizzo email
persone che si iscrivono con lo stesso nome noi
può fare lo stesso per i pin che firmano
con la stessa perdita di peso – persona
chi crea la stessa immagine di perdita di peso
persone che pin solo da un singolo dominio
persone che collegano lo stesso link
gira le persone che appuntano la stessa immagine
come qualcun altro il cui famiiy persone che
creato schede chiamate I’m da boss e
fare un sacco di soldi abbiamo avuto un sacco di soldi
di quelli per un po ‘di persone che eliminano
e creare schede all’interno di un secondo popolo
chi si iscrive allo stesso ip delle persone
che ho solo firmato via e-mail che potrei
continua ad andare per sempre chiaramente c’è molto
di questi, ma il punto è per tutti
puoi semplicemente scrivere una semplice regola e basta
sembra qualcosa di simile a questo inserto
sovrascrivi la penna da tavolo oolitica
dati possibili spammer grande che è solo
un posto in s3
questo è per tutte le persone di cui prima
il nome è buono Jehovah – e il suo cognome
è Fahad, a cena questo suona
ridicolo destra non posso nemmeno dire che questi
parole ma erano non so 200.000
di queste persone che stanno incasinando la nostra
dati e quindi tutto ciò che facciamo è dire grande questo
è stupido ma sto solo scrivendo una partizione
stiamo risolvendo il nostro problema con i dati
ingegneria del software e così scriviamo tutto
delle nostre regole e popoliamo questa tabella
di possibili dati sugli spammer ed è giusto
un flusso di lavoro questo è uno screenshot dal nostro
strumento del flusso di lavoro che gestisce ogni notte noi
capire chi sta violando le nostre regole noi
decidere di non contarli nelle nostre metriche
lo integriamo con il tempo reale
servizio di spam che in realtà è
contraddittorio e deve bloccare questi
l’attività delle persone e così via non parlerò
a riguardo oggi ma sono felice di rispondere
domande a riguardo per creare una nuova tabella
chiamato utenti di spam e ora possiamo filtrare
spam e quindi prendiamo la tabella degli utenti spam
prendiamo i nostri utenti xt7 nei nostri utenti XD 28
tabella che conta le attivazioni settimanali e
attivazioni mensili
e possiamo sopportarli filtrandoli così abbiamo
versioni regolate dallo spam di tali tabelle
sappiamo davvero cosa sta succedendo e noi
creare versioni filtrate di spam di molto
di altri tavoli e ora finalmente possiamo
avere un indizio sulla nostra attività, ecco qui
un flusso di lavoro per quello è di nuovo a
flusso di lavoro ha dipendenze ha lavori
corrono ogni notte un software semplice
problema di ingegneria e siamo bravi e
così invece di questo grafico delle iscrizioni noi
abbiamo questo aspetto grafico che abbiamo effettivamente fatto
aumentare le iscrizioni molto con i nostri lanci
abbiamo anche lasciato che aprisse le porte
per lo spam e così una volta lo lasciamo fuori
una piccola linea tratteggiata di spam ora possiamo
in realtà misuriamo come possiamo fare
diciamo hey queste due settimane di sforzi che abbiamo messo
in dotazione
ritorno sull’investimento possiamo dire se
aprendo il nostro servizio in altri
i paesi è una buona idea
i dati di ecc sono software aggregano i vostri dati
costruire flussi di lavoro è un software
ingegneria per risolvere questi problemi di dati
possiamo finalmente contare chi verrà di nuovo
e abbiamo la minima idea di cosa sta succedendo
questo ancora una volta gli utenti attivi di iPhone così
Nell’autunno del 2013 abbiamo visto un cambio di passo nel
tasso di crescita delle persone che visitano su iPhone
evviva volevamo sapere perché e detto
beh è probabile perché lo eravamo
presenti in App Store e in effetti
eravamo presenti nell’App Store di
Apple per il lancio su iOS 7 ma come
molto di quel salto spiegherebbe questo
ha iniziato a scavare oltre cos’altro
potrebbe essere successo così il PM mobile
ha scritto una mail per l’intera azienda
si dispone di un controllo di dispositivo iOS out
presenti nell’App Store che abbiamo lanciato
3.0 dell’app iOS Pinterest che oggi
rappresenta un’enorme quantità di lavoro da
la squadra mobile è una combinazione ispirata
di iOS 7 e linguaggio visivo di Pinterest
il modello di interazione è stato attentamente
progettato gesti di transizione e
l’architettura dell’informazione siamo
pensò meticolosamente a quello
non sembra che fossimo solo presenti
nell’App Store che suona come noi
ricostruito un sacco di cose quindi cosa c’è
speciale su iOS 7 bene se lo guardi
ciò che è cambiato in iOS 7 dice Mac World
bene non molto tempo fa
iOS applicazioni in esecuzione in background siamo
essenzialmente bloccato in animazione sospesa
incapace di fare qualsiasi cosa finché non sei reale
tutti loro sono cambiati
Ottobre 2013
grazie all’aggiornamento dell’app in background a
funzionalità introdotta con iOS 7 così quando noi
diciamo che abbiamo completamente rinnovato Pinterest su
essere integrato con iOS 7 cosa significa
utilizziamo la loro funzione di recupero in background
per preparare i pasti a domicilio della gente
li prima che aprano l’app ora questo
è davvero una buona idea così invece di
aprendo il telefono e vedendo uno spazio vuoto
schermo si apre il telefono e non c’è
già tante foto ispirate per te
che si può vedere subito
e così abbiamo iniziato a dire bene questo
il cambiamento nel calcolo dell’uso di iPhone è
probabilmente impreciso perché lo sappiamo
stiamo facendo un recupero in background ma noi
inoltre erano presenti nell’App Store
c’era un certo effetto su quanto
questo è reale
quanto di questo è dovuto a un cambiamento in
la nostra logica così abbiamo parlato con l’iOS
sviluppatore e ha detto solo questo
gestore viene chiamato sul
sfondo l’unica cosa che facciamo è recuperare
i pasti a casa della gente e così bene siamo andati
torna ai dati e qualcuno ha fatto un
analisi e detta analisi preliminare
mostra gli assegni di background solo contribuisci
una piccola parte del guadagno guadagnato
fantastico davvero che saltare quel salto è
davvero grande se sei una persona di dati e io
so che ho detto che tutti sono una persona di dati
dovresti essere tutti persone di dati che sei
guardandolo e vuoi essere al 100%
certo che ciò è vero perché se
è vero che dovresti cercare di ottenere
in App Store ogni settimana questa cosa
è il vettore di crescita più grande che tu abbia mai avuto
trovato e così poche settimane dopo abbiamo detto
lo sai solo continua a rodere
con me voglio davvero assicurarmi il 100%
questa spiegazione abbiamo trovato solo account
per una piccola quantità di crescita e così
cosa abbiamo fatto abbiamo preso quel registro delle richieste
di cui abbiamo parlato per ogni singolo
richiesta per ogni utente che conosciamo quando
è successo quello che era una richiesta di ecc
e possiamo fare un grafico questo grafico
molto piccolo e questo è intenzionale
non dovrebbe vedere tutti i dettagli ma
la grande linea tratteggiata è quando abbiamo lanciato
la nostra nuova app iOS e spero che tu possa
vedi quello a destra della linea
c’è un sacco di blu e verde
strisce a sinistra della linea voi
per lo più vedere piccoli punti rossi blu e
strisce verdi puntini rossi cosa c’è
è successo qui è annotato ciascuno di
i gestori che sono stati chiamati così v3 a casa
feed v3 get pin v3 get utente v3 get
notifiche centinaia di questi gestori
ciascuno per diversi endpoint API e noi
li ho appena colorati finché non ce n’erano
tutte le strisce che erano rosse solo
usando i dati per cercare di capire cosa c’è
andare avanti è quello che ha detto l’analista
puoi facilmente vedere lunghe macchie di blu
quali sono i colpi di fondo a
per lo più v3 home feed di cui sapevamo
già e abbiamo fatto lo sviluppatore
accennato che potrebbero esserci questi ma
dopo che l’app 3.0 è stata lanciata , puoi farlo
vedi anche lunghe macchie di triangoli verdi
e non ci sono sbavature corrispondenti di
cerchi verdi prima 18 ottobre questo
mi fa credere che quando nel
in background l’app può fare molto di più che
recuperare i dati del feed home v3 come software
l’ ingegnere del software dice che non può farlo
guardiamo i dati che sicuramente non sembrano
in questo modo un’altra cosa sta succedendo
ingegnere del software prende un altro aspetto come
per le nostre discussioni di ieri, in realtà
le applicazioni iOS confermate possono essere
lanciato per fare un recupero in background anche
quando non stanno visibilmente correndo e no
apparendo nel vassoio multitasking questo
potrebbe spiegare le strisce verdi erano
vedendo così abbiamo preso una spiegazione di
il software che abbiamo esaminato i dati cercato
capire cosa sta succedendo solo
incontrato per un odore non al
differenza abbiamo guardato di nuovo informato
come stiamo capendo il nostro software
dati come software che costruiscono questo ciclo adesso
che sappiamo che possiamo costruire stime
di diversi conteggi quando si esclude
diversi gestori quindi se solo escludiamo
da quello di casa uno è la linea rossa
e se escludiamo quelli verdi come
bene e così via e così possiamo avere un senso
di ciò che dipende dalla nostra crescita effettiva
su quali gestori pensiamo che siano falsi ma
più di questo possiamo provare a costruirlo
nel nostro software e così invece di
avendo un registro delle richieste che assomiglia
questo aggiungiamo un’altra colonna e se il
richiesta viene chiamata nel
sfondo dice così se la richiesta è
essendo chiamato in primo piano, lo dice
e ora possiamo contare queste persone come da
perché hai avuto una richiesta attiva
ed escludi queste persone da u
perché avevano una richiesta in background
ancora tutto sembra semplice tutto
Sto parlando di come stai bene
Certo che dovresti farlo e ancora
effettivamente farlo è difficile e
in realtà sapendo che dovresti farlo non lo è
sempre ovvio e quindi abbiamo solo
aggiustiamo il nostro lavoro dati diciamo ok stato app
non è lo sfondo e attivo non lo facciamo
voglio accidentalmente non contare come da une
uno su vecchie versioni del nostro cellulare
i clienti quindi anche lo stato dell’app è nullo
ora abbiamo un nuovo conteggio di chi è un quotidiano
utente attivo sulla nostra piattaforma e possiamo
vedi ora il nostro conteggio rivisto scende a
sacco un sacco di quel salto non era reale in
pratica che potremmo avere sostenuto pieno
con i dati non è complicato
comunque posso parlarne anche se
ti piace ma ora ne contiamo davvero
quanti utenti visitano Pinterest
di nuovo e possiamo vedere che abbiamo imparato
su cosa sta facendo il nostro software
guardando i dati come software noi
in realtà ho imparato qualcosa su come il nostro
app che non avevamo capito
prima di guardare i dati noi
capire come è cambiata l’attività in
alcuni punti di tempo e possiamo ora
aggiungi la registrazione esplicita che ci aiuta
capire cosa sta succedendo sul conteggio era
anche più difficile di quanto pensassimo, ma ora noi
avere un senso di chi sta arrivando
Pinterest parte terza evitando il caos dei dati
quindi abbiamo parlato di come l’app e il
API ora attraverso Kafka la richiesta
accedi al log delle richieste API raw così noi
avere un registro di ogni richiesta HTTP in arrivo
in esso sta andando benissimo oltre a quello
ovviamente ora che abbiamo questo
capacità diciamo bene scriviamo
qualche altra roba forse ogni volta qualcuno
iscriviti diremo quale metodo loro
ha scelto di iscriversi è stato Facebook o
Twitter che IP stavano venendo da esso
iscriviti su quali altre informazioni hanno fatto
Dacci e così via per ogni evento che
succede per ogni spillo che conosci, loro
fallo tramite il bookmarklet che fanno
tramite il pulsante dove sta arrivando
da e così via e in pratica c’è
sempre più e più di questi registri
questa è davvero una buona cosa
perché significa che gli sviluppatori
preoccuparsi dei dati significa che vogliono
per sapere hey sto costruendo questa cosa se io
registro qualcosa che sarò in grado di scoprire
più su di esso ma significa anche che tu
avere tutti questi argomenti che si accumulano e tu
bisogno di ordinare le stesse cose
accadendo sotto così stiamo scrivendo
tutti questi registri e tutti questi registri vanno a
s3 e abbiamo parlato di quanto sia importante
doveva avere tabelle derivate per essere in grado di
conta cose come le attivazioni quotidiane e
attivazioni mensili e dal mensile
attiva e crea il possibile
spammer in spam regolato e spam
aggiustamenti mensili attivi e così via
tutta la storia ha un senso e questa storia
ha senso anche ma in questa storia fa
senso pure
ma presto si trasforma in questo abbiamo io
non so nemmeno quanti tavoli odio
pensare probabilmente migliaia di decine di
migliaia che giacciono in s3 non lo facciamo
sappiamo cosa c’è nella metà di loro no
sapere chi li ha messi lì non lo facciamo nemmeno
sapere quali sono business-critical
tutto il tempo e quindi se non lo sei
attenti a presto terra e dati caos il
altra cosa in realtà qualcun altro ha parlato
ad oggi è JSON, quindi torna indietro
l’inizio della mia storia Pinterest è
circa 50 persone il servizio è in calo a
molto spesso siamo davvero solo
cercando di cavartela e anche costruendone alcune
registrazione per avere la minima idea di cosa sta succedendo
e così abbiamo scelto JSON JSON è davvero carino
perché si può leggere lo sguardo c’è tutto
alcune cose su questo pin che puoi aggiungere
roba ad esso più tardi quando ti realizzi
ho dimenticato una chiave importante, basta aggiungerla
in ma ha alcuni aspetti negativi pure in modo da
se alcuni sentono di farlo non lo è più
utile se è stato deprecato non lo fai
davvero arrivare a deprecato è solo gentile
di bastoni intorno e non fa nulla
per te se aggiungi una nuova chiave booleana
più tardi è il modo in cui sarai nullo
le cose che non hai toccato in a
mentre perché non è mai stato popolato
se stai facendo una sorta di aggiornamenti pigri e
non sarà riempito nel significato
di null è false vedere per alcune cose e
la verità per gli altri e analizzarla è molto
lento quindi sì, abbiamo questo JSON
funzione e puoi uscire dal campo
il JSON ma ci vuole molto tempo e così
in pratica hai creato qualche derivazione
tavolo che dovrai riutilizzare ogni volta
ma ogni volta che aggiungi una nuova chiave
stai portando via il vantaggio di JSON
quale è ora necessario aggiornare il
schema della tua tabella derivata e scrivi a
nuova query quindi anziché JSON abbiamo iniziato
andare verso il risparmio economico è giusto
enum e structs e quindi abbiamo a
struct for a pin promotion that has all
questi diversi campi che sono numeri interi
è bello che siano interi e
stringhe che potrebbero anche essere JSON
più o meno eccetto che lo sai
serializzare in modo diverso e così via ah ma
la magia del risparmio è che puoi
in realtà nidificare queste cose in modo che tu possa
avere un evento azione di promozione pin che
ha una promozione perno all’interno di esso che
ha informazioni annidate e così hai
questi dati ben definito molto bene digitato
struttura
che puoi scavare nel profondo quanto vuoi
trova le connessioni necessarie e nessuna
di questo ha fatto fluire un caos di cose
in giro a caso quindi ho appena descritto JSON
come non tipizzato e parsimonia contro altrettanto forte
digitato se sei un ingegnere del software
forse questo suona familiare
i dati come software forse sono le cose che
dobbiamo fare per mantenere il nostro software in
controllare sono le stesse cose di cui abbiamo bisogno
dati quindi i problemi di cui abbiamo parlato
proliferazione di tabelle senza dati chiari
Mancanza di flussi di lavoro duplicati di proprietà
dello schema come possiamo trasformarla in
ordina cose come un dato centrale
chiave di repository condivisa tabelle attraverso il
deprecazione di tutta la società di inutilizzato
tabelle di test per la precisione dei dati auto
documentare bene i tavoli se riesco ad uscire
la parola data e le tabelle in tutti questi
e invece siccing della parola codice e
il software suona esattamente come
abbiamo fatto ingegneria del software
per sempre abbiamo un codice centrale
repository si tiene traccia delle cose in esso
avere funzioni chiave condivise in tutto il
tutta la compagnia non ho intenzione di
ri-implementare l’ordinamento più di te
siamo deprecati del codice inutilizzato che abbiamo
test per la precisione del nostro codice che abbiamo
codice di auto-documentazione e quindi da evitare
i dati confondono le soluzioni allo stesso modo di
evitare i dati del caos del software come software
software come dati ok
Mi fermerò un attimo qui cosa
di cui abbiamo parlato finora abbiamo aggiunto
Registrando Kafka ora abbiamo un registro di tutti
le richieste in arrivo abbiamo un indizio
quello che sta succedendo abbiamo clonato i nostri database
che potremmo fare analisi offline del
pin e gli utenti che stavano servendo a
in tempo reale ma senza aggiungere QPS in più
quei database che porteranno il nostro
servizio giù abbiamo costruito flussi di lavoro per
aggregare tali dati e derivarne
tavoli che abbiamo definito abbiamo abbandonato una missione
non erano importanti come la posta elettronica
monitoraggio in modo da poter dire chi è il nostro attuale
gli utenti sono noi schiacciare gli spammer che abbiamo imparato
molto su come funziona la nostra app
dobbiamo ignorare alcune richieste fantasma
quello stava accadendo quando nessuno era
effettivamente lì abbiamo creato schemi per
i nostri dati hanno aggiunto test per l’accuratezza dei dati
dove ci ha riportato dove eravamo noi?
volevo essere all’inizio solo per essere
in grado di contare i nostri utenti e avere un indizio
cosa sta succedendo
quindi, dove andiamo da qui, vogliamo
per contarlo scala internet ricorda il
obiettivo era quello di sapere come stiamo facendo hai fatto
torna a questo problema che abbiamo visto così grande
salta e usa e detto bene è
probabilmente perché ci sono stati illustrati nel
App Store
questa spiegazione è perfettamente ragionevole
ma dove non cadere nello spettro
di certezza quindi se sei organizzato da
correlazione alla causalità molto del
cose che dici sono molto più vicini al
fine di correlazione di quanto tu pensi che siano
l’obiettivo di molti dei dati cose noi
fare è avvicinarsi all’inferenza causale
spostare più a destra sulla
spettro un modo eccellente per farlo
ben dispiaciuto ah ecco un esempio per
il consumo di formaggio pro capite è correlato
molto fortemente con un numero di persone
chi si aggroviglia nel loro letto muore
perché nelle loro lenzuola ogni anno
potrebbe fare una storia per questo se mangi un
molto formaggio poi si indigestione
e poi non dormi così bene
ti getti e ti giri a letto
impigliarsi nelle lenzuola e tu
morire
quella storia non è del tutto irragionevole
questa storia anche non interamente
forse irragionevole se è molto
probabile che sia presente nell’app
Il negozio porterà ad una crescita dei nostri utenti
ma quanto è bella la mia storia
correlazione o causalità e così qui tu
venire a un test di b che vorrei discutere
è il modo migliore per ridimensionare il tipo di
dati e software con la tua azienda a
sapere cosa sta succedendo in modo così veloce
AGGIORNAMENTO si prende la popolazione si
dividilo in controllo e cura te
applicare il trattamento per il trattamento
non si applicano i trattamenti loro
controlla tu misura cosa succede così qui
hai il controllo abilitato a dividerli
in due misuri il risultato che vuoi
le persone a diventare blu guardano più persone
diventa blu nel gruppo abilitato che dovremmo
spedirlo ma dovremmo avere un sacco di cose
vieni qui ho dato un sacco di discorsi
su forse test non ho intenzione di parlare
su di esso molto oggi sono felice di chattare
abbastanza qui
alcune semplici cose che vuoi sapere era
quello differente statisticamente significativo
un sacco di persone dicono la cosa sul
sinistra
questo è mumbo jumbo di cui stai parlando
se è significativo
non lo è, naturalmente, è così
la definizione di up è che ci sono
più di queste persone bene il problema è
se non è significativo potrebbe non esserlo
vero potrebbe essere dovuto al caso
per quanto riguarda gli effetti novità è in realtà
vero che molte persone semplicemente cliccano a
pulsante perché non sanno cosa
lo farà ma l’obiettivo della tua azienda è
non aggiungere nuovi pulsanti ogni giorno
le persone li cliccheranno perché loro
non so cosa faranno è a
creare un cambiamento a lungo termine in cui le persone
capire il valore di questi nuovi
presenta la segmentazione dell’utente che potrebbe
influenzare alcune persone più di altri
la trappola di questo è che puoi andare giù a
strada molto lunga di segmentazione dove
sei come oh non sembra terribile per
uomini e Kazakistan si scopre che c’è 8
di loro probabilmente non ti importa di avere
stare attenti a questo e infine
errori di casualizzazione è il goop abilitato
così molto più in alto si è scoperto che
hai randomizzato persone in modo errato e
il gruppo abilitato era migliore prima del
il test è iniziato come ho detto che non ho intenzione di andare
troppo in questo, ma di nuovo nei dati
come tema del software, questo è il software
può davvero aiutare a fare il giusto
la cosa dovrebbe essere facile da fare male
cosa dovrebbe essere difficile costruire strumenti che
rendere facile fare la cosa giusta con
dati e faticano a sbagliare
la cosa mostra solo effetti significativi
differenziare novità rispetto a lungo termine
effetti lascia che il tuo strumento permetta alle persone di farlo
confrontare importanti segmenti di utenti senza
facendo clic su un milione di elenchi a discesa
loro quando ci sono errori di randomizzazione
e molto di più
contando una scala internet, si prega di fare un / b
testare questo è stato un segmento molto breve di
un discorso più lungo ma sono felice di chattare
su più dati come software dove siamo
ora fai leva sulle analisi della scala di test a / b
con gli strumenti che fanno la cosa giusta dovrebbero
essere facile a fare la cosa sbagliata dovrebbe essere
difficile vedere l’intero conteggio delle conversazioni è difficile
abbiamo ottenuto tutto sbagliato in ogni fase del
il modo in cui prima non avevamo alcuna registrazione
per niente chiaro cosa sta succedendo
poi abbiamo registrato ogni richiesta come DA
bene non dovremmo essere certe cose
non contiamo quindi abbiamo interferito con lo spam
con le metriche ci è voluto molto tempo
analizzare i nostri registri abbiamo avuto recuperi di sfondo
Non ho nemmeno parlato di cose del genere
schede del browser che le persone lasciano aperte
screen saver che eseguono widget
che le persone installano sui loro siti web
tutti i tipi di cose dove fare i dati
correttamente devi sapere come
il software funziona a cui devi pensare
ben Gee se si mette un widget sul
la pagina web dovrebbe essere considerata come una DA o
non come appare nei nostri registri
e ogni sorta di cose di cui non ho parlato
su che cosa per persone in quale paese
sono loro in quelle domande sono più difficili
di quanto tu possa pensare
i dati sono indisciplinati se non si dispone di dati
governance con cui finirai
il caos le soluzioni sono simili a quelle
per il software si usa erroneamente la parsimonia
scrivi cose scrivi test e infine
le decisioni di scala eseguono automaticamente i test a / b
la raccolta delle metriche lo rende facile da fare
la scrittura sbagliata rende facile fare il
cosa giusta e difficile sbagliare
cosa e costruire una cultura di
dati di sperimentazione come software
i dati del software in cui non puoi essere bravo
dati senza capire il software
il tuo software non sarà buono a meno che
hai dati grazie
Dovrei avere tempo per le domande sì
c’è almeno una domanda Judy up
come hai risolto il problema?
utenti legittimi da una SIA che siamo
pubblicare spille maniacali ma non lo erano
rilevante per l’utente in Europa
scusa, come faccio a mostrare il problema?
l’utente dall’Asia ciao è risolto o
hai bloccarli probabilmente sì attraverso
un utente dal tuo ok quindi la domanda è
come possiamo evitare una sorta di spam dall’Asia
da influenzare le persone in Europa noi
in realtà vuole impedire lo spam
ovunque da influire sugli utenti ovunque
questo è più nei nostri sistemi in tempo reale ma
in realtà è abbastanza simile in questo
prova a usare i dati per rilevare la massa
azione e prevenire le persone che stanno prendendo
azione di massa dall’effetto
gente che è molto generica se gente
Ho dei follow-up più specifici , sono felice
seguire offline ma fondamentalmente te
può rilevare queste cose con cose come
apprendimento automatico o semplicemente scritto a mano
regole e quindi l’obiettivo principale è entrambi
ottenere parametri di business corretti che è
di cosa ho parlato e anche di fare
certo l’esperienza su Pinterest è
positivo per i nostri utenti che significa
impedendo a quelle persone di
diffondendo il loro contenuto a vicenda
domande ti ricordo del libero
Abbonamento Pinterest a disposizione di tutti
grazie per essere venuto grazie per
te stesso
Sono Andrea Burbank Sono un ricercatore di dati
su Pinterest se non hai familiarità con
Pinterest è una scoperta visiva
piattaforma per trovare nuove idee e provarle
nella vita reale se non l’hai provato
dovresti le persone nell’ultimo discorso
avevo degli omaggi Lego gratuiti che sto dando
iscrizione gratuita a Pinterest per tutti
lo provi dopo il mio discorso puoi andare
a Pinterest calma se non ti è familiare
con esso , ad esempio, mia sorella ha chiamato
me ieri gettò una festa di compleanno
per il mio nipote di sei anni hanno riempito
palloncini d’acqua con acqua e mettere minuscolo
i dinosauri dentro congelati li hanno presi
fuori e ora avevano uova di dinosauro che
loro hanno dovuto aprirsi e il
la bambina di sei anni pensava che fosse incredibile
questo è il genere di cose che puoi trovare
su Pinterest come per me mi sono iscritto
Pinterest nel 2012 eravamo circa 50
persone allora o circa 800 persone ora così
in quel periodo ho creato molti dati
l’infrastruttura ha fatto molti dati
l’analisi ha costruito il nostro framework di test A / B
e ora sto facendo una sorta di classifica e
tipo di rilevanza di cose così ho toccato
anche molti pezzi dello stack di dati
come fare software ed è per questo che voglio
per parlare con te oggi di software e
dati e come dipendono l’ uno dall’altro
così anche io ho la tendenza a parlare
veloce Io vado a cercare di parlare lentamente
ma se in qualsiasi momento affretto mi sento libero
per alzare la mano e cercherò di
lento giù non è perché sono
nervoso è solo un bene, parlo davvero
ok veloce il tema di questo discorso è
trasformando i dati in oro e io in realtà
obiettare un po ‘a questo tema
perché quando pensi di girare
qualcosa in oro
stai praticamente scavando qualcosa
del fatto che esiste già sei
lucidandolo e trasformandolo in
qualcosa di prezioso ma la cosa con
i dati sono che non esiste già
qualcosa crea i dati non è crudo
materiale e se pensi a cosa
crea i dati
è il tuo software è la cosa che
stai correndo ogni giorno che sta andando
per creare i dati e devi metterli
tanto pensiero nel processo di
creando i dati come a per trasformarli
dati nel cosiddetto oro um l’altro
la cosa che mi infastidisce è la gente che dice oh tu
so che non mi importa di quei grandi dati
roba e sto bene, sono solo uno scienziato dei dati
Non so nulla di software e
Penso che la chiave del successo
è quello di sposare quei due insieme nessuno
può essere solo una persona del software o solo un
persona i dati per avere successo è necessario
capire un po ‘di entrambi e così
con quei dati come software sono i dati
l’idea è un software migliore per dati migliori
dati migliori per un software migliore dove sono
Accetto che questo è un po ‘cosa
Io vado a parlare è un viaggio
che Pinterest ha attraversato così siamo andati
dall’assenza di registrazione per la registrazione
ma nessuna informazione sui dati corretti da fare
questa roba non possiamo controllare in modo errato
dati faccio questa roba che potremmo avere
controllato ma non ha capito disordinato
correlazione dei dati e causalità con i dati
e come il software può rendere ogni giorno più facile
chi viene a Pinterest questo è il
la cosa più semplice che potresti voler sapere
chi viene al mio servizio quanti?
le persone ci sono forse quante
miliardi lo fa, ma ecc
se pensi al modo in cui un servizio
funziona sembra qualcosa di simile in modo che
avere uno strato di caching della vernice che memorizza nella cache
le nostre richieste più comuni e poi passa
attraverso richieste che non colpiscono il
cache ai nostri server ng API e ng-app
parlano tra loro passano indietro
i dati per l’utente sono grandi ma quando
Dico i dati in questo contesto sono solo
letture da qualcosa come un mio sequel
database e in pratica potrebbe non farlo
essere sempre un mio sequel database che potrebbe
essere HBase o qualsiasi altra cosa, ma sono
leggendo i dati persistenti è così
quello di cui abbiamo bisogno per eseguire il servizio, così noi
avere un database di utenti che abbiamo a
database di spilli perché dal molto
primo giorno Pinterest esisteva quando tu
vieni su Pinterest, dobbiamo sapere chi
sei e quali spille hai ma cosa
non abbiamo è un modo per dire a qualsiasi
più di così, quando mi sono unito
Pinterest nella primavera del 2012 eravamo
vivendo una crescita esponenziale nel nostro
base di utenti e il modo in cui lo sapevamo
che avevamo questo database di utenti
ci ha mostrato il numero di registrazione
gli utenti stanno decollando ma quello che volevamo
sapere era perché e se guardi nel nostro
banca dati abbiamo questa base di dati che è
servendo il nostro servizio ne sappiamo molto
cose sugli utenti che conosciamo loro
nome , sappiamo il loro cognome noi
conosci il loro indirizzo email
conosciamo il loro genere sappiamo quando loro
registrati , sappiamo se ci vogliono
inviarli via email ogni giorno o una volta alla settimana
o una volta al mese, ma ciò che non sappiamo
è da dove sono venuti erano loro
di cui Google fa riferimento
Facebook sono stati indirizzati dal Nuovo
York Times sono venuti da noi dalla nostra
homepage
sono atterrati su una spilla che ho trovato
eccitanti sono atterrati su di un amico
pagina e iscriviti a Pinterest abbiamo appena avuto no
idea di cosa stessero effettivamente guidando questi
utenti di registrarsi e così abbiamo iniziato a
ipotizzo perché siamo così popolari giusto
ora è perché siamo solo su invito e
quindi la gente pensa che siamo esclusivi e di più
desiderabile è perché siamo
solo su invito
e quindi è lo stesso gruppo di persone
chi sono tutti qui si rinforzano a vicenda
è perché diffondiamo attraverso la parola di
bocca a una piccola comunità è perché
Facebook ci sta inviando un sacco di traffico
è a causa di tutte queste nuove notizie sporche
articoli che continuo a vedere su Pinterest
non avevamo idea e così abbiamo fatto quello che nessuno
vorrebbe fare se volevano tenere traccia
qualcosa come gli utenti attivi quotidianamente questo
è da Wikipedia non voglio rivedere il
tutto ma fondamentalmente se tu mai
vuole diventare una grande azienda
che Pinterest ha dall’inizio
devo avere un’idea di chi sta visitando
perché è così che piacciono le persone
gli inserzionisti vogliono davvero comprare
bulbi oculari e quindi devi sapere questo
molte persone hanno visitato oggi e fatto
qualcosa di sostanziale ma se guardi
di nuovo nella nostra architettura niente qui
ci dice qualcuna di queste cose che possiamo dire
quanti birilli sono stati creati oggi o
quanti utenti hanno firmato oggi perché
ci sono le cose che abbiamo bisogno di persistenti
esegui il nostro servizio ma non possiamo dirlo
qualcosa di più e così abbiamo aggiunto un livello
di Kafka e per quelli che non lo sono
familiarità con Kafka è solo un logging
servizio attraverso Kafka potremmo scrivere
giù quello che richiede stavamo ottenendo questo
sembra super semplice ma in realtà consapevole
quali richieste stanno arrivando nel tuo
servizio quanto tempo ci vuole per servire
loro quello che stai tornando è super
prezioso ora sai che guarda sembra
terribilmente lento in questo posto o sembra
come stiamo restituendo un sacco di 404 perché è
che o cose del genere, ma in aggiunta
significa che puoi iniziare a contare chi è
venendo così ci sono le richieste di log look
qualcosa come questo
per ogni utente di cui si scusa un tempo
ogni richiesta dice ciò che l’utente ha fatto
quella richiesta che ora era quella richiesta
quale percorso ha colpito quale stato
restituito e un sacco di altri
cose che non sto mostrando qui e così via
che abbiamo detto che possiamo finalmente contare
chi sta arrivando un Diu è un utente che colpisce
il nostro servizio con una richiesta fantastica mia
la conversazione è finita , non è così semplice
quindi se pensi a come funziona la posta elettronica
di solito quando invii a qualcuno un’email
vuoi sapere se l’hanno aperto
e non solo hanno fatto clic e andare a
Pinterest ma hanno anche disturbato
Cliccando sulla riga dell’oggetto e dicendo
ehi questo sembra un contenuto interessante
per raggiungere ciò incorporiamo un tracciamento
pixel nell’e-mail come fa la maggior parte delle persone
che lancia una piccola richiesta a
Pinterest e dice che ho aperto questa email
e sappiamo quando è stato aperto e così via
e quindi se guardi il nostro router il nostro
richiesta hog non sono solo quelle richieste
per uno spillo e un repin e visitando a
profilo utente ma c’è questo piccolo
richiesta in basso per il tracciamento
Jeff, beh , non è un vero utente
qualcuno che ha aperto la sua e-mail sul loro
telefono o sul loro laptop
non hanno visitato Pinterest a tutti loro
appena ricevuto una e-mail da noi e così ora noi
rivedere la nostra definizione di da te agli utenti
con solo un sottoinsieme di determinate richieste
in modo che è grande ora che in realtà sappiamo
chi sta arrivando , possiamo contarli e noi
puoi scrivere una query per farlo, quindi diciamo ok
sei un da te se sei nel
richieste di log e il tuo pass non è il
tenendo traccia di Jeff ed è in questo giorno
evviva
e così facciamo un grafico che assomiglia
questo e possiamo realmente vedere quanti
le persone visitano Pinterest ogni giorno
è davvero grandioso perché possiamo vedere
oops, abbiamo aperto il servizio
quei due giorni possiamo dire evviva
sembra che nel complesso stiamo crescendo ma
potremmo avere più domande che sono
quegli utenti sono gli stessi utenti ogni giorno
o nuovi utenti che ci provano per il primo
tempo le persone tornano spesso e così noi
venire con utenti attivi settimanali bene
va bene possiamo solo interrogare il nostro
richiedi di nuovo il log e dillo nell’ultimo
settimana ha fatto questa visita utente su a
questo non è il tracciamento di Jeff questi
le persone sono utenti attivi settimanali quattro
di utenti mensili attivi va bene ha fatto
queste persone visitano negli ultimi 28 giorni
e visita un percorso che non è il tracciamento
Jeff e per gli utenti attivi annuali ha fatto
visitano negli ultimi 365 giorni su a
richiesta che non sia il tracciamento Jeff
bene questo sta iniziando a sembrare un po ‘
costoso se sto registrando ogni singolo
richiesta e ritorno per un anno intero
di esso ogni volta che voglio farlo
le cose non andranno bene per me
e così invece creiamo tabelle derivate
ancora una volta è super ovvio ma
tremendamente prezioso e questo è dove
l’ingegneria del software ti aiuta a creare
i dati di cui hai bisogno , invece di solo
contando le persone che si presentano tutte
giorno possiamo scrivere una partizione su un tavolo
e s3 che dice in questo giorno questo utente
era un d8u
e sembra così così in questo giorno
questo utente aveva il tipo di azione 0 che ho
deciso arbitrariamente come da te
avevano 135 richieste che questa persona aveva
200 richieste questa persona ha avuto 3 richieste
e così di tornare alle nostre domande che
sono gli utenti sono gli stessi utenti ogni
giorno in cui posso scoprirlo possiamo scrivere
una nuova tabella di utenti xd7 persone che
visita ogni settimana ci aggreghiamo dal nostro
belle tabelle di azioni uniche non c’è
analizzando queste richieste e
provando a farlo è solo una riga per
l’utente corre in tre minuti. Ho questo
bel tavolo di attivazioni settimanali che ho a
tabella delle attivazioni mensili e ora posso
vedere quanto spesso gli utenti stanno arrivando a
Pinterest questo suona davvero stupido ma se
immagini di essere una compagnia in cui la tua
servizio è caduto quasi tutti i giorni per
negli ultimi sei mesi e tu per lo più
sto solo lavorando per assicurarmi che
le persone possono venire a Pinterest avendo
dati reali che dicono che questi sono i nostri
gli utenti questo è quanto spesso stanno venendo
indietro è super utile e quindi ecco qui
alcuni dati in cui ti ho cancellato
alcuni assi e così via ma potremmo vedere a
molte persone stavano davvero arrivando
Pinterest ogni giorno un sacco di persone erano
venendo solo una volta quella settimana volevamo
sapere cosa succede la settimana successiva e
ora possiamo guardare anche a noi perché noi
avere queste tabelle derivate e possiamo correre
una query veloce e dire bene a chi
venire ogni giorno questa settimana tendono a venire
ogni giorno della settimana prossima persone che venivano solo
una volta questa settimana quelli sono le persone che
potremmo non perdere
quelli che potrebbero non farlo
capisci pinterest e questo è un
idea intuitiva ma avendo il reale
i dati di fronte a te ti permettono allora
indirizzare quelle persone a capire cosa c’è
diverso sul loro comportamento e fare
cose per aiutarli a capire pinterest
e continuate a giocare di più ecco un altro
vista della stessa cosa nel caso in cui ti piaccia
questa visione è migliore ma in pratica è possibile
vedere le stesse tendenze in cui le persone che
visitare c’è una specie di inclinazione magica
punto in cui puoi vedere se le persone lo sono
visitando meno di forse tre giorni ish
una settimana tendono a spostarsi la settimana prossima
verso meno invece visitando più di
che tendono ad essere anche più attaccati dopo
settimana in modo che le persone che visitano sei giorni alla settimana
probabilmente tornerà ogni giorno successivo
settimana forse si sono ammalati un giorno
e così via possiamo fare altre domande così
Ho scritto questa domanda per questo discorso ma io
Volevo solo vedere se la gente tornare
è tornato una settimana all’anno fa quanti
settimane hanno probabilmente tornato questo
anno e la maggior parte di loro torna ogni
settimana e così possiamo vedere che sì di più
è comune sono venuti ogni settimana il
la seconda più comune è che sono venuti tutti
settimana tranne uno il terzo più comune è
sono venuti ogni settimana ad eccezione di due questo è
pazzo e questa è roba che non possiamo immaginare
fuori senza questa richiesta di registrazione quindi cosa
abbiamo imparato per Pinterest che possiamo
contiamo davvero i nostri utenti e Pinterest
è incredibilmente appiccicoso cosa abbiamo imparato
sui dati è software se si registra
le richieste si può ottenere molto da esso ma
devi sapere quali richieste contano
probabilmente vuoi creare la derivazione
tabelle che non stai reprimendo i tuoi registri
più e più volte e avere cose
come gli aggregati settimanali e mensili possono
rendere la vita molto più facile per
capire cose come come le persone
entrare e uscire dal servizio perché
non è che ogni giorno mi sveglio e
lavarmi i denti e dire che devo usare
Pinterest oggi è che ho costruito un
l’abitudine fuori di esso e torno sopra il
è il periodo di settimane o mesi di conteggio
difficile ma ora possiamo contare che abbiamo
completato parte una seconda parte che ho citato
una ragione per contare quale è quella
alla fine se vuoi vendere annunci
ho bisogno di sapere quante persone stanno arrivando
ci sono altri motivi come forse io
vuoi provare una nuova funzione e vedere come
ha funzionato e quindi una ragione per cui vogliamo
conteggio è sapere come stiamo facendo così
ecco il nostro grafico degli utenti attivi giornalieri
abbiamo parlato di come possiamo trovarli
interruzioni abbiamo parlato di come abbiamo potuto vedere
la crescita applichiamo questo ad un reale
situazione di caduta del 2012 abbiamo avuto solo
ha lanciato Pinterest per potersi iscrivere
con un indirizzo email così invece di
dovendo registrarsi tramite Facebook
potrebbe solo andare a pinterest.com entrare
il tuo indirizzo email che stai andando
fare dopo questa presentazione lo farò
sii eccezionale e unisciti alla rete in
Inoltre abbiamo appena rilasciato il nostro primo iOS
e app Android così invece di solo
andando al tuo computer e trovando
Pinterest ora siamo su questi adorabili
i computer tascabili bene fino a noi
volevo vedere quale risultato sarebbe
avere le nostre metriche e così abbiamo potuto vedere
che quando abbiamo fatto queste cose
le iscrizioni hanno completamente superato il
tetto questo è impressionante tutto il nostro duro
il lavoro sta pagando, possiamo vedere che no
c’è solo un urto quando abbiamo lanciato
quello che chiamiamo registrazione aperta ma c’è a
secondo colpo quando lanciamo il nostro cellulare
app stiamo ottenendo gli utenti che noi
speravo sperando di ottenere evviva
ma abbiamo iniziato a chiederci cosa stava succedendo
e spero che si presenti li sopra
in particolare chiesto che cosa stava succedendo
quando qualche mese dopo saltano dentro
le iscrizioni andarono via e noi dicemmo bene noi
hanno ancora una registrazione aperta e abbiamo ancora
App iOS e Android cosa sta succedendo e
quindi abbiamo dato un’occhiata più da vicino ai nostri dati e
abbiamo guardato le persone che si sono registrate e
avevamo candy 21 387 su hotmail.com e
Deborah 29 43 a hotmail calmo e 2
ballando 91 46 calmo hotmail e ti scommetto
potrei nominare circa 300 altri utenti
anche firmato
e allo stesso modo più tardi avevamo un visitato
fare a Yahoo e tagliare il tofu su Yahoo
e tutti questi indirizzi di posta elettronica che
probabilmente nessuno che conosci ha qualcosa
così e così sì, quello che eravamo
misurare era spam non avevamo idea di cosa
stava andando avanti con i nostri affari perché
di tutte queste persone in più che non lo sono
in realtà persone che stanno oscurando la nostra
metriche cosa con filtraggio dello spam è
che è contraddittorio ciò che intendo
questo è quello ogni volta che vieni con
è uno schema che identifichi cosa
gli spammer ci stanno facendo
andando a regolare le loro tattiche per non essere
catturato più e poi ti occupi di a
nuova regola che regolano le loro tattiche e
combatti costantemente con ciascuno di loro
altro
tranne la cosa bella di fare per
le tue metriche interne è che non ha
essere più contraddittorio che tu non hai
per bloccare il loro comportamento che non hai
far sapere a tutti che sai che sono un
spammer puoi solo dire che è adorabile
che stai facendo quello che stai facendo noi
non ti conteremo quando saremo
cercando di capire come la nostra attività è
facendo e quindi potresti prendere il
contraddittorio fuori dall’equazione e
in realtà capisco di nuovo la tua attività
e questo è quello che abbiamo fatto, ecco alcuni
esempi di alcune delle persone che potremmo
prendere così questi sono un numero di utenti in
il nostro database che ha questa bella citazione
Sono nato botanico con l’anima di un
animale adesso se ti iscrivi a Pinterest
e questa è la tua descrizione che sembra
persone perfettamente plausibili amano mettere
citazioni nelle loro descrizioni di
se stessi, ma se guardi loro
indirizzi email di nuovo vediamo questo comune
modello in cui è mai stato in maiuscolo
nome e un cognome in maiuscolo e
poi alcune lettere e poi yahoo.com
queste persone erano spammer e possiamo
dì che sono spammer perché sono così
simili tra loro ecco un altro
esempio queste sono persone il cui nome utente
è un nome femminile comune seguito da a
cifra seguita da due lettere o
a volte seguito da due lettere e
poi seguito da una cifra e così ottieni
l’ idea qui come se non fossimo computer
siamo molto molto bravi a modello
riconoscimento diciamo che queste persone guardano
come feccia abbiamo bisogno di tirarli fuori
a volte è un po ‘diverso quindi
e questo è un utente dalla Cina che ne ha 50
schede ma nessun pitone ogni uno di
queste schede è un numero di telefono per un
servizio di scorta in una città diversa in
Cina ci sono centinaia di utenti come
questo in modo che i loro profili vengano visualizzati
su Google e quando vedi il loro a
piccolo frammento vi dirà come
chiama questo servizio di scorta questi sono i
tipi di persone con cui stiamo combattendo
la cosa buona è che possiamo farlo così abbiamo
questo database di utenti e possiamo scrivere
regole che trovano queste persone persone che
avere la stessa descrizione l’una dell’altra
le persone che soddisfano questi determinati regolari
espressioni nel loro indirizzo email
persone che si iscrivono con lo stesso nome noi
può fare lo stesso per i pin che firmano
con la stessa perdita di peso – persona
chi crea la stessa immagine di perdita di peso
persone che pin solo da un singolo dominio
persone che collegano lo stesso link
gira le persone che appuntano la stessa immagine
come qualcun altro il cui famiiy persone che
creato schede chiamate I’m da boss e
fare un sacco di soldi abbiamo avuto un sacco di soldi
di quelli per un po ‘di persone che eliminano
e creare schede all’interno di un secondo popolo
chi si iscrive allo stesso ip delle persone
che ho solo firmato via e-mail che potrei
continua ad andare per sempre chiaramente c’è molto
di questi, ma il punto è per tutti
puoi semplicemente scrivere una semplice regola e basta
sembra qualcosa di simile a questo inserto
sovrascrivi la penna da tavolo oolitica
dati possibili spammer grande che è solo
un posto in s3
questo è per tutte le persone di cui prima
il nome è buono Jehovah – e il suo cognome
è Fahad, a cena questo suona
ridicolo destra non posso nemmeno dire che questi
parole ma erano non so 200.000
di queste persone che stanno incasinando la nostra
dati e quindi tutto ciò che facciamo è dire grande questo
è stupido ma sto solo scrivendo una partizione
stiamo risolvendo il nostro problema con i dati
ingegneria del software e così scriviamo tutto
delle nostre regole e popoliamo questa tabella
di possibili dati sugli spammer ed è giusto
un flusso di lavoro questo è uno screenshot dal nostro
strumento del flusso di lavoro che gestisce ogni notte noi
capire chi sta violando le nostre regole noi
decidere di non contarli nelle nostre metriche
lo integriamo con il tempo reale
servizio di spam che in realtà è
contraddittorio e deve bloccare questi
l’attività delle persone e così via non parlerò
a riguardo oggi ma sono felice di rispondere
domande a riguardo per creare una nuova tabella
chiamato utenti di spam e ora possiamo filtrare
spam e quindi prendiamo la tabella degli utenti spam
prendiamo i nostri utenti xt7 nei nostri utenti XD 28
tabella che conta le attivazioni settimanali e
attivazioni mensili
e possiamo sopportarli filtrandoli così abbiamo
versioni regolate dallo spam di tali tabelle
sappiamo davvero cosa sta succedendo e noi
creare versioni filtrate di spam di molto
di altri tavoli e ora finalmente possiamo
avere un indizio sulla nostra attività, ecco qui
un flusso di lavoro per quello è di nuovo a
flusso di lavoro ha dipendenze ha lavori
corrono ogni notte un software semplice
problema di ingegneria e siamo bravi e
così invece di questo grafico delle iscrizioni noi
abbiamo questo aspetto grafico che abbiamo effettivamente fatto
aumentare le iscrizioni molto con i nostri lanci
abbiamo anche lasciato che aprisse le porte
per lo spam e così una volta lo lasciamo fuori
una piccola linea tratteggiata di spam ora possiamo
in realtà misuriamo come possiamo fare
diciamo hey queste due settimane di sforzi che abbiamo messo
in dotazione
ritorno sull’investimento possiamo dire se
aprendo il nostro servizio in altri
i paesi è una buona idea
i dati di ecc sono software aggregano i vostri dati
costruire flussi di lavoro è un software
ingegneria per risolvere questi problemi di dati
possiamo finalmente contare chi verrà di nuovo
e abbiamo la minima idea di cosa sta succedendo
questo ancora una volta gli utenti attivi di iPhone così
Nell’autunno del 2013 abbiamo visto un cambio di passo nel
tasso di crescita delle persone che visitano su iPhone
evviva volevamo sapere perché e detto
beh è probabile perché lo eravamo
presenti in App Store e in effetti
eravamo presenti nell’App Store di
Apple per il lancio su iOS 7 ma come
molto di quel salto spiegherebbe questo
ha iniziato a scavare oltre cos’altro
potrebbe essere successo così il PM mobile
ha scritto una mail per l’intera azienda
si dispone di un controllo di dispositivo iOS out
presenti nell’App Store che abbiamo lanciato
3.0 dell’app iOS Pinterest che oggi
rappresenta un’enorme quantità di lavoro da
la squadra mobile è una combinazione ispirata
di iOS 7 e linguaggio visivo di Pinterest
il modello di interazione è stato attentamente
progettato gesti di transizione e
l’architettura dell’informazione siamo
pensò meticolosamente a quello
non sembra che fossimo solo presenti
nell’App Store che suona come noi
ricostruito un sacco di cose quindi cosa c’è
speciale su iOS 7 bene se lo guardi
ciò che è cambiato in iOS 7 dice Mac World
bene non molto tempo fa
iOS applicazioni in esecuzione in background siamo
essenzialmente bloccato in animazione sospesa
incapace di fare qualsiasi cosa finché non sei reale
tutti loro sono cambiati
Ottobre 2013
grazie all’aggiornamento dell’app in background a
funzionalità introdotta con iOS 7 così quando noi
diciamo che abbiamo completamente rinnovato Pinterest su
essere integrato con iOS 7 cosa significa
utilizziamo la loro funzione di recupero in background
per preparare i pasti a domicilio della gente
li prima che aprano l’app ora questo
è davvero una buona idea così invece di
aprendo il telefono e vedendo uno spazio vuoto
schermo si apre il telefono e non c’è
già tante foto ispirate per te
che si può vedere subito
e così abbiamo iniziato a dire bene questo
il cambiamento nel calcolo dell’uso di iPhone è
probabilmente impreciso perché lo sappiamo
stiamo facendo un recupero in background ma noi
inoltre erano presenti nell’App Store
c’era un certo effetto su quanto
questo è reale
quanto di questo è dovuto a un cambiamento in
la nostra logica così abbiamo parlato con l’iOS
sviluppatore e ha detto solo questo
gestore viene chiamato sul
sfondo l’unica cosa che facciamo è recuperare
i pasti a casa della gente e così bene siamo andati
torna ai dati e qualcuno ha fatto un
analisi e detta analisi preliminare
mostra gli assegni di background solo contribuisci
una piccola parte del guadagno guadagnato
fantastico davvero che saltare quel salto è
davvero grande se sei una persona di dati e io
so che ho detto che tutti sono una persona di dati
dovresti essere tutti persone di dati che sei
guardandolo e vuoi essere al 100%
certo che ciò è vero perché se
è vero che dovresti cercare di ottenere
in App Store ogni settimana questa cosa
è il vettore di crescita più grande che tu abbia mai avuto
trovato e così poche settimane dopo abbiamo detto
lo sai solo continua a rodere
con me voglio davvero assicurarmi il 100%
questa spiegazione abbiamo trovato solo account
per una piccola quantità di crescita e così
cosa abbiamo fatto abbiamo preso quel registro delle richieste
di cui abbiamo parlato per ogni singolo
richiesta per ogni utente che conosciamo quando
è successo quello che era una richiesta di ecc
e possiamo fare un grafico questo grafico
molto piccolo e questo è intenzionale
non dovrebbe vedere tutti i dettagli ma
la grande linea tratteggiata è quando abbiamo lanciato
la nostra nuova app iOS e spero che tu possa
vedi quello a destra della linea
c’è un sacco di blu e verde
strisce a sinistra della linea voi
per lo più vedere piccoli punti rossi blu e
strisce verdi puntini rossi cosa c’è
è successo qui è annotato ciascuno di
i gestori che sono stati chiamati così v3 a casa
feed v3 get pin v3 get utente v3 get
notifiche centinaia di questi gestori
ciascuno per diversi endpoint API e noi
li ho appena colorati finché non ce n’erano
tutte le strisce che erano rosse solo
usando i dati per cercare di capire cosa c’è
andare avanti è quello che ha detto l’analista
puoi facilmente vedere lunghe macchie di blu
quali sono i colpi di fondo a
per lo più v3 home feed di cui sapevamo
già e abbiamo fatto lo sviluppatore
accennato che potrebbero esserci questi ma
dopo che l’app 3.0 è stata lanciata , puoi farlo
vedi anche lunghe macchie di triangoli verdi
e non ci sono sbavature corrispondenti di
cerchi verdi prima 18 ottobre questo
mi fa credere che quando nel
in background l’app può fare molto di più che
recuperare i dati del feed home v3 come software
l’ ingegnere del software dice che non può farlo
guardiamo i dati che sicuramente non sembrano
in questo modo un’altra cosa sta succedendo
ingegnere del software prende un altro aspetto come
per le nostre discussioni di ieri, in realtà
le applicazioni iOS confermate possono essere
lanciato per fare un recupero in background anche
quando non stanno visibilmente correndo e no
apparendo nel vassoio multitasking questo
potrebbe spiegare le strisce verdi erano
vedendo così abbiamo preso una spiegazione di
il software che abbiamo esaminato i dati cercato
capire cosa sta succedendo solo
incontrato per un odore non al
differenza abbiamo guardato di nuovo informato
come stiamo capendo il nostro software
dati come software che costruiscono questo ciclo adesso
che sappiamo che possiamo costruire stime
di diversi conteggi quando si esclude
diversi gestori quindi se solo escludiamo
da quello di casa uno è la linea rossa
e se escludiamo quelli verdi come
bene e così via e così possiamo avere un senso
di ciò che dipende dalla nostra crescita effettiva
su quali gestori pensiamo che siano falsi ma
più di questo possiamo provare a costruirlo
nel nostro software e così invece di
avendo un registro delle richieste che assomiglia
questo aggiungiamo un’altra colonna e se il
richiesta viene chiamata nel
sfondo dice così se la richiesta è
essendo chiamato in primo piano, lo dice
e ora possiamo contare queste persone come da
perché hai avuto una richiesta attiva
ed escludi queste persone da u
perché avevano una richiesta in background
ancora tutto sembra semplice tutto
Sto parlando di come stai bene
Certo che dovresti farlo e ancora
effettivamente farlo è difficile e
in realtà sapendo che dovresti farlo non lo è
sempre ovvio e quindi abbiamo solo
aggiustiamo il nostro lavoro dati diciamo ok stato app
non è lo sfondo e attivo non lo facciamo
voglio accidentalmente non contare come da une
uno su vecchie versioni del nostro cellulare
i clienti quindi anche lo stato dell’app è nullo
ora abbiamo un nuovo conteggio di chi è un quotidiano
utente attivo sulla nostra piattaforma e possiamo
vedi ora il nostro conteggio rivisto scende a
sacco un sacco di quel salto non era reale in
pratica che potremmo avere sostenuto pieno
con i dati non è complicato
comunque posso parlarne anche se
ti piace ma ora ne contiamo davvero
quanti utenti visitano Pinterest
di nuovo e possiamo vedere che abbiamo imparato
su cosa sta facendo il nostro software
guardando i dati come software noi
in realtà ho imparato qualcosa su come il nostro
app che non avevamo capito
prima di guardare i dati noi
capire come è cambiata l’attività in
alcuni punti di tempo e possiamo ora
aggiungi la registrazione esplicita che ci aiuta
capire cosa sta succedendo sul conteggio era
anche più difficile di quanto pensassimo, ma ora noi
avere un senso di chi sta arrivando
Pinterest parte terza evitando il caos dei dati
quindi abbiamo parlato di come l’app e il
API ora attraverso Kafka la richiesta
accedi al log delle richieste API raw così noi
avere un registro di ogni richiesta HTTP in arrivo
in esso sta andando benissimo oltre a quello
ovviamente ora che abbiamo questo
capacità diciamo bene scriviamo
qualche altra roba forse ogni volta qualcuno
iscriviti diremo quale metodo loro
ha scelto di iscriversi è stato Facebook o
Twitter che IP stavano venendo da esso
iscriviti su quali altre informazioni hanno fatto
Dacci e così via per ogni evento che
succede per ogni spillo che conosci, loro
fallo tramite il bookmarklet che fanno
tramite il pulsante dove sta arrivando
da e così via e in pratica c’è
sempre più e più di questi registri
questa è davvero una buona cosa
perché significa che gli sviluppatori
preoccuparsi dei dati significa che vogliono
per sapere hey sto costruendo questa cosa se io
registro qualcosa che sarò in grado di scoprire
più su di esso ma significa anche che tu
avere tutti questi argomenti che si accumulano e tu
bisogno di ordinare le stesse cose
accadendo sotto così stiamo scrivendo
tutti questi registri e tutti questi registri vanno a
s3 e abbiamo parlato di quanto sia importante
doveva avere tabelle derivate per essere in grado di
conta cose come le attivazioni quotidiane e
attivazioni mensili e dal mensile
attiva e crea il possibile
spammer in spam regolato e spam
aggiustamenti mensili attivi e così via
tutta la storia ha un senso e questa storia
ha senso anche ma in questa storia fa
senso pure
ma presto si trasforma in questo abbiamo io
non so nemmeno quanti tavoli odio
pensare probabilmente migliaia di decine di
migliaia che giacciono in s3 non lo facciamo
sappiamo cosa c’è nella metà di loro no
sapere chi li ha messi lì non lo facciamo nemmeno
sapere quali sono business-critical
tutto il tempo e quindi se non lo sei
attenti a presto terra e dati caos il
altra cosa in realtà qualcun altro ha parlato
ad oggi è JSON, quindi torna indietro
l’inizio della mia storia Pinterest è
circa 50 persone il servizio è in calo a
molto spesso siamo davvero solo
cercando di cavartela e anche costruendone alcune
registrazione per avere la minima idea di cosa sta succedendo
e così abbiamo scelto JSON JSON è davvero carino
perché si può leggere lo sguardo c’è tutto
alcune cose su questo pin che puoi aggiungere
roba ad esso più tardi quando ti realizzi
ho dimenticato una chiave importante, basta aggiungerla
in ma ha alcuni aspetti negativi pure in modo da
se alcuni sentono di farlo non lo è più
utile se è stato deprecato non lo fai
davvero arrivare a deprecato è solo gentile
di bastoni intorno e non fa nulla
per te se aggiungi una nuova chiave booleana
più tardi è il modo in cui sarai nullo
le cose che non hai toccato in a
mentre perché non è mai stato popolato
se stai facendo una sorta di aggiornamenti pigri e
non sarà riempito nel significato
di null è false vedere per alcune cose e
la verità per gli altri e analizzarla è molto
lento quindi sì, abbiamo questo JSON
funzione e puoi uscire dal campo
il JSON ma ci vuole molto tempo e così
in pratica hai creato qualche derivazione
tavolo che dovrai riutilizzare ogni volta
ma ogni volta che aggiungi una nuova chiave
stai portando via il vantaggio di JSON
quale è ora necessario aggiornare il
schema della tua tabella derivata e scrivi a
nuova query quindi anziché JSON abbiamo iniziato
andare verso il risparmio economico è giusto
enum e structs e quindi abbiamo a
struct for a pin promotion that has all
questi diversi campi che sono numeri interi
è bello che siano interi e
stringhe che potrebbero anche essere JSON
più o meno eccetto che lo sai
serializzare in modo diverso e così via ah ma
la magia del risparmio è che puoi
in realtà nidificare queste cose in modo che tu possa
avere un evento azione di promozione pin che
ha una promozione perno all’interno di esso che
ha informazioni annidate e così hai
questi dati ben definito molto bene digitato
struttura
che puoi scavare nel profondo quanto vuoi
trova le connessioni necessarie e nessuna
di questo ha fatto fluire un caos di cose
in giro a caso quindi ho appena descritto JSON
come non tipizzato e parsimonia contro altrettanto forte
digitato se sei un ingegnere del software
forse questo suona familiare
i dati come software forse sono le cose che
dobbiamo fare per mantenere il nostro software in
controllare sono le stesse cose di cui abbiamo bisogno
dati quindi i problemi di cui abbiamo parlato
proliferazione di tabelle senza dati chiari
Mancanza di flussi di lavoro duplicati di proprietà
dello schema come possiamo trasformarla in
ordina cose come un dato centrale
chiave di repository condivisa tabelle attraverso il
deprecazione di tutta la società di inutilizzato
tabelle di test per la precisione dei dati auto
documentare bene i tavoli se riesco ad uscire
la parola data e le tabelle in tutti questi
e invece siccing della parola codice e
il software suona esattamente come
abbiamo fatto ingegneria del software
per sempre abbiamo un codice centrale
repository si tiene traccia delle cose in esso
avere funzioni chiave condivise in tutto il
tutta la compagnia non ho intenzione di
ri-implementare l’ordinamento più di te
siamo deprecati del codice inutilizzato che abbiamo
test per la precisione del nostro codice che abbiamo
codice di auto-documentazione e quindi da evitare
i dati confondono le soluzioni allo stesso modo di
evitare i dati del caos del software come software
software come dati ok
Mi fermerò un attimo qui cosa
di cui abbiamo parlato finora abbiamo aggiunto
Registrando Kafka ora abbiamo un registro di tutti
le richieste in arrivo abbiamo un indizio
quello che sta succedendo abbiamo clonato i nostri database
che potremmo fare analisi offline del
pin e gli utenti che stavano servendo a
in tempo reale ma senza aggiungere QPS in più
quei database che porteranno il nostro
servizio giù abbiamo costruito flussi di lavoro per
aggregare tali dati e derivarne
tavoli che abbiamo definito abbiamo abbandonato una missione
non erano importanti come la posta elettronica
monitoraggio in modo da poter dire chi è il nostro attuale
gli utenti sono noi schiacciare gli spammer che abbiamo imparato
molto su come funziona la nostra app
dobbiamo ignorare alcune richieste fantasma
quello stava accadendo quando nessuno era
effettivamente lì abbiamo creato schemi per
i nostri dati hanno aggiunto test per l’accuratezza dei dati
dove ci ha riportato dove eravamo noi?
volevo essere all’inizio solo per essere
in grado di contare i nostri utenti e avere un indizio
cosa sta succedendo
quindi, dove andiamo da qui, vogliamo
per contarlo scala internet ricorda il
obiettivo era quello di sapere come stiamo facendo hai fatto
torna a questo problema che abbiamo visto così grande
salta e usa e detto bene è
probabilmente perché ci sono stati illustrati nel
App Store
questa spiegazione è perfettamente ragionevole
ma dove non cadere nello spettro
di certezza quindi se sei organizzato da
correlazione alla causalità molto del
cose che dici sono molto più vicini al
fine di correlazione di quanto tu pensi che siano
l’obiettivo di molti dei dati cose noi
fare è avvicinarsi all’inferenza causale
spostare più a destra sulla
spettro un modo eccellente per farlo
ben dispiaciuto ah ecco un esempio per
il consumo di formaggio pro capite è correlato
molto fortemente con un numero di persone
chi si aggroviglia nel loro letto muore
perché nelle loro lenzuola ogni anno
potrebbe fare una storia per questo se mangi un
molto formaggio poi si indigestione
e poi non dormi così bene
ti getti e ti giri a letto
impigliarsi nelle lenzuola e tu
morire
quella storia non è del tutto irragionevole
questa storia anche non interamente
forse irragionevole se è molto
probabile che sia presente nell’app
Il negozio porterà ad una crescita dei nostri utenti
ma quanto è bella la mia storia
correlazione o causalità e così qui tu
venire a un test di b che vorrei discutere
è il modo migliore per ridimensionare il tipo di
dati e software con la tua azienda a
sapere cosa sta succedendo in modo così veloce
AGGIORNAMENTO si prende la popolazione si
dividilo in controllo e cura te
applicare il trattamento per il trattamento
non si applicano i trattamenti loro
controlla tu misura cosa succede così qui
hai il controllo abilitato a dividerli
in due misuri il risultato che vuoi
le persone a diventare blu guardano più persone
diventa blu nel gruppo abilitato che dovremmo
spedirlo ma dovremmo avere un sacco di cose
vieni qui ho dato un sacco di discorsi
su forse test non ho intenzione di parlare
su di esso molto oggi sono felice di chattare
abbastanza qui
alcune semplici cose che vuoi sapere era
quello differente statisticamente significativo
un sacco di persone dicono la cosa sul
sinistra
questo è mumbo jumbo di cui stai parlando
se è significativo
non lo è, naturalmente, è così
la definizione di up è che ci sono
più di queste persone bene il problema è
se non è significativo potrebbe non esserlo
vero potrebbe essere dovuto al caso
per quanto riguarda gli effetti novità è in realtà
vero che molte persone semplicemente cliccano a
pulsante perché non sanno cosa
lo farà ma l’obiettivo della tua azienda è
non aggiungere nuovi pulsanti ogni giorno
le persone li cliccheranno perché loro
non so cosa faranno è a
creare un cambiamento a lungo termine in cui le persone
capire il valore di questi nuovi
presenta la segmentazione dell’utente che potrebbe
influenzare alcune persone più di altri
la trappola di questo è che puoi andare giù a
strada molto lunga di segmentazione dove
sei come oh non sembra terribile per
uomini e Kazakistan si scopre che c’è 8
di loro probabilmente non ti importa di avere
stare attenti a questo e infine
errori di casualizzazione è il goop abilitato
così molto più in alto si è scoperto che
hai randomizzato persone in modo errato e
il gruppo abilitato era migliore prima del
il test è iniziato come ho detto che non ho intenzione di andare
troppo in questo, ma di nuovo nei dati
come tema del software, questo è il software
può davvero aiutare a fare il giusto
la cosa dovrebbe essere facile da fare male
cosa dovrebbe essere difficile costruire strumenti che
rendere facile fare la cosa giusta con
dati e faticano a sbagliare
la cosa mostra solo effetti significativi
differenziare novità rispetto a lungo termine
effetti lascia che il tuo strumento permetta alle persone di farlo
confrontare importanti segmenti di utenti senza
facendo clic su un milione di elenchi a discesa
loro quando ci sono errori di randomizzazione
e molto di più
contando una scala internet, si prega di fare un / b
testare questo è stato un segmento molto breve di
un discorso più lungo ma sono felice di chattare
su più dati come software dove siamo
ora fai leva sulle analisi della scala di test a / b
con gli strumenti che fanno la cosa giusta dovrebbero
essere facile a fare la cosa sbagliata dovrebbe essere
difficile vedere l’intero conteggio delle conversazioni è difficile
abbiamo ottenuto tutto sbagliato in ogni fase del
il modo in cui prima non avevamo alcuna registrazione
per niente chiaro cosa sta succedendo
poi abbiamo registrato ogni richiesta come DA
bene non dovremmo essere certe cose
non contiamo quindi abbiamo interferito con lo spam
con le metriche ci è voluto molto tempo
analizzare i nostri registri abbiamo avuto recuperi di sfondo
Non ho nemmeno parlato di cose del genere
schede del browser che le persone lasciano aperte
screen saver che eseguono widget
che le persone installano sui loro siti web
tutti i tipi di cose dove fare i dati
correttamente devi sapere come
il software funziona a cui devi pensare
ben Gee se si mette un widget sul
la pagina web dovrebbe essere considerata come una DA o
non come appare nei nostri registri
e ogni sorta di cose di cui non ho parlato
su che cosa per persone in quale paese
sono loro in quelle domande sono più difficili
di quanto tu possa pensare
i dati sono indisciplinati se non si dispone di dati
governance con cui finirai
il caos le soluzioni sono simili a quelle
per il software si usa erroneamente la parsimonia
scrivi cose scrivi test e infine
le decisioni di scala eseguono automaticamente i test a / b
la raccolta delle metriche lo rende facile da fare
la scrittura sbagliata rende facile fare il
cosa giusta e difficile sbagliare
cosa e costruire una cultura di
dati di sperimentazione come software
i dati del software in cui non puoi essere bravo
dati senza capire il software
il tuo software non sarà buono a meno che
hai dati grazie
Dovrei avere tempo per le domande sì
c’è almeno una domanda Judy up
come hai risolto il problema?
utenti legittimi da una SIA che siamo
pubblicare spille maniacali ma non lo erano
rilevante per l’utente in Europa
scusa, come faccio a mostrare il problema?
l’utente dall’Asia ciao è risolto o
hai bloccarli probabilmente sì attraverso
un utente dal tuo ok quindi la domanda è
come possiamo evitare una sorta di spam dall’Asia
da influenzare le persone in Europa noi
in realtà vuole impedire lo spam
ovunque da influire sugli utenti ovunque
questo è più nei nostri sistemi in tempo reale ma
in realtà è abbastanza simile in questo
prova a usare i dati per rilevare la massa
azione e prevenire le persone che stanno prendendo
azione di massa dall’effetto
gente che è molto generica se gente
Ho dei follow-up più specifici , sono felice
seguire offline ma fondamentalmente te
può rilevare queste cose con cose come
apprendimento automatico o semplicemente scritto a mano
regole e quindi l’obiettivo principale è entrambi
ottenere parametri di business corretti che è
di cosa ho parlato e anche di fare
certo l’esperienza su Pinterest è
positivo per i nostri utenti che significa
impedendo a quelle persone di
diffondendo il loro contenuto a vicenda
domande ti ricordo del libero
Abbonamento Pinterest a disposizione di tutti
grazie per essere venuto grazie per
te stesso
Please follow and like us: