Press "Enter" to skip to content

Beyond Big Data | Matthew Salganik | TEDxPrincetonU


Mi piacerebbe parlarti oggi di Big
Dati
è un termine che probabilmente abbiamo sentito tutti
molto recentemente una delle cose che è
davvero interessante a questo proposito è però
che sembra significare molto diverso
cose a persone diverse alcune persone
quando sentono il termine Big Data loro
pensa ai soldi che pensano a come
può essere utilizzato dalle aziende per progettare
prodotti in modo più efficiente e sul mercato
loro più efficacemente altre persone quando
sentono il termine Big Data che pensano
sul salvare il mondo a cui pensano
come i governi e le ONG possono usarlo
nuovo tipo di informazioni per aiutare a risolvere
importanti problemi sociali altri
le persone però quando sentono il termine
Big Data pensano di sorveglianza hanno
pensa a tutte le enormi quantità di
informazioni potenzialmente molto sensibili
questo è stato raccolto su tutti noi
tutto il tempo, ma per me quando penso
riguardo i big data, penso a qualcosa
diverso penso a un orinale così questo
anche se come tutti voi riconoscete non è solo
qualunque orinatoio è davvero molto speciale
orinatoio questo è fontana di Duchamp questo
è uno dei miei pezzi d’arte preferiti e
ciò che amo di questo è il modo in cui
Duchamp ha preso qualcosa che è stato creato
per uno scopo e poi riproposto
per qualcos’altro e si scopre che
questa idea di riproposizione è centrale per
il modo in cui gli scienziati apprendono da grandi
dati perché la maggior parte dei grandi dati
le fonti esistenti sono state create da
aziende e governi per ragioni
oltre a fare ricerche e così via
gli scienziati devono prendere i dati che erano
creato per uno scopo e come Duchamp
riutilizzare per qualcos’altro e questo
è in realtà molto diverso dal
come sono andati gli scienziati sociali
conoscere il mondo nel passato e
se dovessi scegliere un pezzo d’arte
potrebbe illustrare questo tipo di più
stile tradizionale di scienze sociali
La ricerca sarebbe così quando David
Michelangelo ha voluto creare David lui
non cercò un pezzo di pietra
quel tipo di aspetto assomigliava a David
ha trascorso tre anni a lavorare per creare
David e così questo illustra davvero il
due stili di ricerca che vediamo bene
ora c’è uno stile pronto dove
i ricercatori come Duchamp prendono i dati
è stato creato diciamo da Twitter o
Facebook e riutilizzarlo per la ricerca
e poi c’è l’ altro stile dove
i ricercatori creano i propri dati usando
come sondaggi o esperimenti ma
sempre più quello che stiamo andando a vedere è
che ci sono dei limiti a entrambi
puro si avvicina alla volontà di Duchamp
scopri che ci sono cose che tu
non posso imparare semplicemente riutilizzando dati e
la volontà del michelangelo sempre più
sento come se fossero inefficienti e
dispendioso non approfittando di tutti
i grandi dati preconfezionati che esistono così io
pensa che il futuro della ricerca sociale sia un
ibrido di queste due strategie è
sarà parte già fatta e parte
su misura e questo ci permetterà
fare cose che non potremmo mai fare
prima con uno di questi puri
strategie quindi lasciatemi fare un esempio
di un bel pezzo di ricerca che
illustra questa strategia ibrida questo è
uno studio condotto da Josh
blumenstock e colleghi ed è stato
pubblicato nella scienza alcuni anni fa
prima di raccontarti cosa hanno fatto
lascia che ti parli un po ‘ di
problema che stavano cercando di risolvere
dire che vuoi eliminare la povertà nel
mondo quindi è un obiettivo che penso molti di
noi condivideremo ma uno dei tanti molti
molti problemi che incontreresti sul
il modo in cui l’obiettivo è che è in realtà
difficile sapere dove sia la povertà e come
la povertà sta cambiando nel tempo, quindi
potrebbe essere una specie di cosa sorprendente per
persone nei paesi ricchi perché noi
capita di vivere in paesi dove per
esempio negli Stati Uniti la Nazionale
Il sistema statistico raccoglie affidabile e
informazioni accurate sulla nostra società
ma in molti dei più poveri del mondo
Paesi in cui questa informazione è maggiormente
necessario non è raccolto e quindi questo è
una sfida per i responsabili delle politiche perché
stanno essenzialmente cercando di operare in
il buio loro non possono sapere dove il
il problema è che rende difficile il targeting
le risorse in modo efficace ed è difficile
per vedere quanto stanno bene perché
non possono misurare i risultati e così via
molte molte persone hanno lavorato al
problema di migliorare la misurazione di
povertà ma Josh blumenstock e
i colleghi hanno preso un approccio diverso così
quello che hanno fatto è iniziato con il
registra le chiamate dal cellulare più grande
fornitore di telefonia in Ruanda quindi era 1.5
milioni di clienti e hanno molto
registri dettagliati sui modelli di
chiamare e inviare messaggi per tutti questi
persone ma questi record di chiamate già pronti
non ho la cosa che la ricerca
in realtà mi importa di quale sia una misura
di povertà e quindi quello che hanno fatto sono loro
Prendici
campionare un campione casuale da questi set di
chiamate i record hanno telefonato alla gente
e hanno dato loro un social tradizionale
indagine scientifica per misurare la loro povertà
quindi hanno questo set di dati personalizzato
e hanno questo set di dati pronti
e poi quello che amo di questo studio è
il modo in cui li collegano insieme
quindi lascia che ti guidi attraverso questo processo
ora così la prima cosa che hanno fatto è a
processo chiamato feature engineering dove
hanno creato un’enorme matrice dove
c’è una riga per ogni persona e una
colonna per ogni caratteristica e questi
le caratteristiche potrebbero essere cose come il numero di
numero di chiamate in uscita delle chiamate in entrata
ma potrebbero anche essere molto più sottili
quindi per esempio delle persone che hai
chiamato qual è la probabilità se loro
chiamato l’un l’ altro in modo da costruirne molti
molte funzioni complicate come questa e
quindi formano un modello di apprendimento automatico
usare quelle caratteristiche per prevedere cosa
per esempio, le persone hanno detto sul sondaggio
questo modello di apprendimento automatico potrebbe
scopri che le persone che fanno di più
le chiamate internazionali tendono ad essere più
ricco come un esempio del tipo di
cosa potrebbe trovare in realtà trova
molti altri modelli sottili così una volta
avere questo modello di apprendimento automatico
puoi imputare le risposte al sondaggio per
tutti e 1,49 nove milioni di altre persone così
imputa è solo una scienza sociale di fantasia
termine per indovinare e quindi in sostanza cosa
hanno fatto qui è facendo un sondaggio
di un migliaio di persone che sono stati in grado
per approssimare cosa succederebbe se tu
ha fatto un sondaggio di 1,5 milioni di persone allora
quello che hanno fatto è che hanno stimato dove
tutti vivevano anche se la chiamata
i record non avevano nomi di persone e
indirizzi si scopre che ciò che torri
fai telefonate di notte è a
abbastanza buona approssimazione di dove tu
vivi così qui vedi come sono stati capaci
per connettere questi dati di chiamata già pronti
con questi dati di indagine personalizzati e
ora sono in grado di produrre alti
risoluzione Stime geografiche di
povertà in Ruanda e ecco cosa sono quelli
sembra che questa sia una mappa parziale di
Ruanda Voglio richiamare l’attenzione sul
quadrato nell’angolo in basso a destra in modo che il
scala di questo è un chilometro per uno
chilometro e così puoi vederlo
sono in grado di fare stime per molto molto
piccole aree geografiche stima che
sarebbe molto utile per i responsabili politici in modo
ora puoi essere
come sono queste stime anche accurate
questa è la domanda importante e il
la sfortunata verità è che non lo sappiamo
perché nessuno ha mai fatto delle stime
questo preciso prima comunque quello che tu
piacerebbe davvero fare è che lo faresti
piace essere in grado di confrontare questi
misure in qualche modo a qualche tipo di
misura standard dell’oro e risulta
che alcuni anni prima del loro studio il
Il governo ruandese ha condotto a
indagine demografica e sanitaria che è a
tradizionale costoso di alta qualità
Social Survey che può ragionevolmente essere
considerato un gold standard quindi il
sondaggio demografico e sanitario non lo era
in grado di produrre stime a questo piccolo
di un livello geografico ma era in grado di
produrre stime per il Ruanda robusto
regioni e quindi cosa blumenstock e
i colleghi hanno fatto il loro aggregato
stima fino a queste 30 regioni e
hanno prodotto una mappa come questa così su questo
mappa colori più scuri indicano livelli più alti
di povertà e così questi sono i
stime che vengono da questo
combinazione del ready-made e
dati personalizzati e ora puoi essere
chiedendosi quanto bene questo corrisponde al
misura standard dell’oro e quindi ecco il
altra stima dal demografico e
Sopravviverò e così puoi vedere nel
carta in realtà hanno un sacco di molto
confronti tecnici dettagliati che sono
solo andando a riassumere il dire loro
si abbina davvero bene, ad esempio puoi
vedere nel centro dei paesi entrambi
approcci individuano la regione dell’alto
povertà e quindi direttamente sotto
hanno una regione di livelli più alti di
ricchezza quindi questo è davvero eccitante
questo nuovo approccio alla misurazione può
riprodurre questo molto più tradizionale
tecnica di misurazione ben consolidata
ma allora potresti dire bene perché
dovremmo preoccuparci come se lo avessimo già
questa tecnica gold standard perché dovrebbe
siamo interessati a questa nuova tecnica
del tutto e la risposta è che questo nuovo
la tecnica è 10 volte più veloce e 50
volte più economico così 50 volte più conveniente che
non è come il 10% più economico, il 20% in meno
è come 50 volte più economico e così
fa un’enorme differenza così
abilita tutti i tipi di cose nuove , quindi lascia
Mi basta fare un esempio concreto in modo
invece di fare il demografico e
indagine sanitaria ogni cinque anni come
succede ora potresti farlo ogni mese
così nei paesi ricchi non dobbiamo
attendere ogni cinque anni per ottenere misure di
la nostra società monitora le cose
come il tasso di disoccupazione ogni mese
e perché dovrebbe essere quella gente povera
i paesi non hanno lo stesso livello di
misura e quindi è solo uno
esempio del tipo di cosa che possiamo
fare quando il costo diminuisce di un fattore 50
e gli scienziati penseranno a molto
altre cose creative che possono essere fatte
così ora lo scienziato in me anche
vuole chiarire che questo non è un
cento per cento di una bella mele a
confronto di mele perché ci sono
circa 70 anni di risultati teorici
e know-how empirico alla base del
demografici e di salute su misura
sondaggio sappiamo molto su questo tipo di
tecnica e c’è molto meno di a
fondamento teorico per questo nuovo
approccio che combina ready-mades e
aiuti personalizzati, tuttavia, l’apprendimento da grande
fonti di dati e capire come possiamo
farlo in modo affidabile è incredibilmente attivo
area di ricerca in questo momento e io sono
davvero fiducioso che faremo un
molti progressi nei prossimi anni così
fare un passo indietro per un secondo da questo
studio spero che tu possa vedere ora alcuni
dei punti di cui abbiamo parlato a
l’inizio quindi questo studio è un
esempio di come le aziende sono potenzialmente
seduto su molte informazioni preziose
che non stanno attualmente estraendo
dai loro grandi dati è anche un esempio
di come se analizzato in modo appropriato grande
le fonti di dati possono aiutare ad affrontare importanti
problemi sociali ed è un promemoria
enormi quantità di dati sono in corso
raccolti su di noi, ma ciò che amo
questo studio, penso che sia così bello
perché è un bellissimo esempio di questo
stile ibrido che è la chiamata già pronta
i dati da soli non erano sufficienti
i dati dell’indagine personalizzati non erano sufficienti
era solo attraverso la combinazione di
queste due cose che erano in grado di fare
realizzare questo obiettivo e quindi lo spero
la prossima volta sentirai la frase grande
dati questo sarà ciò che pensi
perché questo è un futuro del sociale
la ricerca nell’era digitale grazie
tu
Please follow and like us:

Be First to Comment

Lascia un commento