Press "Enter" to skip to content

Beyond Big Data | Matthew Salganik | TEDxPrincetonU


Я хотел бы поговорить с вами сегодня о Большом
Данные
это термин, который, вероятно, мы слышали
много недавно одна из вещей, которые
действительно интересно об этом, хотя
что это означает совсем другое
вещи для разных людей некоторые люди
когда они слышат термин «большие данные», они
думать о деньгах, которые они думают о том, как это
могут быть использованы компаниями для проектирования
продуктов более эффективно и
их более эффективно другие люди, когда
они слышат термин «большие данные», который они считают
о спасении мира, о котором они думают
как правительства и НПО могут использовать это
новый вид информации, помогающий решить
важные социальные проблемы некоторые другие
люди, хотя, когда они слышат термин
Большие данные, которые они думают о наблюдении, они
подумайте обо всех огромных количествах
потенциально очень чувствительная информация
это собирается всех нас
все время, но для меня, когда я думаю
о больших данных, я думаю о чем-то
я думаю о писсуаре, так что
хотя, как вы все понимаете, это не просто
любой писсуар это очень особенный
писем это фонтан Duchamp this
является одним из моих любимых произведений искусства и
то, что мне нравится в этом, — это то, что
Duchamp взял что-то, что было создано
с одной целью, а затем повторно
для чего-то еще, и получается, что
эта идея перепрофилирования является центральной для
способ, которым ученые учатся из больших
потому что большая часть больших данных
источники , созданные
компаний и правительств по причинам
кроме проведения исследований и т. д.
ученые должны взять данные, которые были
созданный для одной цели и как Duchamp
переделать его для чего — то еще, и это
на самом деле действительно отличается от
ученые-космонавты пошли
узнав о мире в прошлом и
если бы мне пришлось выбрать одно произведение искусства, которое
может показать это больше
традиционный стиль социальной науки
исследования это был бы Дэвид, поэтому, когда
Микеланджело хотел создать Давид он
не оглядывался за куском камня
это вроде похоже на Давида
он три года работал над созданием
Дэвид и таким образом это показывает на самом деле
два стиля исследований, которые мы видим правильно
теперь есть готовый стиль, где
исследователи Duchamp хотели бы получить данные, которые
было создано , скажем, Twitter или
Facebook и переназначить его для исследования
и тогда есть другой стиль, где
исследователи создают свои собственные данные, используя
как опросы или эксперименты, но
все больше и больше , что мы собираемся , чтобы увидеть это
что существуют ограничения для обоих этих
чисто подходит к воле Дюшана
обнаружить , что есть вещи , которые вы
не могут учиться, просто перепрофилируя данные и
Микеланджело будет все чаще
чувствую, что они неэффективны и
расточительный , не воспользовавшись всеми
готовые большие данные, которые существуют, поэтому я
считают, что будущее социальных исследований является
гибрид этих двух стратегий это
будет готовой частью и частью
на заказ, и это позволит нам
делать то, что мы никогда не сможем сделать
прежде чем любой из этих чистых
стратегии, поэтому позвольте мне привести пример
прекрасного исследования, которое
иллюстрирует эту гибридную стратегию это
исследование, проведенное Джошем
blumenstock и коллегами, и это было
опубликовано в науке несколько лет назад
прежде чем я расскажу вам о том, что они сделали
позвольте мне рассказать вам немного о
проблема, которую они пытались решить, давайте
что вы хотите искоренить бедность в
мир, поэтому я считаю, что многие из
мы разделили бы одно из многих
многие проблемы, с которыми вы столкнулись
путь к этой цели состоит в том, что это на самом деле
трудно понять, где бедность и как
нищета со временем меняется
может быть чем-то вроде удивительной вещи для
людей в богатых странах, потому что мы
живут в странах, где
пример в США
Статистическая система собирает надежные и
точная информация о нашем обществе
но во многих беднейших странах мира
страны, где эта информация больше всего
необходимо, чтобы он не был собран, и поэтому это
вызов политикам, поскольку
они по существу пытаются работать в
темные они не могут знать, где
Проблема в том , что делает его трудно предназначаться
ресурсов эффективно и сложно
видеть, насколько они хорошо работают , потому что
они не могут измерить результаты и так
многие многие люди работали на
Проблема улучшения измерения
бедность, но Джош-Блюменсток и
коллеги придерживались иного подхода, поэтому
что они сделали, они начали с
записи звонков с самого большого мобильного
телефон провайдера в Руанде, так что это было 1,5
миллионов клиентов, и у них есть
подробные записи о моделях
вызов и текст для всех этих
люди, но эти готовые записи звонков
не имеют того, что исследование
на самом деле заботился о том, какая мера
бедности, и поэтому они сделали это
возьми нас
образец случайной выборки из этого набора
записи звонков, которые они вызывали людей
и они дали им традиционный социальный
научный обзор для измерения их бедности
поэтому у них есть этот набор данных по индивидуальному заказу
и у них есть готовый набор данных
и то, что мне нравится в этом исследовании,
как они соединяют их вместе
поэтому позвольте мне провести вас через этот процесс
теперь так первое, что они сделали, это
процесс называется особенностью, где
они создали огромную матрицу, где
для каждого человека есть одна строка и одна
столбца для каждой функции, и эти
могут быть такие вещи, как количество
количество исходящих звонков
но они также могут быть гораздо более тонкими
так, например, людей, которые у вас есть
называемой вероятностью, если они
называют друг друга, поэтому они строят много
многие сложные функции, подобные этому и
затем они обучают модели машинного обучения
использовать эти функции для прогнозирования того, что
люди говорили об этом, например,
эта модель машинного обучения может
узнайте, что люди, которые делают больше
международные звонки, как правило , больше
богатый как пример такого рода
вещь может найти это на самом деле находит
многие более тонкие образцы, поэтому, как только вы
эта модель машинного обучения
вы можете приложить ответы опроса для
все 1,49 девять миллионов других людей, поэтому
приношение — просто причудливая социальная наука
срок для угадывания и, следовательно, по сути, что
они сделали здесь , сделав опрос
из тысячи человек, которым они были способны
приблизиться к тому, что произойдет, если вы
сделал опрос 1,5 миллиона человек, тогда
что они сделали , они оценили, где
все жили даже несмотря на призыв
у записей не было имен людей и
обращается к тому, что выясняется, что какие башни
вы совершаете телефонные звонки ночью.
довольно хорошее приближение того, где вы
живите, так что вы видите, как они могли
для подключения этих готовых данных вызова
с данными выборочного обследования и
теперь они способны производить высокие
Разрешение Географические оценки
бедности в Руанде, и вот что
выглядят так, что это частичная карта
Руанда Я хочу обратить внимание на
квадрат в нижнем правом углу, чтобы
масштаб одного километра на один
километра, и поэтому вы можете видеть, что они
могут делать оценки очень
оценки малых географических районов, которые
будет очень полезной для разработчиков политики, поэтому
теперь вы можете быть
как эти оценки даже точны
это важный вопрос и
несчастливая правда, мы не знаем
потому что никто никогда не делал оценок
это точно прежде, чем то, что вы
вам бы очень хотелось, чтобы вы
чтобы иметь возможность сравнивать эти
как-то каким-то образом
золотая стандартная мера и получается
что за несколько лет до их изучения
Руандийское правительство провело
медико — демографическое исследование , которое является
традиционный дорогой высококачественный
Социальное исследование, которое может быть разумно
считается золотым стандартом, поэтому
демографический и медицинский осмотр не был
способный производить оценки на этом небольшом
географического уровня, но он смог
производить оценки для Руанды крепкие
регионы и так, что blumenstock и
коллеги, они агрегировали свои
оценивается до этих 30 регионов и
они создали такую ​​карту, как на этом
Карта более темных цветов указывает на более высокие уровни
нищеты и таким образом , они являются
оценки, которые исходят из этого
сочетание готовых и
пользовательские данные, и теперь вы можете
интересно, насколько хорошо это соответствует
золотая стандартная мера, и вот вот
другая оценка по демографическим и
Я выживу, и вы можете видеть в
бумаги , они на самом деле есть много очень
подробные технические сравнения, которые я
просто собираюсь подытожить высказывание
хорошо сочетаются, так что вы можете
см. в центре стран как
подходы обнаруживают область высоких
бедности, а затем прямо под этим
у них есть область более высоких уровней
так что это действительно интересно, что
этот новый подход к измерению может
воспроизвести это гораздо более традиционное
хорошо зарекомендовавшая себя методика измерения
но тогда вы можете сказать, почему
мы должны заботиться, как если бы мы уже
эта золотая стандартная техника должна
нас интересует эта новая техника
на всех , и ответ, что этот новый
техника в 10 раз быстрее и 50
раз дешевле, поэтому в 50 раз дешевле , чем
не похож на 10% дешевле на 20% дешевле
это примерно в 50 раз дешевле и
имеет огромное огромное значение так , чтобы
позволяет всевозможные новые вещи так позволять
я просто даю вам один конкретный пример, поэтому
вместо того, чтобы делать демографические и
обследования здоровья каждые пять лет, как
теперь вы можете делать это каждый месяц
поэтому в богатых странах нам не нужно
ждать каждые пять лет , чтобы получить меры
наше общество мы отслеживаем вещи
как уровень безработицы каждый месяц
и почему должно быть, что люди в бедных
страны не имеют такого же уровня
измерение также, так что это всего лишь один
пример того , что мы можем
когда стоимость снижается в 50 раз
и ученые будут думать о большом количестве
другие творческие вещи, которые можно сделать
а теперь и ученого во мне тоже
хочет уточнить, что это не
сто процентов яблок
сравнение яблок, потому что есть
около 70 лет теоретических результатов
и эмпирические ноу-хау, лежащие в основе
индивидуальные демографические и медицинские
Мы очень много знаем об этом
Техника и есть намного меньше
теоретическая основа для этого нового
подход , сочетающий готовые макеты и
специальные пособия, однако
источников данных и выяснить, как мы можем
сделать это надежно невероятно активным
области исследований прямо сейчас, и я
действительно уверен, что мы собираемся сделать
много прогресса в ближайшие годы, поэтому
отступая на секунду от этого
Я надеюсь, что теперь вы можете увидеть
о тех моментах, о которых мы говорили в
начало, поэтому это исследование является
пример того, как компании потенциально
сидя на большом количестве ценной информации
что они в настоящее время не добывают
из их больших данных это также пример
как при анализе соответственно большой
источники данных могут помочь в решении важных
социальных проблем, и это напоминание о том, что
огромные объемы данных , в настоящее время
собрал о нас, но то, что я люблю
это исследование хорошо, я думаю, что это так здорово
потому что это прекрасный пример этого
гибридный стиль, который является готовым вызовом
данных было недостаточно
данных выборочного обследования недостаточно
это было только благодаря сочетанию
эти две вещи , которые они были в состоянии
выполнить эту задачу, и поэтому я надеюсь, что
в следующий раз, когда вы услышите фразу big
данных, это будет то, что вы думаете о
потому что это будущее социального
исследования в эпоху цифровых технологий
вы
Please follow and like us:

Be First to Comment

Добавить комментарий