The Road to Big Data | Kaushik De | TEDxUTA

добрый вечер, так что меня зовут Кощек день
Я профессор физики прямо здесь, в
UTA сегодня я хотел бы поговорить о Большом
Данные и вы знаете, что у меня нет
зазывала
теперь, так как они потоковое видео это
Интересно, придется ли мне начинать снова с
привет добрый вечер я доктор я тренер
встряхнуть день хорошо, так что я сказал, что я
собирался поговорить о больших данных, и я
постараюсь сделать это как историю
большие данные и путь больших данных в
Будущее больших данных и по пути
по пути мы поговорим о I
также хотел бы немного поговорить
о моем личном участии с Big
Данные
так что же такое большие данные, если вы посмотрите на это
кривое это кривая стоимости
хранения данных за последние 35 лет
если вы хотите хранить 32 гигабайта
музыкальные файлы, которые вы можете сделать довольно
легко сейчас и ваш смартфон, если вы
хотел сделать это около 35 лет назад в
1982, что стоило бы вам, если вы
посмотрите на сюжет 32 миллиона долларов это
Участок представляет собой логарифмический участок, который означает
что если вы посмотрите на шкалу на
с левой стороны вы увидите, что это идет
1 миллион сто тысяч десять тысяч
потому что факторы десять, так что стоимость
хранение за последние 35 лет было
падая как камень, он упал на
фактор два каждые пару лет
и это была тенденция, которая сделала
мы можем говорить о большом
данные, если у вас не было этой технологии
Окончание технологии мы не будем
стоя здесь, говоря о больших данных и
кстати вы бы не сидели здесь
Ищу
на вашем iPhone или Samsung или ваш
Устройства больших данных, которые теперь вы можете носить
в вашей руке с вами везде, что
вы идете есть еще один компонент
эта революция, которая на самом деле
вероятно, более известный, чем сюжет
что я показал вам о стоимости
хранение это сюжет вычислений
власть часто это известно как закон Мура
который назван в честь Гордона Мура, который
был основателем Intel, который изначально
придумал грубую идею, что, возможно,
мы можем удвоить количество транзисторов
что мы ставим на компьютерный чип каждый
пару лет , и то , что вы видите здесь
точно такая же тенденция и какие большие данные
о это не просто , что вы можете
хранить огромные объемы данных, но это
Вы можете обрабатывать огромные объемы данных
так же, как стоимость хранения ушла
вниз за последние 35 лет сила
вычислительное пошел вверх по экспоненте над
последние 25 лет, так что это то, что
возглавил взрыв в больших данных
во всем мире это позволило такие вещи, как
Ученые позволили вещи почти
в каждой области исследований людей
используя большие данные, говорите ли вы о
физика мое собственное поле, когда вы говорите о
химия биология материалы экономика
социология городского планирования в каждой области
Big Data изменилось , как люди делают их
исследования, и это изменило нашу жизнь
изменил нашу жизнь во всех возможных
мыслимый способ не только из-за
смартфоны, но из-за самостоятельного вождения
автомобили из- за вычислительной мощности, которая
мы имеем в нашем распоряжении и что имеет
случилось , как эта революция была
занимающие место ученые и инженеры
построили больше и сложнее
устройства, которые собирают все больше и больше данных
потому что это мы можем
сделать это , потому что это возможно для нас
сделать это, чтобы мы поставили датчики и
инструменты повсюду, чтобы воспользоваться
больших данных и сегодня модное слово
модное слово избыточный масштаб мы идем
в сторону избыточного масштаба, что делает избыток
масштаб означает, что это тот, за которым следует
18 нулей , это количество бит
или байты памяти, которые мы способны
обработки это количество флопов
вычислительной мощности, на которую мы способны
обработки и это много нулей в
так позвольте мне дать вам для следующего
пять минут некоторые примеры исследования
в физике, как это изменилось с
Появление больших данных это исследование, которое
Я был частью, как вы уже слышали
секрет я здесь уже 25 лет
так что я был в UTA именно
период, через который мы увидели это
технологическая революция, поэтому я делаю
исследование я начал делать свое исследование 25
лет назад, когда я прибыл в UTA и
не спрашивайте меня, почему я приехал в UT, если я
хотел сделать мое исследование в Женеве
Швейцария
но вот где 25 лет назад
Европейские страны вместе с нами и
Япония начала строить крупнейшие
ускоритель частиц в мире это
сто метров под землей это в
туннель, который найден 27 километров и
это такой длинный туннель, что он подходит
в одной стране это на самом деле проходит
Швейцария и Франция это прямо рядом
на Женевское озеро, и это прямо рядом с
Французские Альпы
так что это ускоритель частиц, который
самый амбициозный и до сих пор самый
мощный ускоритель частиц в
мир может был построен зачем изучать
большинство фундаментальных свойств природы в
изучить наиболее фундаментальные законы
физика за последние 10 лет в то время как
этот ускоритель
оперировали мы опубликовали более 700
документы из данных, которые выходят из
этот ускоритель и четыре или пять лет
назад я на самом деле стоял на этой сцене и
TED поговорить об открытии
бозон Хиггса , который получил Нобелевскую премию
Приз по физике в 2013 году, который был сделан
возможно в нашем эксперименте, и есть
много много больше вещей, которые мы можем
исследовать, но сегодня это не то, что мы
хочу поговорить о том, что мы хотим поговорить
об этом действительно больших данных и получить
контекст для больших данных , которые вы должны
посмотрим, что мы вставили в этот ускоритель
100 метров под землей
мы построили крупнейший научный
инструмент, когда-либо построенный, и это все еще
крупнейший научный инструмент из когда-либо созданных
мы начали строить его 25 лет назад и
это в Женеве, Швейцария, и это
называется детектором Atlas или Atlas
Эксперимент вы можете пойти посмотреть на
веб это называется Atlas Dot CH, и вы можете
узнать больше об этом в целях
Большие данные, что вы должны понять, это
этот Атлас вы можете думать об Атласе как
так же , как камеры , это очень сложный
камера это очень большая камера это не
то, что вы носите с собой
это может сфотографировать несколько сотен миллионов
раз в секунду это не похоже на ваш
обычная камера, где вы едва можете
нажмите кнопку пару раз
во-вторых, вы даже не можете положить его на
нормальная камера в автоматическом режиме и получить больше
чем 10 картинок в секунду эта картинка
может сделать сто миллионов фотографий каждый
второе и каждая картинка имеет десятки
миллионы битов информации в нем
и это никогда не было бы возможно
без больших данных это эксперимент
что мы начали строить 25 лет назад
большинство людей на самом деле не знают, когда
они в середине революции мы
были в середине технологического
революция мы начали строить
эксперимент , который никогда бы не был
возможно без технологического
революция
большие данные мы начали строить
эксперимент в 25 лет назад, и оказалось
чтобы быть чрезвычайно успешным
Эксперимент чрезвычайно успешный проект
без в то время как мы были в середине
эта огромная технологическая революция
что мы все извлекаем пользу в обществе
Теперь одна из проблем, с которыми мы столкнулись
со всеми этими данными, поступающими из нашего
эксперименты в том, как вы анализируете
Я имею в виду, что это много данных, поэтому мы имели
сделать что-то чрезвычайно инновационное
не было суперкомпьютера не было
Google или Amazon не было данных
центры, которые были способны
анализируя все данные, которые мы
собирая из этого эксперимента, так что
мы сделали, мы сказали, что вы знаете, что это такое
большой эксперимент, это то, что
многие люди заинтересованы в
Дело в том, что оказалось тысячи и
тысячи физиков со всего
мир из сотен
Разные университеты и лаборатории хотели
быть частью этого эксперимента и в
каждый из этих университетов
и лаборатории, как в UT Arlington
там был вычислительный центр там был
вычислительный центр на каждом из
их, и мы ударили его в наш маленький
калькулятор, и он сказал, что вы знаете, что
достаточно вычислительной мощности в
мир для нас, чтобы иметь возможность сделать
анализ данных и сделать
открытия , которые мы хотим сделать , если мы можем
заставить все эти компьютеры работать на
другой, поэтому нашей следующей задачей было изобрести
программное обеспечение, которое позволяет вам сделать это так
12 лет назад я основал этот проект
который называется программное обеспечение Panda они
охватил проект, который был разработан правильно
здесь в UT Арлингтон и Брукхейвен
Национальная лаборатория в Нью-Йорке, и мы
разработал программное обеспечение, которое позволяет
сотни и сотни вычислений
центры по всему миру, чтобы работать
вместе, чтобы решить и проанализировать
научные данные, которые мы собирали
абс не через атлас
было ли это действительно передовой край нас
инновации на самом деле три или четыре года
назад, когда президент Обама объявил
инициатива больших данных в Белом доме
в брошюре, которая была выдана в то время как
Панда была упомянута в качестве примера
нам инновация, которая привела
технология больших данных, чтобы просто дать
Вы еще один пример за последние шесть
семь лет или около того вы можете увидеть, как
шкала, на которой работает диапазон, возросла
почти в 10 раз это отражает и
отражает то, что мы можем сделать
технологически через инновации, которые
мы развиваемся в наших лабораториях и в этих
Google Earth показывает, что вы видите все
все данные, путешествующие между
все разные университеты и лаборатории
которые анализируют меньше данных
в том числе суперкомпьютер прямо здесь, в
UTA на химическом и физическом строительстве
ходить по комнате 115 , и вы будете в состоянии
увидеть суперкомпьютер в той комнате, которая
анализирует данные вместе с этими
сотни других мест по всему
мир, чтобы извлечь науку из
получить доступ к эксперименту, поэтому я звоню
этот разговор дорога к большим данным это
необычайные технологические инновации
что мне повезло быть частью меня
дал вам пример того, как самый дикий
революция происходила, мы были
выяснить, как воспользоваться этим
и используя его для науки это имеет
изменил каждую область исследований каждый
область науки за последние 35 лет
это необыкновенное достижение
человеческие инновации и изобретательность, что мы
испытали в течение этого последнего 35
лет он коснулся этого сейчас сегодня
затрагивает каждую жизнь как в результате
все научные усилия, но это также
затрагивает каждую жизнь в очень повседневной
такие вещи, как
данных, которые у вас есть в вашем смартфоне
для доступа к искусственному интеллекту
интеллект, который у вас есть в вашем
смартфон, поэтому я хотел бы закончить мой
поговорить с вопросом, как насчет
Будущее, куда мы направляемся, действительно ли мы
ожидать, что это будет продолжаться в течение следующих 25
лет это вопрос действительно больше для
Вы, что вы собираетесь делать для
в ближайшие 25 лет я принял участие в
это в течение последних 25 лет здесь, в UTA
так какие проблемы для вас хорошо
Есть проблемы, и у вас будет
быть инновационным для того , чтобы удовлетворить тех ,
проблемы, если вы посмотрите на закон Мура
и это тот же сюжет, который я начал
мой разговор с, за исключением того, что идет еще несколько
лет, так что вместо того, чтобы остановиться в 2010 году
идет в 2015 году, что вы видите, что
все уплощение вещи
не просто идти вверх и вверх и вверх, как ты
увидел, что за 25 лет до того, как технология
замедление это проблема, но это
также возможность , это возможность
вводить новшества помнить, когда мы пытались
проанализировать данные нашего эксперимента
мы не могли найти компьютер, который мог бы
сделать это так, что мы сделали, мы выяснили,
что если бы мы взяли все компьютеры в
мир, который все институт, что
участвовал в эксперименте мы можем
заставить его работать , это своего рода
инновация это вид мышления
что вам нужно сделать , чтобы сделать
Следующие 25 лет имеют такой же вид
технологическая революция, которую мы имеем
видел за последние 25 лет сейчас
признаки того, что есть признаки беспокойства
путь и Национальный совет по науке
опубликовал свой отчет, который он делает каждый
пару лет о состоянии науки
и инженерия и одна из метрик
что они смотрят на это число
публикации в области науки и техники
по стране и что вы видите в этом
Участок в красном это Европейский Союз, это
начинает идти вниз в синий цвет является
Соединенные Штаты начинают падать
За последние несколько лет
в коричневом прямо под ним идет вверх и вверх
и до, как мы привыкли делать 25 лет
назад это за последние 10 лет или около того
это Китай
ниже это Япония, которая ниже плоской
это Индия
поэтому мы теряем часть нашего преимущества в
инновация это технологическая революция
больших данных имели место в США в
Япония и в основном в Западной
Европа это замечательно видеть все
такие страны, как Китай и Индия сейчас
инвестировал делать инвестиции в области
что может привести нас к следующей революции
но мы должны сделать то же самое, так что это
что я спрашиваю вас, что вы выходите
там и убедитесь, что мы продолжаем
по этому пути, что мы продолжаем вниз
это путешествие с еще одним финальным сюжетом
также из Национального научного совета
который был количество доктора
степени , которые присуждаются за страну и
вы можете увидеть то же самое, что он замедляется
в США это замедляется
Европа и это то, что мы должны
наоборот, и я думаю, что это все в пределах
ваша сила сделать это, я думаю, что это
все в пределах вашей способности сделать это и
это то, что это моя задача для вас
в течение следующих 25 лет спасибо
[Аплодисменты]
вы