[Музыка]
большое спасибо, так что это разговор
о применении собственных принципов клиента
науке о данных в 2016 году
Microsoft сделала очень грубый шаг и
они выпустили новую породу бот-чата
в общественное достояние
сайт компании утверждали , что
были построены с использованием соответствующих общественных
данные , которые были смоделированы, очищены
и , возможно, вы слышали об этом
был назван tayi целью бота
было отвечать на твиты в гуманистическом
как вы могли бы отправить ему вопросы
Twitter, используя ручку, и сделал
действительно хорошая действительно хорошая работа
отвечая, как она, как молодежь на самом деле
как я говорю, молодежь, потому что я не
понять многое из аббревиатуры
используется , но в колодце , когда он был выпущен
все было плавно
и он отлично работал на самом деле
не сделал звук , похожий на человека, пока ни
но когда такая крупная технологическая компания, как
это подобно этому выпускает продукт, подобный
это , как правило , они первыми пользователями
эта служба является инженером и
что вы все инженеры в комнате
вы проверили бы эту услугу?
оцените его за то, что он есть, и вы
знайте, задавайте ему разумные вопросы или B
ты бы попробовал и сломал бы это ты
присылайте ему самые ужасные вещи, которые
вы могли бы подумать, чтобы попытаться
заставить его дать нам ответ хорошо,
знающие инженеры — садистская группа и
вы можете догадаться, какой вариант они выбрали
бот пошел от кроткого хорошо
отвечая чат-боту сексистскому расисту
геноцид всех нацистов примерно за 24 часа
у вас есть коллекция твитов, которые вы
может видеть, где это началось с вас
знаю, выглядят неплохо, и мы закончили
с Гитлером вы знаете, если вы закончите с
Гитлер, ты знаешь, что это случилось неправильно
мои любимые твиты на самом деле были о
Британский комик Рикки Жерве
и вы знали, что знаете
Достойный вопрос — рикки Жерве
атеист ответ Рикки Жерве
коварный тоталитаризм от adolf hitler
изобретатель атеизма теперь все , что я
знаю о Гитлере, я не думаю, что это
его самая известная черта, но я дам ей
10 из 10 для вас нет воображения для
что один и, в конечном счете, результат
этот замечательный эксперимент спустя 24 часа
он был мертв, и хотя это
я действительно на самом деле
весьма впечатлен Microsoft, это было
очень грубый шаг, чтобы это произошло
им удалось доставить то, что
был действительно впечатляющим, но я думаю
Я думаю, и это просто спекуляция
что я думаю, что некоторые из
Традиционная организационная структура Microsoft
что мне кажется, что
люди, если бы люди смогли определить эти
проблемы, и они были в состоянии
уметь выявлять эти проблемы, тогда они
мог бы остановить его перед чем-то
как это произошло, и это действительно
о том, о чем идет речь сегодня
в обычной жизни традиция фантастическая
в важной части культуры
meme, но в технике это на самом деле
вы знаете гавань вредных привычек, если мы
придерживайтесь традиций, тогда мы склонны
повторяйте те же ошибки, которые я использовал
как болота в области науки о данных и
в разработке программного обеспечения и том, что мы использовали
я должен был уйти, и я бы
напишите мои модели и сделайте мое исследование и
то единственное, что все остальные
видел бы только этот массивный код
который я бы бросил на программное обеспечение
инженеров, и я бы сказал, что вы идете
программисты, я закончил свою работу сейчас
это ваша очередь реализовать и
очевидно, вы знаете большую часть времени, что
просто не работал некоторое время
частично работал, но никогда не работал
хорошо , как это должно быть сделано , я на самом деле
поговорил с клиентом на днях, и он
был обеспокоен тем, что он заплатил за
проект для его компании, с помощью которого он отправил
некоторые данные переданы исследовательской группе, и они
он был обеспокоен тем, что
работа, которую эти исследователи
делать не могли
в реальной жизни это были слова, которые он использовал
он думал, что это слишком академично
со словами, которые он использовал, и тем, что он имел в виду
были те вещи, которые они
придумали, мы на самом деле не
реалистичный и актуальный для вас
современное промышленное программное обеспечение, так что да
традиция — это немного проблема, но
традиционно ученые-исследователи
работал над определенным типом модели
это модель, потому что
перекрестная отраслевая практика с
интеллектуального анализа данных, и это ближайший
вещь , которую мы должны знать вас процесс в
науке о данных вы увидите, что есть
много циклов в этом процессе, и это
просто свидетельствует о том, что большая часть
наука о данных является разновидностью открытых и
он никогда не прекращает
проблема в том, что в значительной степени
все эти шаги вы знаете сами
отдельных лиц, и они не
очень хорошо, поэтому первая проблема
лицо развертывания, как я только что сказал, когда
Я был ученым по данным, я бы бросил
модели для инженеров-программистов
и тогда я никогда больше его не увижу
Я вроде думаю, что это, вероятно,
что-то, что произошло в Microsoft, мы
получить инженеров- программистов , которые не
прошли обучение в области данных, которые мы даем
их я им даю, вы знаете плохо
документированный неинтерпретируемый код и
ожидайте, что они поймут это и
эффективно применять его , это никогда
произойдет
и тогда мы начинаем идти через
другие части модели
данные понимают, что это серьезная проблема
в науке о данных, поскольку данные
наиболее важная часть
проблемы и данных
понимающая часть, мы полагаемся на домен
экспертов для толкования
данных, поэтому мы провели большую беседу
от Фейнмана о том , как он работал над
в области музыки, с которой он работал, если
вас там не было, он работал с
классическая музыка и нормальные данные
ученый не знал бы ничего о
терминология , используемая в музыке , но
в течение его лет делает это
исследования он, наконец, стал доменом
но потребовались годы и годы работы и
года времени , так что это хороший пример
этой подготовки данных является другой
проблемная область , потому что это часто делается
один человек, и это делается только один раз
что происходит, вы получаете одного парня, который
действительно вникает в данные, и они
те, которые действительно это понимают, но
это отчасти трудно воспроизвести
потому что это понимает только один человек
и выход снова это
аморфный блок программного обеспечения, который принимает
беспорядочные данные и выдают хорошие данные и
наконец, моделирование этого немного
легче рассуждать, если у вас больше
и больше людей понимают типы
используемых моделей и способов моделирования
но проблема моделирования заключается в том, что
снова это только один человек
потому что процесс обычно
требует много разных вещей
в основном, выбрать лучший, но
процесс, который проб и ошибок никогда
записанный в любом месте, единственным выходом является
модель, которую вы знаете, это ответ, так что если
мы хотим масштабировать это прошлое один человек
то мы должны там, что обычно, что
происходит второй человек повторяет все
те же ошибки и что на самом деле заканчивается
при другом результате, потому что вы
знать его предубеждения и предпочтения
мы алгоритмы обычно заканчивается в
другой модели, чтобы вы знали
целая часть этой стороны модели
вроде как мутный канал, которого вы знаете, это
вы знаете, как грязный канал в Амстердаме
корабли могут уходить и опускаться, но вы
не захочет вскакивать и следовать
это и тогда, если в конце всего этого
вы знаете, что у нас есть операция
на стороне развертывания у нас есть обширная
большинство исследований в области данных
фаза , которая не будет хорошо на самом деле
подавляющее большинство проектов терпят неудачу, потому что
есть недостаток в понимании бизнеса
и это либо потому, что бизнес
не понимает технических
последствия, которые они предлагают или
технические парни не понимают
деловая проблема достаточно, поэтому весь хост
проблем, поэтому я думаю, что я собираюсь
теперь я проигнорирую бизнес
сторона немного , потому что это
фактически отдельная проблема сама по себе
и вы все технические парни Дык и галлона так
Я просто буду придерживаться
три отдельных этапа, у нас есть
фазы исследования, которая была
говорит о том, что вы знаете, что понимаете
данные, массирующие данные и производящие
данные в модели у меня есть сборка
лицо пытается доказать, что мы делаем то, что
мы делаем правильно, а затем
фактическая фаза развертывания — бит, который мы
хотят спешить в производство
так что фаза исследований состоит из
начальная наука о данных, которая может быть
ничего из проведения экспериментов
сбор данных о подготовке данных
чистка моделирует все, что хороший материал
это своего рода это называется
исследовательской фазы, потому что это очень
научного процесса и
Проблема в том , что это это
неотъемлемо открытый и, следовательно,
очень высокий риск, поэтому существует высокая
вероятность отказа на этом этапе
потому что вы можете обнаружить, что либо вы
не имеют данных для выполнения задания
правильно или вы просто не можете сделать работу
потому что вы знаете , неразрешимыми для
почему-то так немного отступать
верить или нет на самом деле Англия имела
очень богатое автомобильное наследие, которое вы могли бы
не думаю, что в эти дни вы могли бы подумать
Германии или что-то в этом роде , но
есть завод по производству
Оксфорд, который начался в 1913 году, так что это
изображение того же производства
завод в 1943 году и примерно с тех пор до
в 1970-е годы она принадлежала компании
Британский Лейленд — это картина
строительства их производственной линии
цистерны для мировой войны ii
время, которое он добрался до 70-х годов, когда он строил
этот маленький кушетка, вы, вероятно, все
признать, но в начале и во время
вещи 70-х начали идти не так и
конечная причина, по которой они шли
неправильно было потому, что было лучше
более дешевые альтернативы доступны другие
компании инвестировали в
автоматизация этих линий для
производить лучшее качество и дешевле
продуктов, и вы знаете, когда мы говорим о
программное обеспечение для разработки программного обеспечения
инженерных или инженерных
это просто преобразование процесса в код
так что мы можем автоматизировать его,
вот где я должен был сказать, что
слово и сегодня я считаю, что наука о данных
фактически является автоматизацией данных
таким образом , мы начинаем видеть , как у
трехуровневая иерархия между вами
знаю, что у нас есть наука о данных на
снизу, на котором берутся все данные и
автоматизация на основе этих данных
чтобы подражать процессу, поэтому я думаю, что
наука о данных и разработка программного обеспечения
на самом деле очень хорошо подходят, они идут
вместе очень хорошо, потому что данные и
наука поступает в программное обеспечение
который затем вписывается в значение, которое
вы пытаетесь предоставить, и это
картина того же завода по производству
в 2013 году, так это через сто лет после
открылся завод по производству и
теперь вы можете видеть, что это намного больше
автоматизировано, и в основном это не люди
там и это позволяет этой компании
строить более надежные автомобили и
вы, вероятно, знаете, что сейчас эта компания
принадлежащих BMW, поэтому вы знаете
отличная золотая английская компания была съедена
немецкие производители проклинают это так
да в любом случае мое дело, что я думаю
разработчики программного обеспечения или программное обеспечение
инженеры на самом деле действительно хороши
позиции, чтобы фактически втянуть себя в
наука о данных не наоборот
потому что мы выйдите со всеми из
вещи, которые мы узнали во время этого
вы знаете более традиционную автоматизацию
и мы можем начать применять его к
наука данных , потому что дело в том, как на
момент, когда это не происходит в данных
наука в данный момент, и это приводит меня
к наукам о данных грязный грязный маленький
секрет, а маленький секрет в том, что
подавляющее большинство ваших усилий и времени
и инженерные навыки в качестве данных
ученый переходит к данным просто
беспорядочно возиться с данными
вы знаете, что мы устраняем проблемы с
данных мы вменяем пропущенные значения мы
удаление недопустимых данных и т. д. и
так далее , и так далее , и подавляющее большинство
PUF
конечная производительность модели
исходя из того, насколько вы можете улучшить это
данные не на модели, поэтому вы знаете, что мы
были некоторые слишком большие фантастические переговоры это
утром вы все знаете о глубоком обучении
все о очень сексуальных технологиях, но
это проблема Силиконовой долины
оскорбление парней Силиконовой долины, но
это очень Силиконовая долина братан для
все остальные за пределами Силиконовой долины
мы все еще живем в мире, где
вы знаете, что это простые методы
это действительно имеет значение, и это
не должна быть сложной моделью
простые вещи могут пройти долгий путь и один
самых больших проблем с этим процессом
заключается в том, что это открытие фиксирует
данные это понимание данных как я
сказал, что это сделано только одним человеком, поэтому я
думаю, это просто проблема
видимости очень мало
видимость в науке о данных
только в целом один человек, который работает
по проблеме одновременно
и это вы знаете , что это очень трудно
масштаб или, по крайней мере, это очень неэффективно
масштабировать на протяжении многих лет программное обеспечение
инженер сделал действительно отличную работу
в улучшении этого, потому что мы точно
те же проблемы, которые, как вы знаете, мы могли бы
довольно эффективно распределять двоичные файлы
но когда дело дошло до исходного кода, мы
прошли через вы знаете , десятилетиями пытаются
улучшить видимость и
отказоустойчивость нашего исходного кода и
к счастью, наука о данных наконец
начиная попасть туда и эти два
инструменты, в частности, были очень
поэтому вы, вероятно, все знаете один из
поэтому я не буду говорить о
что а второй является ноутбук некоторые
вы, вероятно, сталкиваетесь с этим, но вы
может быть не так, я просто буду просто
введите его так, что это Юпитер
ноутбуков это эволюция ipython
ноутбуков идея заключается в том, что внутри
ноутбук есть серия ячеек и
каждая ячейка может быть либо уценке или
это может быть код, что это делается, это
в одиночку улучшилось
видимость от нуля в значительной степени все
путь почти так же хорош, как и я.
думаю, это на самом деле, вероятно, лучше
чем инженер-программист с точки зрения
видимость, что означает, что это когда
Когда я впервые получаю
данных, и я делаю свой анализ, я могу
документируйте все, что я делаю, даже
Я могу написать код, который я могу
напишите, что вы знаете слова, если мне нужно и
когда кто-либо еще должен был повторить это
они могут просто прийти и
прочитайте это как документ, если они хотят
они могут войти, и они могут
на самом деле начать играть с кодом
они могут начать выполнять тесты, если они, если
ты думаешь, о, я думаю, твои модели мусора
Я попробую другую модель, или я собираюсь
попробуйте несколько разных параметров, это очень
легко для кого-то просто вступить в смену
что-то и запустить его, так что это очень
итеративный очень визуальный способ делать данные
науки, и да, это сделано огромным
воздействие , а затем , когда вы объединитесь его
мы получаем , и я думаю , что у нас есть вы знаете ,
святой Грааль повторяемости от
видимость от ноутбуков юпитера и
даже нравится, как будто это то, что мы
не считаются само собой разумеющимся
например, когда мы смотрим на код
нормальный нормальный код программного обеспечения, который мы используем
вы знаете github и получаете лабораторию и что угодно
просто для просмотра онлайн-просмотра
кода гораздо чаще, чем мы на самом деле
думаю, что мы есть, и это одно
супер супер полезно для
видимость там так, и это прекрасно
очень хороший и огромный прогресс для
индивидуальные разработчики, но как мы
масштабировать его до нескольких разработчиков, которые мы делаем
что с другим проектом от Юпитера
называемый центром Юпитера, и это довольно
простая архитектура, так как вы можете видеть основные
части содержат HTTP-прокси, которые у нас есть
индивидуальный ноутбук, чтобы этот ноутбук
часть — это бит, который я только что объяснил
вы записали книгу Юпитера, а затем мы
получил пару пользовательских баз данных там
с левой стороны, чтобы ручка
Экземпляры многопользовательских , но наиболее
Интересная вещь — это то, что
потому что мы могли бы сделать это, мы
может переопределить этого производителя и подключить
весь набор инструментов, которые мы можем подключить
дакка, и мы могли бы начать крутиться
контейнеры для докеров, где вы можете начать
вы знаете, что контейнеры Мизеса
Orchestrator мы могли бы развернуть его в
своего рода облачной среде
это невероятно невероятно полезно
возможно, мой любимый, мы можем начать
Работы в кубернетах, которые вы знаете, начинаются с
наши собственные контейнеры, и вы знаете
чреватые спросом у инженеров-программистов, которых мы знаем
что это дает нам огромную сумму
гибкости мы можем просто масштабировать
когда нам нужно, чтобы у вас было больше
разработчики, работающие на разных
проблема просто добавит больше контейнеров, если вам нужно
более крупные машины просто
количество машин, которые мы можем выбрать
машины , нужны ли нам графические процессоры или процессоры
это все годы впереди науки о данных, поэтому
у нас есть видимость, которую мы сейчас имеем
начал контейнерный процесс таким образом
это вы знаете двух основных арендаторов
видимость облачных нативных контейнеров теперь
давайте построим последний час, давайте двигаться дальше
к строительному лицу, не основанному на
переместить лицо , поэтому мы учим об этом в
начало, но в прошлом и продолжение
сегодня по- прежнему происходит сегодня ученый-информатик
это очень общий термин, я не
обязательно означает, что вы знаете людей с
PhD , которые работают с высоким уровнем
инструменты глубоко изучают это, что ни
просто нормальные люди, просто работающие с
нормальные данные, они придумывают идею
может быть, простая модель, которую они бросают
для разработчиков программного обеспечения это
полностью аналогично тому, где программное обеспечение
инженерно было около 10 лет назад
разработчики программного обеспечения
бинарные их программное обеспечение бросить его на
парни Ops, и мы боремся с этим
с идеей DevOps
поэтому я думаю, что есть эквивалент
сдвиг, который должен произойти с данными
ученым, ученым -ученым необходимо
стать более интегрированными с
разработчиков программного обеспечения и, в конечном счете, более
интегрированный с людьми ops также
так что вы знаете данные, если вы были и в
лучше, если у нас нет , в лучшем случае мы
имеют неэффективные модели, но в худшем и
вы знаете, что более вероятно
случается, что вещи не происходят в
все, и если вы не получите этот переход
прямо тогда вы просто закончите с нашим
продуктов и разговоров об ИИ и роботах I
люблю это видео
робот-помада Симона получает веселый
ах , ты все скучно, я нахожу это забавным
Я буду , я буду смеяться и так как
мы улучшаем это хорошо, как, например, мы
видел от перехода DevOps от из
поэтому большая часть проблемы
на самом деле проблема людей это
о том, чтобы заставить людей принять их
роль меняется, и она меняется для
лучше для всех
и это , и это хорошо , но это
немного скучно , что мы можем сделать технически
начните обеспечивать качество, которое мы можем обеспечить
качество с сюрпризом-сюрпризом
непрерывное развертывание непрерывного
интеграция — это классический непрерывный
трубопровод поставки, я уверен, что вы все
Знайте об этом, вы знаете, инженер
commit — это код, который войдет в сборку
сервер он будет проходить через трубопровод будет
в настоящее время
трубопровод, возможно, самый важный
часть всего этого процесса, и это необходимо
быть настроены на ваш домен и ваш
проблема
Мне нравится, мне всегда нравится говорить о
тестовый треугольник, это довольно часто встречается в
литературу CI, если вы ее не видели
прежде чем это изображение, где на оси x
у нас есть количество тестов на
ось ординат
у нас есть объем или глубина
тест, так что внизу у нас есть единица
тесты, у которых у нас очень большое количество
единичные тесты, которые
небольшие биты кода вплоть до
наверх, где у нас очень мало тестов
приемочные испытания, но они тестируют
огромное количество кода, и вы знаете, что
процесс тестирования, возможно, самый
важной частью фазы сборки, если вы
не тестируйте свои модели, тогда вы в конечном итоге
с чем-то вроде этого это мой
коллега, он пытался забронировать рейс
из Амстердама в Прагу я думаю и
каяк любезно рекомендовал мне полет
вы знаете, что это был прямой вывод одного
их моделей рекомендаций это было
меня так, что для этого парня он, очевидно,
не удалось забронировать рейс
они потеряли свой доход, они потеряли свой
деньги, я боюсь представить, сколько еще
люди использовали сайт в то же время
времени, и все они получили большой меня и
они должны потерять много денег, я думаю, если
что если что-то есть четкое указание
что людям, нуждающимся в данных
быть более интегрированным в
операции их реального программного обеспечения
потому что они единственные, кто знает
вы знаете, как осуществлять мониторинг
лучший способ , которым они знают , как это исправить , если ему
идет не так, и мы переходим к
разверните фазу, и это немного больше
Трудно говорить о том, потому что это
бит больше зависит от домена, это очень технологично
стека, так что это зависит от того, что
технологический стек, который вы используете, но я могу
Обобщите это немного, говоря
о контейнерах, но я имею в виду в конечном счете
цели точно такие же
мы хотим, чтобы наше программное обеспечение было реактивным
упругой и воспроизводимой, мы хотим, чтобы она
быть реактивным, чтобы при изменении
с внешним миром , мы можем расширять и
как мы хотим, чтобы
быть устойчивым, так что, если он когда-либо не справится с легкостью
автоматически восстанавливать себя и
воспроизводимый, если мы можем быстро воспроизвести
наш кластер в другом месте
тестирование или что-то, что улучшает
проверяемость и вид представительства
эта маленькая стрелка в
построить трубопровод и даже в непрерывном
это часто пропускается и
он всегда представлен небольшим
стрелка, как будто это похоже на эту простую вещь
где вы просто подталкиваете его к производству
цветы смайликов делаются, и это никогда
как будто это немного больше
сложными и гораздо более конкретными и
есть много технических усилий,
вы проверили, что пытаетесь подтолкнуть
для производства для науки о науке
одна из самых простых вещей, которые мы можем сделать, это
принести в контейнерах снова вы знаете , так
как ты поступаешь так хорошо, что знаешь, что ты
есть какая- то модель, вы вполне можете
легко вставить в контейнер и
если вы только что получили интерфейсы и
рутинеры, тогда они все хороши
стандартизован, как только вы дойдете до этого
то становится намного легче
не только убедитесь, что он работает на вашем
машины, и он работает так же
но также легче
другие люди рассуждают о
потому что здесь вы знаете, что уменьшаете
домен, который должен
понимать , чтобы использовать вашу услугу
и эта модель может быть чем угодно
будь то простая модель Python
это может быть производный тензор Fianna
что угодно, и если вы в большей степени
потоковые технологии, и вы знаете, что мы
может легко применять потоковые технологии
здесь также , если мы просто упаковать вверх по
что бы это ни было в вашем конкретном
потокового X потокового пакета, который
вы используете и как источник или искру
исполнителя все еще вполне разумно
делать это, и это очень хорошо подходит
в тестовый треугольник, потому что мы можем
построить этот контейнер как часть нашего
поставка трубопроводов и начать тестирование , что
контейнер, а не просто тестирование
сам код, чтобы вы знали, что все это справедливо
все, на что нацелены, но
это удивительно, насколько это не
происходят в реальной жизни в области науки о данных и
то, наконец, мы можем просто
контейнер в производство, но вы
хотите, чтобы вы знали, используя какой-то
Orchestrator или вы знаете, используете ли вы
какая-то система потоковой передачи
выбор GPU и процессоров — это
максимальная гибкость, если она работает
там, если он работает на вашем ноутбуке
не имеет значения и просто для того, чтобы
домой один из этого немного
другой, но я знаю, что есть
несколько человек сегодня думают о людях здесь, поэтому
Я должен быть немного осторожен
есть отличная компания , потрясающая
компании, но их отдел маркетинга I
думаю, также необходимо интегрировать
в производство, а также потому, что они
отправил это письмо на прошлой неделе, и я
было бы действительно интересно найти
из какой мысли работают сейсмические дерьмы I
нахожу, что действительно увлекательно на самом деле я
думаю, что это гениальное движение
отдела маркетинга, потому что так много
люди говорили об этом в
офис, и я думаю, что это сделано гораздо больше
для размышлений, чем что-либо
они могли бы отправиться так хорошо
что маркетинговый человек, который сделал это
хорошо, так что теперь у меня есть быстрая демонстрация
демонстрируя все эти концепции
вместе
Я пробовал подумать о простом примере моего
Примером является виски магазин , так что я
бизнес-требование у меня есть клиент
который является магазином виски, потому что я думаю
виски и их
пришли ко мне, потому что они хотят
предоставить USP в том, что они могут
рекомендуют лучше виски, чем кто-либо
иначе, но проблема в том, что они хотят этого
чтобы иметь возможность масштабировать, они не могут
позволить себе использовать экспертов виски каждый
один из их магазинов, так что это много
более эффективно писать алгоритм для
сделайте это для них, чтобы их требования
они хотят, чтобы кто-то
любимый виски, и они хотят
рекомендации, которые они хотят начать
с ограниченным набором виски, но
хочу , чтобы иметь возможность обновлять свои данные в
модель в будущем это все
доступный в моем репозитории, вы можете
получите это, потому что это все с открытым исходным кодом и
это довольно просто, вы знаете, что
Алгоритм забавной для этого он
довольно узловатый, это своего рода знаменитый
стандартный набор данных виски и просто
покройте это немного , это просто
алгоритм ближайшего соседа, поэтому, если вы
если у вас есть два виски
Виски характеризуются набором
числа, в которых номера соответствуют
особая особенность этого виски, поэтому
функции могут быть дымными или
сладость ириски такие вещи так
что произойдет , так это то, что
рассчитать расстояние между чьим-то
выбранный виски и все виски
и тогда мы выберем первую пятерку или
десять или любые рекомендации, основанные на
на что так довольно просто , но вы знаете ,
работает замечательно эффективно, но ключ
вещь здесь получила полный непрерывный
так что все эти этапы
все было реализовано с вами
модульные тесты и макет данных и реальных данных
и приемочные испытания, и я использовал
Ноутбук Юпитера для начального
анализ, и мы можем вставить новые
данных, просто набив его в git и
затем смотреть его поток через
трубопровод, так что, надеюсь, это будет
играть отлично, поэтому я сделал
видео здесь, потому что, как вы, вероятно, знаете
вы знаете, что многое из этого требует много
время, так что теперь я просто возился с
terraform, создающий мою новую инфраструктуру
для этого проекта, и мы собираемся
10-кратная скорость в настоящий момент
bla bla bla bla bla bla bla возможно все
используется для видеть это , и тогда конец
результатом является рабочий сервер
облако с некоторым исходным программным обеспечением
развернуто. О, дорогая, можете ли вы увидеть
в нижней части экрана, вы можете это
просто этот монитор все в порядке, так что я
просто сделано, я просто фиксирую книги
потому что это не сработало, и, наконец, мы
наш алгоритм действительно работает так
это заканчивается из контейнера и
когда я скручиваю контейнер, тогда я получаю свой
рекомендации назад, так что простой ОТДЫХ
Тестирование API, которое вы знаете, передано в mcallen
Я хочу, чтобы это было мое любимое виски и так
Я собираюсь получить эти рекомендации здесь
здорово
так что первая работа в качестве инженера-программиста я
понял , что, может быть, немного
ошибка в моем коде, поэтому у меня есть UCF ass
mcallen там, и он действительно вернулся
Макаллан как одна из рекомендаций
так что это немного бессмысленно, так что это мой
первая книга Я собираюсь пойти и попытаться исправить
так что теперь я просто внутри кода и
Я просто отредактирую этот код, который я
собираюсь в основном проигнорировать первый
значение там, когда я выводю свой
рекомендации, и мы собираемся написать
что тогда мы собираемся
в хранилище, и там мы идем и
то мы будем смотреть наш трубопровод
так что это довольно круто, у нас есть
здесь, где у нас есть все
тесты проходят параллельно, если эти тесты
затем переходим к разделу реестра
который подталкивает этот файл к
и мы поговорим о
развернитесь немного, но все эти
этапы просто реализуются с помощью простого
да, больше скрипта, который вы знаете, но
красота в том, что мы фактически используем
реалистичные данные для тестирования этого программного обеспечения
какого рода это не то, что
бывает в реальной жизни, я не заметил
вы знаете, что имеет тенденцию к тому, что
вы реализуете его вручную, а затем вы
проверить его вручную, а затем программное обеспечение
инженеры имеют какие-то фиктивные данные
что они должны использовать в своих тестах и
у них есть ожидаемый результат, но
очень маленький, вы знаете, что это обычно макет
данных, это обычно нереально, и это
конечно, не реально
а затем в конце процесса
ученые-исследователи пришли бы к
программного обеспечения и вручную проверить его
программное обеспечение, чтобы узнать, хорошо ли вы знаете
это — это очень ручная работа и
очень плохо управляемый процесс, если мы можем
все это в конвейер, как
мы сделали только здесь недурно хорошо так
все наши тесты прошли, теперь
толкает реестр и как только он получает
нажмите в реестр, тогда он будет
развернуто на сервер для всего этого.
сделано просто в реальном хоккее
давайте SSH на сервер и просто сделаем
вы знаете , Apple , DOC Docker пробег , который
не здорово, если бы у меня было больше времени, я бы
вероятно, развернуть его на Кубе Нетти или
что-то, но это работает
и он демонстрирует это довольно хорошо, поэтому я
просто собираюсь посмотреть, что контейнер на
на сервере сейчас и через минуту
мы увидим этот контейнер там, где вы так
теперь он просто удален, и это
будет воссоздан там, так что
этап развертывания в действии, поэтому, если мы
теперь вернитесь и действительно испытайте это новое
и, надеюсь, мы должны увидеть
лучший выход Я иду искать то же самое
снова и снова, и вы
может видеть, что мы удалили Macallan из
первая запись там вентилятор tastic
и все в порядке, и это своего рода
традиционная программная задача, но это
то, что инженер-программист
обычно не ученый данных, поэтому
снова они сосредоточены здесь , чтобы попытаться
и получить данные ученый участвует в
программного обеспечения или наоборот
если теперь у нас есть второй научный сотрудник
или другого инженера, что вы знаете, что я
Мне не нравятся некоторые ваши данные, которые я собираюсь
изменить модель, чтобы я входил в
ноутбук ipython, и я смотрю на
что сделал предыдущий человек и
теперь вы просто увидите, как я взламываю
вокруг попытки получить что-то работающее
но идея здесь заключается в том, что это
процесс, который обычно будет инженером
пройти, когда он пытается реализовать
новая модель, или я думаю, что в этом случае я
пытаясь
для вставки некоторых новых данных множество ошибок
наконец, выяснилось, как
сделайте это, да, все еще неверные данные неверны
вздыхает, как мне это сделать, как я там
пойдите там несколько минут там, где я
был на Stack Overflow , поэтому
пауза была там, там мы идем, это сработало
поэтому я создал несколько новых данных.
толкал это в хранилище и теперь
мы проходим через трубопровод сборки
опять же, это тот же самый трубопровод сборки
но с изменением данных, поэтому мы
теперь не изменили модель, так что это
важно , чтобы данные почти
часть модели, если вы можете, возможно,
данные слишком большой , но если вы можете это
действительно полезно быть там, потому что вы
может поймать такие ошибки, поэтому я думаю, что
мы просто видели, что были некоторые из тестов
не удалось, поскольку данные, которые
такое состояние, что он не выдавал
результат, который он должен был сделать
поэтому сейчас вместо добавления данных
Я собираюсь просто удалить некоторые данные, чтобы
Я убрал виски , и мы
Я понял, что сейчас понял
что я действительно вызвал некоторые из моих
модульные тесты для отказа, удалив удаление
один из виски , который был в моем блоке
тест, поэтому мне просто нужно исправить это
там вы идете, это было обязательство, что они
говоря, что это действительно работает теперь смайлик
и там мы проводим наши тесты:
наконец, и мы снова
через реестр, и мы добираемся до
Разверните его там, он пришел, сделайте это
он это делает
он доберется туда в конце концов, и вы
знать, что результат — окончательно развернутый
модель, мы, наконец, с новыми
данные все , не касаясь модели , но
все еще проходит по трубопроводу до
гарантируют, что не только наша модель
действительны, но данные имеют смысл, и когда
мы бросаем разные данные и новые данные в
это все еще имеет смысл, поэтому вы можете
представьте, что пытаетесь применить это к своим собственным
что если вы, если у вас есть
требования к одинаковой точности
требования, которые вы могли бы сделать
и быстрое правило в вашем конвейере для отказа
когда ваша точность модели уменьшается до
определенный момент, и вот и все, поэтому я
думаю, что весь процесс был, вероятно,
около часа я ускорил его примерно до 10
минут , вероятно, из- за
моя бедная разработка программного обеспечения больше, чем
ничего, если вы хотите взглянуть
то просто перейдите по ссылке, которую вы можете просто
взгляните на слайды или придете и
посмотри на меня, и мы будем искать в основном
для исследования окон, и мы получим его
там так с тем, что я хотел бы сказать спасибо
вы очень просто
[Аплодисменты]
большое спасибо, так что это разговор
о применении собственных принципов клиента
науке о данных в 2016 году
Microsoft сделала очень грубый шаг и
они выпустили новую породу бот-чата
в общественное достояние
сайт компании утверждали , что
были построены с использованием соответствующих общественных
данные , которые были смоделированы, очищены
и , возможно, вы слышали об этом
был назван tayi целью бота
было отвечать на твиты в гуманистическом
как вы могли бы отправить ему вопросы
Twitter, используя ручку, и сделал
действительно хорошая действительно хорошая работа
отвечая, как она, как молодежь на самом деле
как я говорю, молодежь, потому что я не
понять многое из аббревиатуры
используется , но в колодце , когда он был выпущен
все было плавно
и он отлично работал на самом деле
не сделал звук , похожий на человека, пока ни
но когда такая крупная технологическая компания, как
это подобно этому выпускает продукт, подобный
это , как правило , они первыми пользователями
эта служба является инженером и
что вы все инженеры в комнате
вы проверили бы эту услугу?
оцените его за то, что он есть, и вы
знайте, задавайте ему разумные вопросы или B
ты бы попробовал и сломал бы это ты
присылайте ему самые ужасные вещи, которые
вы могли бы подумать, чтобы попытаться
заставить его дать нам ответ хорошо,
знающие инженеры — садистская группа и
вы можете догадаться, какой вариант они выбрали
бот пошел от кроткого хорошо
отвечая чат-боту сексистскому расисту
геноцид всех нацистов примерно за 24 часа
у вас есть коллекция твитов, которые вы
может видеть, где это началось с вас
знаю, выглядят неплохо, и мы закончили
с Гитлером вы знаете, если вы закончите с
Гитлер, ты знаешь, что это случилось неправильно
мои любимые твиты на самом деле были о
Британский комик Рикки Жерве
и вы знали, что знаете
Достойный вопрос — рикки Жерве
атеист ответ Рикки Жерве
коварный тоталитаризм от adolf hitler
изобретатель атеизма теперь все , что я
знаю о Гитлере, я не думаю, что это
его самая известная черта, но я дам ей
10 из 10 для вас нет воображения для
что один и, в конечном счете, результат
этот замечательный эксперимент спустя 24 часа
он был мертв, и хотя это
я действительно на самом деле
весьма впечатлен Microsoft, это было
очень грубый шаг, чтобы это произошло
им удалось доставить то, что
был действительно впечатляющим, но я думаю
Я думаю, и это просто спекуляция
что я думаю, что некоторые из
Традиционная организационная структура Microsoft
что мне кажется, что
люди, если бы люди смогли определить эти
проблемы, и они были в состоянии
уметь выявлять эти проблемы, тогда они
мог бы остановить его перед чем-то
как это произошло, и это действительно
о том, о чем идет речь сегодня
в обычной жизни традиция фантастическая
в важной части культуры
meme, но в технике это на самом деле
вы знаете гавань вредных привычек, если мы
придерживайтесь традиций, тогда мы склонны
повторяйте те же ошибки, которые я использовал
как болота в области науки о данных и
в разработке программного обеспечения и том, что мы использовали
я должен был уйти, и я бы
напишите мои модели и сделайте мое исследование и
то единственное, что все остальные
видел бы только этот массивный код
который я бы бросил на программное обеспечение
инженеров, и я бы сказал, что вы идете
программисты, я закончил свою работу сейчас
это ваша очередь реализовать и
очевидно, вы знаете большую часть времени, что
просто не работал некоторое время
частично работал, но никогда не работал
хорошо , как это должно быть сделано , я на самом деле
поговорил с клиентом на днях, и он
был обеспокоен тем, что он заплатил за
проект для его компании, с помощью которого он отправил
некоторые данные переданы исследовательской группе, и они
он был обеспокоен тем, что
работа, которую эти исследователи
делать не могли
в реальной жизни это были слова, которые он использовал
он думал, что это слишком академично
со словами, которые он использовал, и тем, что он имел в виду
были те вещи, которые они
придумали, мы на самом деле не
реалистичный и актуальный для вас
современное промышленное программное обеспечение, так что да
традиция — это немного проблема, но
традиционно ученые-исследователи
работал над определенным типом модели
это модель, потому что
перекрестная отраслевая практика с
интеллектуального анализа данных, и это ближайший
вещь , которую мы должны знать вас процесс в
науке о данных вы увидите, что есть
много циклов в этом процессе, и это
просто свидетельствует о том, что большая часть
наука о данных является разновидностью открытых и
он никогда не прекращает
проблема в том, что в значительной степени
все эти шаги вы знаете сами
отдельных лиц, и они не
очень хорошо, поэтому первая проблема
лицо развертывания, как я только что сказал, когда
Я был ученым по данным, я бы бросил
модели для инженеров-программистов
и тогда я никогда больше его не увижу
Я вроде думаю, что это, вероятно,
что-то, что произошло в Microsoft, мы
получить инженеров- программистов , которые не
прошли обучение в области данных, которые мы даем
их я им даю, вы знаете плохо
документированный неинтерпретируемый код и
ожидайте, что они поймут это и
эффективно применять его , это никогда
произойдет
и тогда мы начинаем идти через
другие части модели
данные понимают, что это серьезная проблема
в науке о данных, поскольку данные
наиболее важная часть
проблемы и данных
понимающая часть, мы полагаемся на домен
экспертов для толкования
данных, поэтому мы провели большую беседу
от Фейнмана о том , как он работал над
в области музыки, с которой он работал, если
вас там не было, он работал с
классическая музыка и нормальные данные
ученый не знал бы ничего о
терминология , используемая в музыке , но
в течение его лет делает это
исследования он, наконец, стал доменом
но потребовались годы и годы работы и
года времени , так что это хороший пример
этой подготовки данных является другой
проблемная область , потому что это часто делается
один человек, и это делается только один раз
что происходит, вы получаете одного парня, который
действительно вникает в данные, и они
те, которые действительно это понимают, но
это отчасти трудно воспроизвести
потому что это понимает только один человек
и выход снова это
аморфный блок программного обеспечения, который принимает
беспорядочные данные и выдают хорошие данные и
наконец, моделирование этого немного
легче рассуждать, если у вас больше
и больше людей понимают типы
используемых моделей и способов моделирования
но проблема моделирования заключается в том, что
снова это только один человек
потому что процесс обычно
требует много разных вещей
в основном, выбрать лучший, но
процесс, который проб и ошибок никогда
записанный в любом месте, единственным выходом является
модель, которую вы знаете, это ответ, так что если
мы хотим масштабировать это прошлое один человек
то мы должны там, что обычно, что
происходит второй человек повторяет все
те же ошибки и что на самом деле заканчивается
при другом результате, потому что вы
знать его предубеждения и предпочтения
мы алгоритмы обычно заканчивается в
другой модели, чтобы вы знали
целая часть этой стороны модели
вроде как мутный канал, которого вы знаете, это
вы знаете, как грязный канал в Амстердаме
корабли могут уходить и опускаться, но вы
не захочет вскакивать и следовать
это и тогда, если в конце всего этого
вы знаете, что у нас есть операция
на стороне развертывания у нас есть обширная
большинство исследований в области данных
фаза , которая не будет хорошо на самом деле
подавляющее большинство проектов терпят неудачу, потому что
есть недостаток в понимании бизнеса
и это либо потому, что бизнес
не понимает технических
последствия, которые они предлагают или
технические парни не понимают
деловая проблема достаточно, поэтому весь хост
проблем, поэтому я думаю, что я собираюсь
теперь я проигнорирую бизнес
сторона немного , потому что это
фактически отдельная проблема сама по себе
и вы все технические парни Дык и галлона так
Я просто буду придерживаться
три отдельных этапа, у нас есть
фазы исследования, которая была
говорит о том, что вы знаете, что понимаете
данные, массирующие данные и производящие
данные в модели у меня есть сборка
лицо пытается доказать, что мы делаем то, что
мы делаем правильно, а затем
фактическая фаза развертывания — бит, который мы
хотят спешить в производство
так что фаза исследований состоит из
начальная наука о данных, которая может быть
ничего из проведения экспериментов
сбор данных о подготовке данных
чистка моделирует все, что хороший материал
это своего рода это называется
исследовательской фазы, потому что это очень
научного процесса и
Проблема в том , что это это
неотъемлемо открытый и, следовательно,
очень высокий риск, поэтому существует высокая
вероятность отказа на этом этапе
потому что вы можете обнаружить, что либо вы
не имеют данных для выполнения задания
правильно или вы просто не можете сделать работу
потому что вы знаете , неразрешимыми для
почему-то так немного отступать
верить или нет на самом деле Англия имела
очень богатое автомобильное наследие, которое вы могли бы
не думаю, что в эти дни вы могли бы подумать
Германии или что-то в этом роде , но
есть завод по производству
Оксфорд, который начался в 1913 году, так что это
изображение того же производства
завод в 1943 году и примерно с тех пор до
в 1970-е годы она принадлежала компании
Британский Лейленд — это картина
строительства их производственной линии
цистерны для мировой войны ii
время, которое он добрался до 70-х годов, когда он строил
этот маленький кушетка, вы, вероятно, все
признать, но в начале и во время
вещи 70-х начали идти не так и
конечная причина, по которой они шли
неправильно было потому, что было лучше
более дешевые альтернативы доступны другие
компании инвестировали в
автоматизация этих линий для
производить лучшее качество и дешевле
продуктов, и вы знаете, когда мы говорим о
программное обеспечение для разработки программного обеспечения
инженерных или инженерных
это просто преобразование процесса в код
так что мы можем автоматизировать его,
вот где я должен был сказать, что
слово и сегодня я считаю, что наука о данных
фактически является автоматизацией данных
таким образом , мы начинаем видеть , как у
трехуровневая иерархия между вами
знаю, что у нас есть наука о данных на
снизу, на котором берутся все данные и
автоматизация на основе этих данных
чтобы подражать процессу, поэтому я думаю, что
наука о данных и разработка программного обеспечения
на самом деле очень хорошо подходят, они идут
вместе очень хорошо, потому что данные и
наука поступает в программное обеспечение
который затем вписывается в значение, которое
вы пытаетесь предоставить, и это
картина того же завода по производству
в 2013 году, так это через сто лет после
открылся завод по производству и
теперь вы можете видеть, что это намного больше
автоматизировано, и в основном это не люди
там и это позволяет этой компании
строить более надежные автомобили и
вы, вероятно, знаете, что сейчас эта компания
принадлежащих BMW, поэтому вы знаете
отличная золотая английская компания была съедена
немецкие производители проклинают это так
да в любом случае мое дело, что я думаю
разработчики программного обеспечения или программное обеспечение
инженеры на самом деле действительно хороши
позиции, чтобы фактически втянуть себя в
наука о данных не наоборот
потому что мы выйдите со всеми из
вещи, которые мы узнали во время этого
вы знаете более традиционную автоматизацию
и мы можем начать применять его к
наука данных , потому что дело в том, как на
момент, когда это не происходит в данных
наука в данный момент, и это приводит меня
к наукам о данных грязный грязный маленький
секрет, а маленький секрет в том, что
подавляющее большинство ваших усилий и времени
и инженерные навыки в качестве данных
ученый переходит к данным просто
беспорядочно возиться с данными
вы знаете, что мы устраняем проблемы с
данных мы вменяем пропущенные значения мы
удаление недопустимых данных и т. д. и
так далее , и так далее , и подавляющее большинство
PUF
конечная производительность модели
исходя из того, насколько вы можете улучшить это
данные не на модели, поэтому вы знаете, что мы
были некоторые слишком большие фантастические переговоры это
утром вы все знаете о глубоком обучении
все о очень сексуальных технологиях, но
это проблема Силиконовой долины
оскорбление парней Силиконовой долины, но
это очень Силиконовая долина братан для
все остальные за пределами Силиконовой долины
мы все еще живем в мире, где
вы знаете, что это простые методы
это действительно имеет значение, и это
не должна быть сложной моделью
простые вещи могут пройти долгий путь и один
самых больших проблем с этим процессом
заключается в том, что это открытие фиксирует
данные это понимание данных как я
сказал, что это сделано только одним человеком, поэтому я
думаю, это просто проблема
видимости очень мало
видимость в науке о данных
только в целом один человек, который работает
по проблеме одновременно
и это вы знаете , что это очень трудно
масштаб или, по крайней мере, это очень неэффективно
масштабировать на протяжении многих лет программное обеспечение
инженер сделал действительно отличную работу
в улучшении этого, потому что мы точно
те же проблемы, которые, как вы знаете, мы могли бы
довольно эффективно распределять двоичные файлы
но когда дело дошло до исходного кода, мы
прошли через вы знаете , десятилетиями пытаются
улучшить видимость и
отказоустойчивость нашего исходного кода и
к счастью, наука о данных наконец
начиная попасть туда и эти два
инструменты, в частности, были очень
поэтому вы, вероятно, все знаете один из
поэтому я не буду говорить о
что а второй является ноутбук некоторые
вы, вероятно, сталкиваетесь с этим, но вы
может быть не так, я просто буду просто
введите его так, что это Юпитер
ноутбуков это эволюция ipython
ноутбуков идея заключается в том, что внутри
ноутбук есть серия ячеек и
каждая ячейка может быть либо уценке или
это может быть код, что это делается, это
в одиночку улучшилось
видимость от нуля в значительной степени все
путь почти так же хорош, как и я.
думаю, это на самом деле, вероятно, лучше
чем инженер-программист с точки зрения
видимость, что означает, что это когда
Когда я впервые получаю
данных, и я делаю свой анализ, я могу
документируйте все, что я делаю, даже
Я могу написать код, который я могу
напишите, что вы знаете слова, если мне нужно и
когда кто-либо еще должен был повторить это
они могут просто прийти и
прочитайте это как документ, если они хотят
они могут войти, и они могут
на самом деле начать играть с кодом
они могут начать выполнять тесты, если они, если
ты думаешь, о, я думаю, твои модели мусора
Я попробую другую модель, или я собираюсь
попробуйте несколько разных параметров, это очень
легко для кого-то просто вступить в смену
что-то и запустить его, так что это очень
итеративный очень визуальный способ делать данные
науки, и да, это сделано огромным
воздействие , а затем , когда вы объединитесь его
мы получаем , и я думаю , что у нас есть вы знаете ,
святой Грааль повторяемости от
видимость от ноутбуков юпитера и
даже нравится, как будто это то, что мы
не считаются само собой разумеющимся
например, когда мы смотрим на код
нормальный нормальный код программного обеспечения, который мы используем
вы знаете github и получаете лабораторию и что угодно
просто для просмотра онлайн-просмотра
кода гораздо чаще, чем мы на самом деле
думаю, что мы есть, и это одно
супер супер полезно для
видимость там так, и это прекрасно
очень хороший и огромный прогресс для
индивидуальные разработчики, но как мы
масштабировать его до нескольких разработчиков, которые мы делаем
что с другим проектом от Юпитера
называемый центром Юпитера, и это довольно
простая архитектура, так как вы можете видеть основные
части содержат HTTP-прокси, которые у нас есть
индивидуальный ноутбук, чтобы этот ноутбук
часть — это бит, который я только что объяснил
вы записали книгу Юпитера, а затем мы
получил пару пользовательских баз данных там
с левой стороны, чтобы ручка
Экземпляры многопользовательских , но наиболее
Интересная вещь — это то, что
потому что мы могли бы сделать это, мы
может переопределить этого производителя и подключить
весь набор инструментов, которые мы можем подключить
дакка, и мы могли бы начать крутиться
контейнеры для докеров, где вы можете начать
вы знаете, что контейнеры Мизеса
Orchestrator мы могли бы развернуть его в
своего рода облачной среде
это невероятно невероятно полезно
возможно, мой любимый, мы можем начать
Работы в кубернетах, которые вы знаете, начинаются с
наши собственные контейнеры, и вы знаете
чреватые спросом у инженеров-программистов, которых мы знаем
что это дает нам огромную сумму
гибкости мы можем просто масштабировать
когда нам нужно, чтобы у вас было больше
разработчики, работающие на разных
проблема просто добавит больше контейнеров, если вам нужно
более крупные машины просто
количество машин, которые мы можем выбрать
машины , нужны ли нам графические процессоры или процессоры
это все годы впереди науки о данных, поэтому
у нас есть видимость, которую мы сейчас имеем
начал контейнерный процесс таким образом
это вы знаете двух основных арендаторов
видимость облачных нативных контейнеров теперь
давайте построим последний час, давайте двигаться дальше
к строительному лицу, не основанному на
переместить лицо , поэтому мы учим об этом в
начало, но в прошлом и продолжение
сегодня по- прежнему происходит сегодня ученый-информатик
это очень общий термин, я не
обязательно означает, что вы знаете людей с
PhD , которые работают с высоким уровнем
инструменты глубоко изучают это, что ни
просто нормальные люди, просто работающие с
нормальные данные, они придумывают идею
может быть, простая модель, которую они бросают
для разработчиков программного обеспечения это
полностью аналогично тому, где программное обеспечение
инженерно было около 10 лет назад
разработчики программного обеспечения
бинарные их программное обеспечение бросить его на
парни Ops, и мы боремся с этим
с идеей DevOps
поэтому я думаю, что есть эквивалент
сдвиг, который должен произойти с данными
ученым, ученым -ученым необходимо
стать более интегрированными с
разработчиков программного обеспечения и, в конечном счете, более
интегрированный с людьми ops также
так что вы знаете данные, если вы были и в
лучше, если у нас нет , в лучшем случае мы
имеют неэффективные модели, но в худшем и
вы знаете, что более вероятно
случается, что вещи не происходят в
все, и если вы не получите этот переход
прямо тогда вы просто закончите с нашим
продуктов и разговоров об ИИ и роботах I
люблю это видео
робот-помада Симона получает веселый
ах , ты все скучно, я нахожу это забавным
Я буду , я буду смеяться и так как
мы улучшаем это хорошо, как, например, мы
видел от перехода DevOps от из
поэтому большая часть проблемы
на самом деле проблема людей это
о том, чтобы заставить людей принять их
роль меняется, и она меняется для
лучше для всех
и это , и это хорошо , но это
немного скучно , что мы можем сделать технически
начните обеспечивать качество, которое мы можем обеспечить
качество с сюрпризом-сюрпризом
непрерывное развертывание непрерывного
интеграция — это классический непрерывный
трубопровод поставки, я уверен, что вы все
Знайте об этом, вы знаете, инженер
commit — это код, который войдет в сборку
сервер он будет проходить через трубопровод будет
в настоящее время
трубопровод, возможно, самый важный
часть всего этого процесса, и это необходимо
быть настроены на ваш домен и ваш
проблема
Мне нравится, мне всегда нравится говорить о
тестовый треугольник, это довольно часто встречается в
литературу CI, если вы ее не видели
прежде чем это изображение, где на оси x
у нас есть количество тестов на
ось ординат
у нас есть объем или глубина
тест, так что внизу у нас есть единица
тесты, у которых у нас очень большое количество
единичные тесты, которые
небольшие биты кода вплоть до
наверх, где у нас очень мало тестов
приемочные испытания, но они тестируют
огромное количество кода, и вы знаете, что
процесс тестирования, возможно, самый
важной частью фазы сборки, если вы
не тестируйте свои модели, тогда вы в конечном итоге
с чем-то вроде этого это мой
коллега, он пытался забронировать рейс
из Амстердама в Прагу я думаю и
каяк любезно рекомендовал мне полет
вы знаете, что это был прямой вывод одного
их моделей рекомендаций это было
меня так, что для этого парня он, очевидно,
не удалось забронировать рейс
они потеряли свой доход, они потеряли свой
деньги, я боюсь представить, сколько еще
люди использовали сайт в то же время
времени, и все они получили большой меня и
они должны потерять много денег, я думаю, если
что если что-то есть четкое указание
что людям, нуждающимся в данных
быть более интегрированным в
операции их реального программного обеспечения
потому что они единственные, кто знает
вы знаете, как осуществлять мониторинг
лучший способ , которым они знают , как это исправить , если ему
идет не так, и мы переходим к
разверните фазу, и это немного больше
Трудно говорить о том, потому что это
бит больше зависит от домена, это очень технологично
стека, так что это зависит от того, что
технологический стек, который вы используете, но я могу
Обобщите это немного, говоря
о контейнерах, но я имею в виду в конечном счете
цели точно такие же
мы хотим, чтобы наше программное обеспечение было реактивным
упругой и воспроизводимой, мы хотим, чтобы она
быть реактивным, чтобы при изменении
с внешним миром , мы можем расширять и
как мы хотим, чтобы
быть устойчивым, так что, если он когда-либо не справится с легкостью
автоматически восстанавливать себя и
воспроизводимый, если мы можем быстро воспроизвести
наш кластер в другом месте
тестирование или что-то, что улучшает
проверяемость и вид представительства
эта маленькая стрелка в
построить трубопровод и даже в непрерывном
это часто пропускается и
он всегда представлен небольшим
стрелка, как будто это похоже на эту простую вещь
где вы просто подталкиваете его к производству
цветы смайликов делаются, и это никогда
как будто это немного больше
сложными и гораздо более конкретными и
есть много технических усилий,
вы проверили, что пытаетесь подтолкнуть
для производства для науки о науке
одна из самых простых вещей, которые мы можем сделать, это
принести в контейнерах снова вы знаете , так
как ты поступаешь так хорошо, что знаешь, что ты
есть какая- то модель, вы вполне можете
легко вставить в контейнер и
если вы только что получили интерфейсы и
рутинеры, тогда они все хороши
стандартизован, как только вы дойдете до этого
то становится намного легче
не только убедитесь, что он работает на вашем
машины, и он работает так же
но также легче
другие люди рассуждают о
потому что здесь вы знаете, что уменьшаете
домен, который должен
понимать , чтобы использовать вашу услугу
и эта модель может быть чем угодно
будь то простая модель Python
это может быть производный тензор Fianna
что угодно, и если вы в большей степени
потоковые технологии, и вы знаете, что мы
может легко применять потоковые технологии
здесь также , если мы просто упаковать вверх по
что бы это ни было в вашем конкретном
потокового X потокового пакета, который
вы используете и как источник или искру
исполнителя все еще вполне разумно
делать это, и это очень хорошо подходит
в тестовый треугольник, потому что мы можем
построить этот контейнер как часть нашего
поставка трубопроводов и начать тестирование , что
контейнер, а не просто тестирование
сам код, чтобы вы знали, что все это справедливо
все, на что нацелены, но
это удивительно, насколько это не
происходят в реальной жизни в области науки о данных и
то, наконец, мы можем просто
контейнер в производство, но вы
хотите, чтобы вы знали, используя какой-то
Orchestrator или вы знаете, используете ли вы
какая-то система потоковой передачи
выбор GPU и процессоров — это
максимальная гибкость, если она работает
там, если он работает на вашем ноутбуке
не имеет значения и просто для того, чтобы
домой один из этого немного
другой, но я знаю, что есть
несколько человек сегодня думают о людях здесь, поэтому
Я должен быть немного осторожен
есть отличная компания , потрясающая
компании, но их отдел маркетинга I
думаю, также необходимо интегрировать
в производство, а также потому, что они
отправил это письмо на прошлой неделе, и я
было бы действительно интересно найти
из какой мысли работают сейсмические дерьмы I
нахожу, что действительно увлекательно на самом деле я
думаю, что это гениальное движение
отдела маркетинга, потому что так много
люди говорили об этом в
офис, и я думаю, что это сделано гораздо больше
для размышлений, чем что-либо
они могли бы отправиться так хорошо
что маркетинговый человек, который сделал это
хорошо, так что теперь у меня есть быстрая демонстрация
демонстрируя все эти концепции
вместе
Я пробовал подумать о простом примере моего
Примером является виски магазин , так что я
бизнес-требование у меня есть клиент
который является магазином виски, потому что я думаю
виски и их
пришли ко мне, потому что они хотят
предоставить USP в том, что они могут
рекомендуют лучше виски, чем кто-либо
иначе, но проблема в том, что они хотят этого
чтобы иметь возможность масштабировать, они не могут
позволить себе использовать экспертов виски каждый
один из их магазинов, так что это много
более эффективно писать алгоритм для
сделайте это для них, чтобы их требования
они хотят, чтобы кто-то
любимый виски, и они хотят
рекомендации, которые они хотят начать
с ограниченным набором виски, но
хочу , чтобы иметь возможность обновлять свои данные в
модель в будущем это все
доступный в моем репозитории, вы можете
получите это, потому что это все с открытым исходным кодом и
это довольно просто, вы знаете, что
Алгоритм забавной для этого он
довольно узловатый, это своего рода знаменитый
стандартный набор данных виски и просто
покройте это немного , это просто
алгоритм ближайшего соседа, поэтому, если вы
если у вас есть два виски
Виски характеризуются набором
числа, в которых номера соответствуют
особая особенность этого виски, поэтому
функции могут быть дымными или
сладость ириски такие вещи так
что произойдет , так это то, что
рассчитать расстояние между чьим-то
выбранный виски и все виски
и тогда мы выберем первую пятерку или
десять или любые рекомендации, основанные на
на что так довольно просто , но вы знаете ,
работает замечательно эффективно, но ключ
вещь здесь получила полный непрерывный
так что все эти этапы
все было реализовано с вами
модульные тесты и макет данных и реальных данных
и приемочные испытания, и я использовал
Ноутбук Юпитера для начального
анализ, и мы можем вставить новые
данных, просто набив его в git и
затем смотреть его поток через
трубопровод, так что, надеюсь, это будет
играть отлично, поэтому я сделал
видео здесь, потому что, как вы, вероятно, знаете
вы знаете, что многое из этого требует много
время, так что теперь я просто возился с
terraform, создающий мою новую инфраструктуру
для этого проекта, и мы собираемся
10-кратная скорость в настоящий момент
bla bla bla bla bla bla bla возможно все
используется для видеть это , и тогда конец
результатом является рабочий сервер
облако с некоторым исходным программным обеспечением
развернуто. О, дорогая, можете ли вы увидеть
в нижней части экрана, вы можете это
просто этот монитор все в порядке, так что я
просто сделано, я просто фиксирую книги
потому что это не сработало, и, наконец, мы
наш алгоритм действительно работает так
это заканчивается из контейнера и
когда я скручиваю контейнер, тогда я получаю свой
рекомендации назад, так что простой ОТДЫХ
Тестирование API, которое вы знаете, передано в mcallen
Я хочу, чтобы это было мое любимое виски и так
Я собираюсь получить эти рекомендации здесь
здорово
так что первая работа в качестве инженера-программиста я
понял , что, может быть, немного
ошибка в моем коде, поэтому у меня есть UCF ass
mcallen там, и он действительно вернулся
Макаллан как одна из рекомендаций
так что это немного бессмысленно, так что это мой
первая книга Я собираюсь пойти и попытаться исправить
так что теперь я просто внутри кода и
Я просто отредактирую этот код, который я
собираюсь в основном проигнорировать первый
значение там, когда я выводю свой
рекомендации, и мы собираемся написать
что тогда мы собираемся
в хранилище, и там мы идем и
то мы будем смотреть наш трубопровод
так что это довольно круто, у нас есть
здесь, где у нас есть все
тесты проходят параллельно, если эти тесты
затем переходим к разделу реестра
который подталкивает этот файл к
и мы поговорим о
развернитесь немного, но все эти
этапы просто реализуются с помощью простого
да, больше скрипта, который вы знаете, но
красота в том, что мы фактически используем
реалистичные данные для тестирования этого программного обеспечения
какого рода это не то, что
бывает в реальной жизни, я не заметил
вы знаете, что имеет тенденцию к тому, что
вы реализуете его вручную, а затем вы
проверить его вручную, а затем программное обеспечение
инженеры имеют какие-то фиктивные данные
что они должны использовать в своих тестах и
у них есть ожидаемый результат, но
очень маленький, вы знаете, что это обычно макет
данных, это обычно нереально, и это
конечно, не реально
а затем в конце процесса
ученые-исследователи пришли бы к
программного обеспечения и вручную проверить его
программное обеспечение, чтобы узнать, хорошо ли вы знаете
это — это очень ручная работа и
очень плохо управляемый процесс, если мы можем
все это в конвейер, как
мы сделали только здесь недурно хорошо так
все наши тесты прошли, теперь
толкает реестр и как только он получает
нажмите в реестр, тогда он будет
развернуто на сервер для всего этого.
сделано просто в реальном хоккее
давайте SSH на сервер и просто сделаем
вы знаете , Apple , DOC Docker пробег , который
не здорово, если бы у меня было больше времени, я бы
вероятно, развернуть его на Кубе Нетти или
что-то, но это работает
и он демонстрирует это довольно хорошо, поэтому я
просто собираюсь посмотреть, что контейнер на
на сервере сейчас и через минуту
мы увидим этот контейнер там, где вы так
теперь он просто удален, и это
будет воссоздан там, так что
этап развертывания в действии, поэтому, если мы
теперь вернитесь и действительно испытайте это новое
и, надеюсь, мы должны увидеть
лучший выход Я иду искать то же самое
снова и снова, и вы
может видеть, что мы удалили Macallan из
первая запись там вентилятор tastic
и все в порядке, и это своего рода
традиционная программная задача, но это
то, что инженер-программист
обычно не ученый данных, поэтому
снова они сосредоточены здесь , чтобы попытаться
и получить данные ученый участвует в
программного обеспечения или наоборот
если теперь у нас есть второй научный сотрудник
или другого инженера, что вы знаете, что я
Мне не нравятся некоторые ваши данные, которые я собираюсь
изменить модель, чтобы я входил в
ноутбук ipython, и я смотрю на
что сделал предыдущий человек и
теперь вы просто увидите, как я взламываю
вокруг попытки получить что-то работающее
но идея здесь заключается в том, что это
процесс, который обычно будет инженером
пройти, когда он пытается реализовать
новая модель, или я думаю, что в этом случае я
пытаясь
для вставки некоторых новых данных множество ошибок
наконец, выяснилось, как
сделайте это, да, все еще неверные данные неверны
вздыхает, как мне это сделать, как я там
пойдите там несколько минут там, где я
был на Stack Overflow , поэтому
пауза была там, там мы идем, это сработало
поэтому я создал несколько новых данных.
толкал это в хранилище и теперь
мы проходим через трубопровод сборки
опять же, это тот же самый трубопровод сборки
но с изменением данных, поэтому мы
теперь не изменили модель, так что это
важно , чтобы данные почти
часть модели, если вы можете, возможно,
данные слишком большой , но если вы можете это
действительно полезно быть там, потому что вы
может поймать такие ошибки, поэтому я думаю, что
мы просто видели, что были некоторые из тестов
не удалось, поскольку данные, которые
такое состояние, что он не выдавал
результат, который он должен был сделать
поэтому сейчас вместо добавления данных
Я собираюсь просто удалить некоторые данные, чтобы
Я убрал виски , и мы
Я понял, что сейчас понял
что я действительно вызвал некоторые из моих
модульные тесты для отказа, удалив удаление
один из виски , который был в моем блоке
тест, поэтому мне просто нужно исправить это
там вы идете, это было обязательство, что они
говоря, что это действительно работает теперь смайлик
и там мы проводим наши тесты:
наконец, и мы снова
через реестр, и мы добираемся до
Разверните его там, он пришел, сделайте это
он это делает
он доберется туда в конце концов, и вы
знать, что результат — окончательно развернутый
модель, мы, наконец, с новыми
данные все , не касаясь модели , но
все еще проходит по трубопроводу до
гарантируют, что не только наша модель
действительны, но данные имеют смысл, и когда
мы бросаем разные данные и новые данные в
это все еще имеет смысл, поэтому вы можете
представьте, что пытаетесь применить это к своим собственным
что если вы, если у вас есть
требования к одинаковой точности
требования, которые вы могли бы сделать
и быстрое правило в вашем конвейере для отказа
когда ваша точность модели уменьшается до
определенный момент, и вот и все, поэтому я
думаю, что весь процесс был, вероятно,
около часа я ускорил его примерно до 10
минут , вероятно, из- за
моя бедная разработка программного обеспечения больше, чем
ничего, если вы хотите взглянуть
то просто перейдите по ссылке, которую вы можете просто
взгляните на слайды или придете и
посмотри на меня, и мы будем искать в основном
для исследования окон, и мы получим его
там так с тем, что я хотел бы сказать спасибо
вы очень просто
[Аплодисменты]
Please follow and like us:
Be First to Comment