круто спасибо, я все-таки
Я имею очень математику и
компьютерный фон, который очень хорош
для глубокого изучения списка достижений
о том, почему вы должны слушать меня, это то, что я
в настоящее время работают в супер-прохладной компании
который использует глубокое обучение, чтобы
более быстрая и точная медицинская
диагноз, и в прошлых жизнях у меня один
целая партия, как международная математика
конкурсы и некоторое программирование
соревнования, а сегодня я собираюсь
поговорить о том, что такое глубокое обучение и
что он может сделать для вас, не стесняйтесь спрашивать
вопросы в любое время, если я могу спросить, что
право, они могут спросить, что правильно Саймон круто
так что да , не стесняйтесь задавать вопросы в любом
время просто запечатывает их , особенно если
Вы думаете , что я вру вам так , что
глубокое изучение собирается начать с
отказ от глубокого обучения на самом деле
довольно сложно трудно быть очень
вообще обо всем и быть правильным
поэтому, когда сомневаюсь, я буду выступать
общность, поэтому, если вы знакомы с
назначение уже идет
звучит так, как будто я лежу много, но в
реальность подобна этому просто нравится
дать высокий по- настоящему высокий уровень
а также, когда это возможно,
приветствовать некоторые из ярлыков, которые могут
не будет на сто процентов правильным, но
должна дать правильную ментальную модель
как это работает, но если у вас есть
любые вопросы не стесняйтесь спрашивать об этом
супер высокий уровень — это очень кружево
много как различных уровней
иерархии здесь, в экосистеме
искусственный интеллект , который является
надмножество вроде всего, пример
будет IBM Watson, где много рук
закодированных правил и использует чрезвычайно большие
количества квалифицированной рабочей силы, созданной для
конкретная задача — машинное обучение
который является подмножеством этого примера
это будет похоже на клик по объявлению Google.
предсказание и то, как вы это делаете, скорее
чем использование тонн и тонн жесткого кодирования
вы начнете использовать больше примеров для
выяснить, как совместить какую-то руку
закодированную статистику для прогнозирования
вероятность, например, клика объявления
на чуть более глубоком уровне у вас есть
представления, которое
иногда рассматривается как один слой глубоко
обучение иногда упоминается как
эти уровни называются мелким обучением
если вы пытаетесь начать бой
и примером этого будет netflix
рекомендации, в которых
статистика того, что вы даже знаете о
каждый фильм извлекается из данных, но
вы все еще учитесь простому
сочетание того, как эти функции идут
вместе и после нескольких уровней, которые вы получаете
в глубокое обучение таким образом , это было бы
пример выявления болезней из
изображения , где вместо того , чтобы вы знаете , имея
слой ручной статистики, который
узнал, а затем объединил вас
может изучить все эти статистические данные на
в то же время в десятках сотен или даже
тысячи шагов, что и некоторые
люди используют в настоящее время это , вероятно, не
общий взгляд на то, что глубокое обучение
но я думаю, что самый простой взгляд на то, как
см. его глубокая линия существует интерфейс
и этот интерфейс имеет примерно два
методы в качестве первого метода у вас есть
вперед мимо , и это, безусловно,
простая часть при произвольном вводе
произвольный выход любой может сделать эту часть
это действительно просто трюк, что
делает работу обратной стороной так
с учетом желаемого изменения в выводе
хочу иметь возможность превратить это в
желаемое изменение ввода и после того, как вы
их можно сделать произвольно
сложные вещи, связав вещи вверх
превращая их в направленную ациклическую
график, и если это звучит слишком хорошо, чтобы быть
особенно в том, как мы разрабатываем
вперед, потому что если вы просто скажете
произвольный ввод произвольного выхода
Конечно, вы можете делать все, что хотите, но
сложная часть заключается в том, как вы определяете, что
назад, потому что, когда вы делаете свой
форвард проходит все сложнее
например, если у вас есть какие-то действительно сумасшедшие
функции трудно определить, как
для отображения входов обратно на выходы
сохраняя эти вещи простыми и
объединяя их вместе, это дает нам это
почти композитный язык модулей
которые позволяют нам делать то, что мы хотим
для этого, когда у вас есть этот интерфейс
вы просто можете это сделать, как только вы
если у вас есть, что у вас может быть
куча этих модулей, которые удовлетворяют этому
интерфейс в качестве побочного примечания
эти модули будут параметрическими,
означает, что они имеют параметры, которые
примерно означает, что они являются
они с точки зрения состояния означает, что как только вы
иметь состояние
изменения штата, и именно это изменение в
состояние, которое позволяет вам изменить это
функция от чего-то, что вы просто
булыжник вместе с чем-то, что это
все ближе и ближе к тому, что вы хотите
делать, и как только у вас есть рама
язык того, что вы хотите сделать сейчас
может начать выполнять задачи, которые вам нужны
о вас и углубляйте, вы всегда определяете
потеря или стоимость в зависимости от того, как вы хотите
определить это, и это то, что вы
хочу свести к минимуму причины, по которым я бы
счастливо объясните, что это всегда было
скаляр, поэтому не может быть нескольких затрат
в то же время вы должны сквозировать его
в одну вещь, о которой вы заботитесь
и как только вы проглотите это число, как
все заботится о мире в
теперь вы можете начать использовать один номер
глубокое обучение, чтобы оптимизировать это
создать архитектуру, которая
функции, которую вы хотите сделать, и это
будет то, как вы сочиняете вместе эти
модулей, о которых я говорил так,
вы соединяете их вместе,
функции, которая у вас есть, и вид
силы представления, которая имеет и что
становится тяжелой частью после этого
инициализировать параметры, и вы тренируете
эта архитектура путем многократного обновления
параметры для минимизации затрат, поэтому
вы идете вперед по сети, чтобы
получить то, что вам нужно, и вы идете
назад через сеть, чтобы изменить
параметры будут немного лучше для
ваши расходы, и вы повторяете эти
до тех пор, пока вы не получите функцию, которая
вы действительно очень довольны и
решает любую проблему, которую вы хотите, и
в конце вы просто используете эту функцию просто
передний проход, как реализовать
обратный проход, в общем, мы почти
всегда используйте правило цепи, это действительно
хорошо, потому что он реализует
назад легко пройдите, как это работает, если
у вас есть свой вывод как функция суммы
некоторые X, и у вас есть частичная
производным от вашего вывода dld f вы можете
получить dl DX, просто умножив
частная производная DF DX и приятная
часть об этом заключается в том, что dl DF получен
от остальной части вашей сети и DF DX
получает только от вашего модуля, поэтому это
позволяет вам связать эти вещи
вместе, чтобы это требовало
местную информацию, чтобы получить это
назад, очень приятно, что есть
теоретические причины того, почему это
хороший способ сделать это и, возможно, лучший
часть об этом — некоторые рамки делают
мы полностью автоматизированы
поиск переднего хода с использованием автоматического
дифференциации, вы можете понять, как
сделать задний проход автоматически, так что
она становится в основном такой же простой, как определение
произвольные функции, так что вы на самом деле
получить это преимущество просто определить
произвольные вещи возвращают произвольные вещи
пока все операции, которые вы выполняете,
вы можете просто заставить его работать
как магия и оптимизировать ее, и это
буквально, как люди делают это на практике
обновление параметров, это просто
второстепенные подробности, как получить
понимание того, как это работает,
как только у вас есть существующие параметры
вы получаете свой градиент, и вы берете
шаг в противоположном направлении
градиент и частные производные
говорит нам, как изменить параметры на
увеличить или уменьшить затраты, которые мы
заботиться о важном слове, чтобы отметить
знаю, что есть и что люди всегда
использование, я думаю, что это делает его более
сложное, это большое слово назад
распространения или обратной поддержки для этого
имеет более длинное имя, называемое обратным режимом
автоматическая дифференциация, которая звучит
довольно сложно, но это просто
цепное правило плюс динамическое программирование I
предположим, что я только что говорил об изменении
были похожи на людей, знакомых с
динамическое программирование, но это просто
и идея будет , когда вы
иметь график вычислений, это очень
простой граф вычислений y равен C
раз С равна плюс BD равна B
плюс 1 идея заключалась бы в том,
график сверху вниз и
делая это сверху вниз
вместо дна наверху вы можете
наличные деньги, чтобы я использовал
много раз на графике и путем обналичивания
эти промежуточные продукты вы получаете что-то
это намного эффективнее, чем если бы вы
собирались сделать наивное решение и
это позволяет получить градиенты, которые
вычислимы в линейном времени в
размер вашего графика, чтобы вы в основном
оценивайте каждый узел один раз, и это
действительно приятное свойство, это делает все это
действительно эффективный, и это в основном это
для основ с глубокой глубины
обучение просто составление оптимизировано
Подкомпоненты abul оптимизируют Ville
почти всегда означает дифференцируемое
дифференцируемые средства, которые вы можете сделать
фоном фоном является только правило цепи
в динамическом программировании, когда вы получаете
к практическому углубленному обучению
вы должны комбинировать это с градиентом
программного обеспечения спуска и набора данных, но вы
уход и пространство программного обеспечения
есть очень богатое пространство программного обеспечения
о котором немного поговорят в
будущее, но это все эти вещи
решил для вас, чтобы вы могли сделать глубокие
не зная, как
вычислите градиент самостоятельно, пока
мы можем делать сколь угодно сложные вещи
существует несколько стандартных модулей, которые
являются основной рабочей лошадкой глубокого обучения
сегодня и цель этого раздела
будет получить высокий уровень
понимание каждого из них, поскольку все они
могут быть очень невероятно нюансированы, но эти
стандартные модули будут охватывать почти все
о том, что происходит в
Простейший из них, пожалуй, самый простой
это просто матричное умножение, которое оно имеет
многие называют полностью связанным слоем
иногда сокращается до FC
называется плотным, потому что у вас много
линейного слоя, потому что это
линейное преобразование или штраф, потому что
иногда есть смещение и матрица
умножение в основном каждый раз
у вас есть диаграмма нейронной сети.
эти стрелки соответствуют матрице
умножение так , когда у вас есть
диаграмма, которая выглядит сложной
от этого от такого рода вещей и
вы можете интерпретировать это как вес от
каждый вход для каждого выхода, поэтому, если вы
имеют em-входы, и вы имеете n выходов
у вас есть M по n пути к преобразованию
ваших входов на выходы и
реализация — это буквально матрица
умножения и W в этом случае
обычно параметр, который означает, что вы
узнайте соединения от входов до
это само по себе не является мощным
достаточно для того , что вам нужно по крайней мере еще один
что нелинейность
оригинальная нелинейность называется
Сигмоид — это просто эта функция
приятное свойство , что Переводит реалы
в пространство 0 1, и это может быть
интерпретируется как вероятность, но это
не так важно, что просто
нелинейный, и причина
Нелинейность важна, если вы
имеют подобную нейронную сеть
когда вы складываете слои
если у вас не было нелинейности
в середине это было бы всего два
матрица умножается на спину и что
произойдет, вы можете просто объединить
это в одну матрицу умножить так, если
у вас этот 100-слойный чисто линейный
сеть просто матричных умножений
в то время как эта вещь довольно сложная
и вы делаете всю работу реального нервного
сети, вы могли бы сгладить ее
в единую весовую матрицу из-за
линейный состав линейности, поэтому
был оригинальным, кому это нравится
потому что это очень похоже на то, что люди
прежде чем они действительно получат, как машина
обучающие слова, которые были просто двоичными
пороговая несправедливость, возвращенная в
день, а крутая часть — только с теми
две единицы, которые вы знаете, как сделать нейронную
сети, которую вы просто можете получить
ваш ввод применяется матрица умножить
вы применяете сигмоид, который вы применяете
матрица умножается, и у вас есть одно и
они называются многослойными персептронами
когда у вас есть только умножение матрицы и
нелинейность и крутая часть состоит в том, что
там есть сыворотка, что этот простой
архитектура, как буквально три
функции могут решить аппроксимировать
произвольные функции, что означает, что он может
решить любую проблему, о которой вы заботитесь
есть крутая теорема по этой идее
что если вы делаете средний большой
достаточно вы можете рассчитать в принципе любые
функции — это то, что просто
потому что это может не означать, что это
и однослойный многослойный
персептрон часто вызывает больше проблем
чем это решает, поэтому вот почему
зима AI в 90-х только потому, что
эти вещи твои ужасные
но людям стало намного лучше
это и сейчас теперь нейронные сети
являются прохладными и, как отказ от ответственности, это
это нейронные сети, когда у вас есть
так что это будет многослойный
персептрон — нейронные сети
все, о чем я говорю сегодня,
все еще нейронная сеть, но это
особенно когда вы говорите о
многослойный персептрон, что и есть
так с тех пор люди сделали лучше
нелинейности это, вероятно, большинство
улучшения в период с 1990 по 2012 год
к сожалению, у вас есть
вид более умной нелинейности, поэтому вместо этого
принятия этой странной функции squiggly
вы просто делаете порог так что ничего
это отрицательно, вы просто превращаете его в 0
это на самом деле самый популярный
нелинейность в настоящее время
невероятно хорошо
некоторые действительно хорошие свойства оптимизации
в частности, когда у вас есть нуль, как
это не только очень линейно, поэтому работает
очень хорошо с цепным правилом, и это
вещь используется почти везде в наши дни
особенно в середине нервного
сети есть softmax, который вы можете
подумайте, как конвертировать кучу
числа в дискретную вероятность
так что математика это p
равняешься вы экспоненциируетесь вводом и
то вы разделите его на сумму
входы вы можете придумать объяснение
превращает все числа в
положительный, а деление на сумму
нормализующий термин есть очень
хорошие свойства об этом и используются
как последний слой для классификации
проблемы и используется почти в каждом
нейронная сеть прохладно, что было легко
часть это усложняется Мне нравится чувствовать
бесплатно задавать вопросы во время этого I
обычно объясняют это с помощью доски
и он обычно усложняется даже с
доска, но я постараюсь пройти
это так, что свертка является основной
рабочая лошадка для глубокого обучения изображениям
и глубокое обучение и изображения
в основном это своего рода
революция началась, так что очень
важно, вероятно, это место, где
глубокое обучение является самым
это очень важный примитив, и я
подумайте, что очень классный примитив
понимаете, потому что вы действительно понимаете
как красив рамки, когда
вы видите, как ничего себе эта штука звучит
довольно сложно, но вы можете просто
подключите его, и вы делаете это, чтобы
знать, как это работает, когда кто-то закодировал
для вас, что я и делаю так, это
линейная операция для 2d-изображений, поэтому один раз
у вас многослойный персептрон вы
имеют отображение от каждого входа к каждому
но в случае изображений
входы структурированы так, что вам нравится
это пространственные отношения между вашим
входы и если у вас есть отображение из
каждый вход на каждый вывод, который вы
выбросить пространственные отношения так
идея была бы, если бы вместо
с соединением от каждого входа до
каждый выход, если каждый вывод
вывод выглядит как изображение, а также
каждый выход был только локально подключен
к тому, что соответствует этому
то есть в поле зрения номер один, поэтому локальный
соединения и внутри второго номера
каждый выход
локальная функция его ввода, если
вместо того, чтобы каждый выход был
собственной функции, которая была бы общей
случай, если каждый вывод был таким же
функции его ввода, так что это тогда
становится эквивалентно подобно
известная функция в компьютерном видении
которая является сверткой, которая у вас есть
ядро , которое есть вы можете думать об этом
как локальная весовая матрица, так что это
представленная да, о, круто моя мышь
здесь это часто представляется как
квадрат в изображении, подобном тому, что
означает, что они фиксируют, что местные
ввод вы просто умножаете матрицу
между всеми весами ядра
который был бы чем-то вроде этого вы
сделайте это, чтобы умножить все
в локальном регионе вы подводите итоги
это всего лишь точечный продукт, а затем вы
делать это в каждом месте на
так что это похоже на черепицу
ввод с той же функцией, или он может
быть истолкованным извлечением того же
функции в каждом месте, которое является
более распространенный способ интерпретировать это
это очень мощный, это очень параметр
потому что у вас много
распределение веса между параметрами
и у вас может быть намного больше
вы можете получить с нормальным
матричное умножение, и вы также не
теряет пространственную информацию , которая является очень
важной структуры изображений, чтобы эти
некоторые действительно приятные свойства и как
вы можете подумать, что это
вещь действительно сложна, как я могу
возьмите градиент, потому что я, может быть,
все это довольно сложно
но это фактически эквивалентно
очень ограниченное матричное умножение
поэтому, если вы возьмете свое входное изображение, и вы
развернуть его, потому что с матрицей moulton
вы теряете эту пространственную структуру, и вы
разворачивайте свой ввод, у вас в основном есть
несколько соединений, как каждый вход каждый так
каждый выход подключен, возможно, как
девять ваших входов, и
становится эквивалентом действительно
все диаграммы с большим количеством стрелок
но большая часть стрелок равна нулю или
отсутствует, так что это все еще полностью
дифференцируемый и по- прежнему подходит
хорошо в эту структуру, что вы можете
подключиться ко всем другим
нелинейность охладиться он собирается получить
немного сложнее
еще один очень фундаментальный строительный блок
называется рекуррентной нейронной сетью I
не знаю, почему строительный блок
называется сетью, когда все остальное
но это просто
конвенции, и это решает
проблема, которая в основном не была
решаются в машинном обучении, перед которым
мы хотим, чтобы функции принимали
переменный размер ввода, но они могут
введите фиксированный размер, и это
становится проблемой, когда вы являетесь функцией
является параметрическим, как полностью связанный
слой — это потому, что если вы хотите
соединение с каждого входа на каждый
но ваш размер ввода изменяется, что
означает, что вы — количество весов, которые вы
имеют изменения, а это означает, что если вы
получить более длинный пример в выводе
время, когда вы теперь не знаете, что делать с
это и это также может быть неэффективным
потому что у вас может быть действительно
действительно большое действительно большое количество
и вам может не понадобиться все
способность иметь как каждое соединение
там такая повторяющаяся нейронная сеть является
пути решения этой проблемы и
решение этой проблемы — рекурсия, поэтому
у вас есть начальное состояние, которое
просто позвольте просто называть его h
этот пример, и у вас есть куча
эти входы X и есть переменная
число их, чтобы вы действительно не знали
что, как этот капитал T, и вы можете
сделать функцию, которая принимает фиксированную
размер и потому, что каждый X является фиксированным размером
вы можете сделать эту функцию
и h + X, и теперь вы можете рекурсировать
через этот список, указав h of t
равна функции предыдущего
состояние жаль новое состояние является функцией
предыдущего состояния и текущего
ввод, а затем вы просто возвращаете окончательный
один и то, что это позволяет вам сделать это
позволяет вводить фиксированный размер
вы можете заставить его действовать извините
фиксированная функция , фиксирующая фиксированный размер
вы можете теперь превратить его в
функция, которая принимает переменную величину
ввод, применяя эту функцию
переменное число раз это не
это похоже на довольно очевидное понимание
и вы можете сделать это с помощью любых
алгоритм машинного обучения
например, применить случайный лес, как
произвольное количество раз, но круто
часть об этом заключается в том, что
функция дифференцируема
рекурсивная функция также
дифференцируемы, поэтому вы можете
производные от каждого из входов, которые вы
может взять даже взять производную
весовые матрицы, которые вы используете на каждом шагу
может использовать это, чтобы достичь цели, и вы получаете
диаграмма
это выглядит как сейчас, вы можете
подумайте об этом как о применении слоя FC для
каждый вход, который принимает вход и
до сих пор, и эта диаграмма не может
быть очень ясными, но есть много
различные диаграммы для концов RN и
они все одинаково запутаны, если вы
не знаком с ними , так что это своего рода
слева — мой любимый
потому что вы можете подумать об этом как о
функция состояния, за исключением вас, состояние
длится только на
но развернутая версия — это
версию, которую вы используете, если принимаете
градиентов, так что это эквивалентно просто
прохождение градиентов через это
длинный график последнего сложного слайда
короткие единицы памяти, это ставит меня в
действительно тяжелая позиция, потому что я не могу
не говорить о них, потому что они так
большой, но они также чрезвычайно
сложны, и там они берут больше
и я даже UNIX
объяснить , но это отличный блог
post Я думаю, что слайды будут опубликованы так
вам не нужно беспокоиться об этом
большое замечательное сообщение в блоге пытается объяснить
но я собираюсь попробовать как
высокоуровневая интуиция их именно так
как даже выше, чем я сказал так
далеко не так, чтобы вы могли
понять, где это происходит
когда я говорю об этих вещах
и идея была бы его видом
как RNN, и на практике никто не использует
RNN, который я только что описал, это
очень простая функция, и есть много
более сложные версии — это RN n
где функция действительно
сложно, так что все это здесь
представление этой функции я
не собираюсь вдаваться в подробности этого
но он включает в себя множество разных
механизмов для оптимизации
проще, и идея в том, что если бы вы
применяются, если вы хорошо разработали эту функцию
функция применяется каждый раз
это может сделать проблему намного
проще оптимизировать, и вам может понравиться
гораздо более мощная функция и
ключ заключается в том, что, имея путь, который
относительно просто, так что это то, что
представляет собой верхний путь, где эти
выполняются к нему переменные операции
упрощает сбор данных вещей
хочешь спина к спине, и это облегчает
изучить долгосрочные отношения между
функции
привет, это было то, что было
сложная часть, которую вы сейчас знаете
девяносто пять процентов здания
блоки, которые каждый использует для
современное глубокое обучение с помощью
эти биллинговые боксы, которые вы, вероятно, могли бы сделать
новые современные вещи на новых
домены, так что поздравляю вас с готовностью
следующая часть um, поэтому в этой части я хочу
говорить о том, что D- планирование действительно
хорошо и то , что вы должны использовать его на
ответ — это много, поэтому я иду
для охвата только грубых тем, где
глубокое обучение действительно сияет, но есть
гораздо больше, чем я думаю
является частью удивительности, потому что это
все подпадает под это чрезвычайно простое
рамки, которые я только что описал.
не думайте, что вам может понравиться описать
любая структура, такая же простая, как у меня
просто сделал и решил это много
сложные нерешенные задачи до 2012 года
в основном так сверточный нейрон
сетей это общая архитектура
обычно называемый CNN
фактически означает сеть в этом случае
а не только слой, идея в том, что
вы берете свой имидж, который вы применяете
сверните, вы применяете свою ценность для своей
выпрямленная линейная единица, вы, вероятно,
свертывание вы применяете lu, и вы
в основном повторите это, пока
вы решаете все проблемы на компьютере
что не совсем верно, поскольку
в конце вам нужно прибегнуть к каким-то
слой снаряжения и другой игрок
зависит и какой вход вы используете
пытаясь решить, не может понравиться действительно
старая школьная задача в том, чтобы вы ее лицо
признание, пытающееся определить как
чье лицо это, и это действительно
крутая задача, потому что
представления очень визуально, и вы можете
узнать, как сеть учится со временем,
на первом уровне вы, когда начинаете
с пикселями на первом слое
фильтры, как правило, соответствуют краям и
очень простые вещи, поэтому свертки могут
совпадающие края и другие очень простые формы
и по мере того как вы все глубже и глубже погружаетесь в
сети, которую вы усвоите
функции ввода, после чего вы
может начинать комбинировать края с углами
или капли, так что это все еще чрезвычайно
простой, но после того, как вы перейдете к другому
слой как-то вроде объединения двух углов
правильный путь становится неким подобием
глазной формы или если у вас есть два
углы в блобе, который становится больше I
нравится , и вы можете создать из
края к углам к объектам и
в конечном итоге в объекты, которые вам нужны
о и как вы действительно действительно глубоки
сети, на которых у вас есть промежуточные продукты
которые являются чрезвычайно семантическими объектами для
Например, люди сделали много инструментов
для визуализации нейронных сетей
где они визуализируют
нейронные сети учатся, и у вас есть
например, если у вас есть нейронная сеть
которые не учатся классифицировать книги в
все, кроме полос, классифицированных книжными полками
некоторые из промежуточных характеристик
фактически становятся классификаторами книг, которые
действительно интересно, как он может научиться
или мне нравится иерархическое представление
вашего входного пространства, так что это
полезные вещи для объединения в
чтобы создать надежный классификатор и
комбинируя так, может быть, если вы объедините
три книги вместе, а также квадрат
это становится книжной полкой, так что это
вроде того, что местные операции
делать с каждой нейронной сетью и
красота в том, что все это изучено
автоматически для вас не требуется
как у меня есть книжная полка
книжная полка обычно имеют книги, которые у них есть
книги жаль, что у них есть квадратные вещи
возможно, они часто решают цветы
все может случиться в наборе данных
автоматически для вас и этих
сверточные нейронные сети
абсолютно удивительно, когда я
не шутили, когда они спасли в основном
все компьютерное зрение прямо сейчас все это
начал с imagenet это было в 2012 году
это когда глубокое обучение на самом деле
весь походный поезд начался там, где вы
традиционное решение для машинного обучения
этот очень жесткий очень большой компьютер
набор данных зрения, и это было своего рода
на плато на протяжении многих лет , и все из
приходит внезапное глубокое обучение, и это
просто ударяет все и всегда
с тех пор все было
все в компьютерном зрении было
глубокое обучение, как ничто не может даже
сравните, а недавно мы были даже
способность получать сверхчеловеческие результаты
что довольно впечатляет, потому что
люди очень хорошо видят вещи
это то, что мы развили, чтобы сделать
и те же архитектуры могут делать все
рода действительно интересные структурированные
задачи, поэтому использование почти одинаковых
архитектуры вы можете использовать концепцию для
определить, что вы знаете, как вы можете расстаться
ваше пространство ввода в так называемое
семантическая сегментация, как и все
соответствующие части, которые вы
имеют и используют в основном то же самое
архитектуры, а также вы можете сходить с ума
такие вещи, как супер разрешение, где вы
takin, как изображение с низким разрешением и
сделайте это, вы можете заполнить детали
который довольно хорош , это довольно не
только невероятно, хотя это
звучит довольно просто, невероятно, что
например, вы можете использовать тот же
архитектуры, которая принимает изображение и
говорит вам, есть ли собака
в нем взять изображение и вернуться как
новое изображение с более высоким разрешением, и это
в основном одна и та же библиотека
компонентов это очень очень
композитный, и это действительно хорошо
Удивительно, вы также можете использовать это, чтобы решить
действительно тяжелые задачи медицинских задач, которые
люди не могли решить, прежде чем мы здесь
выявление классификации рака легких в КТ
сканирует это те вещи, которые
Мне нравится работать, и это не только
ограниченное деление, было много
работа в понимании языка, так что
то, что глубокое обучение действительно
хорошо на этом языке,
это означает, насколько вероятно, насколько
почувствовать это утверждение, сделав определенный
языка, поэтому это может иметь отношение к
Ответ на вопрос, как ты, я в порядке
это может иметь другие вещи, такие как то, что
было бы странно, что мой ноутбук
squishy может быть очень маловероятным
предложение сказать, что нейронная сеть
может, вероятно, определить squishy — это
очень плохое прилагательное для ноутбука это
очень невероятное предложение, но если бы я сказал
мой ноутбук горячий, что, вероятно, будет
гораздо более вероятное предложение, и это
уже имеет какую-то человекоподобную печать
потому что язык был разработан для людей
и иметь возможность иметь, если вы можете
понимание языка, как в
определение вероятности
предложение, учитывая контекст, который вы можете, и если
вы делаете это отлично, вы можете решить
в основном любая задача, и это
действительно интересный домен, где он
применяется, поскольку предыдущий, если вы
посмотреть, как понимать язык
было сделано до того, как глубокое обучение было вокруг
это было просто невероятно упрощенное количество тонн
нет и тонны правил не робастности два данных
устанавливает, что вам придется создавать собственные правила для
на каждом языке, и теперь вы можете
используйте те же трюки для английского языка, что и вы
Можно
для китайских иероглифов, как вы можете
байтовый код, так что это просто красиво
невероятно они явно были
более сложные задачи довольно популярны
использовать для машины для глубокого обучения, что
эти люди действительно вкладывают много
в тетя пошел язык
понимание с нуля, поэтому идея
вы используете RN для сжатия предложения
в исходном языке в вектор
как я описал в разделе RNN и
то вы используете другой RNN для декодирования
это на целевой язык, и
не удивительно, что вы можете разработать
нейронной сети, которая, вероятно, может выводить
это совершенно удивительно, что это
работает так хорошо , и вы были в состоянии
имеют нейронные сети, которые у человека в
промежуток нескольких месяцев студенческого обучения
соответствуют производительности систем, которые
люди потратили десятилетия на разработку
и / сейчас я думаю, что
системы глубокого обучения не входят в
развертывание систем не используется
для этого прямо сейчас, но они очень
важный компонент, который люди все еще используют
немного жестко закодированных материалов, но это только
вопрос времени и красоты заключается в том, что
но если у нас есть новая задача или новая
язык теперь он может просто автоматически
работать, как если бы мы знали, что находим
из какого-то потерянного языка из тысячи
лет назад, и у нас есть хорошая сумма
их текстов мы сможем узнать, как
перевести или понять это без
любое знание об этом и кажется
чисто от данных, которые мы можем, и это
действительно здорово, нам не нужно
понимание чего-либо для того, чтобы
мы не нуждаемся в понимании до
применение моделей машинного обучения в
чтобы иметь понимание
потом, и это действительно
действительно потрясающе, я на самом деле был
беседуя с людьми в SETI
поиск внеземного разума
и одна из задач, которые они выполняют
пытается понять дельфинов
Обоснование заключается в том, что если мы можем дельфины
языковые инопланетяне могут иметь язык, если
мы, если увидим чуждое общение, мы
вероятно, не поймут это
возможно, мы можем использовать дельфинов для прокси
для инопланетян, чтобы попытаться понять их так
есть некоторые действительно крутые задачи, которые
происходит там, не ограничиваясь этим
есть некоторые действительно классные вещи, которые
сделано с искусством в глубоком обучении на самом деле
Я думаю, что компании начали
что вся их бизнес-модель
создавая удивительное искусство глубокого обучения и
они, кажется, преуспевают в
Я слышал, в этом случае это
галлюцинация чисто из конф круга
обучены для классификации изображений, поэтому
изображение того континента, что вы знаете что-то
который принимает изображение, говорит вам, что
породы собак это с объектами или в нем
вы можете использовать его с несколькими трюками
создать такое сумасшедшее искусство, и это
был довольно большой всплеск, это очень
неинтуитивный, что нейронная сеть, которая
даже не обучены искусству
на самом деле может получиться такой вид
они более популярны
такие случаи, как стиль передачи идеи
вы могли бы взять нейронную сеть
все еще готовят для классификации идею
была бы классификация имеет некоторые пригороды
о каких изображениях некоторые
естественный мир таким образом , что вы делаете , то есть
вы говорите, что я хочу, чтобы мой образ выглядел как совпадение
распределение с другого изображения
и тогда вы получите такой стиль
трансфер, где вы можете смешать
эти компоненты и
на самом деле довольно уродливый пример
есть хорошие, я обещаю, что есть
некоторые более сложные вещи, которые вы
может сделать это не просто как два
изображения вместе и слияние их
вместе вы можете делать такие вещи, как
превращение, возможно, не супер великого
рисуя что-то, что вы могли бы
вероятно, делают в краске довольно быстро в
что-то похожее на художника
или что- то действительно потрясающее и
идея в том , что вы можете на самом деле
принимать эти произвольные каракули и конвертировать
их в эти вещи, которые выглядят
картины и такие вещи
действительно потрясающе, и я думаю, что это просто
начало того типа, что мы
может заниматься искусством нейронной сети, но после
в основном менее года работы по
это вы делаете приложения, которые
уже очень осязаемый очень удивительный
это уже что-то, что если я сделал
это я, вероятно, повесил трубку
гостиной, и это только один
год работы представьте, что произойдет, что
через 10 лет я сохранил лучшее за последнее время
условия искусства мы можем комбинировать наши фотографии
без Покемона так ясно будущее
здесь вот это один из моих венцов
Я думаю, прежде всего потому, что
Я сделал это с десятками
люди и только мои оказались хорошо, но
да, я думаю, что это действительно потрясающе
есть как раз так много вещей, чтобы сделать
здесь и так мало людей работают над этим
это и то, что небо действительно является пределом
так что просто интересно, что на
виды вещей, которые мы можем создать
здесь было другое огромное достижение
игра была действительно большой, если
кто-то видел глубокие шахты 500 миллионов долларов
приобретение в 2013 году
бумага, которую они имели в то время, была
научиться играть в игры Atari из пикселей
который может быть сложнее, чем кажется
потому что у людей есть
играть в игру так же, как у них есть
прежде чем это может быть мяч и
это весло, и я хочу уничтожить
некоторые вещи, в которых они были
что ключ открывает двери или что дороги
я хочу остаться в машине
игра, но нейронные сети не даны
из этих priors это буквально только
учитывая пиксели, полученные этими изображениями
учится играть на медианном
сверхчеловеческого уровня и
продолжают улучшаться, и это
что-то вроде подобных трюков
были применены к гораздо более недавним
результат google deepmind alfa GO
сети, которая не была такой огромной
на Западе, но если вы когда-нибудь поговорите с
люди из более восточного мира вы
могут говорить с ними о
достижения глубокого обучения, которые вы говорите
о умных входящих и они как о
это довольно хорошо, вы говорите об изображении
поиск да, это довольно хорошо, а затем
вы говорите им об этом, как о да
это также будет чемпионом мира
и они похожи на то, что мы бы побили пьесы
это удивительно, и люди предсказывали, что
даже избиение человека
вероятно, будет зависеть от
эксперт от 10 до 100 лет, и он
случилось, что это только что произошло
это уже так, как у людей
потерял это, и как побочный эффект goez
также вызвало больший страх перед безопасностью ИИ
чем любая другая нейронная сеть, я верю
и это, вероятно, хорошо
представление о том, что я не знаю, как
да давайте средним ясности это XKCD
как тяжело люди думали
эти игры были и вы можете увидеть , как идти
в основном будучи последним на уровне
компьютер все еще проигрывает людям и
то не все из них решаются, но
это просто невероятно, что
что теперь решаемые люди были
пытаясь спросить, может ли он это сделать
что это не может сделать, потому что go — задача
что требует много рассуждений и
эти достижения были
переносятся в физическую
мир, а также это Google, как
ферма с кучей роботов, которые
сами научились понимать
объектов и в основном управление роботами
обычно довольно сложно, особенно когда
вы пытаетесь сделать это обобщением и
они смогли сделать это только вам
знайте, бросая роботов в темный
склад, имеющий поезд некоторое время
проектирование милой целевой функции и
он просто научился лучше понимать вещи
чем их ручные проектные контроллеры
который был довольно устрашающим и более
В последнее время я думаю, что
видео появилось на прошлой неделе
nvidia использует только глубокое обучение для
так что идея была похожа на
только с одной камерой перед
ваш автомобиль теперь ваш автомобиль может научиться водить
может умереть от обучения
как поехали другие люди, и это
очень интересный результат, потому что даже
google работает, потому что я не знаю
если бы это было уже десять лет
что они работали над
автомобили с самообслуживанием, вы знаете лидар
и хлопать, и все это и
Nvidia некоторыми мерами
их полностью внутри я думаю, что это было
менее чем через год с тех пор, как они были
вкладывая в это так много всего
похоже, меняется много вещей
особенно эти виды восприятия
потому что исследование движется так быстро
Мне также нужно потратить некоторое время и
вещи , которые еще не практичны, но
может очень скоро стать как отказ от ответственности
Я ездил в эти выходные, поэтому я
не уверен, что некоторые из этих вещей принадлежат
в уже разрешенной категории
генерация — большая, есть тонны и
тонны происходящего поколения, поэтому я
определенно не может отдать должное
действительно классный материал и как просто
генерирование изображений с нуля и
генерирование произвольных других доменов из
царапины — это только самые визуальные
поэтому я их здесь, но некоторые из
самый крутой и, возможно, самый практичный
примерами являются условная генерация
я очень рад, что
изображение в текст, так что идея в том, что вы
взято входное изображение, а выход —
не нравится да или нет, независимо от того,
собаки, но вы выводите описание
изображения, и это похоже на
чрезвычайно человеческая задача — быть предельно
полезно, если вы выполняете эту задачу правильно
Кажется, что вся эта тонна
возможности я очень рад
как принимать медицинское изображение и как
выводящий как отчет о слиянии
который был бы действительно потрясающим, а некоторые
люди, которые действительно волнуются
это приложение, которое
в краткосрочной перспективе я не знаю, как правильно
сказать это, но как плохое зрение
сообщества, поэтому веб-страницы в настоящее время имеют
было довольно плохо о вещах для людей
с ограниченными возможностями и представить,
нейронная сеть, которая может просто описать
изображение для вас описывает страницу для вас
расскажите, что находится на странице в очень
семантический обобщенный способ, и есть также
действительно крутая противоположная проблема, которая
вместо того, чтобы брать изображение и
выводя описание, которое вы
описание и не помещать изображение, которое
как ужасный художник идеи, я, вероятно ,
бит более возбужден, потому что вместо этого
как я могу описать картины, которые я не могу
действительно нарисовать их, и, как это много
лучше, чем я могу сделать, но
это, вероятно, низкий бар, но в этом
вид сети, которую вы фактически принимаете
как текст предложений и все эти
изображения генерируются из этой сети
и это довольно невероятно
они не супер велики, но, как эти
птицы на самом деле, я верю
они настоящие, что цветок не
фиолетовые
но они на самом деле видят его близко, как если бы
Я, если бы он был увеличен достаточно, я мог бы
см. это довольно реально и может
вы представляете себе будущее, а не
вынуждены тратить миллионы долларов в
вы просто хотите напечатать его, а затем
нейронная сеть только генерирует
фильм для вас, мы совершенно вне этого
но , возможно , не так уж далеко , особенно
как с некоторой целенаправленной работой, и это
может называться как всякие, как новые
формы творчества, которые люди не
даже знать о языке
понимание делает очень хорошо есть
более глубокое понимание языка, которое мы
могут быть разнообразии задач, но это
чем сложнее для реальной задачи, так что QA
Ответ на милый вопрос, который требует
более сложные рассуждения, например, если
у вас есть история здесь, и вы спрашиваете
что-то сложное, как
где футбол, тогда да, как пойти
вернуться в магазин и выяснить, где
что- то случилось, что
вид сложных людей очень хорош
при этой задаче модели могут решить эти
простые, но они не могут
реальный реальный ответ на вопрос
который является неудачным, но что-то
люди действительно заботятся, и мы не
все еще есть, но я также люблю, как
Ужасно эта проблема звучит так:
наши машины, которые у нас есть в основном
не проводил никакой работы только автоматически
выучить мелкий уровень рассуждений, как
это похоже на первую реальную проблему
в то время как есть язык
понимая, что есть также визуальные
понимая, что это
нераскрытый есть есть некоторые удивительные
набор данных, который включает в себя изображения и
вопросы и цель состоит в том, чтобы найти
ответ и модели есть модели
что может справиться с этой задачей, но
все еще очень нехорошо и все еще как лицо
значительно хуже, чем люди делают это
это то, что мы
пока не может играть
более решительная игра
открытая проблема, и вы можете подумать больше
игра, играющая моего пятилетнего брата
может играть minecraft, и он почти
конечно, не может победить чемпиона мира
на ходу
тем сложнее в этом случае означает состояние
оказывается, что люди действительно хорошие
при воспоминании чего-то неврального
сети имеют некоторые трудности с этим, поэтому
нейронные сети, которые люди
использовались для игр, были
полностью без гражданства, поэтому, когда у вас есть
частично наблюдаемый мир, как Minecraft
где вам нравится только одно направление
что вы смотрите, если вам нравится смотреть
влево он забывает, что было на
право, и это то, что люди
все еще работают над тем, чтобы решить одно и то же
вещь с обреченностью, и работа была
немного, но это далеко не
и я действительно верю
они по-прежнему нечеловечны в этой задаче
есть некоторые действительно классные вещи с
автоматическое обнаружение иерархических
структуры, поэтому на языке
иерархические структуры могут быть понятны
нас, потому что мы используем язык как
символа слова предел характера вашего
чувства заключаются в словах
из чувств это похоже на это
семантическая иерархия, которая упрощает
свести проблему к более простой
проблемы, но это не относится к
многие домены и были люди
которые разработали нейронные сети, которые могут
фактически автоматически обнаруживают это
иерархии, и это может быть действительно
полезно для задач, где мы не знаем, как
интерпретировать это так, что я
немного работал над геномикой, и мы
действительно даже не знаю, как читать
геномика правая, но если нейронная сеть
и автоматически разбить его на как
эта часть идет вместе с этой частью
вы знаете, что есть связи между
здесь и здесь это может реально помочь
целая партия со всеми видами разных
виды научных задач просто чисто
от данных это , когда он становится немного
разрядной вычислительной техники, но это то, что
Я взволнован как компьютерный ученый
есть эта модель называется нейронная Туринг
машины, которые учатся использовать как большой
буфер памяти, который очень крут, поэтому вы
действительно может видеть, как сеть
читает и пишет и читает, чтобы
копировать ввод, есть способы реализовать
дифференцируемые структуры данных, так что вещи
что вы подумали, где вместо
как этот черный ящик вроде арбитража
активация с матрицей умножает вас
может фактически подключить структуру данных
в сеть, и теперь ваша сеть может
научиться делать такие вещи, как толкание и
выпрыгиваете в стек, который вы знаете,
оба конца очереди и все эти
виды вещей, и это могло бы
потенциально возможно всевозможные
прохладные варианты использования
поскольку обучение программным людям
некоторые работы, в которых вы можете создавать модели
что не только может иметь простой вход
вывода, но в качестве промежуточного
в этом отображении входного выхода они могут
изучать подпрограммы и играть с указателями
и это на самом деле делает их очень
общие вычисления, как это потенциально
могут делать все проблемы, о которых мы заботимся
если вы можете изучать подпрограммы и играть
с указателями, как это могло бы узнать
автоматическая абстракция для вас и
ставя эти вещи вместе
смогли сделать что-то вроде
научиться фактически выполнять код, чтобы
идея была бы дана как код
строка и цели для этого кода, например
какой вывод вы можете на самом деле
выучить переводчика для этого языка
и это действительно интересно для меня, как
язык программирования язык, как, может быть, я
может разработать язык программирования, а не
путем его реализации, но
целая куча примеров и
реализация автоматически происходит
для меня или, может быть, я мог бы просто написать
Тестовые для языка и нервной
сеть может генерировать эффективную
язык для меня и что-то еще, что
связано со всем этим
действительно рано, но я думаю, что много
люди очень взволнованы тем, что
которые являются сетями нейронных модулей, мы
вместо единой архитектуры
что вы играете с вами, можете
архитектуры, которые вы можете иметь
библиотеки компонентов, а F для
каждый пример, который вы производите
архитектуры, и вы выводите его так для
пример, если у вас есть вопрос
ответ, и у вас есть изображение и
у вас есть вопрос, где собака
вместо использования произвольной сети
который принимает в вопрос и
ответ вы фактически конвертируете это
вопрос в обычную нейронную сеть
который сочетает в себе модуль собаки с а , где
модуль и выводит ответ, и это
что-то очень рано, но на самом деле
обещая , что это все
Будущее этого, надеюсь, вы, ребята,
некоторые проблемы
есть много программного обеспечения, которое поможет вам
Я не собираюсь говорить об этом праве
Теперь , потому что есть много учебников
там, и я думаю, что высокий уровень
понимание гораздо важнее моего
рекомендуется, если вы хотите
настраивать много вещей
theano интенсивный пол лучший, потому что
это позволяет вам получить эту автоматическую
Дифференциация , что я говорил о
то вам никогда не придется беспокоиться о
назад быстро в принципе, и если вы хотите
просто использовать как модули, которые я
как и некоторые другие
Карис может решить это, и вы можете сделать
много этих вещей с Карисом, если вы
хочу сделать это, есть намного больше
учиться делать, а дьявол действительно
детали, поэтому я был супервысоким уровнем
с множеством вещей, но все вроде
есть так много мелочей, которые вы
нужно знать, например, как вы принимаете меры
вы выполняете обновления таким образом, чтобы
не приводит к росту ваших параметров
слишком велика, как вы инициализируете
параметр не должен быть тривиальным
как вы не можете
тренировки, поэтому есть много
ресурсов там мой любимый
этот класс Стэнфорда Андре Карпатия
cs2 31 n это особое недержание
но он постоянно обновляется
самые современные вещи, и это
как правило, очень высокого качества, поэтому я думаю
это очень доступно для всех, кто любит
начинающий, очень продвинутый, и если вы
хотите сделать это, вам, вероятно, нужен графический процессор или
50 Я думаю , что это за время , так жаль , что я
торопился в конце с любым
вопросы также у меня есть эти слайды, которые
если я оставляю его на некоторых
вопросы здесь идут так, как мы можем
избегайте того, чтобы
человеческие вредные привычки, как мы можем избежать этого
Автономные автомобили поднимают человеческие вредные привычки
это очень интересный вопрос .
очень зависит от того, как автомобили
потому что, если вы готовите автомобиль для копирования
вредные привычки ООН, поэтому, если вы тренируете автомобиль
чтобы скопировать людей,
Проще всего это сделать не самое
правильная вещь, потому что
правильная вещь, которую нужно сделать, — это научиться
как оптимально управлять с нуля, что
к сожалению, включает в себя проб и ошибок
но вы, вероятно, не хотите, чтобы в
самозанятых автомобилей, поэтому мы можем пропустить это или
жестко закодированные правила, чтобы контент
если вы обучите его учиться
людей он будет имитировать этих людей, но
идея заключается в том, что если люди совершают ошибки,
как будем надеяться , скажем, вы хотите
допустим ошибки, и, скажем, люди не
делать согласованные ошибки, если они не
совершать согласованные ошибки и разные
люди совершают разные ошибки
являются одними и теми же человеческими, только делает это
иногда совершает ошибки, и у вас есть
нейронной сети, нейронная сеть может
предсказать, что
человек может сделать, а не в худшем случае
сценарий, поэтому, если вы добры, вы можете думать
человека в виде Samba в этом случае
что, если вы предсказываете, что
среднее количество людей может сделать вас
может двигаться лучше, чем человек, но если
люди последовательно делают, если люди
последовательно делать ошибки, то есть
вы ничего не можете сделать, кроме
получить больше данных. Думаю, у нас есть время для
еще одно, что вы думаете о чате
BOTS возможно построить только с
да, действительно есть много
стартапы, которые делают это прямо сейчас
так что это, кажется, следующая волна в
стартапы похожи на горячие вещи
теперь, когда люди пытаются использовать чат
БОТС делать всевозможные вещи для
очень специфические домены, в которых есть
хорошие свойства от бизнес-точки
потому что ваша цель — заменить
люди, которые участвуют, поэтому очень легко
как заменить их алгоритмом
потому что люди, когда у вас есть, если вы
есть куча из них, они создают
так что это очень правдоподобно
это все еще трудно для чата BOTS это добро
как игровая проблема, где
для чата BOTS трудно записать память
о том, что вы сказали, если вы говорите о
вроде О, попробуй, ты знаешь, как открыть это меню
и ты знаешь, иди сюда и здесь и здесь
и вам может понравиться, может быть, пять
предложения позже чат BOTS мог бы сказать
то же самое, потому что тексты neuron
я все еще имею проблемы с памятью, я думаю
это так, пожалуйста, забудьте проголосовать и
давайте дадим большие аплодисменты, чтобы сделать
Спасибо
Я имею очень математику и
компьютерный фон, который очень хорош
для глубокого изучения списка достижений
о том, почему вы должны слушать меня, это то, что я
в настоящее время работают в супер-прохладной компании
который использует глубокое обучение, чтобы
более быстрая и точная медицинская
диагноз, и в прошлых жизнях у меня один
целая партия, как международная математика
конкурсы и некоторое программирование
соревнования, а сегодня я собираюсь
поговорить о том, что такое глубокое обучение и
что он может сделать для вас, не стесняйтесь спрашивать
вопросы в любое время, если я могу спросить, что
право, они могут спросить, что правильно Саймон круто
так что да , не стесняйтесь задавать вопросы в любом
время просто запечатывает их , особенно если
Вы думаете , что я вру вам так , что
глубокое изучение собирается начать с
отказ от глубокого обучения на самом деле
довольно сложно трудно быть очень
вообще обо всем и быть правильным
поэтому, когда сомневаюсь, я буду выступать
общность, поэтому, если вы знакомы с
назначение уже идет
звучит так, как будто я лежу много, но в
реальность подобна этому просто нравится
дать высокий по- настоящему высокий уровень
а также, когда это возможно,
приветствовать некоторые из ярлыков, которые могут
не будет на сто процентов правильным, но
должна дать правильную ментальную модель
как это работает, но если у вас есть
любые вопросы не стесняйтесь спрашивать об этом
супер высокий уровень — это очень кружево
много как различных уровней
иерархии здесь, в экосистеме
искусственный интеллект , который является
надмножество вроде всего, пример
будет IBM Watson, где много рук
закодированных правил и использует чрезвычайно большие
количества квалифицированной рабочей силы, созданной для
конкретная задача — машинное обучение
который является подмножеством этого примера
это будет похоже на клик по объявлению Google.
предсказание и то, как вы это делаете, скорее
чем использование тонн и тонн жесткого кодирования
вы начнете использовать больше примеров для
выяснить, как совместить какую-то руку
закодированную статистику для прогнозирования
вероятность, например, клика объявления
на чуть более глубоком уровне у вас есть
представления, которое
иногда рассматривается как один слой глубоко
обучение иногда упоминается как
эти уровни называются мелким обучением
если вы пытаетесь начать бой
и примером этого будет netflix
рекомендации, в которых
статистика того, что вы даже знаете о
каждый фильм извлекается из данных, но
вы все еще учитесь простому
сочетание того, как эти функции идут
вместе и после нескольких уровней, которые вы получаете
в глубокое обучение таким образом , это было бы
пример выявления болезней из
изображения , где вместо того , чтобы вы знаете , имея
слой ручной статистики, который
узнал, а затем объединил вас
может изучить все эти статистические данные на
в то же время в десятках сотен или даже
тысячи шагов, что и некоторые
люди используют в настоящее время это , вероятно, не
общий взгляд на то, что глубокое обучение
но я думаю, что самый простой взгляд на то, как
см. его глубокая линия существует интерфейс
и этот интерфейс имеет примерно два
методы в качестве первого метода у вас есть
вперед мимо , и это, безусловно,
простая часть при произвольном вводе
произвольный выход любой может сделать эту часть
это действительно просто трюк, что
делает работу обратной стороной так
с учетом желаемого изменения в выводе
хочу иметь возможность превратить это в
желаемое изменение ввода и после того, как вы
их можно сделать произвольно
сложные вещи, связав вещи вверх
превращая их в направленную ациклическую
график, и если это звучит слишком хорошо, чтобы быть
особенно в том, как мы разрабатываем
вперед, потому что если вы просто скажете
произвольный ввод произвольного выхода
Конечно, вы можете делать все, что хотите, но
сложная часть заключается в том, как вы определяете, что
назад, потому что, когда вы делаете свой
форвард проходит все сложнее
например, если у вас есть какие-то действительно сумасшедшие
функции трудно определить, как
для отображения входов обратно на выходы
сохраняя эти вещи простыми и
объединяя их вместе, это дает нам это
почти композитный язык модулей
которые позволяют нам делать то, что мы хотим
для этого, когда у вас есть этот интерфейс
вы просто можете это сделать, как только вы
если у вас есть, что у вас может быть
куча этих модулей, которые удовлетворяют этому
интерфейс в качестве побочного примечания
эти модули будут параметрическими,
означает, что они имеют параметры, которые
примерно означает, что они являются
они с точки зрения состояния означает, что как только вы
иметь состояние
изменения штата, и именно это изменение в
состояние, которое позволяет вам изменить это
функция от чего-то, что вы просто
булыжник вместе с чем-то, что это
все ближе и ближе к тому, что вы хотите
делать, и как только у вас есть рама
язык того, что вы хотите сделать сейчас
может начать выполнять задачи, которые вам нужны
о вас и углубляйте, вы всегда определяете
потеря или стоимость в зависимости от того, как вы хотите
определить это, и это то, что вы
хочу свести к минимуму причины, по которым я бы
счастливо объясните, что это всегда было
скаляр, поэтому не может быть нескольких затрат
в то же время вы должны сквозировать его
в одну вещь, о которой вы заботитесь
и как только вы проглотите это число, как
все заботится о мире в
теперь вы можете начать использовать один номер
глубокое обучение, чтобы оптимизировать это
создать архитектуру, которая
функции, которую вы хотите сделать, и это
будет то, как вы сочиняете вместе эти
модулей, о которых я говорил так,
вы соединяете их вместе,
функции, которая у вас есть, и вид
силы представления, которая имеет и что
становится тяжелой частью после этого
инициализировать параметры, и вы тренируете
эта архитектура путем многократного обновления
параметры для минимизации затрат, поэтому
вы идете вперед по сети, чтобы
получить то, что вам нужно, и вы идете
назад через сеть, чтобы изменить
параметры будут немного лучше для
ваши расходы, и вы повторяете эти
до тех пор, пока вы не получите функцию, которая
вы действительно очень довольны и
решает любую проблему, которую вы хотите, и
в конце вы просто используете эту функцию просто
передний проход, как реализовать
обратный проход, в общем, мы почти
всегда используйте правило цепи, это действительно
хорошо, потому что он реализует
назад легко пройдите, как это работает, если
у вас есть свой вывод как функция суммы
некоторые X, и у вас есть частичная
производным от вашего вывода dld f вы можете
получить dl DX, просто умножив
частная производная DF DX и приятная
часть об этом заключается в том, что dl DF получен
от остальной части вашей сети и DF DX
получает только от вашего модуля, поэтому это
позволяет вам связать эти вещи
вместе, чтобы это требовало
местную информацию, чтобы получить это
назад, очень приятно, что есть
теоретические причины того, почему это
хороший способ сделать это и, возможно, лучший
часть об этом — некоторые рамки делают
мы полностью автоматизированы
поиск переднего хода с использованием автоматического
дифференциации, вы можете понять, как
сделать задний проход автоматически, так что
она становится в основном такой же простой, как определение
произвольные функции, так что вы на самом деле
получить это преимущество просто определить
произвольные вещи возвращают произвольные вещи
пока все операции, которые вы выполняете,
вы можете просто заставить его работать
как магия и оптимизировать ее, и это
буквально, как люди делают это на практике
обновление параметров, это просто
второстепенные подробности, как получить
понимание того, как это работает,
как только у вас есть существующие параметры
вы получаете свой градиент, и вы берете
шаг в противоположном направлении
градиент и частные производные
говорит нам, как изменить параметры на
увеличить или уменьшить затраты, которые мы
заботиться о важном слове, чтобы отметить
знаю, что есть и что люди всегда
использование, я думаю, что это делает его более
сложное, это большое слово назад
распространения или обратной поддержки для этого
имеет более длинное имя, называемое обратным режимом
автоматическая дифференциация, которая звучит
довольно сложно, но это просто
цепное правило плюс динамическое программирование I
предположим, что я только что говорил об изменении
были похожи на людей, знакомых с
динамическое программирование, но это просто
и идея будет , когда вы
иметь график вычислений, это очень
простой граф вычислений y равен C
раз С равна плюс BD равна B
плюс 1 идея заключалась бы в том,
график сверху вниз и
делая это сверху вниз
вместо дна наверху вы можете
наличные деньги, чтобы я использовал
много раз на графике и путем обналичивания
эти промежуточные продукты вы получаете что-то
это намного эффективнее, чем если бы вы
собирались сделать наивное решение и
это позволяет получить градиенты, которые
вычислимы в линейном времени в
размер вашего графика, чтобы вы в основном
оценивайте каждый узел один раз, и это
действительно приятное свойство, это делает все это
действительно эффективный, и это в основном это
для основ с глубокой глубины
обучение просто составление оптимизировано
Подкомпоненты abul оптимизируют Ville
почти всегда означает дифференцируемое
дифференцируемые средства, которые вы можете сделать
фоном фоном является только правило цепи
в динамическом программировании, когда вы получаете
к практическому углубленному обучению
вы должны комбинировать это с градиентом
программного обеспечения спуска и набора данных, но вы
уход и пространство программного обеспечения
есть очень богатое пространство программного обеспечения
о котором немного поговорят в
будущее, но это все эти вещи
решил для вас, чтобы вы могли сделать глубокие
не зная, как
вычислите градиент самостоятельно, пока
мы можем делать сколь угодно сложные вещи
существует несколько стандартных модулей, которые
являются основной рабочей лошадкой глубокого обучения
сегодня и цель этого раздела
будет получить высокий уровень
понимание каждого из них, поскольку все они
могут быть очень невероятно нюансированы, но эти
стандартные модули будут охватывать почти все
о том, что происходит в
Простейший из них, пожалуй, самый простой
это просто матричное умножение, которое оно имеет
многие называют полностью связанным слоем
иногда сокращается до FC
называется плотным, потому что у вас много
линейного слоя, потому что это
линейное преобразование или штраф, потому что
иногда есть смещение и матрица
умножение в основном каждый раз
у вас есть диаграмма нейронной сети.
эти стрелки соответствуют матрице
умножение так , когда у вас есть
диаграмма, которая выглядит сложной
от этого от такого рода вещей и
вы можете интерпретировать это как вес от
каждый вход для каждого выхода, поэтому, если вы
имеют em-входы, и вы имеете n выходов
у вас есть M по n пути к преобразованию
ваших входов на выходы и
реализация — это буквально матрица
умножения и W в этом случае
обычно параметр, который означает, что вы
узнайте соединения от входов до
это само по себе не является мощным
достаточно для того , что вам нужно по крайней мере еще один
что нелинейность
оригинальная нелинейность называется
Сигмоид — это просто эта функция
приятное свойство , что Переводит реалы
в пространство 0 1, и это может быть
интерпретируется как вероятность, но это
не так важно, что просто
нелинейный, и причина
Нелинейность важна, если вы
имеют подобную нейронную сеть
когда вы складываете слои
если у вас не было нелинейности
в середине это было бы всего два
матрица умножается на спину и что
произойдет, вы можете просто объединить
это в одну матрицу умножить так, если
у вас этот 100-слойный чисто линейный
сеть просто матричных умножений
в то время как эта вещь довольно сложная
и вы делаете всю работу реального нервного
сети, вы могли бы сгладить ее
в единую весовую матрицу из-за
линейный состав линейности, поэтому
был оригинальным, кому это нравится
потому что это очень похоже на то, что люди
прежде чем они действительно получат, как машина
обучающие слова, которые были просто двоичными
пороговая несправедливость, возвращенная в
день, а крутая часть — только с теми
две единицы, которые вы знаете, как сделать нейронную
сети, которую вы просто можете получить
ваш ввод применяется матрица умножить
вы применяете сигмоид, который вы применяете
матрица умножается, и у вас есть одно и
они называются многослойными персептронами
когда у вас есть только умножение матрицы и
нелинейность и крутая часть состоит в том, что
там есть сыворотка, что этот простой
архитектура, как буквально три
функции могут решить аппроксимировать
произвольные функции, что означает, что он может
решить любую проблему, о которой вы заботитесь
есть крутая теорема по этой идее
что если вы делаете средний большой
достаточно вы можете рассчитать в принципе любые
функции — это то, что просто
потому что это может не означать, что это
и однослойный многослойный
персептрон часто вызывает больше проблем
чем это решает, поэтому вот почему
зима AI в 90-х только потому, что
эти вещи твои ужасные
но людям стало намного лучше
это и сейчас теперь нейронные сети
являются прохладными и, как отказ от ответственности, это
это нейронные сети, когда у вас есть
так что это будет многослойный
персептрон — нейронные сети
все, о чем я говорю сегодня,
все еще нейронная сеть, но это
особенно когда вы говорите о
многослойный персептрон, что и есть
так с тех пор люди сделали лучше
нелинейности это, вероятно, большинство
улучшения в период с 1990 по 2012 год
к сожалению, у вас есть
вид более умной нелинейности, поэтому вместо этого
принятия этой странной функции squiggly
вы просто делаете порог так что ничего
это отрицательно, вы просто превращаете его в 0
это на самом деле самый популярный
нелинейность в настоящее время
невероятно хорошо
некоторые действительно хорошие свойства оптимизации
в частности, когда у вас есть нуль, как
это не только очень линейно, поэтому работает
очень хорошо с цепным правилом, и это
вещь используется почти везде в наши дни
особенно в середине нервного
сети есть softmax, который вы можете
подумайте, как конвертировать кучу
числа в дискретную вероятность
так что математика это p
равняешься вы экспоненциируетесь вводом и
то вы разделите его на сумму
входы вы можете придумать объяснение
превращает все числа в
положительный, а деление на сумму
нормализующий термин есть очень
хорошие свойства об этом и используются
как последний слой для классификации
проблемы и используется почти в каждом
нейронная сеть прохладно, что было легко
часть это усложняется Мне нравится чувствовать
бесплатно задавать вопросы во время этого I
обычно объясняют это с помощью доски
и он обычно усложняется даже с
доска, но я постараюсь пройти
это так, что свертка является основной
рабочая лошадка для глубокого обучения изображениям
и глубокое обучение и изображения
в основном это своего рода
революция началась, так что очень
важно, вероятно, это место, где
глубокое обучение является самым
это очень важный примитив, и я
подумайте, что очень классный примитив
понимаете, потому что вы действительно понимаете
как красив рамки, когда
вы видите, как ничего себе эта штука звучит
довольно сложно, но вы можете просто
подключите его, и вы делаете это, чтобы
знать, как это работает, когда кто-то закодировал
для вас, что я и делаю так, это
линейная операция для 2d-изображений, поэтому один раз
у вас многослойный персептрон вы
имеют отображение от каждого входа к каждому
но в случае изображений
входы структурированы так, что вам нравится
это пространственные отношения между вашим
входы и если у вас есть отображение из
каждый вход на каждый вывод, который вы
выбросить пространственные отношения так
идея была бы, если бы вместо
с соединением от каждого входа до
каждый выход, если каждый вывод
вывод выглядит как изображение, а также
каждый выход был только локально подключен
к тому, что соответствует этому
то есть в поле зрения номер один, поэтому локальный
соединения и внутри второго номера
каждый выход
локальная функция его ввода, если
вместо того, чтобы каждый выход был
собственной функции, которая была бы общей
случай, если каждый вывод был таким же
функции его ввода, так что это тогда
становится эквивалентно подобно
известная функция в компьютерном видении
которая является сверткой, которая у вас есть
ядро , которое есть вы можете думать об этом
как локальная весовая матрица, так что это
представленная да, о, круто моя мышь
здесь это часто представляется как
квадрат в изображении, подобном тому, что
означает, что они фиксируют, что местные
ввод вы просто умножаете матрицу
между всеми весами ядра
который был бы чем-то вроде этого вы
сделайте это, чтобы умножить все
в локальном регионе вы подводите итоги
это всего лишь точечный продукт, а затем вы
делать это в каждом месте на
так что это похоже на черепицу
ввод с той же функцией, или он может
быть истолкованным извлечением того же
функции в каждом месте, которое является
более распространенный способ интерпретировать это
это очень мощный, это очень параметр
потому что у вас много
распределение веса между параметрами
и у вас может быть намного больше
вы можете получить с нормальным
матричное умножение, и вы также не
теряет пространственную информацию , которая является очень
важной структуры изображений, чтобы эти
некоторые действительно приятные свойства и как
вы можете подумать, что это
вещь действительно сложна, как я могу
возьмите градиент, потому что я, может быть,
все это довольно сложно
но это фактически эквивалентно
очень ограниченное матричное умножение
поэтому, если вы возьмете свое входное изображение, и вы
развернуть его, потому что с матрицей moulton
вы теряете эту пространственную структуру, и вы
разворачивайте свой ввод, у вас в основном есть
несколько соединений, как каждый вход каждый так
каждый выход подключен, возможно, как
девять ваших входов, и
становится эквивалентом действительно
все диаграммы с большим количеством стрелок
но большая часть стрелок равна нулю или
отсутствует, так что это все еще полностью
дифференцируемый и по- прежнему подходит
хорошо в эту структуру, что вы можете
подключиться ко всем другим
нелинейность охладиться он собирается получить
немного сложнее
еще один очень фундаментальный строительный блок
называется рекуррентной нейронной сетью I
не знаю, почему строительный блок
называется сетью, когда все остальное
но это просто
конвенции, и это решает
проблема, которая в основном не была
решаются в машинном обучении, перед которым
мы хотим, чтобы функции принимали
переменный размер ввода, но они могут
введите фиксированный размер, и это
становится проблемой, когда вы являетесь функцией
является параметрическим, как полностью связанный
слой — это потому, что если вы хотите
соединение с каждого входа на каждый
но ваш размер ввода изменяется, что
означает, что вы — количество весов, которые вы
имеют изменения, а это означает, что если вы
получить более длинный пример в выводе
время, когда вы теперь не знаете, что делать с
это и это также может быть неэффективным
потому что у вас может быть действительно
действительно большое действительно большое количество
и вам может не понадобиться все
способность иметь как каждое соединение
там такая повторяющаяся нейронная сеть является
пути решения этой проблемы и
решение этой проблемы — рекурсия, поэтому
у вас есть начальное состояние, которое
просто позвольте просто называть его h
этот пример, и у вас есть куча
эти входы X и есть переменная
число их, чтобы вы действительно не знали
что, как этот капитал T, и вы можете
сделать функцию, которая принимает фиксированную
размер и потому, что каждый X является фиксированным размером
вы можете сделать эту функцию
и h + X, и теперь вы можете рекурсировать
через этот список, указав h of t
равна функции предыдущего
состояние жаль новое состояние является функцией
предыдущего состояния и текущего
ввод, а затем вы просто возвращаете окончательный
один и то, что это позволяет вам сделать это
позволяет вводить фиксированный размер
вы можете заставить его действовать извините
фиксированная функция , фиксирующая фиксированный размер
вы можете теперь превратить его в
функция, которая принимает переменную величину
ввод, применяя эту функцию
переменное число раз это не
это похоже на довольно очевидное понимание
и вы можете сделать это с помощью любых
алгоритм машинного обучения
например, применить случайный лес, как
произвольное количество раз, но круто
часть об этом заключается в том, что
функция дифференцируема
рекурсивная функция также
дифференцируемы, поэтому вы можете
производные от каждого из входов, которые вы
может взять даже взять производную
весовые матрицы, которые вы используете на каждом шагу
может использовать это, чтобы достичь цели, и вы получаете
диаграмма
это выглядит как сейчас, вы можете
подумайте об этом как о применении слоя FC для
каждый вход, который принимает вход и
до сих пор, и эта диаграмма не может
быть очень ясными, но есть много
различные диаграммы для концов RN и
они все одинаково запутаны, если вы
не знаком с ними , так что это своего рода
слева — мой любимый
потому что вы можете подумать об этом как о
функция состояния, за исключением вас, состояние
длится только на
но развернутая версия — это
версию, которую вы используете, если принимаете
градиентов, так что это эквивалентно просто
прохождение градиентов через это
длинный график последнего сложного слайда
короткие единицы памяти, это ставит меня в
действительно тяжелая позиция, потому что я не могу
не говорить о них, потому что они так
большой, но они также чрезвычайно
сложны, и там они берут больше
и я даже UNIX
объяснить , но это отличный блог
post Я думаю, что слайды будут опубликованы так
вам не нужно беспокоиться об этом
большое замечательное сообщение в блоге пытается объяснить
но я собираюсь попробовать как
высокоуровневая интуиция их именно так
как даже выше, чем я сказал так
далеко не так, чтобы вы могли
понять, где это происходит
когда я говорю об этих вещах
и идея была бы его видом
как RNN, и на практике никто не использует
RNN, который я только что описал, это
очень простая функция, и есть много
более сложные версии — это RN n
где функция действительно
сложно, так что все это здесь
представление этой функции я
не собираюсь вдаваться в подробности этого
но он включает в себя множество разных
механизмов для оптимизации
проще, и идея в том, что если бы вы
применяются, если вы хорошо разработали эту функцию
функция применяется каждый раз
это может сделать проблему намного
проще оптимизировать, и вам может понравиться
гораздо более мощная функция и
ключ заключается в том, что, имея путь, который
относительно просто, так что это то, что
представляет собой верхний путь, где эти
выполняются к нему переменные операции
упрощает сбор данных вещей
хочешь спина к спине, и это облегчает
изучить долгосрочные отношения между
функции
привет, это было то, что было
сложная часть, которую вы сейчас знаете
девяносто пять процентов здания
блоки, которые каждый использует для
современное глубокое обучение с помощью
эти биллинговые боксы, которые вы, вероятно, могли бы сделать
новые современные вещи на новых
домены, так что поздравляю вас с готовностью
следующая часть um, поэтому в этой части я хочу
говорить о том, что D- планирование действительно
хорошо и то , что вы должны использовать его на
ответ — это много, поэтому я иду
для охвата только грубых тем, где
глубокое обучение действительно сияет, но есть
гораздо больше, чем я думаю
является частью удивительности, потому что это
все подпадает под это чрезвычайно простое
рамки, которые я только что описал.
не думайте, что вам может понравиться описать
любая структура, такая же простая, как у меня
просто сделал и решил это много
сложные нерешенные задачи до 2012 года
в основном так сверточный нейрон
сетей это общая архитектура
обычно называемый CNN
фактически означает сеть в этом случае
а не только слой, идея в том, что
вы берете свой имидж, который вы применяете
сверните, вы применяете свою ценность для своей
выпрямленная линейная единица, вы, вероятно,
свертывание вы применяете lu, и вы
в основном повторите это, пока
вы решаете все проблемы на компьютере
что не совсем верно, поскольку
в конце вам нужно прибегнуть к каким-то
слой снаряжения и другой игрок
зависит и какой вход вы используете
пытаясь решить, не может понравиться действительно
старая школьная задача в том, чтобы вы ее лицо
признание, пытающееся определить как
чье лицо это, и это действительно
крутая задача, потому что
представления очень визуально, и вы можете
узнать, как сеть учится со временем,
на первом уровне вы, когда начинаете
с пикселями на первом слое
фильтры, как правило, соответствуют краям и
очень простые вещи, поэтому свертки могут
совпадающие края и другие очень простые формы
и по мере того как вы все глубже и глубже погружаетесь в
сети, которую вы усвоите
функции ввода, после чего вы
может начинать комбинировать края с углами
или капли, так что это все еще чрезвычайно
простой, но после того, как вы перейдете к другому
слой как-то вроде объединения двух углов
правильный путь становится неким подобием
глазной формы или если у вас есть два
углы в блобе, который становится больше I
нравится , и вы можете создать из
края к углам к объектам и
в конечном итоге в объекты, которые вам нужны
о и как вы действительно действительно глубоки
сети, на которых у вас есть промежуточные продукты
которые являются чрезвычайно семантическими объектами для
Например, люди сделали много инструментов
для визуализации нейронных сетей
где они визуализируют
нейронные сети учатся, и у вас есть
например, если у вас есть нейронная сеть
которые не учатся классифицировать книги в
все, кроме полос, классифицированных книжными полками
некоторые из промежуточных характеристик
фактически становятся классификаторами книг, которые
действительно интересно, как он может научиться
или мне нравится иерархическое представление
вашего входного пространства, так что это
полезные вещи для объединения в
чтобы создать надежный классификатор и
комбинируя так, может быть, если вы объедините
три книги вместе, а также квадрат
это становится книжной полкой, так что это
вроде того, что местные операции
делать с каждой нейронной сетью и
красота в том, что все это изучено
автоматически для вас не требуется
как у меня есть книжная полка
книжная полка обычно имеют книги, которые у них есть
книги жаль, что у них есть квадратные вещи
возможно, они часто решают цветы
все может случиться в наборе данных
автоматически для вас и этих
сверточные нейронные сети
абсолютно удивительно, когда я
не шутили, когда они спасли в основном
все компьютерное зрение прямо сейчас все это
начал с imagenet это было в 2012 году
это когда глубокое обучение на самом деле
весь походный поезд начался там, где вы
традиционное решение для машинного обучения
этот очень жесткий очень большой компьютер
набор данных зрения, и это было своего рода
на плато на протяжении многих лет , и все из
приходит внезапное глубокое обучение, и это
просто ударяет все и всегда
с тех пор все было
все в компьютерном зрении было
глубокое обучение, как ничто не может даже
сравните, а недавно мы были даже
способность получать сверхчеловеческие результаты
что довольно впечатляет, потому что
люди очень хорошо видят вещи
это то, что мы развили, чтобы сделать
и те же архитектуры могут делать все
рода действительно интересные структурированные
задачи, поэтому использование почти одинаковых
архитектуры вы можете использовать концепцию для
определить, что вы знаете, как вы можете расстаться
ваше пространство ввода в так называемое
семантическая сегментация, как и все
соответствующие части, которые вы
имеют и используют в основном то же самое
архитектуры, а также вы можете сходить с ума
такие вещи, как супер разрешение, где вы
takin, как изображение с низким разрешением и
сделайте это, вы можете заполнить детали
который довольно хорош , это довольно не
только невероятно, хотя это
звучит довольно просто, невероятно, что
например, вы можете использовать тот же
архитектуры, которая принимает изображение и
говорит вам, есть ли собака
в нем взять изображение и вернуться как
новое изображение с более высоким разрешением, и это
в основном одна и та же библиотека
компонентов это очень очень
композитный, и это действительно хорошо
Удивительно, вы также можете использовать это, чтобы решить
действительно тяжелые задачи медицинских задач, которые
люди не могли решить, прежде чем мы здесь
выявление классификации рака легких в КТ
сканирует это те вещи, которые
Мне нравится работать, и это не только
ограниченное деление, было много
работа в понимании языка, так что
то, что глубокое обучение действительно
хорошо на этом языке,
это означает, насколько вероятно, насколько
почувствовать это утверждение, сделав определенный
языка, поэтому это может иметь отношение к
Ответ на вопрос, как ты, я в порядке
это может иметь другие вещи, такие как то, что
было бы странно, что мой ноутбук
squishy может быть очень маловероятным
предложение сказать, что нейронная сеть
может, вероятно, определить squishy — это
очень плохое прилагательное для ноутбука это
очень невероятное предложение, но если бы я сказал
мой ноутбук горячий, что, вероятно, будет
гораздо более вероятное предложение, и это
уже имеет какую-то человекоподобную печать
потому что язык был разработан для людей
и иметь возможность иметь, если вы можете
понимание языка, как в
определение вероятности
предложение, учитывая контекст, который вы можете, и если
вы делаете это отлично, вы можете решить
в основном любая задача, и это
действительно интересный домен, где он
применяется, поскольку предыдущий, если вы
посмотреть, как понимать язык
было сделано до того, как глубокое обучение было вокруг
это было просто невероятно упрощенное количество тонн
нет и тонны правил не робастности два данных
устанавливает, что вам придется создавать собственные правила для
на каждом языке, и теперь вы можете
используйте те же трюки для английского языка, что и вы
Можно
для китайских иероглифов, как вы можете
байтовый код, так что это просто красиво
невероятно они явно были
более сложные задачи довольно популярны
использовать для машины для глубокого обучения, что
эти люди действительно вкладывают много
в тетя пошел язык
понимание с нуля, поэтому идея
вы используете RN для сжатия предложения
в исходном языке в вектор
как я описал в разделе RNN и
то вы используете другой RNN для декодирования
это на целевой язык, и
не удивительно, что вы можете разработать
нейронной сети, которая, вероятно, может выводить
это совершенно удивительно, что это
работает так хорошо , и вы были в состоянии
имеют нейронные сети, которые у человека в
промежуток нескольких месяцев студенческого обучения
соответствуют производительности систем, которые
люди потратили десятилетия на разработку
и / сейчас я думаю, что
системы глубокого обучения не входят в
развертывание систем не используется
для этого прямо сейчас, но они очень
важный компонент, который люди все еще используют
немного жестко закодированных материалов, но это только
вопрос времени и красоты заключается в том, что
но если у нас есть новая задача или новая
язык теперь он может просто автоматически
работать, как если бы мы знали, что находим
из какого-то потерянного языка из тысячи
лет назад, и у нас есть хорошая сумма
их текстов мы сможем узнать, как
перевести или понять это без
любое знание об этом и кажется
чисто от данных, которые мы можем, и это
действительно здорово, нам не нужно
понимание чего-либо для того, чтобы
мы не нуждаемся в понимании до
применение моделей машинного обучения в
чтобы иметь понимание
потом, и это действительно
действительно потрясающе, я на самом деле был
беседуя с людьми в SETI
поиск внеземного разума
и одна из задач, которые они выполняют
пытается понять дельфинов
Обоснование заключается в том, что если мы можем дельфины
языковые инопланетяне могут иметь язык, если
мы, если увидим чуждое общение, мы
вероятно, не поймут это
возможно, мы можем использовать дельфинов для прокси
для инопланетян, чтобы попытаться понять их так
есть некоторые действительно крутые задачи, которые
происходит там, не ограничиваясь этим
есть некоторые действительно классные вещи, которые
сделано с искусством в глубоком обучении на самом деле
Я думаю, что компании начали
что вся их бизнес-модель
создавая удивительное искусство глубокого обучения и
они, кажется, преуспевают в
Я слышал, в этом случае это
галлюцинация чисто из конф круга
обучены для классификации изображений, поэтому
изображение того континента, что вы знаете что-то
который принимает изображение, говорит вам, что
породы собак это с объектами или в нем
вы можете использовать его с несколькими трюками
создать такое сумасшедшее искусство, и это
был довольно большой всплеск, это очень
неинтуитивный, что нейронная сеть, которая
даже не обучены искусству
на самом деле может получиться такой вид
они более популярны
такие случаи, как стиль передачи идеи
вы могли бы взять нейронную сеть
все еще готовят для классификации идею
была бы классификация имеет некоторые пригороды
о каких изображениях некоторые
естественный мир таким образом , что вы делаете , то есть
вы говорите, что я хочу, чтобы мой образ выглядел как совпадение
распределение с другого изображения
и тогда вы получите такой стиль
трансфер, где вы можете смешать
эти компоненты и
на самом деле довольно уродливый пример
есть хорошие, я обещаю, что есть
некоторые более сложные вещи, которые вы
может сделать это не просто как два
изображения вместе и слияние их
вместе вы можете делать такие вещи, как
превращение, возможно, не супер великого
рисуя что-то, что вы могли бы
вероятно, делают в краске довольно быстро в
что-то похожее на художника
или что- то действительно потрясающее и
идея в том , что вы можете на самом деле
принимать эти произвольные каракули и конвертировать
их в эти вещи, которые выглядят
картины и такие вещи
действительно потрясающе, и я думаю, что это просто
начало того типа, что мы
может заниматься искусством нейронной сети, но после
в основном менее года работы по
это вы делаете приложения, которые
уже очень осязаемый очень удивительный
это уже что-то, что если я сделал
это я, вероятно, повесил трубку
гостиной, и это только один
год работы представьте, что произойдет, что
через 10 лет я сохранил лучшее за последнее время
условия искусства мы можем комбинировать наши фотографии
без Покемона так ясно будущее
здесь вот это один из моих венцов
Я думаю, прежде всего потому, что
Я сделал это с десятками
люди и только мои оказались хорошо, но
да, я думаю, что это действительно потрясающе
есть как раз так много вещей, чтобы сделать
здесь и так мало людей работают над этим
это и то, что небо действительно является пределом
так что просто интересно, что на
виды вещей, которые мы можем создать
здесь было другое огромное достижение
игра была действительно большой, если
кто-то видел глубокие шахты 500 миллионов долларов
приобретение в 2013 году
бумага, которую они имели в то время, была
научиться играть в игры Atari из пикселей
который может быть сложнее, чем кажется
потому что у людей есть
играть в игру так же, как у них есть
прежде чем это может быть мяч и
это весло, и я хочу уничтожить
некоторые вещи, в которых они были
что ключ открывает двери или что дороги
я хочу остаться в машине
игра, но нейронные сети не даны
из этих priors это буквально только
учитывая пиксели, полученные этими изображениями
учится играть на медианном
сверхчеловеческого уровня и
продолжают улучшаться, и это
что-то вроде подобных трюков
были применены к гораздо более недавним
результат google deepmind alfa GO
сети, которая не была такой огромной
на Западе, но если вы когда-нибудь поговорите с
люди из более восточного мира вы
могут говорить с ними о
достижения глубокого обучения, которые вы говорите
о умных входящих и они как о
это довольно хорошо, вы говорите об изображении
поиск да, это довольно хорошо, а затем
вы говорите им об этом, как о да
это также будет чемпионом мира
и они похожи на то, что мы бы побили пьесы
это удивительно, и люди предсказывали, что
даже избиение человека
вероятно, будет зависеть от
эксперт от 10 до 100 лет, и он
случилось, что это только что произошло
это уже так, как у людей
потерял это, и как побочный эффект goez
также вызвало больший страх перед безопасностью ИИ
чем любая другая нейронная сеть, я верю
и это, вероятно, хорошо
представление о том, что я не знаю, как
да давайте средним ясности это XKCD
как тяжело люди думали
эти игры были и вы можете увидеть , как идти
в основном будучи последним на уровне
компьютер все еще проигрывает людям и
то не все из них решаются, но
это просто невероятно, что
что теперь решаемые люди были
пытаясь спросить, может ли он это сделать
что это не может сделать, потому что go — задача
что требует много рассуждений и
эти достижения были
переносятся в физическую
мир, а также это Google, как
ферма с кучей роботов, которые
сами научились понимать
объектов и в основном управление роботами
обычно довольно сложно, особенно когда
вы пытаетесь сделать это обобщением и
они смогли сделать это только вам
знайте, бросая роботов в темный
склад, имеющий поезд некоторое время
проектирование милой целевой функции и
он просто научился лучше понимать вещи
чем их ручные проектные контроллеры
который был довольно устрашающим и более
В последнее время я думаю, что
видео появилось на прошлой неделе
nvidia использует только глубокое обучение для
так что идея была похожа на
только с одной камерой перед
ваш автомобиль теперь ваш автомобиль может научиться водить
может умереть от обучения
как поехали другие люди, и это
очень интересный результат, потому что даже
google работает, потому что я не знаю
если бы это было уже десять лет
что они работали над
автомобили с самообслуживанием, вы знаете лидар
и хлопать, и все это и
Nvidia некоторыми мерами
их полностью внутри я думаю, что это было
менее чем через год с тех пор, как они были
вкладывая в это так много всего
похоже, меняется много вещей
особенно эти виды восприятия
потому что исследование движется так быстро
Мне также нужно потратить некоторое время и
вещи , которые еще не практичны, но
может очень скоро стать как отказ от ответственности
Я ездил в эти выходные, поэтому я
не уверен, что некоторые из этих вещей принадлежат
в уже разрешенной категории
генерация — большая, есть тонны и
тонны происходящего поколения, поэтому я
определенно не может отдать должное
действительно классный материал и как просто
генерирование изображений с нуля и
генерирование произвольных других доменов из
царапины — это только самые визуальные
поэтому я их здесь, но некоторые из
самый крутой и, возможно, самый практичный
примерами являются условная генерация
я очень рад, что
изображение в текст, так что идея в том, что вы
взято входное изображение, а выход —
не нравится да или нет, независимо от того,
собаки, но вы выводите описание
изображения, и это похоже на
чрезвычайно человеческая задача — быть предельно
полезно, если вы выполняете эту задачу правильно
Кажется, что вся эта тонна
возможности я очень рад
как принимать медицинское изображение и как
выводящий как отчет о слиянии
который был бы действительно потрясающим, а некоторые
люди, которые действительно волнуются
это приложение, которое
в краткосрочной перспективе я не знаю, как правильно
сказать это, но как плохое зрение
сообщества, поэтому веб-страницы в настоящее время имеют
было довольно плохо о вещах для людей
с ограниченными возможностями и представить,
нейронная сеть, которая может просто описать
изображение для вас описывает страницу для вас
расскажите, что находится на странице в очень
семантический обобщенный способ, и есть также
действительно крутая противоположная проблема, которая
вместо того, чтобы брать изображение и
выводя описание, которое вы
описание и не помещать изображение, которое
как ужасный художник идеи, я, вероятно ,
бит более возбужден, потому что вместо этого
как я могу описать картины, которые я не могу
действительно нарисовать их, и, как это много
лучше, чем я могу сделать, но
это, вероятно, низкий бар, но в этом
вид сети, которую вы фактически принимаете
как текст предложений и все эти
изображения генерируются из этой сети
и это довольно невероятно
они не супер велики, но, как эти
птицы на самом деле, я верю
они настоящие, что цветок не
фиолетовые
но они на самом деле видят его близко, как если бы
Я, если бы он был увеличен достаточно, я мог бы
см. это довольно реально и может
вы представляете себе будущее, а не
вынуждены тратить миллионы долларов в
вы просто хотите напечатать его, а затем
нейронная сеть только генерирует
фильм для вас, мы совершенно вне этого
но , возможно , не так уж далеко , особенно
как с некоторой целенаправленной работой, и это
может называться как всякие, как новые
формы творчества, которые люди не
даже знать о языке
понимание делает очень хорошо есть
более глубокое понимание языка, которое мы
могут быть разнообразии задач, но это
чем сложнее для реальной задачи, так что QA
Ответ на милый вопрос, который требует
более сложные рассуждения, например, если
у вас есть история здесь, и вы спрашиваете
что-то сложное, как
где футбол, тогда да, как пойти
вернуться в магазин и выяснить, где
что- то случилось, что
вид сложных людей очень хорош
при этой задаче модели могут решить эти
простые, но они не могут
реальный реальный ответ на вопрос
который является неудачным, но что-то
люди действительно заботятся, и мы не
все еще есть, но я также люблю, как
Ужасно эта проблема звучит так:
наши машины, которые у нас есть в основном
не проводил никакой работы только автоматически
выучить мелкий уровень рассуждений, как
это похоже на первую реальную проблему
в то время как есть язык
понимая, что есть также визуальные
понимая, что это
нераскрытый есть есть некоторые удивительные
набор данных, который включает в себя изображения и
вопросы и цель состоит в том, чтобы найти
ответ и модели есть модели
что может справиться с этой задачей, но
все еще очень нехорошо и все еще как лицо
значительно хуже, чем люди делают это
это то, что мы
пока не может играть
более решительная игра
открытая проблема, и вы можете подумать больше
игра, играющая моего пятилетнего брата
может играть minecraft, и он почти
конечно, не может победить чемпиона мира
на ходу
тем сложнее в этом случае означает состояние
оказывается, что люди действительно хорошие
при воспоминании чего-то неврального
сети имеют некоторые трудности с этим, поэтому
нейронные сети, которые люди
использовались для игр, были
полностью без гражданства, поэтому, когда у вас есть
частично наблюдаемый мир, как Minecraft
где вам нравится только одно направление
что вы смотрите, если вам нравится смотреть
влево он забывает, что было на
право, и это то, что люди
все еще работают над тем, чтобы решить одно и то же
вещь с обреченностью, и работа была
немного, но это далеко не
и я действительно верю
они по-прежнему нечеловечны в этой задаче
есть некоторые действительно классные вещи с
автоматическое обнаружение иерархических
структуры, поэтому на языке
иерархические структуры могут быть понятны
нас, потому что мы используем язык как
символа слова предел характера вашего
чувства заключаются в словах
из чувств это похоже на это
семантическая иерархия, которая упрощает
свести проблему к более простой
проблемы, но это не относится к
многие домены и были люди
которые разработали нейронные сети, которые могут
фактически автоматически обнаруживают это
иерархии, и это может быть действительно
полезно для задач, где мы не знаем, как
интерпретировать это так, что я
немного работал над геномикой, и мы
действительно даже не знаю, как читать
геномика правая, но если нейронная сеть
и автоматически разбить его на как
эта часть идет вместе с этой частью
вы знаете, что есть связи между
здесь и здесь это может реально помочь
целая партия со всеми видами разных
виды научных задач просто чисто
от данных это , когда он становится немного
разрядной вычислительной техники, но это то, что
Я взволнован как компьютерный ученый
есть эта модель называется нейронная Туринг
машины, которые учатся использовать как большой
буфер памяти, который очень крут, поэтому вы
действительно может видеть, как сеть
читает и пишет и читает, чтобы
копировать ввод, есть способы реализовать
дифференцируемые структуры данных, так что вещи
что вы подумали, где вместо
как этот черный ящик вроде арбитража
активация с матрицей умножает вас
может фактически подключить структуру данных
в сеть, и теперь ваша сеть может
научиться делать такие вещи, как толкание и
выпрыгиваете в стек, который вы знаете,
оба конца очереди и все эти
виды вещей, и это могло бы
потенциально возможно всевозможные
прохладные варианты использования
поскольку обучение программным людям
некоторые работы, в которых вы можете создавать модели
что не только может иметь простой вход
вывода, но в качестве промежуточного
в этом отображении входного выхода они могут
изучать подпрограммы и играть с указателями
и это на самом деле делает их очень
общие вычисления, как это потенциально
могут делать все проблемы, о которых мы заботимся
если вы можете изучать подпрограммы и играть
с указателями, как это могло бы узнать
автоматическая абстракция для вас и
ставя эти вещи вместе
смогли сделать что-то вроде
научиться фактически выполнять код, чтобы
идея была бы дана как код
строка и цели для этого кода, например
какой вывод вы можете на самом деле
выучить переводчика для этого языка
и это действительно интересно для меня, как
язык программирования язык, как, может быть, я
может разработать язык программирования, а не
путем его реализации, но
целая куча примеров и
реализация автоматически происходит
для меня или, может быть, я мог бы просто написать
Тестовые для языка и нервной
сеть может генерировать эффективную
язык для меня и что-то еще, что
связано со всем этим
действительно рано, но я думаю, что много
люди очень взволнованы тем, что
которые являются сетями нейронных модулей, мы
вместо единой архитектуры
что вы играете с вами, можете
архитектуры, которые вы можете иметь
библиотеки компонентов, а F для
каждый пример, который вы производите
архитектуры, и вы выводите его так для
пример, если у вас есть вопрос
ответ, и у вас есть изображение и
у вас есть вопрос, где собака
вместо использования произвольной сети
который принимает в вопрос и
ответ вы фактически конвертируете это
вопрос в обычную нейронную сеть
который сочетает в себе модуль собаки с а , где
модуль и выводит ответ, и это
что-то очень рано, но на самом деле
обещая , что это все
Будущее этого, надеюсь, вы, ребята,
некоторые проблемы
есть много программного обеспечения, которое поможет вам
Я не собираюсь говорить об этом праве
Теперь , потому что есть много учебников
там, и я думаю, что высокий уровень
понимание гораздо важнее моего
рекомендуется, если вы хотите
настраивать много вещей
theano интенсивный пол лучший, потому что
это позволяет вам получить эту автоматическую
Дифференциация , что я говорил о
то вам никогда не придется беспокоиться о
назад быстро в принципе, и если вы хотите
просто использовать как модули, которые я
как и некоторые другие
Карис может решить это, и вы можете сделать
много этих вещей с Карисом, если вы
хочу сделать это, есть намного больше
учиться делать, а дьявол действительно
детали, поэтому я был супервысоким уровнем
с множеством вещей, но все вроде
есть так много мелочей, которые вы
нужно знать, например, как вы принимаете меры
вы выполняете обновления таким образом, чтобы
не приводит к росту ваших параметров
слишком велика, как вы инициализируете
параметр не должен быть тривиальным
как вы не можете
тренировки, поэтому есть много
ресурсов там мой любимый
этот класс Стэнфорда Андре Карпатия
cs2 31 n это особое недержание
но он постоянно обновляется
самые современные вещи, и это
как правило, очень высокого качества, поэтому я думаю
это очень доступно для всех, кто любит
начинающий, очень продвинутый, и если вы
хотите сделать это, вам, вероятно, нужен графический процессор или
50 Я думаю , что это за время , так жаль , что я
торопился в конце с любым
вопросы также у меня есть эти слайды, которые
если я оставляю его на некоторых
вопросы здесь идут так, как мы можем
избегайте того, чтобы
человеческие вредные привычки, как мы можем избежать этого
Автономные автомобили поднимают человеческие вредные привычки
это очень интересный вопрос .
очень зависит от того, как автомобили
потому что, если вы готовите автомобиль для копирования
вредные привычки ООН, поэтому, если вы тренируете автомобиль
чтобы скопировать людей,
Проще всего это сделать не самое
правильная вещь, потому что
правильная вещь, которую нужно сделать, — это научиться
как оптимально управлять с нуля, что
к сожалению, включает в себя проб и ошибок
но вы, вероятно, не хотите, чтобы в
самозанятых автомобилей, поэтому мы можем пропустить это или
жестко закодированные правила, чтобы контент
если вы обучите его учиться
людей он будет имитировать этих людей, но
идея заключается в том, что если люди совершают ошибки,
как будем надеяться , скажем, вы хотите
допустим ошибки, и, скажем, люди не
делать согласованные ошибки, если они не
совершать согласованные ошибки и разные
люди совершают разные ошибки
являются одними и теми же человеческими, только делает это
иногда совершает ошибки, и у вас есть
нейронной сети, нейронная сеть может
предсказать, что
человек может сделать, а не в худшем случае
сценарий, поэтому, если вы добры, вы можете думать
человека в виде Samba в этом случае
что, если вы предсказываете, что
среднее количество людей может сделать вас
может двигаться лучше, чем человек, но если
люди последовательно делают, если люди
последовательно делать ошибки, то есть
вы ничего не можете сделать, кроме
получить больше данных. Думаю, у нас есть время для
еще одно, что вы думаете о чате
BOTS возможно построить только с
да, действительно есть много
стартапы, которые делают это прямо сейчас
так что это, кажется, следующая волна в
стартапы похожи на горячие вещи
теперь, когда люди пытаются использовать чат
БОТС делать всевозможные вещи для
очень специфические домены, в которых есть
хорошие свойства от бизнес-точки
потому что ваша цель — заменить
люди, которые участвуют, поэтому очень легко
как заменить их алгоритмом
потому что люди, когда у вас есть, если вы
есть куча из них, они создают
так что это очень правдоподобно
это все еще трудно для чата BOTS это добро
как игровая проблема, где
для чата BOTS трудно записать память
о том, что вы сказали, если вы говорите о
вроде О, попробуй, ты знаешь, как открыть это меню
и ты знаешь, иди сюда и здесь и здесь
и вам может понравиться, может быть, пять
предложения позже чат BOTS мог бы сказать
то же самое, потому что тексты neuron
я все еще имею проблемы с памятью, я думаю
это так, пожалуйста, забудьте проголосовать и
давайте дадим большие аплодисменты, чтобы сделать
Спасибо
Please follow and like us:
Be First to Comment