Press "Enter" to skip to content

Medical Augmented Reality: coming soon to (operating) theaters near you | Nassir Navab | TEDxTUM


[Музыка]
в какой-то момент кто-то потерял медицинское
ошибки в киноиндустрии потеряли одну из
их величайший режиссер Аббас Киаростами
что меня воспитывали его потрясающие фильмы
в течение последних 20-30 лет и
мы потеряли его довольно молодым до медицинского
ошибки с другой стороны у многих из нас есть
видел плоды превосходства медицины
Превосходная медицинская практика Я лично
попробовал, ты знаешь опыт, мой папа
в 86 обход, чем в течение часа tikka stent
в 98 году ремонт сонной артерии в 2008 году
и кардиостимулятор в 2012 году, поэтому в основном
науки и медицины и
выступления продлевали его жизнь, и он
благословение нам и его большой семье за
более 25 лет
хирургическая деятельность влияет на нашу жизнь
и жизнь нашего, которого вы знаете, любимого человека
но что это за производительность, как мы можем
улучшить эту производительность, поэтому в основном
эта работа сложна, я имею в виду, что я
обычно говорю своим студентам , что вы знаете
хирург, который хорошо режет и швы
на самом деле не является определением хирургии
вам не нужно 30 лет приобретения
знаний и образования и много лет
практического опыта обрезания и шва
производительность — это информация
анализ информации о тестах
решений, а затем совершать действия и
это в хирургии, это очень
динамический процесс сейчас около 100 лет назад
или около 120 лет назад у врачей не было
визуализации, и как бы они
они решили об их пациенте
так как мы говорим , но я знаю , инженер
они будут смотреть на пациентов как на черный
как устройство, которое вы
только так они могли бы проанализировать это
глядя на все входные / выходные данные
вот где они могли бы посмотреть, что такое
входной выход этой системы выглядел
через этот входной вывод в конечном итоге
обратите внимание на то, что черный ящик
что они хотели знать, что происходит
неправильно внутри, принимая взгляд на
симптомы, измеряющие сигналы, поступающие из
что закрытая система в конечном итоге принимает
некоторые образцы пробы крови мочи или
слюны или, возможно, более инвазивным
делать биопсию и пытаться получить образцы
этой системы, о которой вы знаете в
крайний случай даже открыл пациента
посмотреть, что случилось, что происходит в
конец XIX века в прошлом веке
благодаря большому развитию
визуализация, начиная с дома, может
Хаунсфилд до Мэнсфилда мы
отказались от того, чтобы
рентгеновской КТ УЗИ М или ПЭТ ПЭТ КТ , так
у нас началось много изображений и
много информации, а также
вычислительная способность визуализировать это
однако большая часть этой информации
был в основном показан на
мониторы на этом месте, поэтому лучшие
доктор медицинских наук, радиолог
или даже хирурги, на которые они смотрели
этот дисплей для анализа этих данных и
сделать свою ментальную модель того, что происходит
неправильно внутри хирургической комнаты это
было еще сложнее, потому что они
должен был взаимодействовать с этими данными, и если
данные далеко на экране даже
взаимодействие с ним становится очень сложным
поэтому около десяти лет назад мы взяли нашу команду
с дисплеем на голове
с нашими хирургическими партнерами, и мы пошли
Берлин в ортопедической конференции
и мы показали сотням хирургов
что они на самом деле
дополненная реальность или медицинская помощь
в действительности они могли видеть данные КТ
данные пациента непосредственно на
Анатолий мог брать беспроводную
мышь взаимодействует с этими данными вместо
видя дополнительный снимок или CT на экране
они могли бы прямо увидеть это на
пациента и проанализировать его непосредственно на
пациент, с которым они могли бы
объем рендеринга спасибо Nick
они были очень очень рады , мы мы хотели
чтобы довести это до
процедуры в операциях, так как мы
принести эту дополненную реальность в
операционная комната первая дополненная
система реальности, с которой мы пошли, которая продолжалась
много много операционной комнаты была благодаря
стартап-компания двух моих кандидатов
студентов и хирургической компании, которая
позволило многим процессам, таким как дозорный
биопсии лимфатических узлов, чтобы иметь возможность видеть
на самом деле узелки в расширенном
реальности, а также в виртуальной реальности, но
почему нам нужен этот визуальный неонатальный
окна на стороне, потому что
существенность была очень приятной, показывала
их, где эти узелки, а
3D-3D-восприятие делает
взаимодействия с этими данными они все еще
эта дополнительная визуальная реальность
показать причину является дополненной реальностью
это не только о наложении 3D-изображения 3d
наложение изображений — очень маленькая часть
дополненной реальности, если мы хотим
быть дополненными людьми, которых мы хотим видеть
за длинами волн , что наши глаза могут
видеть, что мы хотим услышать
за пределами частот, которые
система может поглощать или анализировать, но все же
вы знаете, если я возьму X er, если я возьму
по-прежнему мне нужно довести его до
эта ограниченная полоса пропускания, которую люди могут
см., и эта передача непростая, если я
только аргумент 3d даже в стерео
над ногами вы видите его плавающим
ваш мозг говорит, что это плавание, это
не интегрированы так, что мы знаем при этом
точка пыталась сделать, это использовать человека
восприятие и сигналы, которые мы используем
каждый день, чтобы на самом деле обмануть систему
и улучшить наше восприятие, чтобы использовать
человеческие сигналы восприятия и сделать
человек считает, что человек действительно
видя, что внутри этого пациента так много
это маленькие трюки вычислительных
продавцы математики одни и те же данные сейчас
вы чувствуете себя намного более интегрированными, так как мы
глядя, что мы используем несколько реплик, один из
они параллакс, когда я двигаюсь, я вижу больше
Я вижу разные позиции, которые я не могу
см. дополнительную информацию, которая позволяет мне
считаем, что Анатомия позади
но я все еще сохраняю призраки
информация о высокой кривизне на
потому что, если я удалю, что я проиграю
форма из анатомии мы также
используйте тот факт, что если я посмотрю прямо
в окно я должен видеть сквозь него
если я посмотрю на сторону, я вижу меньше, поэтому мы
начните рассказывать , а не искать
в трупном и суверенном
город, который я вижу полностью плавающим, мы
может перейти к более сложной визуализации
это те же данные КТ, что и сейчас.
просматривая мета-сигналы восприятия
человека, и теперь вы начинаете получать
путают то, что реально, что является виртуальным
потому что теперь мы используем, если вы видите
линии на поверхности и продолжение
в то время как
чувствуйте, что вы говорите внутри
анатомии, как мы можем
сосуществование реального и виртуального, так как
я могу работать с реальными инструментами в виртуальном
окружающей среды и может теперь вы знаете , пойти
в направлении, в котором я не могу
воспринимать их или отделять их от каждого
другой, так что это Феликс, один из наших мастеров
студент несколько лет назад, работая с
Кристофер Кристофф
Вишал Мейер, он ищет инструмент
и теперь то, что вы видите здесь, — это тень
инструмента он следит как на реальном
и виртуальным, так как он перемещает это
тени не существует, это виртуальный
тень, но вы видите это как в реальном, так и в
виртуальный, чтобы ваш мозг начал чувствовать
что все это принадлежит одной среде
поэтому ваш мозг начинает ставить все
в одну форму, если у меня есть
аргументация, как я могу исследовать 3d
обычно, когда у вас есть данные 3D, которые вы перемещаете
его вокруг и получить все виды
восприятие полной 3d-формы
объект, который у вас есть перед вами, если я
Я в аргументативной ситуации , когда я
перед пациентом передо мной
и я вижу анатомию пациента I
не могу спросить у врача, могу ли я его переместить, я теряю
выравнивание и, конечно, я не могу спросить
хирург, чтобы пойти под столом, чтобы увидеть
с другой стороны, поэтому мы получили вдохновение
но какие стоматологи мы сделали виртуальным
карманное материальное зеркало, и мы принесли
это внутри этого расширенного представления реальности
что означает, что теперь я могу
но я могу создать любой
невозможно смотреть, и поэтому я могу
взаимодействовать с этими данными, так что теперь у меня есть
увеличение , но я могу смотреть на любом из
вас интересует внутри этого пациента
теперь одна из сложных точек реального
стимулирующий момент , когда вы хотите , чтобы принести
решение таких комплексных решений
операционная комната — как интегрировать ее
в рабочий процесс и как убедиться
что вы показываете соответствующие
информация, если я покажу все, что страдает
налагаемое это может быть не полезно ,
показать соответствующую информацию на
правильное время, так много лет назад мы
разработала эту систему, где рентгеновское излучение
система и система камеры были
прилагается благодаря зеркальной системе рентгеновского снимка
и у оптики всегда была та же точка зрения, поэтому
преимущество заключалось в том, что когда мы были
идя на операцию, и на самом деле мы
отправился на 40 травматологических операций в центр
из Мюнхена благодаря невероятному
хирургов, чтобы вы могли
позиционировать пациента в первый раз
вы можете взять рентгеновский снимок рентгена I
хотите использовать минимальный рентгеновский снимок
поэтому вы берете один рентген, вы его останавливаете и
теперь вы можете начать работать под
оптический , но вы можете видеть через
пациент и около 40 пациентов, использующих 40
пациентов эта система была
успешно сейчас это хорошо
Я вижу рентген, я вижу свою руку, я могу пойти
через него, и я могу уменьшить число
рентгеновского излучения от 40 до примерно 2 или 3 и
улучшить операцию, но теперь вопрос
является то , что этот материал рассматривается очень
переполнены, поэтому мы начали
машинное обучение
как механическое обучение играет роль
здесь мы должны узнать, что мы должны
понять, что нужно видеть врачу
в каждый момент от каждой модальности, если I
иметь рентгеновскую оптика в этом случае или если я
имеют ПЭТ CT M или и т.д. во время операции
хирург должен видеть соответствующие
только так, что мы начали
очень простая система машинного обучения, мы
продать систему, которую я хочу приехать
комбинированный рентгеновский снимок на оптике, но я хочу, чтобы вы
система автоматически
признать, какой элемент находится в сцене
в оптике и рентгеновском снимке и
автоматически определяют, как смешивание
должно произойти, чтобы дать мне оптимизированный
так что вместо того, что мы показывали
с левой стороны теперь система
автоматически показывает, что находится на
правой стороны, поэтому он говорит, что если у меня есть
Я хочу посмотреть, что я не хочу
рентген на моей визуализации на руке I
меня интересует рентген внутренних
анатомия, но я не хочу, чтобы она уменьшала мои
производительности, заставляя его перегружать
теперь на каждом пикселе оптики и
рентген, система решает
автоматически , что это пиксель
информация и как она должна быть
слились в виртуальные и реальные
часть — как создать это для следующего
как подготовить следующий
вы знаете, у нас есть это
проблема принятия, но мы также сейчас хотим
это для нашей повседневной жизни, поэтому мы
начал работать над дополненной реальностью
также для образования и для пациентов и
общественная информация для наших последних
лет, и на самом деле я привел систему
здесь, после моего разговора, вы можете попробовать
поэтому в основном система позволяет вам
встать перед системой, а затем
система видит, что вы правы
система узнает меня, а затем
он начинает увеличивать мое тело, так что
левой рукой я могу показать другую часть
анатомия и фокус на различной анатомии
моего тела правой рукой я могу
увеличить объем информации
от простых шаров до сосудов в
артерии и вены для внутренней анатомии
и, наконец, мышцы, а затем я могу
см. систему, и я могу
проанализируйте это, мы довели это до многих
места для многих школ
может отключить его, если вы хотите, чтобы это было очень
интуитивно, поэтому мы привели его в Эссен и
около 2000 человек играли с системой
они были детьми, они были взрослыми и
все они сразу же начали
поиграйте со своим собственным взглядом на тело
различные части их тела играют и
попытайтесь понять, что происходит и
сигнал был настолько простым, что система была
так легко обрабатывать, что не только дети
и взрослые, но и политики могли бы
проголосуйте, чтобы вы могли представить, что
система была чрезвычайно простой в настоящее время
Идея — главное сообщение, которое у меня есть, если
мы идем за тобой в прошлом веке
ввод изображений и лучевая терапия
отделы Департамента ядерной медицины
радиологическим отделениям им приходилось
физиков в свои
помочь им воспользоваться радиацией
терапия пользуется преимуществами, которые вы знаете
em или CT и т. д., и наше поколение или
сообщества или общества в настоящее время необходимо иметь
вычислительных ученых в основе
в больнице это неприемлемо, что мы можем
на моем мобильном телефоне мы можем получить все
информацию, которая нам нужна в
наш кончик пальца и наш хирург
хирург, который делает операцию на нас
не может получить информацию нужно
улучшить свою производительность прямо перед
его спасибо
[Аплодисменты]
[Музыка]
Please follow and like us:

Be First to Comment

Добавить комментарий