Medical Augmented Reality: coming soon to (operating) theaters near you | Nassir Navab | TEDxTUM

[Musica]
ad un certo punto ha perso qualcuno da medico
errori che l’industria cinematografica ha perso uno dei
il loro più grande regista Abbas Kiarostami
che sono cresciuto con i suoi film straordinari
durante durante gli ultimi 20 30 anni e
lo abbiamo perso abbastanza giovane in medicina
errori dall’altra parte che molti di noi hanno
visto frutto della medicina d’eccellenza
pratica medica di eccellenza personalmente
ho provato a sapere che lo ha fatto mio padre
in 86 un bypass di un’ora tikka stent
nel 98 la riparazione dell’arteria carotide nel 2008
e pacemaker nel 2012 in modo sostanziale
scienza e medicina e buona
spettacoli ha prolungato la sua vita e lui è
benedizione a noi e alla sua grande famiglia per
oltre 25 anni
le prestazioni chirurgiche influenzano la nostra vita
e le vite del nostro conoscete la persona amata
ma cos’è questa performance come possiamo
migliorare così tanto le prestazioni
questa performance è complicata, intendo io
di solito dicono ai miei studenti che conosci un
chirurgo che taglia bene e sutura bene
non è proprio la definizione di chirurgia
non hai bisogno di 30 anni di acquisizione
conoscenza ed educazione e molti anni
di esperienza pratica per tagliare e suturare
la performance riguarda le informazioni
analisi delle informazioni prove fare
decisioni e poi facendo l’azione e
questo è in chirurgia questo è molto
processo dinamico ora circa 100 anni fa
o circa 120 anni fa i medici non avevano
Imaging quindi cosa farebbe come fanno
hanno deciso del loro paziente
così come diciamo noi ma so gli ingegneri
guarderebbero i pazienti da neri
scatola come un dispositivo che si ottiene così il
l’unico modo in cui potevano analizzare quello era
guardando tutti gli input / output così
è lì che potrebbero guardare ciò che è il
l’ output di input di questo sistema sembrava
attraverso questa uscita di input alla fine
fai l’osservazione di quella scatola nera
che volevano sapere cosa sta succedendo
sbagliato dentro prendendo a guardare il
sintomi che misurano i segnali provenienti da
quel sistema chiuso alla fine prendendo
alcuni campioni di sangue campione di urina o
saliva o forse andando più invasivo
facendo una biopsia e cercando di ottenere campioni
di questo sistema nel sai in
caso estremo ha persino aperto il paziente a
vedere cosa c’è che non va, che stava accadendo in
fine del XIX secolo nel secolo scorso
grazie a molto sviluppo in
imaging a partire da casa può
Hounsfield fino a Mansfield noi
è andato dal non avere l’imaging per avere
ultrasuoni TC a raggi X M o PET PET CT così
abbiamo iniziato ad avere un sacco di immagini e
molte informazioni e anche avere
potere computazionale per visualizzarlo
tuttavia la maggior parte di queste informazioni
è stato per lo più visualizzato su sai
monitor su questo posto così il meglio
radiologi esperti di dottori in medicina
o persino i chirurghi che stavano guardando
questo display per analizzare questi dati e
fare il loro modello mentale di ciò che sta succedendo
sbagliato dentro la sala operatoria
era ancora più complicato perché loro
dovuto interagire con questi dati e se
i dati sono persino lontani su uno schermo
interagire con esso diventa molto complesso
così circa dieci anni fa abbiamo preso la nostra squadra
con il nostro display montato sulla testa
con i nostri partner chirurgici e siamo andati
a Berlino in una conferenza ortopedica
e abbiamo mostrato a centinaia di chirurghi
che in effetti vanno a ruba
realtà aumentata o medica aumentata
realtà che potrebbero vedere i dati CT il
dati del paziente direttamente sopra
l’Anatoly potevano prendere un wireless
il mouse interagisce con quei dati anziché
vedere un colpo in più o una CT su uno schermo
in realtà potevano vederlo direttamente
il paziente e analizzarlo direttamente
il paziente che potevano avere
rendering del volume grazie Nick
erano molto molto eccitati che volevamo
per portare questo ulteriore a farlo entrare
procedure negli ambulatori così come facciamo noi
portare questa realtà aumentata nel
sala operatoria la prima aumentata
sistema di realtà siamo andati che è andato avanti
molte molte sale operatorie sono state grazie a a
startup company di due dei miei dottori di ricerca
studenti e la compagnia chirurgica che
consentito molti processi come sentinella
biopsie linfonodali per essere in grado di vedere
in realtà i noduli in aumento
realtà e anche nella realtà virtuale ma
perché abbiamo bisogno di questo neonatale visivo
finestra sul lato perché quello
la materialità era molto bella stava mostrando
loro dove questi noduli sono ma per ottenere
una percezione 3d di distanza 3d facendo
interazione con quei dati sono ancora
aveva bisogno di questa ulteriore realtà visiva
mostra la ragione è la realtà aumentata
non riguarda solo la sovrapposizione di immagini 3d 3d
la sovrapposizione di immagini è una parte molto piccola
della realtà aumentata se vogliamo
essere umani aumentati che vogliamo vedere
oltre le lunghezze d’onda che possono i nostri occhi
vediamo che vogliamo sentire
oltre le frequenze che sono
il sistema può assorbire o analizzare ma ancora
sai se prendo X er se prendo
la città è ancora la devo portare a
questa larghezza di banda limitata che gli umani possono
vedere e questo trasferimento non è facile se io
solo argomento il 3d anche in stereo
in cima ai piedi lo vedi fluttuare
il tuo cervello dice che questo è galleggiante
non integrato quindi ciò che sappiamo a questo
il punto cercato di fare è usare umano
percezione e le indicazioni che stiamo usando
ogni giorno per ingannare il sistema
e migliorare la nostra percezione di usare il
spunti umani di percezione e fare il
l’umano crede che l’ umano sia davvero
vedere 3d dentro quel paziente così ora
questo piccolo trucchetto di computazione
i matematici venditori gli stessi dati ora
ti senti molto più integrato come siamo
guardando stiamo usando alcuni spunti uno di
loro sono parallasse quando mi muovo vedo di più
Posso vedere diverse posizioni che non posso
vedere più informazioni che mi permette di
credo che quell’anatomia sia dietro il
superficie ma mantengo ancora i fantasmi di
l’alta informazione di curvatura sul
superficie perché se rimuovo che perdo
la forma del del Anatomia abbiamo anche
usa il fatto che se guardo direttamente
nella finestra devo vedere attraverso di essa
se guardo dalla parte, vedo meno così noi
iniziare ad andare si sa invece di guardare
al cadavere e al sovrano pongono il
città che vedo completamente galleggiante
può andare a una visualizzazione più complessa
questo è lo stesso dato CT che ora siamo
guardando attraverso i meta-segnali della percezione
di umano e ora inizi a ricevere
confuso ciò che è reale ciò che è virtuale
perché ora stiamo usando se vedi il
linee sulla superficie e continua
mentre
senti che stai dicendo dentro
anatomia come potremmo far rispettare questo
coesistenza di reale e virtuale, quindi come
posso lavorare con strumenti reali in un virtuale
ambiente e ora sai come andare
verso una direzione dove non posso
percepirli o separarli da ciascuno
altro quindi questo è Felix uno dei nostri maestri
studente alcuni anni fa con cui lavorare
Christopher Kristoff
Vishal Meyer sta cercando con uno strumento
e ora quello che vedi qui è l’ombra
dello strumento sta seguendo sia sul reale
e virtuale così come sta muovendo questo
l’ombra non esiste questo è un virtuale
ombra ma la vedi sia nel reale che
virtuale così il tuo cervello inizia a sentire
che tutto questo appartiene a un unico ambiente
così il tuo cervello inizia a mettere tutto
in una forma ora se ho
argomentazione come faccio a esplorare il 3d
di solito quando hai un dato 3d ti muovi
intorno e ottenere tutti i tipi di
percezione della piena forma 3d del
oggetto che hai di fronte a te ora se io
sono in una situazione polemica quando io
avere il paziente di fronte a me
e vedo l’ anatomia del paziente I
non posso chiedere al medico se lo muovo, perdo
l’allineamento e, naturalmente, non posso chiedere
il chirurgo deve andare sotto il tavolo per vedere
dall’altra parte, così ci siamo ispirati
ma ciò che i dentisti abbiamo preso un virtuale
specchio tangibile palmare e abbiamo portato
all’interno di questa visione della realtà aumentata
il che significa che ora posso avere il mio
aumento ma posso creare qualsiasi
vista impossibile e quindi posso
interagire con quei dati così ora ho un
aumento ma posso guardare a nessuno di
sei interessato a quel paziente
ora uno dei punti impegnativi reali
punto di sfida quando si vuole portare
la soluzione soluzioni così complesse
la sala operatoria è come integrarla
nel flusso di lavoro e come esserne sicuri
che stai mostrando il relativo
informazioni se mostro tutto ciò che soffre
imposto potrebbe non essere utile devi
mostra le informazioni pertinenti al
momento giusto tanti anni fa noi
sviluppato questo sistema in cui la radiografia
sistema e il sistema di telecamere erano
collegato grazie al sistema a raggi X del sistema a specchio
e l’ottica ha sempre avuto la stessa vista
il vantaggio era che quando eravamo
andando alla chirurgia e in realtà noi
è andato a 40 traumi chirurgici nel centro
di Monaco grazie all’incredibile
anche i chirurghi, così potresti farlo
posizionare il paziente per la prima volta
potresti prendere una radiografia per fermare la radiografia I
voglio usare la radiografia minima
quindi prendi una radiografia e la fermi e
ora puoi iniziare a lavorare sotto il
ottica ma puoi vedere attraverso il
paziente e circa 40 pazienti utilizzati per 40
pazienti questo sistema è stato usato abbastanza
con successo ora questo è bello
Vedo la radiografia vedo la mia mano posso andare
attraverso di esso e posso ridurre il numero
di raggi x da 40 a circa 2 o 3 e
migliorare l’intervento chirurgico ma ora la domanda
è che questo materiale è visto è molto
affollato quindi abbiamo iniziato a portare dentro
apprendimento automatico
in che modo l’apprendimento automatico gioca un ruolo
qui dobbiamo imparare che dobbiamo
capire cosa deve vedere il dottore
ad ogni momento da ogni modalità se io
avere l’ ottica a raggi x in questo caso o se io
avere PET CT M o ecc. durante l’intervento
il chirurgo deve vedere il relativo
informazioni solo così ciò che abbiamo iniziato è stato
un sistema di apprendimento automatico molto semplice noi
vendere il sistema che voglio venire
raggi X combinati su ottica ma ti voglio
il sistema automaticamente
riconoscere quale elemento è nella scena
in ottica e vista a raggi xe a
decidi automaticamente come la miscelazione
dovrebbe capitare di darmi l’ottimizzato
guarda così invece di ciò che stavamo mostrando
sul lato sinistro ora il sistema
mostra automaticamente ciò che è sul
lato destro quindi dice se ho un
coltello voglio vederlo non voglio il
radiografia sulla mia visualizzazione sulla mia mano I
Sono interessato alla radiografia interna
anatomia ma non voglio che riduca il mio
le prestazioni rendendolo così sovraccarico
ora ad ogni pixel dell’ottica e
i raggi x il sistema sta decidendo
automaticamente ciò che è pixel
l’informazione è e come dovrebbe essere
fuso in virtuale e reale l’ultimo
parte è come creare questo per il prossimo
generazione come preparare il prossimo
generazione sai che abbiamo questo
problema di accettazione ma anche noi ora vogliamo
questo per venire alla nostra vita di tutti i giorni così noi
ha iniziato a lavorare sulla realtà aumentata
anche per l’educazione e per il paziente e
informazioni pubbliche per i nostri ultimi pochi
anni e in realtà ho portato un sistema
ecco che dopo il mio intervento puoi provarlo
quindi in pratica il sistema ti permette di farlo
mettersi davanti al sistema e poi il
il sistema prevede di governarti in modo così sostanziale
il sistema mi riconoscerà e poi
inizia ad aumentare il mio corpo così con il
mano sinistra posso mostrare diverse parti di
anatomia e concentrarsi sulla diversa anatomia
del mio corpo con la mano destra che posso
aumentare la quantità di informazioni andare
da semplici palle a vascolarizzazione a
arterie e vena all’anatomia interna
e infine ai muscoli e poi posso
vedi il sistema con e poi posso
analizzarlo lo abbiamo portato a molti
luoghi a molte scuole
puoi spegnerlo se vuoi che fosse molto
intuitivo quindi lo abbiamo portato ad Essen e
circa 2000 persone hanno giocato con il sistema
erano bambini erano adulti e
tutti loro ben iniziarono subito
giocare con il proprio corpo a guardare
parte diversa del loro corpo gioca e
cerca di capire cosa sta succedendo e
il segnale era così semplice che il sistema era
così facile da gestire che non solo i bambini
e adulti ma anche i politici potrebbero
votare con esso in modo da poter immaginare che il
il sistema era estremamente semplice ora principale
idea che il messaggio principale che ho qui è se
noi andiamo per te lo sai nel secolo scorso
acquisizione di immagini e radioterapia
reparti reparto di medicina nucleare
dipartimenti di radiologia che dovevano portare
fisici nei loro dipartimenti a
aiutarli a sfruttare le radiazioni
la terapia approfitta di te, conosci il tuo animale domestico
em o CT ecc. e la nostra generazione o
la comunità o la società ora ha bisogno di avere
scienziati computazionali nel cuore di
ospedale non è accettabile che possiamo
sul mio cellulare possiamo ottenere tutto il
informazioni di cui abbiamo bisogno in una questione a
la nostra punta delle dita e il nostro chirurgo
chirurgo che sta facendo l’intervento chirurgico su di noi
non può ottenere l’ informazione ha bisogno di
migliorare le sue prestazioni proprio di fronte
di lui grazie
[Applausi]
[Musica]