Using Math to Understand Art | Ingrid Daubechies | TEDxDuke

[Musica]
[Applausi]
questa è la pala d’altare di Gand di Anthony
uovo che è incredibilmente impressionante
l’immagine è stata incredibilmente influente
quando fu dipinto per la prima volta al
inizio del 15 ° secolo, se tu
mai arrivare a svenire
in Belgio dovresti andare a vederlo è un
politico e quando lo chiudi lo vedi
il centro sul lato destro
questa scena dell’Annunciazione che siamo
dietro la Vergine Maria c’è un libro a
prenota che vedi qui mentre non c’è
un libro c’è un dipinto di un libro
stiamo parlando di un’area del
dipingere è alto circa 3 pollici e
gli storici dell’arte si chiedevano se
Van Eyck che è conosciuto per essere un grande
perfezionista aveva spinto il suo
perfezionismo fino a quando in realtà
veramente dipingere un testo intendo un vero testo
piuttosto che il piccolo verticale e
segni orizzontali che potrebbero darglielo
illusione abbiamo il minimo ok così
se mi mostri un libro come quello in a
museo non posso leggerlo perché questi
medievale dare un lettering al letterario
il formato è molto difficile da leggere per un non
specialista ma gli specialisti non potevano leggere
sia su questo dipinto sia su quello
perché vedi tutte queste crepe il
calcolatrice su questo dipinto che è finita
600 anni rende molto difficile
distinguere dove si hanno lettere reali
che sono indossati un po ‘e dove il
crepe e così la maggior parte degli storici dell’arte ha detto
beh, non è un vero testo, ma io
uno dei campi in cui lavoro è
usando la costruzione di strumenti matematici per
analisi delle immagini e così quando ne ho sentito parlare
questo ho detto bene, forse possiamo provarci
trovare algoritmi che trovino queste crepe
automaticamente e poi una volta che abbiamo segnato
loro possono dipingerli e se io avessi
noto quanto sia difficile un compito che potevo
ho mantenuto la matematica ma
si è scoperto che era molto impegnativo
ma lo abbiamo risolto e siamo diventati parte
di una tesi di dottorato di uno studente in
ingegneria elettrica a Bruxelles e
insieme ai ricercatori del Kent
abbiamo pubblicato un documento in cui il
la soluzione è stata pubblicata e siamo passati da
il crack Allu on the right qui a
il testo sulla sinistra al testo
a destra e bene quando ho visto per la prima volta
i risultati che ho detto sono molto buoni
ciò che ha fatto a noi significa che non potrei
non potevo leggere nulla se non specialisti
disse oh mio dio guarda questo e loro
potrebbe riconoscere molto chiaramente 12 gruppi
di parole che non solo stabilito
oltre ogni dubbio che Vanek aveva davvero
dipinse il testo ma lo trovarono
Infatti potevano identificare il testo
era una pagina di un manoscritto che era stato
copiato alcuni decenni prima a Rouge
e quello era un testo di Tommaso d’Aquino su
l’Annunciazione in un dipinto invisibile
scena quindi erano assolutamente felici
e c’era questo era stato fatto questo a
articolo molto bello nella storia dell’arte I
volevo iniziare la mia storia oggi con quello
per dirti che anche prima del mio principale
argomento oggi avevamo imparato come
riconoscere e trovare e nelle crepe di vernice
nei dipinti quindi la mia storia parla di un’arte
mostra che sta succedendo adesso
il Museo d’arte della Carolina del Nord in
Raleigh se non lo avete ancora visto io
lo consiglio vivamente
è l’ultimo giorno di domani, quindi non lo fai
ho un sacco di tempo quindi questo è stato davvero
qualcosa in cui abbiamo navigato inesplorato
acque e lascia che ti mostri come è così
iniziato perché una pala d’altare che risale
torna al 14 ° secolo da un piccolo
Chiesa nella regione della macchia mediterranea in Italia
è stato interrotto all’inizio del ventesimo
secolo e venduto ai collezionisti tre di
quei pannelli sono nella Carolina del Nord
La collezione del Museum of Art è in
Portland tre sono
nel Metropolitan Museum of Art si è
a Chicago e l’ultimo molto bene
l’ultimo manca l’ arte
i conservatori dopo aver realizzato e il nostro
curatori che questi pannelli appartengono al
la stessa pala d’altare ha guardato dappertutto
ma non hanno trovato questo pannello
loro avevano questo sogno di portare tutto il
pannelli insieme qui in North Carolina
l’altro museo ha detto si si ma tu
non sarà ancora completo e io
per fortuna mi capita di conoscerlo molto
artista dotato ma anche arte
conservatore e ricostruzione artistica
esperto dei Vangeli che loro
poi incaricato di dipingere un
ricostruzione di questo dipinto mancante
lo fa principalmente per i musei
scopi educativi ecco un esempio
di qualcosa che ha fatto per un museo in
hotted um quindi è un po ‘una porzione
di un dipinto hanno che lei
ricostruito e per questo educativo
pezzo ha interrotto un quarto in breve
con ogni strato di preparazione e così via
si vede che lei è già quattro mesi in
lavorando su questo pannello prima ancora di lei
inizia a dipingere tutti i diversi strati
di dimensionamento di gesso e disegno e
doratura e così via così hanno commissionato a
pannello per lei per questo dipinto mancante
e cosa potresti chiedertelo come faccio
fallo su un dipinto, voglio dire che non lo faccio
avere il pannello come faccio a ricostruire bene
i sette pannelli i sette piccoli pannelli
che esisteva ricostruito il seguito
gli episodi segnano episodi importanti del
la vita di Giovanni Evangelista com’era
descritto letteralmente in questo medievale
Beth bestseller la leggenda d’oro in
quali vite dei santi sono raccontate e
sappiamo che è un best-seller per
molti libri medievali che possiamo avere solo
parte di una copia o qualcosa del genere
questo ne abbiamo centinaia così tutti
voluto uno così sapevano che scena aveva
essere raffigurato e poi hanno fatto a
composizione di una scena che ha preso in prestito
molti elementi stilistici dell’altro
pannelli in modo da non inventare qualcosa
quello non sarebbe stato appropriato ora
se mai troveranno il nono pannello
non sembrerà identico a questo
ma è molto probabile in questo stile e
allora qui vedi l’accumulo di
Pannello proprio come hai visto gli strati delle
lo vedi dorato e levigato e
allora la vernice arriverà se la mia
clicker continua a funzionare e il verdad
mostra sui volti la diversa vernice
strati e come vengono modellati di più e
il risultato finale è assolutamente fantastico
e puoi vedere quel nuovo pannello finale
con un documentario su come era il pannello
fatto in un museo e vedi le differenze
Intendo su vecchi pannelli dove hai questo
segno di punch che è stato buttato dentro
la doratura che hanno sopra tutto ha fatto il
seicento anni da quando il dipinto fu
reso pieno di morte che hanno
gradualmente riempiti di terra e loro ora
mostrare come un sollievo oscuro ma in origine
a meno che non sia lucido su questo oro levigato
ti hanno dato il riflesso da quando
e con le candele nella chiesa loro
ti avrei dato un alone scintillante
intorno alla testa del santo, quindi puoi
tutti lo vedono sul nuovo pannello e così via
persone sono i curatori e
i conservatori erano così contenti di questo
tutta l’esperienza e come avrei fatto
ogni tanto sarebbe e c’è
questo glorioso nuovo dipinto ma poi loro
capito che non potevano metterlo dopo
agli altri pannelli perché tutti
avrebbe occhi solo per questo nuovo
questo nuovo brillante e brillante e lo farebbe
essere l’unico che non era autentico
quindi ho detto bene, lo dico sempre
la matematica può aiutare perché quello che potremmo fare
possiamo studiare i pannelli e il vecchio
pannelli e i nuovi pannelli e potremmo
da una parte trovare la corrispondenza di
colore tra i due diversi tipi di
pannelli e cambiare colore che potremmo usare
per invecchiare virtualmente il nuovo dipinto
e infatti quando vai a fare Z vediamo
questo virtualmente invecchiato uno una stampa di
quel collo esposto agli altri pannelli
ma potremmo anche se imparassimo tutto
a tal proposito potremmo ringiovanire il vecchio
pannelli e questo è quello che abbiamo fatto
così il crepitio ooh bene che hai visto noi
possiamo trovare calcolare e possiamo dipingerlo
così l’abbiamo fatto qui, vedi come lo facciamo
infatti trovare tutti i segni rossi è il
trovato automaticamente crepe e noi una volta
abbiamo fatto in modo che possiamo dipingere vedete un
esempio qui lo abbiamo fatto molto gradualmente
con un algoritmo iterativo che vedi
qui gradualmente progredendo era molto
importante per noi non produce solo un
Voglio dire che volevamo usare Chromel
metodi accademici per
fare questa transizione in modo che non abbiamo mai preso
in posti in cui non hai prove
per come avrebbe dovuto essere e se noi
non ha fatto bene un lavoro perfetto così sia io
significa, ma non l’abbiamo fatto, non abbiamo imposto il nostro
visione quindi qui hai lo sfondo
di uno di quei dipinti e poi il
crepe rimosse poi potremmo colorare rimappare
quindi qui hai gli otto autentici
pannello la vecchia famiglia e lo sfondo
del nono pannello nuovo e perché il
le composizioni sono state prese in prestito da ciascuna
altri sapevamo esattamente come i pigmenti
che erano nuovi ora si occupavano di tutto loro
invecchiamento e potremmo usarlo per
rimappatura di colore per questi dipinti così
noi qui vedete la rimappatura del colore per
il vecchio dipinto del XIV secolo
a sinistra e rimappato due nuovi colori
il proprio qui si vede il prossimo il
nuovo a destra
colorazione mappata alla vecchia versione su
a sinistra e poi ovviamente a fare un
versione virtuale invecchiata che dovevamo inserire
crepe e poi abbiamo dovuto aggiungere l’oro
e questo è ora ciò che è nel museo
e spero che qualcuno di voi abbia la possibilità di farlo
vederlo domani non è costoso da
uber per ottenere un Oscar per SEMA così è
assolutamente stupendo vedere tutti quelli
quadri insieme così bene
sforzo del ringiovanimento e dell’invecchiamento
è stato fatto con il gruppo connessioni bus
con Under
è qui Duke e abbiamo avuto una palla e di
Naturalmente abbiamo avuto anche molto aiuto da parte di
Charlotte Augustus che ci ha dato consigli su
i colori ma vedi il
la ricostruzione di quel nono pannello era
acque inesplorate per l’arte
conservatori e acutezze che non avevano mai
fatto qualcosa del genere e loro davvero
goduto l’ esperienza e poi il tutto
rimappatura e rimozione di crack e così via
è stata anche un’esperienza esaltante
per noi non era più una ricerca
progetto perché avevamo imparato a fare
quella ricerca prima sul pezzo esterno
di suggerimento ma si è scoperto che lo erano
acque inesplorate per i matematici
anche perché siamo arrivati a un nuovo
problema abbiamo avuto modo di lavorare con ornitorinco
ornitorinco è un pacchetto software che noi
mettere insieme e che ha visto è quello
quello che è venuto è venuto alla vita perché
del pannello GC perché in preparazione per
il lavoro sul pannello GC che ho chiesto di vedere
le radiografie e quando mi hanno mostrato il
raggi x qui vedi un dettaglio e il
i raggi x ho detto cos’è questa assurdità
sembra che sia dietro le sbarre della prigione mi
significa non è così fastidioso per te e il
conservatore ha detto di no cono dice sì, è
fastidioso ed è la culla da cullare
bene cullare è qualcosa che vedi
su molti dipinti su pannello di legno qui tu
visualizzare un particolare dell’altro pezzo di Ghent
è anche cullato e il cullare è un
Struttura multistrato di una struttura di lava
quello è attaccato alla parte posteriore di questi
Pannelli trascorre fortunatamente circa
pollici spessi e avrebbero un po ‘ di lavoro
e deformare con variazioni di temperatura e
quando i collezionisti li comprarono dal
chiese hanno preferito qualcosa che
è stato lusingato anche in alcuni casi
voleva rimuovere il danno da verme di legno o
altro danno ma in molti casi lo è stato
solo per appiattirlo e così li hanno fatti
molto più magro e poi li ha dati
strutturale in credito in integrità con
questa culla e così questa sarebbe la culla
attaccato al
indietro con grandi numeri fissi
e quindi scorrevoli i membri dello scorrevole
i membri scivolavano probabilmente nei primi
anni e poi dopo che il legno aveva
ha lavorato così tanto che erano rock
veloce ma quando fai una radiografia qualcosa di simile
quello naturalmente tutto ciò che vedi è la culla I
significa e quindi tutta la pennellata sottile
che usi i raggi X per o il
sottili dettagli di conservazione sono
inondata da quella grande differenza e
quindi quando ne ho sentito parlare ho detto bene
forse la matematica può essere d’aiuto , ma è stato un
problema molto impegnativo perché no
solo non è stato così difficile trovare il
posizione di quei membri della culla e del
la prima parte del nostro algoritmo lo fa
e può essere assistito se è un po ‘
un po ‘difficile da parte del
conservatore d’arte ma il più interessante
la cosa è che dopo averlo rimosso
struttura in legno in realtà hai ancora un
sacco di grano di legno da quella culla
seduto lì come puoi vedere qui sul
giusto e sono stati per allora che abbiamo
diventare eroi perché sono i conservatori
così hanno detto ma potresti vederti
si prega di prendere il grano di legno lontano dal
culla ma vogliamo mantenere il legno
grano del pannello ho detto che lei davvero e
Ho detto ma forse possiamo e si è rivelato
è stato molto impegnativo, intendo così
qui hai a sinistra un pezzo di
Aggie vedi e a destra il noi
ho rimosso l’intensità ma il legno
il grano è ancora lì e sulla sinistra
la venatura del legno è sparita, come abbiamo fatto?
bene sapevamo, naturalmente, dove il
diversi membri della culla sono stati e
quindi usiamo tecniche di machine learning per
isolare prima di tutto cosa fosse il grano di legno
e poi per trovare dove il diverso
grano di legno che natura era di grano di legno
mentre avevi solo il pannello di Plus
culla e così via e poi potremmo
rimuovilo e quella era una parte del
lavoro di laurea di uno dei miei laureati
studenti e siamo stati molto orgogliosi e così
è ora usato questo è per un pezzo di un
uovo qui vedi un pezzo della pagaia
in
possiamo effettivamente confrontarci con perché
quello era un caso in cui hanno rimosso il
la struttura della culla a mano perché
stava causando danni al dipinto
e puoi vedere che siamo veramente
molto più vicino al vero con la verità
ornitorinco il nome del software quindi
con cosa cosa potrebbe fare la gente
prima così è stato fatto
collaborazione di arte conservatori d’arte
curatori e studenti e postdoc e
Platypus ha imparato a lasciare la sua culla
e se tutto va bene con il
presentazione quindi ora possiamo vedere il
film che è il pannello ringiovanito di
l’eredità quindi grazie mille
[Applausi]