[Musica]
Sono come ha detto e viene dalla Francia I
nonostante il mio accento che non è mi Francese
sono stato in Francia per circa 20 anni
e lavoro con INRIA che è il
Laboratorio di ricerca nazionale francese in computer
la scienza e io dirigiamo un laboratorio chiamato xc2
e facciamo tutti i tipi di cose diverse
quindi parlerò di un molto concentrato
pezzo del nostro lavoro oggi ma lo facciamo
tutto, da oggetti molto piccoli a
dimensioni della parete e display immersivi che facciamo
tecniche di interazione con cui ci confrontiamo
utenti facciamo progettazione partecipata
comunicazione distribuita e costruiamo a
numero di ingegneria interessante
piattaforme di nuovo più tardi, quindi quando pensiamo
su quello che stavamo vedendo sì e il
keynote che è stato molto interessante per me
perché ho iniziato la mia carriera come
psicologo sperimentale e studio
apprendimento di rinforzo negli esseri umani
e la cosa che è interessante è quella
ovviamente possiamo imparare un grande
quantità da come gli esseri umani imparano quando
stiamo cercando di costruire interattivi
sistemi ma penso che dobbiamo restare dentro
pensa che c’è sempre un essere umano
in quel ciclo e quindi la domanda è cosa
è il ruolo dell’essere umano in questo
interazione con i computer, quindi Hollywood
ha alcune risposte a ciò che abbiamo Tom
Crociera qui interagendo con in realtà
sperimentalmente ciò che è stato determinato
per essere un’interfaccia davvero cattiva, ma è così
sembra davvero buono sullo schermo abbiamo anche
Robert Downey Junior. ha il potere di
indossando questi abiti e tutti i tipi di
cose meravigliose quindi intelligente
sistemi grassi favolosi e quindi abbiamo
cose come questa con wall-e dove
è un ik piuttosto diverso
fusione di ciò che accade quindi se ne hai uno
Sistema IA che delega solo tutti i
compiti a che ruolo è rimasto
gli esseri umani in modo che la cosa che volevo
parlare di un po ‘è questa nozione
di una partnership
significa essere umano e un sistema umano
essere rispetto a qualcosa che noi
tutti capiscono il trasporto che è un
macchina giusta in modo che possiamo pensare a cosa
è il nostro ruolo rispetto a
trasporto posso prendere un taxi e
questa è davvero una buona idea se lo fossi stato
bere tardi sabato sera e voglio
per tornare a casa voglio mettere l’autista
controllo
Voglio delegare questa responsabilità
a qualcun altro però cosa succede se mi diverto
guidare le moto ora è un dotto
abilità che è qualcosa che voglio fare
è qualcosa che mi piace fare e lo farei
meglio non farlo se sono ubriaco quindi non ho
ho il 100% della responsabilità di cui ho bisogno
essere in controllo come essere umano
la terza possibilità è una sorta di condivisione
il controllo della partnership è una specie di a
diverso modello di IA non tanto il
idea che consegniamo tutto noi
delegare tutto al computer ma
piuttosto che il computer è bravo
fare le cose in cui il computer è bravo
facendo e io come un essere umano arrivare
rimango a fare le cose che mi piace fare
e voglio farlo se sono ubriaco e io
il mio cavallo mi prenderà il cavallo
a casa ma se voglio andare al galoppo
posso fare la spiaggia che posso iniziare
non conoscendo molto bene il cavallo
il cavallo non mi conosce molto bene e poi
col passare del tempo entrambi impariamo a vicenda
quindi c’è un tipo completamente diverso di
relazione e possiamo pensare come a
visione per il futuro, ecco dove sono io
penso che stiamo andando, ma voglio andare bene
mi permetta così ho sentito tutta questa roba su
carrelli auto-guida come se fosse l’ unico
futuro che abbiamo nel trasporto
ma nessuno sta per comprare un
Ferrari che guida da solo, ma non solo
punto quindi se pensiamo alla ricerca in
informatica abbiamo tre di base
tipi di ricerca rispetto a come noi
interagire con i computer è il primo
quella che viene chiamata interazione uomo-computer
che è principalmente il mio campo e qui noi
pensa al computer come strumento e
l’obiettivo è come potenziare gli utenti come consentire
le persone fanno le cose meglio all’inizio
giorni era
come renderli più efficienti ora
stiamo pensando a come costruirli
più creativo o aiutandoli ad essere
creativo e fai cose nuove di cui c’è
Ovviamente AI e questa è l’idea di
computer come un servitore che va e
delegati deleghiamo compiti e loro
eseguirli per noi e il terzo
che non entrerò molto nei dettagli oggi
ma l’idea è che è un mezzo così sociale
media Skype tutto ciò che è distribuito
comunicazione è un mezzo per
comunicazione tra e tra le persone
quindi se prendiamo prospettiva Nai a
tradizionalmente la prospettiva degli occhi c’è
questo discorso dell’umano nel ciclo e
quando parlo con i miei colleghi di IA
stanno dicendo molto bene con orgoglio noi
pensiamo davvero all’essere umano
noi facciamo solo il modo in cui pensano al
l’essere umano è come input per il loro
algoritmo e in realtà non lo fanno
misurare l’impatto sull’essere umano
semplicemente misurare l’impatto sulla
algoritmo e se il mio algoritmo è più veloce
e più efficiente del tuo io
Ho pubblicato il documento e vinco tutto bene
ora che porta a molto di questo otteniamo a
molti sistemi là fuori che sono
estremamente difficile da usare o per le persone
davvero noioso o davvero ingombrante e
rallentano le persone ed è perché
non stiamo pensando a come potenziare
l’utente che stiamo pensando a come ottenere
un algoritmo migliore, quindi dobbiamo fare entrambe le cose
dobbiamo pensare a ciò che chiamo
computer nel ciclo in cui l’ algoritmo
viene inserito per informare l’utente e quindi
entrambi gli algoritmi possono imparare e adattarsi
per l’utente ma l’utente può imparare e
adattarsi al sistema, quindi ciò che vogliamo è
non solo per creare modelli di utenti ma
anche creare modelli del sistema e
rappresentarli in un modo che abbia un senso
agli esseri umani, quindi vogliamo aumentare
capacità umane come strumento e vogliamo
il computer come un servitore da subentrare
i nostri compiti indesiderabili e ingombranti, ma
in qualche modo mantenere l’utente in controllo di ciò
processo e questa è la sfida principale
Pensa per AI in questi giorni, va bene
quindi se pensiamo di progettare un
interattivo
a cui un essere umano utilizzerà
realizzare qualcosa forse un creativo
compito l’idea è che ti piacerebbe
per essere il caso che le cose semplici sono
cose semplici e complesse sono possibili
quindi abbiamo questa piccola curva dove
il punto zero non è molto semplice e
un po ‘più semplice o poco potere
espressione più potere di espressione e
normalmente siamo in una fondamentale
trade-off quindi se voglio un molto semplice
strumento per l’editing del testo Posso usare TextEdit
giusto ma non fa molto o io
non potevo andare a InDesign e fa tutto
tipi di conflitti che pubblicano le cose per
me ma è all’altro punto della
curva e mi ci vuole un sacco di tempo e
energia per imparare così come ricercatori noi
vedere il nostro problema è come bilanciare
questo potere di espressione con semplicità
di esecuzione dal punto di utenti di
vista e la chiave è che non lo siamo
cercando di muovere su e giù su quella curva
stiamo provando a creare sistemi che
in realtà spostare quella curva non abbiamo mai
allontanarsi dal trade-off ma possiamo farlo
prendere cose che sono già potenti
e renderli più semplici e possiamo prendere
cose che sono semplici e le fanno
più potente va bene e dovrò
mostrarti alcuni esempi ma prima di farlo
voglio solo dire che noi come oratore
prima stava dicendo che prendiamo in prestito dal
mondo reale il mondo fisico e così abbiamo
guarda come gli esseri umani usano il fisico
strumenti e diciamo bene che possiamo creare
cose come un martello qui e ha
varie proprietà che mi permette di
martella un chiodo e li usiamo così come sono
dovrebbe essere usato quindi impariamo come
usali alla grande ma anche noi improvvisiamo
se non mi capita di avere un martello e io
vedere una scarpa che ha l’appropriato
proprietà posso usare che invece e
perché capisco il fisico
proprietà come essere umano che capisco
quelle capacità in questi oggetti I
può usarli ora anche ciò che è interessante
è che posso improvvisare nell’altro modo
Posso trasformare questo strumento in questo martello e
trattalo come un oggetto che posso trattarlo
qui come un diverso tipo di strumento uno strumento
per misurare bene ha un’altezza
e voglio usare quella proprietà così
la domanda è
perché latte sì e possiamo anche usare le cose
in modi molto diversi mi piace questo
perché è multiplo sarebbe in realtà
non essere un pessimo tagliere e un iPad
semplicemente non funzionerebbe molto bene è un
iPad per molto tempo comunque così abbiamo
questi strumenti fisici e noi appropriati
loro e siamo in una situazione in cui nessuno
l’oggetto può diventare uno strumento e qualsiasi
strumento potrebbe risolvere più problemi
quindi abbiamo solo una serie di cose
può fare con le bacchette non solo mangiare ma
legare indietro i capelli utilizzarlo come un tamburo marca
un enorme modello di Chuck a Jackie Chan e
la domanda è: perché il nostro software è così
fragile perché è solo quello
progettato per fare la cosa che il
programmatore ha deciso di farlo fare e non
hanno questa flessibilità e flessibilità
che entriamo nel mondo fisico bene
se guardiamo alla storia di dove siamo
i sistemi informatici oggi vengono da noi
che l’interfaccia grafica utente sia
La GUI è stata progettata da Xerox negli anni ’70
e lei è l’epitome del bersaglio
pubblico lei è qualcuno che è alto
abbastanza nella gerarchia che lei è
ha la sua tecnologia ma il suo compito è farlo
copiare le cose che l’obiettivo del suo compito è quello di
fare le cose in modo più efficiente
motivo per cui tutti voi lavorate con i documenti
cartelle di file taglia e incolla i bidoni della spazzatura
quelle sono tutte metafore che vengono da
il suo lavoro negli anni ’70 e quindi se guardi
a quello che è successo è questo
concentrarsi sugli strumenti, sull’efficienza e sul fare
quella attività più veloce ma non la composizione
non la creazione non sta cercando di fare qualcosa
nuovo modo se si guarda dove siamo sulla
desktop non è cambiato molto è
molto più colorato te lo darò
in realtà è più ingombrante che ci sia
cose nella star di Xerox degli anni ’70
che sono più potenti e più coerenti
di quello che abbiamo nel tuo tradizionale
del desktop
è Apple o PC o anche Linux o UNIX
sistema in modo da spostare la mia attenzione a destra
verso il basso e ti danno un set di molto semplice
esempi di come puoi ripensare la strada
tu interagisci con il tuo telefono e io no
avere il mio telefono in mano sì normalmente io
avere il mio telefono immagina di avere un telefono tutto
di te hai un telefono tutto te e te
tutti usano questo tipo di interfaccia proprio tu
avere i pulsanti hai tutti i menu a tendina
adesso se ci pensi come a
strumento come un pezzo di hardware è
straordinario quel pezzo di tecnologia
è molto più potente che li metti di
cosa ha messo un uomo sulla luna ed è dentro
la tua tasca ha una bella
display ad alta risoluzione il suo tocco
sensibile che può rilevare
accelerazione e movimento ha a
fotocamera incredibile pezzo di hardware anche
le tue mani sono incredibili
giusto puoi fare ogni genere di cose
con le tue mani
sono molto abili e come stai
interagire con il telefono che si utilizza
ogni giorno per ore ogni giorno che tocchi
ti trascini, fai scorrere e pizzichi e
questo è tutto
quindi abbiamo preso questo incredibilmente potente
opporsi a una caduta incredibilmente abile
mani e cervello e così via e abbiamo
fatto questo collo di bottiglia con questo
interazione molto limitata tra
due pensano a come interagiamo
mondo fisico il tipo di strumenti il
tipi di cose che possiamo fare giocando a
quelli che scolpiscono il violino sono tutti
cose in cui abbiamo la capacità di
impara e migliora nel tempo
ogni mattina mi siedo sulla metropolitana mentre vado
nel mondo del lavoro e vedo tutti sono circa
tre quarti delle persone intorno a me
stanno facendo qualcosa sul loro telefono loro
passare ore al telefono, immagina se tu
trascorso tanto tempo a imparare ma solo
praticando il pianoforte come fai tu
telefono non sono sicuro che tu possa essere
ylang-ylang
ma tu avresti un
Mantiene il livello di abilità che tu non hai
abbiamo il problema che abbiamo adesso
i telefoni è che non migliorerai
interfaccia è fondamentalmente si limita
non posso crescere con esso non è un
partnership quindi quello che vogliamo è essere
in grado di pensare a come facciamo
qualcosa che mantiene semplice la sua
semplicità in modo che tutti nel
il pubblico in generale può usarlo ma anche farlo
uno spostamento del soffitto più alto verso l’alto
maggiore potere di espressione così uno
soluzione a questo e ci sono un numero
di cose diverse che possiamo fare sono solo
dando un esempio che è una specie di a
serie coerente di cose ma possiamo usare
gesti i comandi più vaghi quindi se ho il mio
telefono in mano posso fare un gesto io
ho memoria motoria ho la propriocezione
se ho un comando che mi consente di farlo
qualcosa che voglio fare io posso solo farlo
con il mio pollice senza guardare nel
oscuro sei tutto lì dentro che non hai
a guardare il telefono e si può toccare
fallo giusto così che i gesti ci danno un
sacco di benefici che non abbiamo diritto
ora così perché non abbiamo un gesto complesso
Interazione basata sul telefono bene il
il problema è che devi imparare così
sappiamo che sono là fuori ma noi
bisogno di essere in grado di scoprire quelle cose
abbiamo bisogno di scoprire quei gesti cosa
hanno bisogno che vogliamo anche essere in grado di
appropriato ed esprimere le cose ma
Ci arriverò tra un minuto
comunque le persone si adattano alla tecnologia
Mi sono spostato su un argomento diverso qui
quindi l’idea di un computer umano
la partnership è ciò che chiamiamo Co
sistema adattivo questo è un altro termine
che è mutuato dalla biologia e dal
l’idea inizialmente è che se guardi
evoluzione nel corso dei millenni non lo è
il caso in cui l’ambiente è statico
Infatti gli organismi nell’ambiente
cambiato radicalmente l’ambiente nel corso
tempo quindi abbiamo iniziato con anaerobico
batteri e quelli generati dall’ossigeno e
dopo un po ‘c’era abbastanza ossigeno
altri batteri erano in grado di
evoluto che lo trattava come input e
allora hai iniziato a ricevere molto di più
ambiente complesso nel tempo e così
succede anche a un livello molto piccolo
per esempio nella Londra industriale sono
un mucchio di falene che potrebbero essere una specie di
nero bianco grigio qualunque sia stato ottenuto da Londra
più scuro e grigioso e sudicio
quelli bianchi sono scomparsi e il
quelli grigio scuro erano dappertutto e poi
quando pulivano la città, il bianco
quelli sono tornati quindi si stanno adattando
l’ambiente quindi c’è tutto questo
nozione di adattamento in entrambe le direzioni
entrambi abbiamo adattiamo all’ambiente che
siamo dentro ma lo cambiamo attivamente e
lo trattiamo come un ambiente per il futuro
interazione quindi se torno al mio
comandi basati sui gesti, ad esempio la chiave
la sfida è come imparo questi
gesti come faccio a sapere cosa questo gesto
i mezzi non sono che li dimenticherò
bene quello che vogliamo è qualcosa in cui un
esperto esegue solo il gesto senza
essendo rallentati, lo fanno solo così
questo è il nostro potere di espressione. Ho un
ampia varietà di diversi gesti e
un esperto può farlo solo ma cosa
succede se sono un novizio cosa faccio
bene, scopro che faccio qualcosa che è
molto facile da individuare che è quello che io
esita tutto bene, pausa e in quello
caso creiamo ciò che è chiamato dinamico
guida questo ci dà ciò che chiamiamo
feed-forward progressivo quindi non solo fare
diamo feedback su ciò che è stato
riconosciuto dal sistema e cosa ho fatto
fare come utente ma ho anche io
feed-forward che è ciò che sono i miei
opzioni ora e così in questo caso vedi
quello nel novizio che si ferma al
l’inizio del gesto può avere un taglio
comando un comando copia e un incolla
comando se l’utente si ferma a metà
attraverso il comando incolla è andato via
ma il comando di taglio rimane e la copia
comando rimane notare che il taglio
il comando è un po ‘più sottile
dice
un po ‘meno probabile che venga riconosciuto da
il sistema, quindi quello che stiamo facendo è che lo siamo
informare l’utente di alcuni abbastanza complessi
roba su quello che sta succedendo nel
algoritmo che riconosce loro
gesti ma in un modo che rende totale
e senso per l’utente è nel
termini degli utenti, quindi vediamo cosa sembra
come oh si
va bene così progressivo feed-forward
ci dice quali gesti sono disponibili
e feedback ciò che è già stato
riconosciuto quindi lascia che ti mostri il video
e spero che andiamo così ora siamo
andando a fare il comando di aiuto che è un
punto interrogativo e così abbiamo questo andare
qui e riprova qui e guarda
c’è un numero di percorsi diversi e
poi scompaiono progressivamente noi
avere la modalità novizio dove mostriamo
tutto ciò che ha problemi con
sovraccarico qui intermedio che ottieni
le estremità e poi, naturalmente, come un esperto
lo fai e basta e va avanti
eccoci
ora prima ti ho mostrato alcuni esempi
di persone che si appropriano di strumenti in modo da prendere
le bacchette e usandole come
bacchette o una scarpa e usandolo come a
martello quindi cosa significherebbe iniziare
farlo in questo tipo di ambiente
bene una delle prime cose che ti piacerebbe
per essere in grado di fare è creare il proprio
comandi così abbiamo qualcosa che chiamiamo
la parola di campo che è un feed-forward
tecnica e se ci pensi se
Ho intenzione di fare un comando che aggiungo così
Diciamo che chiamo mia madre ogni giorno e che voglio
essere in grado di farlo sul mio telefono
senza guardarlo voglio avere un
gesto facile per me da ricordare
e allo stesso tempo facile per il sistema
per riconoscerlo deve essere univoco
comando che deve essere un comando che
non è confuso con altri comandi così
Come comunichiamo che per l’utente
beh, abbiamo un sistema molto semplice chiamato
Field Ward l’idea è che abbiamo un
campo che varia tra il rosso e il blu
se faccio un gesto e finisce in rosso
zona che significa che il gesto già
esiste
quindi è davvero interessante perché
mi dice molte cose qui una
meglio continuare a muoverti o provare un altro
gesto perché questo è già
riconosciuto e in secondo luogo mi dice che
quel gesto esiste nel set di comandi
la seconda cosa che faccio è ok se finisce
in una zona blu, allora sarà
riconosciuto che è molto semplice lasciami
mostrarti come funziona ok, eccolo qui
registrando un comando per impostare il timer che è
digitato in un timer impostato e ora lui è
disegnandolo dico che voglio un pareggio, sì, no
bisogno del suono tranne che alla fine
ok ora sta facendo il gesto è finito in
rosso perché lo avevamo già definito e
ora se ne va e continua così
l’idea è che abbiamo questo molto molto
modo semplice di comunicare all’utente
cosa sta succedendo sotto il cofano con il
algoritmo e lasciandoli creare il proprio
possedere cose che hanno senso per loro
utenti dal lato software non ho bisogno
per sapere cosa sta succedendo negli utenti
non ho bisogno di sapere perché pensano
questo è un buon gesto da ricordare
per quel timer tutto quello che devo sapere è
che è unico e che hanno scelto
quindi lasciami andare di nuovo qui andiamo ora
Diciamo che abbiamo il sistema dove siamo
può effettivamente creare i nostri comandi e
possiamo capire quali sono
disponibile o non ora quello che vogliamo fare
è essere in grado di avere un molto più grande
potere di espressione dal cellulare
per farlo dobbiamo avere accesso a
comandi sospetto che la maggior parte di voi abbia
lavorato con le interfacce della riga di comando
quindi la domanda è: come si ottiene?
CLI in modo semplice
al telefono senza perdere tutto il
semplicità che abbiamo attualmente così noi
avere qualcosa che chiamiamo comandi
consiglio e qui l’idea è che noi usiamo
qualcosa chiamato gesti di gesti che io
penso che spiegherò di più ma e l’idea
è che prendiamo lo spazio sopra il
tastiera una tastiera morbida che può andare
ovunque e invece di averlo essere a
spazio morto a solo un’uscita
lo spazio lo rendiamo uno spazio di input secondario
e così trasformiamo la tastiera morbida
in un ambiente in cui possiamo rilasciare
comandi al telefono e poi attivamente
interagire con loro quindi lascia che ti mostri
questo qui va bene così lascia che lo rompa
giù così scrivo la parola doodle e poi
Eseguo oops perché continua così
voglio che si fermi tutto bene
scusate mi va bene mi limiterò a vedere se
Posso fermarlo lì
va bene, immagina di aver digitato
la parola doodle e vado ad eseguire quello è
tutti i comandi disponibili su
telefono Potrei semplicemente digitare il nome e andare
eseguire che è più veloce di andare e
cercando di capire quale set di menu
si nasconde e passa attraverso e tira
giù il menu e la gerarchia e così via
Voglio dire basta digitare e andare e solo
come se ci fosse una barra di ricerca per parole noi
avere una barra dei comandi quindi è molto di più
limitato uno e nel particolare
contesto in cui sono dentro c’è un insieme limitato di
comandi in modo da poter iniziare a digitare la parola
si riempie e mi dà i suggerimenti
del probabile comando una volta ottenuto quello che ho
volere
Eseguo tutto adesso, ne hai visto un po ‘
altre cose mi dispiace questo sta facendo il
video completi ogni volta quindi eccoci qui
Doodle esegui e ora pensi che mi manchi
tu ed ora lui è nella modalità doodle e
disegnare la prossima cosa che facciamo è che abbiamo
un menu parametrizzato che appare questo
è frustrante okay che lancia doodle
vedi se riesco a fare questo sì, siamo solo
facendo tutto bene ci andiamo non lo so
come mettere in pausa forse posso fermarmi e io
pausa tutto bene lo farò così eccoci qui
avere il polpo della guida dinamica
che hai visto prima ma integrato così se
Io non sono del tutto sicuro di tutto il
parametri associati al
comando posso salire e scegliere quelli che
può anche trovare un comando in questo modo e
Posso anche trovare degli scacchi diretti
dove faccio il comando dal comando
bordo e proprio mentre stavo parlando in
lo spazio generale che possiamo fare da
il pannello di comando va bene, quindi va bene
quindi questo sta scoprendo il barrato
comando ho dormito durante la conferenza sì
ho deciso di non farlo e quindi ho amato
la lezione è giusta e quindi vedi cosa
stiamo facendo è qualcosa in cui siamo solo
avere un integrale nel movimento dal
utente va bene e ci andiamo in qualche modo
questi mi dispiace che tutti i video abbiano
ottenuto il loro sono stati tagliati e
ora non stanno bene quindi se tu
pensare a quello che sta succedendo dal AI
punto di vista l’ apprendimento automatico
l’obiettivo degli algoritmi è classificare il
parola corretta e c’è un tremendo
quantità di sforzo cercando di capire
in base alla tua storia precedente cosa
altre persone hanno fatto crowdsourcing
enormi quantità di dati concentrati su
cercando di capire quale sia la tua prossima parola
sta per essere ed è spesso sbagliato e
hai corretto e su di te vai ok ma il
tutto il modo in cui è inquadrata la domanda è il
l’unico obiettivo è classificare quella parola e io
sosterrebbe che trattando tutto il
variazione umana che si ottiene nel
il gesto è in realtà un peccato , è così
trattati come rumore che buttiamo via così
Ti mostrerò un altro modo di
appropriarsi o essere espressivo con
la tua digitazione così questi stanno usando il
tecnica di battitura a mano tutti questi
sono variazioni della parola grande che puoi
vedere la g ret tutti quei gesti
sono definiti con precisione come grandi che è
straordinario dal punto di vista dell’IA I
pensa ora che la cosa è da un umano
il punto di vista degli esseri sono tutti unici
quindi ogni utente che lo ha ha tutto
che hanno creato spremuto qualcosa
questo è personale e il risultato è uno
parola composta grande
quello potrebbe essere quello che vuoi ma
a volte si desidera avere molto in modo
qui vediamo pepe e pepe
quelli sono tutti uguali e ora quello che noi
facciamo è guardiamo la forma il
caratteristiche di come l’utente disegna
queste cose e le traduciamo in
output espressivo in modo che possiamo cambiare il
colore possiamo cambiare l’espressione
emoji e possiamo fare espressivo
tipografia quindi ecco un esempio che vedi
qualcuno che digita normalmente con le dita
basta digitare qui vai e poi se noi
può generare un testo espressivo che è
colorato qui vedi che sta scrivendo
andiamo al ristorante, penso
sta per dire che sta cambiando il
colore e modifica dello stile del testo
sta parlando con i suoi figli e così lei è
usando un font che è un font per bambini e
lei può farlo sotto il suo controllo così
abbiamo fatto dei test con questo e le persone
può davvero farlo sotto il loro controllo
quindi questo è quello che succede invece di
quello che abbiamo a sinistra è giusto
buttando via la variazione che facciamo
analisi delle caratteristiche e guardiamo al
curviness
la variazione di velocità e le dimensioni e noi
trasforma quell’uso che mappiamo al nostro G
e B nello spazio colore RGB e il
gli utenti possono ora creare qualsiasi colore e loro
può farlo in modo affidabile solo cambiando come
disegnano in modo tale da farti controllare da te
questo e fammi vedere qui, ecco questo
stiamo facendo stiamo lavorando con a
tipografo professionista al momento
e l’ idea è che puoi dinamicamente
cambia la tipografia mentre vai e aggiungi
enfasi e così via nel contesto di
in realtà funziona così ce l’abbiamo
mappato a può essere mappato a un
accelerometro o sei sull’autobus e
è urtando quello che vuoi bene
quindi in questo caso abbiamo avuto questa idea che
ci piacerebbe cambiare il tipo di
rapporto che abbiamo con gli utenti così
che abbiamo avuto più di
capire cosa sta succedendo sul
lato computer e più potenza senza
perdere la semplicità sul lato utente così
ora mi piacerebbe che tutto fosse finito
il telefono ti mostrerò un altro
insieme di questi tipi di principi di
rilevabilità, ilicità e
espressività ma applicata in modo molto
area diversa, quindi abbiamo lavorato
con ciò che chiamiamo carta interattiva e
abbiamo lavorato molto con i musicisti
all’AirCam di Parigi se sai che è un
Contemporary Music Center e questo è
che musicisti fanno non solo io
i compositori medi mi scusano, non solo
scrivere note su un punteggio che in realtà
creare i propri stili di pensiero
su cosa dovrebbe essere la musica loro
creare le proprie lingue e cosa
succede quando devono metterlo dentro
il sistema informatico è che devono farlo
traduci questo unique unico creativo
modo di pensare della persona in patch e
musica aperta o vari altri tipi di
sistemi computazionali, quindi cosa siamo
fare è che stiamo prendendo creativo
professionisti e trasformandoli in
dispositivi di input per software complessi e
sembra che la sfida per noi sia
come facciamo a fare loro il tipo di
espressione creativa che vogliono fare
e ancora ottenere i benefici di a
sistema computazionale e cosa c’è
particolarmente sorprendente di loro dovrei
Dì solo che lavoriamo molto con il nostro
utenti reali, quindi entriamo e noi
intervistali li osserviamo che facciamo
ciò che viene chiamato design partecipativo
workshop con loro e uno dei
le cose che vediamo è immaginare che ce ne siano 30
diversi compositori e trovi il
strumento perfetto per uno di loro il prossimo
uno seduto accanto a lui non lo userà
perché ogni persona deve essere unica
devono avere il loro modo speciale
di pensare alla loro composizione
pratica e se ci pensate come
abbiamo visto cose che c’erano persone che
disegnerebbe le linee e poi le traccerà
linee organiche e tagliarle e quelle
sarebbe determinare il ritmo o lui
usato un quadrato magico
e calcolato le cose da quell’altro
uno aveva lo stesso paragrafo di Goethe
e lo ha usato per 20 anni come un
ispirazione per le sue composizioni un altro
uno guarda le forme delle lettere
e lo trasforma in musica, quindi c’è tutto
di queste diverse cose come fai tu
creare uno strumento che sta andando a lavorare per
tutte queste persone diverse e si
non pensare ai meccanismi di
traducendo ciò che fanno in a
sistema computazionale a cui pensi
creando un ambiente vicino
quello che vogliono già usare quale è
penna su carta e disegno e poi
trasformando in qualcosa che
si può utilizzare bene così una cosa che
abbiamo fatto un esempio c’è un intero
serie di cose ma sto solo facendo un
versione breve di questo
Oya ha qualcosa chiamato ton , è e
una tonnellata è un modo di analizzare il
relazioni tra diversi passi o
toni in forma esagonale a
Piazza bidimensionale e poi puoi
collega bene per il quale è stato usato
secoli davvero da analizzare
musica che analizza Beethoven o Bach e
guardando i modelli che hanno
e compensandoli così è stato usato come un
strumento analitico e poi un compositore a
AirCam ha deciso di usarlo come un
strumento di composizione e quindi quello che abbiamo fatto è stato
abbiamo creato un documento che chiamiamo a
substrato che puoi disegnare in questo
spazio e generare link musicale legarlo
in un sistema chiamato open music che
loro si sono sviluppati là così ecco un
esempio ora ho bisogno di audio okay
ognuno di questi avvisi dice C minore
melodia su cui puoi mettere diverse scale
diverse chiavi differenti strumenti
e persiste quindi è qualcosa che io
potrebbe usare e riprodurre ora quello che sta andando
fare è lavorare con più multipli
tonifica insieme in modo che diventi un campo
va bene e ora graficamente alcuni di
questi hanno lo stesso schema visivo e
puoi compensarli in posti diversi
e questo tornerà di nuovo qui
sta cercando un altro posto e lui
può ottenere
giusto e nel disegno ha i tempi
con esso ma puoi regolare i tempi
quello che sta facendo in questo momento sta esplorando
questo spazio di come vuole farlo
e quindi in pratica puoi assemblare questo
i pezzi qui e questo tra l’altro è
in una penna di odo non so se lo sei
familiarità con esso, ma c’è un punto
modello che dà un insieme unico di punti
sulla carta è sufficiente stamparlo con una
stampante e poi nella penna c’è a
macchina fotografica adolescente e un piccolo schermo e tu
puoi incorporare puoi catturare ogni gesto
da quella penna con i tempi e così via
ora sentiremo che penso così
è stato effettivamente fatto da un compositore che era
spiegando questo esplorando questo il se
lo dai ai bambini che scrivono loro
nome e ascoltare ciò che il loro nome suona
come e se lo dai al professionista
i musicisti lo esplorano così ha questo
meravigliosa semplicità d’uso dal
iniziale cosa è successo qui andiamo a
estremo potere espressivo ecco
un altro che mi piace è probabilmente
il più semplice bit di programmazione che tu
può fare fondamentalmente c’è di nuovo la penna
la penna ánotá che disegni non è al 100%
preciso in termini di riconoscimento, così è
molto facile riconoscere che tracciare una linea
ci si fa un nodo e poi si applica
una funzione dalla penna e tu puoi
interagire ora o dopo
quindi ecco un esempio che puoi definire
relazioni matematiche
Posso disegnare una serie di numeri possibile
riconoscere i numeri che posso disegnarne un altro
linea dire calcolarlo e così via lo farò
mostraci un altro esempio che possiamo disegnare a
linea con un non scegliere fare registrazione
questa una registrazione qui e quindi identificare
l’inizio della registrazione alla fine e
allora puoi strofinare avanti e indietro e
riproduci la registrazione quindi immagina di essere
prendendo appunti su carta e puoi
ascolta il suono della conferenza o della musica o
qualunque cosa tu voglia e questo dovrebbe essere
Sapevo che avrebbe giocato lì andiamo qui
sta facendo un po ‘penso che stia facendo sì
sta scegliendo radici quadrate no, lui è
scegliendo il segno disegnando una linea aggiungendo a
punti e poi ne sta facendo un altro così
fondamentalmente sei solo tu hai un te
avere un insieme di funzioni che sono
scaricato nella penna e poi c’è
una connessione Bluetooth al computer
così puoi avere certe cose in
la penna e altre cose che sono fatte
a distanza e qui cosa sta facendo
è il calcolo, quindi basta toccarlo
lo scrivi e lui vede nel
scherma la risposta in modo che stia creando il suo
possiedi uno spazio dinamico per interagire bene io
penso che continuerò ad andare qui ora c’è
un’altra cosa che è come si crea
output espressivo quindi qui abbiamo a
progetto davvero interessante fatto con
Filip Leu chi è famoso in tutto il mondo
coreografo
giusto non compositore di coreografie e
sta lavorando con spartiti musicali come
questi sono del 13 ° secolo e
è interessante guardarli perché
sono prima che i punteggi fossero stati
standardizzato con le solite note che
vediamo e e i pesi standard così
se vedi queste piccole bandiere su ognuna
nota che è una forma di espressione che è
come si suppone per giocare quella nota in modo
in questo caso qui è un po ‘ suppongo
cosa dinamica e poi altri quelli
non c’è alcuna espressione che può anche essere
corto e mosso così che cosa voleva fare
è usare questo come ispirazione per un moderno
composizione e quindi ha lavorato con uno di
i miei studenti universitari Jeremy Garcia e
mettiamo insieme un sistema dove prendi
una copia del punteggio e poi hai
questa una piccola penna e ti attiri
elementi dello spartito che ti piacciono
note e così via e di nuovo come abbiamo visto
prima di poter catturare un sacco di cose diverse
cose sul movimento umano che possiamo
catturare la velocità della velocità
crea la forma e mappala
caratteristiche diverse nella composizione così
questa è la musica e l’umanità se si interrompe
non conosci la guerra sociale su di te
non completamente fanno concludere onyx è
che altrimenti non lo si beve
quindi stiamo tracciando l’originale
manoscritti qui e che appare nel
forma elettronica utilizzando il software per
registrare le informazioni che descrivono il
natura del gesto questa è musica aperta
e così è inviato al programma questi
sono patch e musica aperta e tu puoi
vederlo interpreta la forma del
gesti per lo schermo del menu mesh akiko a
piccola città, Ramallah, così lo spettacolo di matematica è il
nome del compositore originale
c’è la traiettoria live Wow
così da gradi C quella forma è la
forma che è stata disegnata qui e poi la sua
l’originalità è arrivata per non farlo
stagione con il tuo cellulare Gaeta
la febbre infettiva è quella più liquida
pure
[Musica]
[Applausi]
[Musica]
ora immagino che il punteggio originale
non sembrava così ma è così
interessante come dispositivo questo tipo di
infinita ingenuità umana in termini di come
creano e reinterpretano
informazioni che ottengono e poi
creare qualcosa di nuovo e ed ed esprimere
esprimersi così la domanda per
lui non era un assistente musicale
chi può programmare le cose direttamente in
musica aperta che non programma affatto
se stesso, ma ha la capacità di disegnare
e interagire con la carta e fare scelte
su come viene interpretato e
diversi modi di mettere insieme
divenne uno strumento molto potente per lui come a
composizione come compositore quindi è uno
ultima diapositiva in modo sostanzialmente la mia tesi di
in particolare quelli di voi che sono
la tecnologia di costruzione è non dimenticare il
ruolo dell’utente umano in quel ciclo
l’utente non è solo un input per un algoritmo
ma piuttosto la persona che dovrebbe essere dentro
controllo e dovresti essere rivelatore
cosa sta succedendo in modi non necessariamente
spiegandolo in termini tecnici ma
rivelando cosa sta succedendo in modi simili
l’utente può reagire e utilizzare
produttivamente per creare ciò che vogliono
facciamo così vogliamo potenziare gli utenti che vogliamo
per non frustrarli e sicuramente
non voglio sostituirli, quindi mi fermerò
lì e chiedere domande grazie
[Applausi]
Sono come ha detto e viene dalla Francia I
nonostante il mio accento che non è mi Francese
sono stato in Francia per circa 20 anni
e lavoro con INRIA che è il
Laboratorio di ricerca nazionale francese in computer
la scienza e io dirigiamo un laboratorio chiamato xc2
e facciamo tutti i tipi di cose diverse
quindi parlerò di un molto concentrato
pezzo del nostro lavoro oggi ma lo facciamo
tutto, da oggetti molto piccoli a
dimensioni della parete e display immersivi che facciamo
tecniche di interazione con cui ci confrontiamo
utenti facciamo progettazione partecipata
comunicazione distribuita e costruiamo a
numero di ingegneria interessante
piattaforme di nuovo più tardi, quindi quando pensiamo
su quello che stavamo vedendo sì e il
keynote che è stato molto interessante per me
perché ho iniziato la mia carriera come
psicologo sperimentale e studio
apprendimento di rinforzo negli esseri umani
e la cosa che è interessante è quella
ovviamente possiamo imparare un grande
quantità da come gli esseri umani imparano quando
stiamo cercando di costruire interattivi
sistemi ma penso che dobbiamo restare dentro
pensa che c’è sempre un essere umano
in quel ciclo e quindi la domanda è cosa
è il ruolo dell’essere umano in questo
interazione con i computer, quindi Hollywood
ha alcune risposte a ciò che abbiamo Tom
Crociera qui interagendo con in realtà
sperimentalmente ciò che è stato determinato
per essere un’interfaccia davvero cattiva, ma è così
sembra davvero buono sullo schermo abbiamo anche
Robert Downey Junior. ha il potere di
indossando questi abiti e tutti i tipi di
cose meravigliose quindi intelligente
sistemi grassi favolosi e quindi abbiamo
cose come questa con wall-e dove
è un ik piuttosto diverso
fusione di ciò che accade quindi se ne hai uno
Sistema IA che delega solo tutti i
compiti a che ruolo è rimasto
gli esseri umani in modo che la cosa che volevo
parlare di un po ‘è questa nozione
di una partnership
significa essere umano e un sistema umano
essere rispetto a qualcosa che noi
tutti capiscono il trasporto che è un
macchina giusta in modo che possiamo pensare a cosa
è il nostro ruolo rispetto a
trasporto posso prendere un taxi e
questa è davvero una buona idea se lo fossi stato
bere tardi sabato sera e voglio
per tornare a casa voglio mettere l’autista
controllo
Voglio delegare questa responsabilità
a qualcun altro però cosa succede se mi diverto
guidare le moto ora è un dotto
abilità che è qualcosa che voglio fare
è qualcosa che mi piace fare e lo farei
meglio non farlo se sono ubriaco quindi non ho
ho il 100% della responsabilità di cui ho bisogno
essere in controllo come essere umano
la terza possibilità è una sorta di condivisione
il controllo della partnership è una specie di a
diverso modello di IA non tanto il
idea che consegniamo tutto noi
delegare tutto al computer ma
piuttosto che il computer è bravo
fare le cose in cui il computer è bravo
facendo e io come un essere umano arrivare
rimango a fare le cose che mi piace fare
e voglio farlo se sono ubriaco e io
il mio cavallo mi prenderà il cavallo
a casa ma se voglio andare al galoppo
posso fare la spiaggia che posso iniziare
non conoscendo molto bene il cavallo
il cavallo non mi conosce molto bene e poi
col passare del tempo entrambi impariamo a vicenda
quindi c’è un tipo completamente diverso di
relazione e possiamo pensare come a
visione per il futuro, ecco dove sono io
penso che stiamo andando, ma voglio andare bene
mi permetta così ho sentito tutta questa roba su
carrelli auto-guida come se fosse l’ unico
futuro che abbiamo nel trasporto
ma nessuno sta per comprare un
Ferrari che guida da solo, ma non solo
punto quindi se pensiamo alla ricerca in
informatica abbiamo tre di base
tipi di ricerca rispetto a come noi
interagire con i computer è il primo
quella che viene chiamata interazione uomo-computer
che è principalmente il mio campo e qui noi
pensa al computer come strumento e
l’obiettivo è come potenziare gli utenti come consentire
le persone fanno le cose meglio all’inizio
giorni era
come renderli più efficienti ora
stiamo pensando a come costruirli
più creativo o aiutandoli ad essere
creativo e fai cose nuove di cui c’è
Ovviamente AI e questa è l’idea di
computer come un servitore che va e
delegati deleghiamo compiti e loro
eseguirli per noi e il terzo
che non entrerò molto nei dettagli oggi
ma l’idea è che è un mezzo così sociale
media Skype tutto ciò che è distribuito
comunicazione è un mezzo per
comunicazione tra e tra le persone
quindi se prendiamo prospettiva Nai a
tradizionalmente la prospettiva degli occhi c’è
questo discorso dell’umano nel ciclo e
quando parlo con i miei colleghi di IA
stanno dicendo molto bene con orgoglio noi
pensiamo davvero all’essere umano
noi facciamo solo il modo in cui pensano al
l’essere umano è come input per il loro
algoritmo e in realtà non lo fanno
misurare l’impatto sull’essere umano
semplicemente misurare l’impatto sulla
algoritmo e se il mio algoritmo è più veloce
e più efficiente del tuo io
Ho pubblicato il documento e vinco tutto bene
ora che porta a molto di questo otteniamo a
molti sistemi là fuori che sono
estremamente difficile da usare o per le persone
davvero noioso o davvero ingombrante e
rallentano le persone ed è perché
non stiamo pensando a come potenziare
l’utente che stiamo pensando a come ottenere
un algoritmo migliore, quindi dobbiamo fare entrambe le cose
dobbiamo pensare a ciò che chiamo
computer nel ciclo in cui l’ algoritmo
viene inserito per informare l’utente e quindi
entrambi gli algoritmi possono imparare e adattarsi
per l’utente ma l’utente può imparare e
adattarsi al sistema, quindi ciò che vogliamo è
non solo per creare modelli di utenti ma
anche creare modelli del sistema e
rappresentarli in un modo che abbia un senso
agli esseri umani, quindi vogliamo aumentare
capacità umane come strumento e vogliamo
il computer come un servitore da subentrare
i nostri compiti indesiderabili e ingombranti, ma
in qualche modo mantenere l’utente in controllo di ciò
processo e questa è la sfida principale
Pensa per AI in questi giorni, va bene
quindi se pensiamo di progettare un
interattivo
a cui un essere umano utilizzerà
realizzare qualcosa forse un creativo
compito l’idea è che ti piacerebbe
per essere il caso che le cose semplici sono
cose semplici e complesse sono possibili
quindi abbiamo questa piccola curva dove
il punto zero non è molto semplice e
un po ‘più semplice o poco potere
espressione più potere di espressione e
normalmente siamo in una fondamentale
trade-off quindi se voglio un molto semplice
strumento per l’editing del testo Posso usare TextEdit
giusto ma non fa molto o io
non potevo andare a InDesign e fa tutto
tipi di conflitti che pubblicano le cose per
me ma è all’altro punto della
curva e mi ci vuole un sacco di tempo e
energia per imparare così come ricercatori noi
vedere il nostro problema è come bilanciare
questo potere di espressione con semplicità
di esecuzione dal punto di utenti di
vista e la chiave è che non lo siamo
cercando di muovere su e giù su quella curva
stiamo provando a creare sistemi che
in realtà spostare quella curva non abbiamo mai
allontanarsi dal trade-off ma possiamo farlo
prendere cose che sono già potenti
e renderli più semplici e possiamo prendere
cose che sono semplici e le fanno
più potente va bene e dovrò
mostrarti alcuni esempi ma prima di farlo
voglio solo dire che noi come oratore
prima stava dicendo che prendiamo in prestito dal
mondo reale il mondo fisico e così abbiamo
guarda come gli esseri umani usano il fisico
strumenti e diciamo bene che possiamo creare
cose come un martello qui e ha
varie proprietà che mi permette di
martella un chiodo e li usiamo così come sono
dovrebbe essere usato quindi impariamo come
usali alla grande ma anche noi improvvisiamo
se non mi capita di avere un martello e io
vedere una scarpa che ha l’appropriato
proprietà posso usare che invece e
perché capisco il fisico
proprietà come essere umano che capisco
quelle capacità in questi oggetti I
può usarli ora anche ciò che è interessante
è che posso improvvisare nell’altro modo
Posso trasformare questo strumento in questo martello e
trattalo come un oggetto che posso trattarlo
qui come un diverso tipo di strumento uno strumento
per misurare bene ha un’altezza
e voglio usare quella proprietà così
la domanda è
perché latte sì e possiamo anche usare le cose
in modi molto diversi mi piace questo
perché è multiplo sarebbe in realtà
non essere un pessimo tagliere e un iPad
semplicemente non funzionerebbe molto bene è un
iPad per molto tempo comunque così abbiamo
questi strumenti fisici e noi appropriati
loro e siamo in una situazione in cui nessuno
l’oggetto può diventare uno strumento e qualsiasi
strumento potrebbe risolvere più problemi
quindi abbiamo solo una serie di cose
può fare con le bacchette non solo mangiare ma
legare indietro i capelli utilizzarlo come un tamburo marca
un enorme modello di Chuck a Jackie Chan e
la domanda è: perché il nostro software è così
fragile perché è solo quello
progettato per fare la cosa che il
programmatore ha deciso di farlo fare e non
hanno questa flessibilità e flessibilità
che entriamo nel mondo fisico bene
se guardiamo alla storia di dove siamo
i sistemi informatici oggi vengono da noi
che l’interfaccia grafica utente sia
La GUI è stata progettata da Xerox negli anni ’70
e lei è l’epitome del bersaglio
pubblico lei è qualcuno che è alto
abbastanza nella gerarchia che lei è
ha la sua tecnologia ma il suo compito è farlo
copiare le cose che l’obiettivo del suo compito è quello di
fare le cose in modo più efficiente
motivo per cui tutti voi lavorate con i documenti
cartelle di file taglia e incolla i bidoni della spazzatura
quelle sono tutte metafore che vengono da
il suo lavoro negli anni ’70 e quindi se guardi
a quello che è successo è questo
concentrarsi sugli strumenti, sull’efficienza e sul fare
quella attività più veloce ma non la composizione
non la creazione non sta cercando di fare qualcosa
nuovo modo se si guarda dove siamo sulla
desktop non è cambiato molto è
molto più colorato te lo darò
in realtà è più ingombrante che ci sia
cose nella star di Xerox degli anni ’70
che sono più potenti e più coerenti
di quello che abbiamo nel tuo tradizionale
del desktop
è Apple o PC o anche Linux o UNIX
sistema in modo da spostare la mia attenzione a destra
verso il basso e ti danno un set di molto semplice
esempi di come puoi ripensare la strada
tu interagisci con il tuo telefono e io no
avere il mio telefono in mano sì normalmente io
avere il mio telefono immagina di avere un telefono tutto
di te hai un telefono tutto te e te
tutti usano questo tipo di interfaccia proprio tu
avere i pulsanti hai tutti i menu a tendina
adesso se ci pensi come a
strumento come un pezzo di hardware è
straordinario quel pezzo di tecnologia
è molto più potente che li metti di
cosa ha messo un uomo sulla luna ed è dentro
la tua tasca ha una bella
display ad alta risoluzione il suo tocco
sensibile che può rilevare
accelerazione e movimento ha a
fotocamera incredibile pezzo di hardware anche
le tue mani sono incredibili
giusto puoi fare ogni genere di cose
con le tue mani
sono molto abili e come stai
interagire con il telefono che si utilizza
ogni giorno per ore ogni giorno che tocchi
ti trascini, fai scorrere e pizzichi e
questo è tutto
quindi abbiamo preso questo incredibilmente potente
opporsi a una caduta incredibilmente abile
mani e cervello e così via e abbiamo
fatto questo collo di bottiglia con questo
interazione molto limitata tra
due pensano a come interagiamo
mondo fisico il tipo di strumenti il
tipi di cose che possiamo fare giocando a
quelli che scolpiscono il violino sono tutti
cose in cui abbiamo la capacità di
impara e migliora nel tempo
ogni mattina mi siedo sulla metropolitana mentre vado
nel mondo del lavoro e vedo tutti sono circa
tre quarti delle persone intorno a me
stanno facendo qualcosa sul loro telefono loro
passare ore al telefono, immagina se tu
trascorso tanto tempo a imparare ma solo
praticando il pianoforte come fai tu
telefono non sono sicuro che tu possa essere
ylang-ylang
ma tu avresti un
Mantiene il livello di abilità che tu non hai
abbiamo il problema che abbiamo adesso
i telefoni è che non migliorerai
interfaccia è fondamentalmente si limita
non posso crescere con esso non è un
partnership quindi quello che vogliamo è essere
in grado di pensare a come facciamo
qualcosa che mantiene semplice la sua
semplicità in modo che tutti nel
il pubblico in generale può usarlo ma anche farlo
uno spostamento del soffitto più alto verso l’alto
maggiore potere di espressione così uno
soluzione a questo e ci sono un numero
di cose diverse che possiamo fare sono solo
dando un esempio che è una specie di a
serie coerente di cose ma possiamo usare
gesti i comandi più vaghi quindi se ho il mio
telefono in mano posso fare un gesto io
ho memoria motoria ho la propriocezione
se ho un comando che mi consente di farlo
qualcosa che voglio fare io posso solo farlo
con il mio pollice senza guardare nel
oscuro sei tutto lì dentro che non hai
a guardare il telefono e si può toccare
fallo giusto così che i gesti ci danno un
sacco di benefici che non abbiamo diritto
ora così perché non abbiamo un gesto complesso
Interazione basata sul telefono bene il
il problema è che devi imparare così
sappiamo che sono là fuori ma noi
bisogno di essere in grado di scoprire quelle cose
abbiamo bisogno di scoprire quei gesti cosa
hanno bisogno che vogliamo anche essere in grado di
appropriato ed esprimere le cose ma
Ci arriverò tra un minuto
comunque le persone si adattano alla tecnologia
Mi sono spostato su un argomento diverso qui
quindi l’idea di un computer umano
la partnership è ciò che chiamiamo Co
sistema adattivo questo è un altro termine
che è mutuato dalla biologia e dal
l’idea inizialmente è che se guardi
evoluzione nel corso dei millenni non lo è
il caso in cui l’ambiente è statico
Infatti gli organismi nell’ambiente
cambiato radicalmente l’ambiente nel corso
tempo quindi abbiamo iniziato con anaerobico
batteri e quelli generati dall’ossigeno e
dopo un po ‘c’era abbastanza ossigeno
altri batteri erano in grado di
evoluto che lo trattava come input e
allora hai iniziato a ricevere molto di più
ambiente complesso nel tempo e così
succede anche a un livello molto piccolo
per esempio nella Londra industriale sono
un mucchio di falene che potrebbero essere una specie di
nero bianco grigio qualunque sia stato ottenuto da Londra
più scuro e grigioso e sudicio
quelli bianchi sono scomparsi e il
quelli grigio scuro erano dappertutto e poi
quando pulivano la città, il bianco
quelli sono tornati quindi si stanno adattando
l’ambiente quindi c’è tutto questo
nozione di adattamento in entrambe le direzioni
entrambi abbiamo adattiamo all’ambiente che
siamo dentro ma lo cambiamo attivamente e
lo trattiamo come un ambiente per il futuro
interazione quindi se torno al mio
comandi basati sui gesti, ad esempio la chiave
la sfida è come imparo questi
gesti come faccio a sapere cosa questo gesto
i mezzi non sono che li dimenticherò
bene quello che vogliamo è qualcosa in cui un
esperto esegue solo il gesto senza
essendo rallentati, lo fanno solo così
questo è il nostro potere di espressione. Ho un
ampia varietà di diversi gesti e
un esperto può farlo solo ma cosa
succede se sono un novizio cosa faccio
bene, scopro che faccio qualcosa che è
molto facile da individuare che è quello che io
esita tutto bene, pausa e in quello
caso creiamo ciò che è chiamato dinamico
guida questo ci dà ciò che chiamiamo
feed-forward progressivo quindi non solo fare
diamo feedback su ciò che è stato
riconosciuto dal sistema e cosa ho fatto
fare come utente ma ho anche io
feed-forward che è ciò che sono i miei
opzioni ora e così in questo caso vedi
quello nel novizio che si ferma al
l’inizio del gesto può avere un taglio
comando un comando copia e un incolla
comando se l’utente si ferma a metà
attraverso il comando incolla è andato via
ma il comando di taglio rimane e la copia
comando rimane notare che il taglio
il comando è un po ‘più sottile
dice
un po ‘meno probabile che venga riconosciuto da
il sistema, quindi quello che stiamo facendo è che lo siamo
informare l’utente di alcuni abbastanza complessi
roba su quello che sta succedendo nel
algoritmo che riconosce loro
gesti ma in un modo che rende totale
e senso per l’utente è nel
termini degli utenti, quindi vediamo cosa sembra
come oh si
va bene così progressivo feed-forward
ci dice quali gesti sono disponibili
e feedback ciò che è già stato
riconosciuto quindi lascia che ti mostri il video
e spero che andiamo così ora siamo
andando a fare il comando di aiuto che è un
punto interrogativo e così abbiamo questo andare
qui e riprova qui e guarda
c’è un numero di percorsi diversi e
poi scompaiono progressivamente noi
avere la modalità novizio dove mostriamo
tutto ciò che ha problemi con
sovraccarico qui intermedio che ottieni
le estremità e poi, naturalmente, come un esperto
lo fai e basta e va avanti
eccoci
ora prima ti ho mostrato alcuni esempi
di persone che si appropriano di strumenti in modo da prendere
le bacchette e usandole come
bacchette o una scarpa e usandolo come a
martello quindi cosa significherebbe iniziare
farlo in questo tipo di ambiente
bene una delle prime cose che ti piacerebbe
per essere in grado di fare è creare il proprio
comandi così abbiamo qualcosa che chiamiamo
la parola di campo che è un feed-forward
tecnica e se ci pensi se
Ho intenzione di fare un comando che aggiungo così
Diciamo che chiamo mia madre ogni giorno e che voglio
essere in grado di farlo sul mio telefono
senza guardarlo voglio avere un
gesto facile per me da ricordare
e allo stesso tempo facile per il sistema
per riconoscerlo deve essere univoco
comando che deve essere un comando che
non è confuso con altri comandi così
Come comunichiamo che per l’utente
beh, abbiamo un sistema molto semplice chiamato
Field Ward l’idea è che abbiamo un
campo che varia tra il rosso e il blu
se faccio un gesto e finisce in rosso
zona che significa che il gesto già
esiste
quindi è davvero interessante perché
mi dice molte cose qui una
meglio continuare a muoverti o provare un altro
gesto perché questo è già
riconosciuto e in secondo luogo mi dice che
quel gesto esiste nel set di comandi
la seconda cosa che faccio è ok se finisce
in una zona blu, allora sarà
riconosciuto che è molto semplice lasciami
mostrarti come funziona ok, eccolo qui
registrando un comando per impostare il timer che è
digitato in un timer impostato e ora lui è
disegnandolo dico che voglio un pareggio, sì, no
bisogno del suono tranne che alla fine
ok ora sta facendo il gesto è finito in
rosso perché lo avevamo già definito e
ora se ne va e continua così
l’idea è che abbiamo questo molto molto
modo semplice di comunicare all’utente
cosa sta succedendo sotto il cofano con il
algoritmo e lasciandoli creare il proprio
possedere cose che hanno senso per loro
utenti dal lato software non ho bisogno
per sapere cosa sta succedendo negli utenti
non ho bisogno di sapere perché pensano
questo è un buon gesto da ricordare
per quel timer tutto quello che devo sapere è
che è unico e che hanno scelto
quindi lasciami andare di nuovo qui andiamo ora
Diciamo che abbiamo il sistema dove siamo
può effettivamente creare i nostri comandi e
possiamo capire quali sono
disponibile o non ora quello che vogliamo fare
è essere in grado di avere un molto più grande
potere di espressione dal cellulare
per farlo dobbiamo avere accesso a
comandi sospetto che la maggior parte di voi abbia
lavorato con le interfacce della riga di comando
quindi la domanda è: come si ottiene?
CLI in modo semplice
al telefono senza perdere tutto il
semplicità che abbiamo attualmente così noi
avere qualcosa che chiamiamo comandi
consiglio e qui l’idea è che noi usiamo
qualcosa chiamato gesti di gesti che io
penso che spiegherò di più ma e l’idea
è che prendiamo lo spazio sopra il
tastiera una tastiera morbida che può andare
ovunque e invece di averlo essere a
spazio morto a solo un’uscita
lo spazio lo rendiamo uno spazio di input secondario
e così trasformiamo la tastiera morbida
in un ambiente in cui possiamo rilasciare
comandi al telefono e poi attivamente
interagire con loro quindi lascia che ti mostri
questo qui va bene così lascia che lo rompa
giù così scrivo la parola doodle e poi
Eseguo oops perché continua così
voglio che si fermi tutto bene
scusate mi va bene mi limiterò a vedere se
Posso fermarlo lì
va bene, immagina di aver digitato
la parola doodle e vado ad eseguire quello è
tutti i comandi disponibili su
telefono Potrei semplicemente digitare il nome e andare
eseguire che è più veloce di andare e
cercando di capire quale set di menu
si nasconde e passa attraverso e tira
giù il menu e la gerarchia e così via
Voglio dire basta digitare e andare e solo
come se ci fosse una barra di ricerca per parole noi
avere una barra dei comandi quindi è molto di più
limitato uno e nel particolare
contesto in cui sono dentro c’è un insieme limitato di
comandi in modo da poter iniziare a digitare la parola
si riempie e mi dà i suggerimenti
del probabile comando una volta ottenuto quello che ho
volere
Eseguo tutto adesso, ne hai visto un po ‘
altre cose mi dispiace questo sta facendo il
video completi ogni volta quindi eccoci qui
Doodle esegui e ora pensi che mi manchi
tu ed ora lui è nella modalità doodle e
disegnare la prossima cosa che facciamo è che abbiamo
un menu parametrizzato che appare questo
è frustrante okay che lancia doodle
vedi se riesco a fare questo sì, siamo solo
facendo tutto bene ci andiamo non lo so
come mettere in pausa forse posso fermarmi e io
pausa tutto bene lo farò così eccoci qui
avere il polpo della guida dinamica
che hai visto prima ma integrato così se
Io non sono del tutto sicuro di tutto il
parametri associati al
comando posso salire e scegliere quelli che
può anche trovare un comando in questo modo e
Posso anche trovare degli scacchi diretti
dove faccio il comando dal comando
bordo e proprio mentre stavo parlando in
lo spazio generale che possiamo fare da
il pannello di comando va bene, quindi va bene
quindi questo sta scoprendo il barrato
comando ho dormito durante la conferenza sì
ho deciso di non farlo e quindi ho amato
la lezione è giusta e quindi vedi cosa
stiamo facendo è qualcosa in cui siamo solo
avere un integrale nel movimento dal
utente va bene e ci andiamo in qualche modo
questi mi dispiace che tutti i video abbiano
ottenuto il loro sono stati tagliati e
ora non stanno bene quindi se tu
pensare a quello che sta succedendo dal AI
punto di vista l’ apprendimento automatico
l’obiettivo degli algoritmi è classificare il
parola corretta e c’è un tremendo
quantità di sforzo cercando di capire
in base alla tua storia precedente cosa
altre persone hanno fatto crowdsourcing
enormi quantità di dati concentrati su
cercando di capire quale sia la tua prossima parola
sta per essere ed è spesso sbagliato e
hai corretto e su di te vai ok ma il
tutto il modo in cui è inquadrata la domanda è il
l’unico obiettivo è classificare quella parola e io
sosterrebbe che trattando tutto il
variazione umana che si ottiene nel
il gesto è in realtà un peccato , è così
trattati come rumore che buttiamo via così
Ti mostrerò un altro modo di
appropriarsi o essere espressivo con
la tua digitazione così questi stanno usando il
tecnica di battitura a mano tutti questi
sono variazioni della parola grande che puoi
vedere la g ret tutti quei gesti
sono definiti con precisione come grandi che è
straordinario dal punto di vista dell’IA I
pensa ora che la cosa è da un umano
il punto di vista degli esseri sono tutti unici
quindi ogni utente che lo ha ha tutto
che hanno creato spremuto qualcosa
questo è personale e il risultato è uno
parola composta grande
quello potrebbe essere quello che vuoi ma
a volte si desidera avere molto in modo
qui vediamo pepe e pepe
quelli sono tutti uguali e ora quello che noi
facciamo è guardiamo la forma il
caratteristiche di come l’utente disegna
queste cose e le traduciamo in
output espressivo in modo che possiamo cambiare il
colore possiamo cambiare l’espressione
emoji e possiamo fare espressivo
tipografia quindi ecco un esempio che vedi
qualcuno che digita normalmente con le dita
basta digitare qui vai e poi se noi
può generare un testo espressivo che è
colorato qui vedi che sta scrivendo
andiamo al ristorante, penso
sta per dire che sta cambiando il
colore e modifica dello stile del testo
sta parlando con i suoi figli e così lei è
usando un font che è un font per bambini e
lei può farlo sotto il suo controllo così
abbiamo fatto dei test con questo e le persone
può davvero farlo sotto il loro controllo
quindi questo è quello che succede invece di
quello che abbiamo a sinistra è giusto
buttando via la variazione che facciamo
analisi delle caratteristiche e guardiamo al
curviness
la variazione di velocità e le dimensioni e noi
trasforma quell’uso che mappiamo al nostro G
e B nello spazio colore RGB e il
gli utenti possono ora creare qualsiasi colore e loro
può farlo in modo affidabile solo cambiando come
disegnano in modo tale da farti controllare da te
questo e fammi vedere qui, ecco questo
stiamo facendo stiamo lavorando con a
tipografo professionista al momento
e l’ idea è che puoi dinamicamente
cambia la tipografia mentre vai e aggiungi
enfasi e così via nel contesto di
in realtà funziona così ce l’abbiamo
mappato a può essere mappato a un
accelerometro o sei sull’autobus e
è urtando quello che vuoi bene
quindi in questo caso abbiamo avuto questa idea che
ci piacerebbe cambiare il tipo di
rapporto che abbiamo con gli utenti così
che abbiamo avuto più di
capire cosa sta succedendo sul
lato computer e più potenza senza
perdere la semplicità sul lato utente così
ora mi piacerebbe che tutto fosse finito
il telefono ti mostrerò un altro
insieme di questi tipi di principi di
rilevabilità, ilicità e
espressività ma applicata in modo molto
area diversa, quindi abbiamo lavorato
con ciò che chiamiamo carta interattiva e
abbiamo lavorato molto con i musicisti
all’AirCam di Parigi se sai che è un
Contemporary Music Center e questo è
che musicisti fanno non solo io
i compositori medi mi scusano, non solo
scrivere note su un punteggio che in realtà
creare i propri stili di pensiero
su cosa dovrebbe essere la musica loro
creare le proprie lingue e cosa
succede quando devono metterlo dentro
il sistema informatico è che devono farlo
traduci questo unique unico creativo
modo di pensare della persona in patch e
musica aperta o vari altri tipi di
sistemi computazionali, quindi cosa siamo
fare è che stiamo prendendo creativo
professionisti e trasformandoli in
dispositivi di input per software complessi e
sembra che la sfida per noi sia
come facciamo a fare loro il tipo di
espressione creativa che vogliono fare
e ancora ottenere i benefici di a
sistema computazionale e cosa c’è
particolarmente sorprendente di loro dovrei
Dì solo che lavoriamo molto con il nostro
utenti reali, quindi entriamo e noi
intervistali li osserviamo che facciamo
ciò che viene chiamato design partecipativo
workshop con loro e uno dei
le cose che vediamo è immaginare che ce ne siano 30
diversi compositori e trovi il
strumento perfetto per uno di loro il prossimo
uno seduto accanto a lui non lo userà
perché ogni persona deve essere unica
devono avere il loro modo speciale
di pensare alla loro composizione
pratica e se ci pensate come
abbiamo visto cose che c’erano persone che
disegnerebbe le linee e poi le traccerà
linee organiche e tagliarle e quelle
sarebbe determinare il ritmo o lui
usato un quadrato magico
e calcolato le cose da quell’altro
uno aveva lo stesso paragrafo di Goethe
e lo ha usato per 20 anni come un
ispirazione per le sue composizioni un altro
uno guarda le forme delle lettere
e lo trasforma in musica, quindi c’è tutto
di queste diverse cose come fai tu
creare uno strumento che sta andando a lavorare per
tutte queste persone diverse e si
non pensare ai meccanismi di
traducendo ciò che fanno in a
sistema computazionale a cui pensi
creando un ambiente vicino
quello che vogliono già usare quale è
penna su carta e disegno e poi
trasformando in qualcosa che
si può utilizzare bene così una cosa che
abbiamo fatto un esempio c’è un intero
serie di cose ma sto solo facendo un
versione breve di questo
Oya ha qualcosa chiamato ton , è e
una tonnellata è un modo di analizzare il
relazioni tra diversi passi o
toni in forma esagonale a
Piazza bidimensionale e poi puoi
collega bene per il quale è stato usato
secoli davvero da analizzare
musica che analizza Beethoven o Bach e
guardando i modelli che hanno
e compensandoli così è stato usato come un
strumento analitico e poi un compositore a
AirCam ha deciso di usarlo come un
strumento di composizione e quindi quello che abbiamo fatto è stato
abbiamo creato un documento che chiamiamo a
substrato che puoi disegnare in questo
spazio e generare link musicale legarlo
in un sistema chiamato open music che
loro si sono sviluppati là così ecco un
esempio ora ho bisogno di audio okay
ognuno di questi avvisi dice C minore
melodia su cui puoi mettere diverse scale
diverse chiavi differenti strumenti
e persiste quindi è qualcosa che io
potrebbe usare e riprodurre ora quello che sta andando
fare è lavorare con più multipli
tonifica insieme in modo che diventi un campo
va bene e ora graficamente alcuni di
questi hanno lo stesso schema visivo e
puoi compensarli in posti diversi
e questo tornerà di nuovo qui
sta cercando un altro posto e lui
può ottenere
giusto e nel disegno ha i tempi
con esso ma puoi regolare i tempi
quello che sta facendo in questo momento sta esplorando
questo spazio di come vuole farlo
e quindi in pratica puoi assemblare questo
i pezzi qui e questo tra l’altro è
in una penna di odo non so se lo sei
familiarità con esso, ma c’è un punto
modello che dà un insieme unico di punti
sulla carta è sufficiente stamparlo con una
stampante e poi nella penna c’è a
macchina fotografica adolescente e un piccolo schermo e tu
puoi incorporare puoi catturare ogni gesto
da quella penna con i tempi e così via
ora sentiremo che penso così
è stato effettivamente fatto da un compositore che era
spiegando questo esplorando questo il se
lo dai ai bambini che scrivono loro
nome e ascoltare ciò che il loro nome suona
come e se lo dai al professionista
i musicisti lo esplorano così ha questo
meravigliosa semplicità d’uso dal
iniziale cosa è successo qui andiamo a
estremo potere espressivo ecco
un altro che mi piace è probabilmente
il più semplice bit di programmazione che tu
può fare fondamentalmente c’è di nuovo la penna
la penna ánotá che disegni non è al 100%
preciso in termini di riconoscimento, così è
molto facile riconoscere che tracciare una linea
ci si fa un nodo e poi si applica
una funzione dalla penna e tu puoi
interagire ora o dopo
quindi ecco un esempio che puoi definire
relazioni matematiche
Posso disegnare una serie di numeri possibile
riconoscere i numeri che posso disegnarne un altro
linea dire calcolarlo e così via lo farò
mostraci un altro esempio che possiamo disegnare a
linea con un non scegliere fare registrazione
questa una registrazione qui e quindi identificare
l’inizio della registrazione alla fine e
allora puoi strofinare avanti e indietro e
riproduci la registrazione quindi immagina di essere
prendendo appunti su carta e puoi
ascolta il suono della conferenza o della musica o
qualunque cosa tu voglia e questo dovrebbe essere
Sapevo che avrebbe giocato lì andiamo qui
sta facendo un po ‘penso che stia facendo sì
sta scegliendo radici quadrate no, lui è
scegliendo il segno disegnando una linea aggiungendo a
punti e poi ne sta facendo un altro così
fondamentalmente sei solo tu hai un te
avere un insieme di funzioni che sono
scaricato nella penna e poi c’è
una connessione Bluetooth al computer
così puoi avere certe cose in
la penna e altre cose che sono fatte
a distanza e qui cosa sta facendo
è il calcolo, quindi basta toccarlo
lo scrivi e lui vede nel
scherma la risposta in modo che stia creando il suo
possiedi uno spazio dinamico per interagire bene io
penso che continuerò ad andare qui ora c’è
un’altra cosa che è come si crea
output espressivo quindi qui abbiamo a
progetto davvero interessante fatto con
Filip Leu chi è famoso in tutto il mondo
coreografo
giusto non compositore di coreografie e
sta lavorando con spartiti musicali come
questi sono del 13 ° secolo e
è interessante guardarli perché
sono prima che i punteggi fossero stati
standardizzato con le solite note che
vediamo e e i pesi standard così
se vedi queste piccole bandiere su ognuna
nota che è una forma di espressione che è
come si suppone per giocare quella nota in modo
in questo caso qui è un po ‘ suppongo
cosa dinamica e poi altri quelli
non c’è alcuna espressione che può anche essere
corto e mosso così che cosa voleva fare
è usare questo come ispirazione per un moderno
composizione e quindi ha lavorato con uno di
i miei studenti universitari Jeremy Garcia e
mettiamo insieme un sistema dove prendi
una copia del punteggio e poi hai
questa una piccola penna e ti attiri
elementi dello spartito che ti piacciono
note e così via e di nuovo come abbiamo visto
prima di poter catturare un sacco di cose diverse
cose sul movimento umano che possiamo
catturare la velocità della velocità
crea la forma e mappala
caratteristiche diverse nella composizione così
questa è la musica e l’umanità se si interrompe
non conosci la guerra sociale su di te
non completamente fanno concludere onyx è
che altrimenti non lo si beve
quindi stiamo tracciando l’originale
manoscritti qui e che appare nel
forma elettronica utilizzando il software per
registrare le informazioni che descrivono il
natura del gesto questa è musica aperta
e così è inviato al programma questi
sono patch e musica aperta e tu puoi
vederlo interpreta la forma del
gesti per lo schermo del menu mesh akiko a
piccola città, Ramallah, così lo spettacolo di matematica è il
nome del compositore originale
c’è la traiettoria live Wow
così da gradi C quella forma è la
forma che è stata disegnata qui e poi la sua
l’originalità è arrivata per non farlo
stagione con il tuo cellulare Gaeta
la febbre infettiva è quella più liquida
pure
[Musica]
[Applausi]
[Musica]
ora immagino che il punteggio originale
non sembrava così ma è così
interessante come dispositivo questo tipo di
infinita ingenuità umana in termini di come
creano e reinterpretano
informazioni che ottengono e poi
creare qualcosa di nuovo e ed ed esprimere
esprimersi così la domanda per
lui non era un assistente musicale
chi può programmare le cose direttamente in
musica aperta che non programma affatto
se stesso, ma ha la capacità di disegnare
e interagire con la carta e fare scelte
su come viene interpretato e
diversi modi di mettere insieme
divenne uno strumento molto potente per lui come a
composizione come compositore quindi è uno
ultima diapositiva in modo sostanzialmente la mia tesi di
in particolare quelli di voi che sono
la tecnologia di costruzione è non dimenticare il
ruolo dell’utente umano in quel ciclo
l’utente non è solo un input per un algoritmo
ma piuttosto la persona che dovrebbe essere dentro
controllo e dovresti essere rivelatore
cosa sta succedendo in modi non necessariamente
spiegandolo in termini tecnici ma
rivelando cosa sta succedendo in modi simili
l’utente può reagire e utilizzare
produttivamente per creare ciò che vogliono
facciamo così vogliamo potenziare gli utenti che vogliamo
per non frustrarli e sicuramente
non voglio sostituirli, quindi mi fermerò
lì e chiedere domande grazie
[Applausi]
Please follow and like us: