Device Art: zašto je doktor elektrotehnike pokrenuo umjetnički pravac?
Sažetak
Ovaj esej predstavlja projekt čiji je cilj bio razviti sučelja za utjelovljena podražaje koji uključuju taktilna iskustva putem prstiju ruku, osjećaj za pokret i ravnotežu. Poznato je da je osjetilo dodira neophodno za razumijevanje stvarnosti. U posljednjem su se desetljeću dogodili značajni pomaci u razvoju taktilnih sučelja. Međutim, metode njihove primjene još su uvijek metode pokušaja i promašaja. U usporedbi s vizualnim i auditivnim sučeljima, taktilna su se sučelja znatno manje upotrebljavala u svakodnevnom životu. Kako bismo prevladali ovu ograničenost, izlagali smo sučelja kao umjetnička djela. Umjetnička su djela izložena javnosti i tako otvorena prosudbi različitih ljudi. Upravo to je učinkovit način za usavršavanje interaktivnih tehnologija. Ova je umjetnička aktivnost rezultat nacionalnog projekta „Ekspresivna znanost i tehnologija za Device Art“ kojeg financira japanska Agencija za znanost i tehnologiju.
Uvod – Zašto umjetnost?
Svima je poznato da je dodir nužan za razumijevanje svijeta oko nas. Često se raspravljalo o upotrebi povratne fizičke informacije kako bi se poboljšala interakcija između kompjutera i ljudi. Uređaji osjetljivi na dodir daju povratnu fizičku informaciju koju stvaraju osjetila na koži i u mišićima, uključujući i osjećaj dodira, težine i čvrstoće. U usporedbi s vizualnim i auditivnim podražajima, osjećaj dodira je izrazito teško umjetno proizvesti. Naime, vizualne i slušne podražaje prikupljaju specijalizirani organi, oči i uši dok dodir, s druge strane, možemo osjetiti bilo kojim dijelom ljudskog tijela i zato ga je teško razdvojiti od stvarnog fizičkog dodira. Te činjenice predstavljaju problem pri razvijanju uređaja osjetljivih na dodir.
Od 1986. razvijamo razne uređaje osjetljive na dodir. Kroz istraživanja smo otkrili da njihovo djelovanje ne možemo u dovoljnoj mjeri predstaviti pisanjem članaka. Stoga smo se od 1990. posvetili praktičnim demonstracijama. Takve su demonstracije, na koje se prijavljuju zemlje iz cijelog svijeta, pokrenute na SIGGRAPH-u 1994. godine. Naše prijave su prihvaćene rekordnih 14 godina za redom.
Tijekom tih demonstracija priupitali smo se postoji li način da proširimo svoj rad i nadiđemo svijet akademskih susreta. Tada smo otkrili prezentaciju putem umjetnosti. Postoji interaktivna umjetnička kategorija pri Ars Electronici, najpoznatijem festivalu medijske umjetnosti, gdje smo osvojili nagradu za našu prvu prijavu. To je bila odskočna daska za daljnje umjetničke aktivnosti. Umjetnička djela su predstavljena javnosti i različiti ih ljudi ocjenjuju. Upravo to je djelotvoran način za unapređivanje interaktivnih tehnologija.
Vrste osjetila i sučelja
Osjetila su razvrstana u sedam kategorija. Tablica 1 prikazuje te vrste, njihove uloge i postojeća, odgovarajuća im sučelja. Vid, sluh, njuh, ravnoteža i okus prikupljaju specijalizirani organi osjeta; oko, uho, nos, polukružni kanalići, jezik.
Osjetilo dodira sačinjavaju propriocepcije i osjetila na koži. Propriocepciju nadopunjavaju mehanoreceptori kostiju i mišića. Postoje tri vrste završetaka na receptorima: fini živčani završeci te Ruffinijevi i Pacinianijevi završeci. Ruffinijevi završeci osjećaju statičku silu. S druge strane, Pacinijevi završeci mjere ubrzanje nagiba zgloba. Ovi receptori registriraju položaj i kretanje ljudskog tijela. Osjećaj za silu nastaje u mehanoreceptorima mišića, mišićnim vlaknima i Golgijevim tijelima. Ovi receptori registriraju dodirne sile koje uzrokuju zapreke u našem okruženju.
Osjetilo dodira postiže se mehanoreceptorima i termoreceptorima u koži. Mehanoreceptori kože dijele se na četiri tipa: Merkelove pločice, Ruffinijevi završeci, Meissnerovi završeci i Pacinianijevi završeci. Ovi receptori registriraju rub predmeta, rastezanje kože, brzinu i vibraciju.
Osim vestibularnog osjetila, ubrzanje također stvara pritisak na cijelo tijelo. Stoga je povezano s propriocepcijom. Okus se ne stvara smo putem kemijskih receptora na jeziku. Stvaraju ga i tekstura hrane ili vibracije tijekom žvakanja. Stoga su propriocepcija, osjet putem kože, okus i vestibularno osjetilo povezani s aktivnošću ljudskog tijela. To nazivamo „utjelovljenim osjetilima“. Uređajna su sučelja za ove vrste osjetila u razvojnim stadijima. Naše se istraživanje bavi novim uređajima sučelja za utjelovljena osjetila.
Haptička sučelja upravljana prstom ili rukom
- Stolni uređaj za doživljaj sile
Istraživanje uređaja osjetljivih na dodir započeli smo 1986. godine. Prvi korak je bio upotreba egzoskeletona. Na području istraživanja robotike, egzoskeletoni su često korišteni kao glavni manipulatori za teleoperacije. Sustav virtualne stvarnosti osamdesetih godina upotrebljavao je standardne, glavne manipulatore. Međutim, većina glavnih manipulatora podrazumijeva korištenje velike količine hardvera pa su vrlo skupi, što ograničava njihovu upotrebu. Stoga smo predložili koncept-ekran osjetljiv na silu. Prvi je prototip razvijen još 1989. godine. Uređaj je kompaktni egzoskeleton koji se koristi putem kompjutera. Danas komercijalna haptička sučelja poput PHANToM-a, imaju kompjutersku konfiguraciju.
FEELEX
Predstavili smo uređaj osjetljiv na dodir većem broju ljudi i pritom smo otkrili da neki od njih nisu uspjeli u potpunosti doživjeti virtualne predmete putem umjetno stvorenog osjetila dodira. Čini se kako postoje dva razloga za taj fenomen. Prvo, ti uređaji omogućuju korisnicima da dodiruju virtualni predmet na jednoj dodirnoj točki ili skupini dodirnih točaka. Te točke često nisu prostorno kontinuirane zbog hardverske konfiguracije uređaja osjetljivog na dodir. Korisnik osjeća povratnu silu kroz dršku ili naprstak. Egzoskeletoni pružaju više kontaktnih točaka. One su ostvarene putem traka pričvršćenih 'čičcima' na korisnikove prste, što opet nije kontinuirano. Stoga ti uređaji ne mogu stvoriti posve prirodnu interakciju nalik ručnom manipuliranju predmetom u stvarnom svijetu.
Drugi razlog zbog kojeg korisnici nisu uspjeli doživjeti osjet povezan je s kombinacijom vizualnih i dodirnih osjetila. Vizualna slika je obično kombinirana s uređajem osjetljivim na dodir putem standardnog monitora ili projektora. Stoga korisnik prima vizualnu i dodirnu senzaciju kroz različite izvore pa ta dva osjetila treba dodatno integrirati u njihovom mozgu. Neki korisnici, pogotovo stariji ljudi, imaju poteškoća s tim integracijskim procesom.
S obzirom na te probleme, razvili smo novu konfiguraciju vizualno / taktilnog sučelja. Uređaj se sastoji od fleksibilnog zaslona, niza aktivatora i projektora. Aktivatori deformiraju fleksibilni zaslon kako bi simulirali oblik virtualnih predmeta. Slika virtualnog predmeta projicirana je na površinu fleksibilnog zaslona. Deformacija zaslona pretvara dvodimenzionalnu sliku iz projektora u čvrstu projekciju. Takva konfiguracija omogućava korisniku da direktno dotakne sliku bilo kojim dijelom ruke. Aktivatori su opremljeni senzorima za silu koji mjere količinu sile koju korisnik upotrijebi. Čvrstoća virtualnog predmeta određena je odnosom između izmjerene sile i pozicijom predmeta na zaslonu. Ako je virtualni predmet mekan, mala količina upotrijebljene sile stvara veliku deformaciju.
Razvili smo virtualnog anomalocarisa kao dio sadržaja FEELEX-a. Anomalocaris je životinja za koju se pretpostavlja da je živjela u kambriju. Slika 1 prikazuje projiciranu sliku anomalocarisa na fleksibilni zaslon. Stvorenje se pomiče ovisno o količini sile koju korisnik upotrijebi. Ako mu korisnik pritisne glavu, stvorenje se naljuti i postane agresivno. Pripremili smo šesnaest uzoraka pokreta od čega četiri predstavljaju ljutnju. Pokret anomalocarisa stvoren je kombinacijom ovih uzoraka. Ovaj je sadržaj 1999.godine izabran za dugoročnu izložbu u centru Ars Electronike (Linz, Austrija).
Uređaj osjetljiv na ravnotežu
Vestibularno osjetilo uglavnom se predstavlja pomoću pokretnih platformi. Pokretna platforma stvara umjetni osjećaj u polukružnim kanalićima i otolitnim organima. Uređaj također ubrzanjem cijelog tijela stvara specifičan osjećaj u mišićima.
Koristili smo pokretne platforme kako bi prikazali osjećaj kretanja. Tipičan sustav jest umjetničko djelo pod nazivom Cross-active System (Prijenosni sustav). To je modificirana virtualna stvarnost u kojoj pokret jednog sudionika stvara povratnu osjetilnu informaciju za drugog sudionika. Sustav se sastoji od pokretne platforme i mikrokamere sa senzorom pokreta. Jedan sudionik sjedi na pokretnoj platformi dok drugi drži mikrokameru. Slika s kamere je projicirana sudioniku na pokretnoj platformi. Pokretna se platforma pokreće prema podacima senzora pokreta u kameri. Stoga i mali pokret mikrokamere uzrokuje veliko pomicanje sudionika na pokretnoj platformi. Ovaj sustav stvara neobičnu komunikaciju između dva sudionika, time što razdvaja osjetilne povratne informacije od samog njihovog pokreta. Ovaj je rad osvojio počasnu nagradu Prix Ars Electronica 1996. godine. Slika 2 prikazuje izložbu na festivalu Ars Electronica.
Uređaj osjetljiv na pokret
Virtualna šetalica
Većinom upotreba virtualnih prostora, poput vježbi ili vizualnih simulacija, zahtijeva dobar osjećaj za pokret. Od 1988. smo razvili nekoliko prototipova sučelja za hodanje. Često se predlagalo da bi najbolji lokomotorni mehanizam za virtualne svjetove bilo hodanje. Poznato je da je osjećaj udaljenosti ili orijentacije prilikom hodanja znatno bolji nego prilikom vožnje. Međutim, proprioceptivna povratna informacija prilikom hodanja nije dostupna u većini aplikacija za virtualne prostore.
Jedna moguća metoda za pokret u virtualnom prostoru jest ručni upravljač. S obzirom na prirodnu interakciju, hodanje je neophodno za pokretanje. Imali smo dva cilja u ovom projektu. Prvi je bio stvoriti osjećaj hodanja dok je položaj hodača isti u stvarnom svijetu. Drugi je cilj bio omogućiti promjenu smjera hodačevih nogu.
Kako bismo ostvarili te funkcije, korisnik Virtualne šetnice je nosio remenje poput padobranca, a na nogama je imao koturaljke koje su omogućavale kretanje u više smjerova. Slika 6 prikazuje izgled tog uređaja. Trup hodača remenjem je fiksiran na okvir sustava. Koturaljke služe kako bi mogao nogama promijeniti smjer. Razvili smo posebne koturaljke koje su imale četiri kotačića koji su omogućavali kretanje u dva smjera. Hodač je slobodno pokretao noge u bilo kojem smjeru, a pokrete je mjerio ultrazvučni detektor udaljenosti. Rezultati tih mjerenja stvarali su sliku virtualnog prostora koji je odgovarao kretanju hodača i koji je bio projiciran na zaslon pričvršćen na njegovu glavu. Smjer kretanja u virtualnom svijetu odlučivao je smjer hodačevih koraka.
Unaprijedili smo remenje i koturaljke Virtualne šetnice i predstavili ga na SIGGRAPH-u 1995.godine (Los Angeles, SAD).
Robot Ploča
Na temelju rezultata našeg istraživanja lokomotornog sučelja, odlučili smo da je beskonačna površina idealna za stvaranje osjećaja hodanja. Godine 2004. predložili smo novi uređaj osjetljiv na pokret kojeg smo nazvali Robot Ploča. Uređaj koristi nekoliko pokretnih ploča kako bi se dobio uređaj osjetljiv na pokret. Svaka je ploča opremljena holonomnim mehanizmom koji omogućuje kretanje u svim smjerovima. Beskonačna površina je simulirana kruženjem pokretnih ploča.
Velika inovacija ovog rada jest nova metoda stvaranja beskonačne podloge. Najjednostavniji način za ostvariti beskonačnu podlogu je upotreba velikog kola kojeg čovjek okreće gaženjem. Međutim, problem s tim kolom jest taj da je vrlo teško ostvariti kretanje u više smjerova. Alternativa su pokretne ploče za svaku nogu koje mogu simulirati kretanje u više smjerova te hodanje po neravnoj površini. Za ovu je metodu potrebna izuzetna preciznost i opreznost kako bi ploča pratila hodača. Robot Ploča nova je metoda koja koristi i prednosti kola kojeg čovjek okreće gaženjem i prednosti pokretnih ploča. Robot Ploča pomoću pokretnih ploča zapravo stvara beskonačnu površinu koja se širi u svim smjerovima. Kombinacija podloga nudi površinu za hodanje, pri čemu onda nije potrebna tolika preciznost.
Senzori pokreta mjere kretanje nogu. Ploče se pomiču suprotno od smjera kretanja hodača, tako da je pokret koraka poništen. Položaj hodača je nepromjenjiv u stvarnom svijetu pomoću ovog kompjuterski upravljanog pomicanja podloga. Kruženje ploča također poništava pomicanje hodača u proizvoljnom smjeru. Stoga hodač slobodno može mijenjati smjer hodanja. Slika 3 prikazuje prototip Robota Ploče.
Uređaji osjetljivi na pokret često zahtijevaju glomazan hardver, budući da trebaju nositi čitavo tijelo korisnika. Takav hardver nije lako podesiti kako bi mu se poboljšalo djelovanje ili kako bi mu se pridodale nove funkcije. Robot Ploča, nasuprot tome, ima hardver čija se veličina može podesiti. Jednostavno ga je instalirati i njegovo se djelovanje može poboljšati nadograđivanjem aktivatora na svaku ploču. Nadalje, on može stvarati i neravne površine pomoću mehanizma za dizanje i spuštanje koji je instaliran na svakoj ploči.
Uređaj za stvaranje virtualne stvarnosti s osjećajem
Zaokruženi pogled
Zaokruženi pogled je sustav prikazivanja za širokokutni kružni zaslon. Krug je idealan oblik zaslona koji obuhvaća vidno polje čovjeka. Udaljenost između očiju i zaslona trebala bi cijelo vrijeme biti jednaka dok gledatelj okreće glavu. Koristimo jedan projektor i konveksno ogledalo kako bi prikazali neprekinutu sliku. Optički sustav koristi dva ogledala: obično i sferno konveksno ogledalo.Sferno konveksno ogledalo raspršuje svjetlost iz projektora na kružni zaslon. Slika u potpunosti okružuje promatrača. Kut gledanja slike mnogo je veći nego kod polukružnog zasloba s lećom u obliku ribljeg oka.Ravno ogledalo zakrivljuje svjetlost tako da gledatelj može vidjeti sliku iz središta kružnog zaslona. Ova optička konfiguracija omogućava širokokutnu neprekidnu sliku u malom prostoru. Vritualni prostori ili polukružni zasloni zahtijevaju velike prostore za instalaciju. Nasuprot tome, Zaokruženi pogled se može postaviti unutar vrlo ograničenog prostora. Nosivi polukružni zaslon je ostvaren pomoću ove tehnologije.
Lebdeće oko
Lebdeće oko je interaktivna instalacija koja odvaja pogled od tijela (Slika 4). Sudionik može vidjeti samo širokokutnu sliku iz zraka, a ne pravu sliku. Širokokutna slika je dobivena putem specijalne kamere koja je pričvršćena na cepelin. Slika je prikazana na nosivom polukružnom zaslonu. Kako bi se ostvario nosivi polukružni zaslon, korištena je tehnologija Zaokruženog pogleda.
Zaokruženi pogled ima prednost da prikaže širokokutni video. Razvili smo kameru s kružnim konveksnim ogledalom. Kamera prima širokokutnu sliku pomoću jedne videokamere koja snima iskrivljenu sliku. Kružno konveksno ogledalo je napravljeno kako bi što više smanjilo iskrivljenost slike na kružnom zaslonu. U instalaciji Lebdeće oko, kamera je pričvršćena na cepelin i opremljena je bežičnim odašiljačem. Stoga je slika odašiljana na nosivi polukružni zaslon.
Kamera je napravljena tako da zabilježi pogled odozgo s neba. Sudionik vidi svoje tijelo na snimci. Ova konfiguracija simulira izvantjelesno iskustvo. Cepelin se može upravljati potezanjem konopa. Sudionik može promatrati sebe i svoje okruženje. Međutim, i najmanji povjetarac može zanjihati cepelin. Stoga je sudionik prisiljen na interakciju s atmosferom. Ova instalacija predstavlja novi oblik samosvijesti i odnosa između ljudi i atmosfere.
Počeci Device Art projekta
Projekt Device Arta financiraju Istraživanja evolucijske znanosti i tehnologije (CREST) pri japanskoj Agenciji za znanost i tehnologiju. Hiroo Iwata vodi projekt, čiji je službeni naziv „Ekspresivna znanost i tehnologija za Device Art“. Naziv i koncept Device Arta razvio se tijekom procesa njegovog nastanka 2004. godine. Cilj ovog projekta je sistematizirati tehnologije Device Arta i ustanoviti razumljive metode za vrednovanje radova. Kako bi postigli taj cilj, stvoren je novi radni program „Gadgetrium“, koji se sastoji od laboratorija, izložbenog i poslovnog prostora. Godine 2008. otvorili smo stalni izložbeni prostor, Galeriju Device Arta, pri Nacionalnom muzeju novih znanosti i inovacija (Miraikan) u Tokiju. Vjerujemo da će tehnologija napredovati i usavršiti se zahvaljujući sudjelovanju i povratnim informacijama publike. Suradnici na ovom projektu su: Hideyuki Ando, Masahiko Inami, Hiroo Iwata, Machiko Kusahara, Ryota Kuwakubo, Sachiko Kodama, Novmichi Tosa, Kazuhiko Hachiya, Taro Maeda i Hiroaki Yano.
Device Art je novi oblik umjetnosti koji predstavlja bit tehnologije kroz upotrebu novih materijala i mehaničkih naprava. Ovaj koncept izaziva tradicionalnu paradigmu umjetnosti približavanjem tehnologije, umjetnosti i dizajna.
Device Art ima tri glavne karakteristike:
(1) Sama naprava (Device) je sadržaj. Mehanizam predstavlja temu rada. Sadržaj i forma sada su nerazdvojni.
(2) Umjetnička su djela često razigrana, a ponekad se mogu i komercijalizirati u naprave ili uređaje za svakodnevnu uporabu.
(3) Istančani dizajn i razigrana svojstva imaju korijene u japanskoj tradiciji koja cijeni oruđa i materijale. Tradicionalna japanska kultura, poput ceremonije čaja ili aranžiranja cvijeća, koristi sofisticirane naprave. Te su naprave korijeni Device Art-a.
Ove karakteristike nisu poznate zapadnoj umjetnosti. Zato novost Device Artaprivlači svjetsku pažnju. Posljednjih su se nekoliko desetljeća dogodili značajni pomaci u japanskoj interaktivnoj umjetnosti. Ovi pomaci uključuju inovativne uređaje sučelja koje koriste umjetnici Device Arta. Koncept Device Arta je nastao onda kada su se najnovije tehnologije spojile s tradicionalnim japanskim vrednovanjem umjetnosti kao važnog dijela života. Nadamo se da Device Art može pridonijeti razumijevanju života u svijetu novih tehnologija.
Zaključci
Dok vizualni i auditivni uređaji imaju stogodišnju povijest i uvelike se koriste u svakodnevnom životu, dotle se većina uređaja osjetljivih na dodir još uvijek koristi samo u laboratorijima i nemaju određenu namjenu u informacijskim medijima.
Povijest medijskih tehnologija možda ima rješenje ovog problema. Svima je poznato da je Gutenberg otac tiskanih medija, iako on nije izumio tiskarski stroj. Razvijali su ga brojni su ga ljudi prije Gutenberga, no on je ostao zapamćen zbog sadržaja i fontova svojih tiskovina. Slično se može reći i za uređaje osjetljive na dodir. Potrebno je još mnogo učiti na greškama kako bi se našla savršena konfiguracija uređaja. Device Art nudi tim uređajima mogućnost da postanu popularni.