Na enkele spannende dagen bij de drukkerij is de thesis eindelijk klaar en ingeleverd.

Een digitale versie vind je hier: Download thesis PDF

Ik was van plan om hier van alle projecten een logboek bij te houden, net zoals ik met MediaDesktop en LightWrite heb gedaan. De kladversie van dit log, dat op mijn desktop werd bewaard, is echter spoorloos verdwenen. Dit wil zeggen dat ik de enkele weken aan log gegevens ben kwijtgespeeld.

De oorzaak van deze verdwijnen is het downloaden van een bestand naar de desktop waar al een bestand met dezelfde naam stond. Dit bestand stond echter open, waardoor er een zwart gat is ontstaan en alles van de desktop is verdwenen :/ (Ik werk in MacOSX Leopard btw). Ik heb alles geprobeerd (Data Rescue II, etc) om het bestand terug te vinden, maar helaas.

Buiten het logboek zijn er ook nog andere bestanden verdwenen zoals foto’s en documenten met feedback uit coachings (hopelijk klinkt dit nie als een “Mijn hond heeft mijn huiswerk opgegeten”-verhaal).

Het goede nieuws is dat het thesis document klaar is en binnengebracht bij de printer.

Een 3D-ruimte met ‘objecten’ die met behulp van de IR-handschoen gemanipuleerd kunnen worden (positie over de 3 assen, rotatie,…).

Doel

Op de proef stellen van mijn 2-camera setup voor de afstand tot het scherm te berekenen en het testen van 3D finger tracking voor desktop/multimedia toepassingen.

Status op 23/04/08:
Bestuderen van de Papervision 3D engine voor Flash; bekijken en aanpassen van voorbeelden.
___________________

Status op 24/04/08:
Creatie van basis omgeving waarbinnen de manipuleerbare objecten gepresenteerd worden.

Bedenken van een manier waarop ik de afstand afgelegd door een cursor op het scherm kan omzetten naar een op het scherm even lang ogende afstand eender waar in de 3D wereld. (Als de cursor een object versleept, en de cursor beweegt 300 pixels naar onder terwijl het object steeds onder de cursor blijft, dan wil het niet zeggen dat het object ook simpelweg 300 punten naar onder moet bewegen. Deze afstand is afhankelijk van de afstand tussen het object en de camera).

Implementatie van effecten om diepte aan te geven (lichtheid en wazigheid).

Implementatie van basic IR-led functionaliteiten (voorlopig enkel X en Y as, 2D dus).
___________________

Status op 25/04/08:
Optimaliseren van de code, invoeren van mijn algoritme om met 2 IR-camera’s de afstand van een IR-punt tot het scherm te berekenen.

Constateren dat er een enorme prestatievermindering is. Het selectief uitschakelen van functionaliteiten lijkt de prestaties niet te verbeteren > frustratie!
___________________

Status op 26/04/08:
Proberen de prestatie van het programma te verbeteren:
Het probleem lijkt te liggen bij de update-frequentie van de cursor-movieclip. Ik had de positie van deze cursor, voordat het prestatie probleem zich voordeed, minder vaak laten updaten in een poging de applicatie nog lichter te maken. De grotere sprongen die de cursor-movieclip hierdoor maakt lijkt echter negatief te werken op de framerate.
Vaker positie updaten = betere prestatie? Raar maar waar.
___________________

Status op 27/04/08:
De prestaties zijn er enorm op vooruit gegaan! Het beeld schokt niet meer wanneer de cursor beweegt. Het regelmatiger updaten van de cursorpositie heeft geholpen.

Nu is er een ander prestatieprobleem: als de applicatie een tijdje draait vertraagt hij aanzienlijk; één of andere variabele die te groot wordt?

Update:
Blijkbaar werd er teveel naar het output venster getraced. Als ik het tracen afzet gaat het een stuk vlotter.
Nieuw probleem: plots gaat de applicatie weer zeer traag zodra de cursors bewegen. Oudere versies gaan plots ook trager, dus de fout ligt niet bij de code. Dit probleem lijkt zich niet voor te doen wanneer ik de applicatie als flash projector file publish.

Hoera voor logica!

LightWrite laat je toe om realtime ‘lichtbanen’ te tekenen in de lucht. Net zoals men bij fotografie een lange belichtingstijd combineert met lichtbewegingen om zo met ‘licht te schrijven’.
Op je scherm krijg je een beeld van jezelf te zien en de lichtbanen worden gevormd tussen de 2 infrarood-leds die één enkele Wiimote worden getracked.

Doel

- Uittesten van Wiiflash voor Mac
- Positie van de IR-Leds en hun oriëntatie ten opzichte van elkaar in beeld brengen.

Status op 21/04/08:
Eerste versie werkt; er wordt een spoor van lijnen getekend tussen de IR-leds en dit wordt over het webcam beeld geplaatst.
___________________

Status op 22/04/08:
De simpele lijnen die tussen de IR leds worden getekend zijn vervangen door een volwaardig, gekleurd ‘spoor’ waarvan de breedte bepaald wordt door de afstand tussen de IR-bronnen.

Het éénkleurige spoor wordt een ‘realistischer’ lichtspoor door middel van gradiënten. De rotatie van die gradiënten wordt bepaald door de oriëntatie van de verbinding tussen de laatste positie van de IR-leds en hun vorige positie.
___________________

Status op 23/04/08:
Een “LightSabre” modus werd toegevoegd: als je de Wii sensorbar in je handen neemt zie je jezelf op het scherm met een Lightsabre die je bewegingen volgt. Geeks rejoice!
Tevens werd het lichtspoort realistischer gemaakt door flash bitmap filters > vervagen naar alpha=0 en wegblurren.

Voorlopig einde van LightWrite experiment.

Het connecteren van de Wiimotes met de computer is ook verbeterd, maar verloopt nog steeds niet heel vlot. Je moet Wiiflash vaak herhaaldelijk opnieuw opstarten vooraleer het werkt.

http://lab.tojio.com/2008/04/14/open-source-wiiflash-04-server-written-in-java-for-mac-os-x/

Er is een nieuwe versie van Wiiflash uitgekomen die stabieler is en (op mijn aanvraag) ook 4 IR-bronnen kan tracken in plaats van 2.

bron: Wiiflash.org

Maar nog beter nieuws! (Voor mij alleszins)
Er is gelijktijdig ook een Mac versie uitgebracht:
Wiiflash voor MacOS

Aangezien ik sinds kort een Macbook heb (m’n Acer heeft het begeven) en ik steeds naar Windows moest overschakelen om met Wiiflash te werken, was dit een aangename verrassing.

Hier is een video van dat project, “WiiMote Head Tracking for Killing Marshie in 3D”:

Meer informatie vind je hier:
http://insightvr.com/

(met dank aan Ward Lemmens voor de link!)

Dit heeft als gevolg dat ik met één camera (Wiimote) mijn doel van ware 3D input niet kan bereiken. Ik kan hoogstens wat onderzoek doen rond gebaren herkenning (gesture recognition), maar dit is niet wat ik wil bereiken.

Mijn idee is dus om met 2 camera’s (Wiimotes) te werken. Met hulp van een beetje trigonometrie kan ik aan de hand van twee 2D beelden de afstand van de infraroodbronnen tot de camera’s (en het scherm) berekenen. Op deze manier kan ik redelijk nauwkeurig de locatie van de infraroodbronnen in een 3D ruimte bepalen.

Een bewijs hiervan vind je in de spellen die voor de Nintendo Wii worden gemaakt; geen enkel spel slaagt er in om bewegingen van de gebruiker accuraat om te zetten naar het beeld, ook al beloven de ontwikkelaars dit in een vroeg stadium van het ontwikkelingsproces (bv. Red Steel).

Dit feit in combinatie met mijn eigen ondervindingen hebben me doen besluiten om het op een andere manier aan te pakken. Bijkomende inspiratie kwam er in de vorm van het “finger tracking” experiment van Johnny Chung Lee, waarbij hij de rollen ging omdraaien en de infrarood leds (die normaal in de sensorbar zitten) ter handen nam en de Wiimote als camera gebruikte.

Ik ga vanaf nu zo goed als niet meer verder werken met de accelerometers, maar ga een finger tracking systeem uitbouwen (ala Johnny Chung Lee’s) en kijken welke applicaties baat hebben bij deze input methode en wat de voordelen en nadelen zijn. (zie de afbeelding rechtsboven voor een diagram van de infraroof handschoen die ik ga bouwen)

Ik toonde hen de voortgang die ik geboekt heb sinds mijn vorige coaching sessie en over het algemeen was de commentaar positief.

Enkele tips die ze gaven:
- documenteer elke stap
- kijk eens naar het werk van Johannes Taelman van Dorkbot die ook gebruik maakt van bewegingssensoren
- experimenteer, begin met kleine spelletjes te maken en leer uit ervaring
- probeer niet de “concept testing” (zoals aangekondigd in de planning in het propositiedocument) er tussen te forceren als dit niet nodig is

Daarom denk ik dat ik beter de Infrarood camera in de Wiimote gebruik, omdat die veel nauwkeuriger is. Ik kan exact zien waar de gebruiker op het scherm mikt. De bewegingssensoren (accelerometers) gebruik ik dan voor bewegingen die minder nauwkeurigheid vereissen.

Bij het testen van de IR-sensor bleek echter dat er nog geen fatsoenlijk algoritme bestond om de exacte mikpositie van de Wiimote te bepalen. In de Wii sensorbar zitten 2 groepjes van IR-leds waarmee de Wiimote zijn positie ten opzichte van de televisie kan bepalen. Bij de beschikbare ‘mik’ algoritmes gebruikte men echter steeds 1 groepje IR-leds om de positie te bepalen, waardoor het geheel zeer inaccuraat was.

Om deze reden heb ik zelf een algoritme geschreven dat kijkt naar de 2 IR-led groepjes en zo een veel nauwkeurigere positie geeft. Overigens blijft het accuraat wanneer de Wiimote op zijn kant of ondersteboven wordt gehouden, wat bij bestaande algoritmes niet het geval was.

Omdat de applicatie die ik in de nabije toekomst ga ontwikkelen hoogst waarschijnlijk gebruik gaat maken van een physics systeem, heb ik me verdiept in de Flash physics engines die voorhande zijn.

Ik heb enkel gekeken naar Flash CS3 (Actionscript 3) physics engines omdat de code die ik heb voor de communicatie tussen Flash en de Wiimote in Actionscript 3 is geschreven.

Hier is een opsomming van beschikbare engines:

• APE: Eén van de eerste AS3 physics engines. Zou gebruiksvriendelijk zijn, maar schijnbaar niet zo goed op vlak van performantie en opties.
• FOAM: Ook een goede physics engine, maar niet zoveel voorbeelden van te vinden. De demo’s waren niet bepaald indrukwekkend.
• Box2DFlashAS3: Dit was de eerste engine die ik zelf tegen ben gekomen. Ik heb hier ook al een reeks experimenten mee gedaan. Volgens kenners zou het de meest complete en snelste physics engine zijn voor Flash. Het is echter een port van een C++ engine en de API is daarom ook niet zo gebruiksvriendelijk als die van bovengenoemde engines die specifiek voor Flash zijn ontwikkeld. De demo’s waren echter indrukwekkend.
• Motor 2: Net zoals Box2DFlashAS3 is Motor2 gebaseerd op de Box2D C++ engine. Verder is er nog niet zoveel bekend over deze engine. Uit demo’s blijkt dat de performance voorlopig nog niet kan tippen aan die van Box2DFlashAS3

Al deze engines zijn nog in een vroege staat van ontwikkeling en alles kan nog veranderen. Voorlopig ben ik bezig met Box2DFlashAS3. Ik kom echter constant problemen tegen door de zeer beperkte documentatie & mijn beperkte actionscript kennis.

Johnny Chung Lee did it again. Verder bouwend op het gegeven dat Wiimote en sensorbar van plaats wisselen, heeft hij een 3D head tracking systeem gemaakt.

Meer info over dit en andere projecten: http://www.cs.cmu.edu/~johnny/projects/wii/

Johnny Chung Lee heeft verdergebreid op zijn vorige uitvinding en heeft nu een goedkoop alternatief gemaakt voor het electronische whiteboard (zoals er één te vinden is in onze school).

Meer info over dit en andere projecten: http://www.cs.cmu.edu/~johnny/projects/wii/

Hier is een AS3 physics systeem. In het voorbeeld moet ge een paar keer met pijlke naar links gaan (om andere vbn te zien, en dan zit daar ook ergens een “ragdoll” voorbeeld bij).
Denk dat ge die vb’n ook met source code kunt downloaden.

http://box2dflash.sourceforge.net/

Bedankt Bregt!

Door IR licht op zijn vingertoppen te reflecteren en de opstische sensor in de Wiimote als camera te gebruiken kan hij de beweging van zijn vingers tracken. Op deze manier kan je interfaces creëren in stijl van die in de film “Minority Report”.

Meer info over dit en andere projecten: http://www.cs.cmu.edu/~johnny/projects/wii/

Tijdens de feedback sessie gaf Thomas volgende tips:

• ik moet iteratief werken en elke stap documenteren
• desnoods relevante quotes bijhouden
• bij veranderingen moet ik mijn beslissingen onderbouwen
• ik moet mensen observeren wanneer ze interageren met 3D input toestellen en deze observaties gedetailleerd documenteren
• blender is een interessant platform om met 3D en physics te werken
• op zoek gaan naar nintendo design guidelines om limitaties van het systeem op te kunnen vangen
• documenteren waarom bepaalde dingen werken/niet werken

Ik ga me proberen aan deze tips te houden.

Het is een soort ‘motion capturing’ pak dat realtime, draadloos de beweging van de drager kan digitaliseren. Beter als dat ik het ooit zou kunnen doen met een hoop Wiimotes op het lichaam.

Het staat dus zowat vast dat ik niks revolutionairs zal creëren op technisch vlak, maar ik ga me dan ook eerder concentreren op de toepassingsmogelijkheden. Met andere woorden zal ik niet zozeer uitzoeken hoe het technisch allemaal in elkaar moet steken maar wel wat de mogelijkheden zijn van deze technologie. Kunnen traditionele interfaces hiermee worden aangestuurd? Moeten interfaces aangepast worden aan de input? Is dit een algemeen positieve evolutie of eerder overbodig? Enzovoort.

Link naar hun website: www.moven.com

Ik wist dat het niet lang zou duren vooraleer iemand de nodige code zou schrijven om de Wiimote te koppelen aan Flash. Joa Ebert en Thibault Imbert zijn die iemand.

Enkele dagen geleden brachten ze de eerste versie van Wiiflash uit. Meer informatie en download mogelijkheden vind je op hun website: wiiflash.org

Het enige nadeel is dat het voor Actionscript 3 is geschreven. De beperkte Actionscript kennis die ik heb is van Actionscript 2. Maarja, laat het een goede reden zijn om iets nieuws bij te leren.

De laatste tijd heb’k stiekem research gedaan rond bestaande en toekomstige 3D input oplossingen.

Ik heb op vlak van wetenschap, kunst en consumentenproducten gezocht en ben een reeks interessante producten tegengekomen.

Spijtig genoeg heb ik niet echt kunstwerken gevonden die gebruik maken van 3D input, hoewel ik er zeker van ben dat deze wel moeten bestaan. Als iemand een interessante site weet waar gezocht kan worden tussen kunstwerken/installaties, laat het mij aub weten.

Video is leuker als tekst, daarom illustreer ik elk item met een filmpje:

Wetenschap:
> iSphere : “…a 24 degree of freedom 3D input device.”

> SculpRox : “An Interface for Virtual 3D Sculpting via Physical Proxy”

Films(kunst)/wetenschap:
> Minority Report : art imitates life?

Consumenten technologie:
> Novint Falcon : “The Falcon is a first-of-its-kind PC peripheral that makes use of force feedback to allow users to experience artificial 3D-touch “Haptic” sensitivity of virtual objects.”
> SensAble Phantom (Premium) : “The PHANTOM Premium haptic devices provide a broad range of force feedback workspace, range of motion, stiffness, and motor force to accommodate the specific requirements of different research projects.”

> 3dConnexion SpacePilot : “…you simply push, pull, tilt or twist the SpacePilot’s controller cap to simultaneously pan, zoom and rotate 3D imagery”

‘k Heb nog meer consumenten producten gevonden, maar deze leken mij het interessantste.

Overigens heb ‘k ook de Wii ‘homebrew‘ scene gevolgd. Een aantal interessante brouwsels in video formaat:
> Wii DJ (en DS VJ) : De Wii controller wordt gebruikt in combinatie van een computer om muziek te mixen/filteren. De videobeelden worden gemixed op een Nintendo DS (handheld)

> Wii Synth : Wii controller wordt gebruikt als een synthesizer. Beweging van de controller beïnvloed filter parameters.

Ik heb ook zelf software getest in combinatie met de Nintendo Wii controller. Uit mijn bevindingen blijkt dat de communicatie tussen PC en controller nog niet optimaal is; er zit namelijk een delay tussen de handbeweging en de beweging op scherm, iets wat in sommige gevallen zeer irritant kant zijn (applicaties waar timing essentieel is). Overigens worden plotse, felle beweging soms fout omgezet naar de applicatie.

Ten laatste heb’k ook nog enkele interessante papers gevonden op http://scholar.google.com die de voor- en nadelen bespreken van 3D input vs klassieke 2D input. Een samenvatting volgt later.

Ik heb gisteren telefoon gekregen van Pure Communication die bevestigden dat ik bij hun stage mag volgen.

Feest!

Het idee om zelf iets te ontwikkelen dat compatibel is met de Wii controller wordt met de dag realistischer.

Check The Venture Brothers;
alle afleveringen hier!

Ge zult me dankbaar zijn.

De hoofdvraag ga ik voorlopig houden op iets als:
“Hoe kan 3D-input de interactie met een virtuele omgeving verbeteren?” (Uiteindelijk ga ik het zo verwoorden dat het intelligenter en interessanter lijkt)

Met 3D-input bedoel ik de Nintendo Wii controller.

Ik denk momenteel ook nog na over subvragen en eventuele uitwerkingsmogelijkheden. ‘k Heb al een aantal ideeën maar ben nog niet echt overtuigd.

Hier alvast enkele filmpjes van mensen die creatief bezig zijn met de mogelijkheden van de Wii controller (in combinatie met PC):

Wii Drums [skip best de intro]

Wii remote in combinatie met Nord Lead synth

Wii mouse

Google Earth met Wii remote

Star Wars kid 2!

je speelt
je beweegt
je lacht

rara?

Door gebrek aan inspiratie en tijd (net 2 module projecten moeten afwerken), blijkt het echter een moeilijke bevalling. Ik heb enkele vage ideeën rond onderwerpen, maar nog niks concreet.

Ik zou liefst iets willen doen met betrekking tot entertainment (games, film, …), misschien in combinatie met user generated content (denk dynamische spelwerelden, interactieve, levende films). Een ander interessant thema vind’k design & illustratie, maar daar houdt het ook weer bij op…

‘k Heb een beetje schrik iets te kiezen dat me niet echt ligt, met als gevolg dat mijn motivatie zoek is en de resultaten pover.

Stage
Een ander probleem is mijn stageplaats. We hadden een hele poos voor de zomervakantie gevraagd of we met enkele studenten een bedrijf mochten oprichten ipv de standaard stage te volgen. Hiermee zouden we evenzeer nuttige ervaringen opdoen. Het bleef een tijdje onzeker over het feit of ons voorstel toegelaten werd of niet, maar enkele weken geleden hebben we een definitief negatief antwoord gekregen.

Naïef als ik was heb ik in de tussentijd niet echt naar een stageplaats gezocht, met als gevolg dat ik nog niks heb. Het is ons ook gemeld dat er liefst een connectie moet zijn tussen de stage en het research onderwerp, en aangezien ik ook mijn research onderwerp nog niet weet, worden de zaken nog wat bemoeilijkt.

Hoe dan ook, ik ga de komende weken eens rondkijken voor een geschikte stage. Liefst zou ik een plaats vinden waar’k creative input kan leveren en waar programmeren niet de hoofdzaak is. Animeren, designen, illustreren, ideeën bedenken, communiceren,… dat ligt me beter. Coderen lukt wel aardig, maar ik doe het niet zo heel graag.

Suggesties
Als iemand toevallig een suggestie heeft voor een onderzoeksonderwerp of stageplaats, ik zal je dankbaar zijn!