During the first semester of my study Interface Culture at the University of Art in Linz I had to write some papers about interactive art. My first papers dealt with the history of interactive art and continued with some different art movements in this domain. In some cases I am more or less satisfied with my papers. Anyway, I think every 2page long paper contains some interesting points for Interaction Designer, Web Designer, Web Developer, Web Artists, Computer Scientists etc.. That is the reason why I want to share my written work with you.
Please consider that all my papers here were an assignment for the master classes of Interactive Art by Christa Sommerer. My papers don't meet the requirements of a scientific work despite the fact that the format seems to be scientific. All my texts represent partly more my own thoughts on the different art topics, so please interpret my papers as a short essay or summary. My thoughts are mainly based on the first and second references, which are mentioned at the end of each paper. I highly recommend to read these references, because they are a very good collection for delivering an introduction in the domain of interactive art. Thanks Christa for this great collection of references and the introduction!
Hier eine kleine geordnete Zusammenfassung meiner wichtigsten Twittermeldungen:
Einfachheit bzw. Simplicity war im Jahre 2006 auf der Ars Electronica und allgemein in der Interaktionsbranche das Topthema schlechthin, natürlich erschien auch das Buch Laws of Simplicity von John Maeda in diesem Jahr. John Maeda hat seinen Ursprung im Design und Kreativbereich und versucht in seinem Buch Laws of Simplicity
Im Gesamten finde ich dieses Buch nicht unbedingt ein Must-Read. Es fasst gut zusammen und beschreibt die Faktoren der Einfachheit sehr schön an Beispielen. So dass man einen guten ersten Eindruck in die Thematik bekommt, die dann für weitere Diskussionen anregen kann. Mit seinen knapp 100 Seiten und dem sehr praktischen Taschenbuchformat lässt sich dieses Buch sehr gut auf einer längeren Zug- oder Flugreise lesen. Wer also Langeweile haben sollte, dem sei dieses Buch empfohlen. Ansonsten gibt es vielleicht auf meinem Bookstore ein passenderes Werk…
The Laws of Simplicity (Simplicity: Design, Technology, Business, Life)
Bekanntlich Leben Totgesagte länger und so wie es aussieht geht es dem Medium interaktiver Film ähnlich. Die Idee des interaktiven Films gibt es schon seit einigen Jahren und dank des Rückkanals, welcher das Internet bietet, konnte dieses Medium Ende der neunziger Jahre einem breiterem Publikum zur Verfügung gestellt werden. Aber der wirkliche Durchbruch blieb bis heute aus, man könnte den interaktiven Film eigentlich auch als Totgeburt bezeichnen, obwohl das doch meiner Meinung zu hart klingt. Hauptsächlich lag es bestimmt an der Lean-Back Mentalität der Zuschauer, welche noch heute eine Hauptcharakteristik im Medium Film und Fernseh ist. Durch die immer stärker werdende Macht der interaktiven Medien (Internet und Games) wird sich dies Userverhalten auf die Dauer sicherlich mehr zu Gunsten der Interaktion verändern, und vielleicht gibt genau diese neue Entwicklung in der Mediennutzung dem interaktiven Film wieder ein Aufwind. Einen ersten Anfang hat YouTube mit der Einführung des Vermerk-Features (Video Annotation Feature) gemacht, welches von einigen Interactive Media Designer schon sehr schön für interaktive Filme eingesetzt wurde. Dennoch denke ich das diese Entwicklung noch nicht ausreicht, denn dem User muss selbst überlassen werden, wie sehr er sich interaktiv am Film beteiligt, so dass kein Überforderungs und auch kein Unterforderungsgefühl beim User auftritt. Aus diesem Grund haben wir (das erste Team am Klickfilm Projekt) versucht eine Story Engine zu entwickeln, die eine logische, sinnvolle und dramaturgische korrekte Erzählstruktur simuliert. Die ersten zwei Punkte konnten wir anhand von Tagging Techniken relativ gut umsetzen, nur die dramaturgischen Simulation ist um einiges komplexer und wurde am Ende von uns aussen vorgelassen. Dennoch war ich mit den Ergebnissen sehr zufrieden, weil mir dieses Projekt gezeigt hat, dass man einen interaktiven Film mit einem dynamischen Interaktionsgrad realisieren kann.
Mittlerweile ist seitdem einige Zeit (ca. 2-3 Jahre) vergangen. Aber nun gibt es einige wirklich hilfreiche Entwicklungen, die meiner Meinung nach den interaktiven Film zum neuen Auferstehen helfen können. Dazu gehören die positive Weiterentwicklung von StoryEngines, die zum Teil von der Game Industrie erstellt werden, die andere Entwicklung kommt aus der immer weiter voranschreitenen Disziplin der Bildverarbeitung (Image Processing).
Die Story Engine kümmert sich bei dem interaktiven Film fortgehend um eine logische und dramaturgische Narration (Erzählstruktur). Sie muss auf User Interaktionen reagieren können und eine passende Antwort bzw. eine passende Fortführung der Geschichte geben. Wenn keine Interaktion von Userseite geschieht oder wenn der User eine nicht passenden Befehl gibt, darf die Narration (bzw. der Geschichtsfluss) nicht unterbrochen werden. Die StoryEngine muss einen passenden weg dazu finden die Geschichte weiter fort zuführen. Einige interessante Informationen zu solchen Story Engines kann man hier finden:
Von Seiten der Bildverarbeitung werden immer besser werdende Objekterkennungs- und Trackingverfahren für Videobilder entwickelt. Diese Algorithmen könnte man sehr gut für die Verlinkung und Visualisierung von Interaktionsmöglickeiten im Videobild nutzen. Denn in unserem Projekt mussten wir einzelne klickbare Bereiche (Hotareas) im Videobild sehr mühevoll maskieren und im nach hinein Tracken. Diese Arbeit stand in keinen sinnvollen Aufwand/Nutzen Verhältnis, jedoch machen mir diese neuen Verfahren sehr gute Hoffnung einem Video leichter interaktive Elemente hinzu zufügen.
Ich hoffe doch sehr, dass sich diese zwei sehr unterschiedlichen Disziplinen zusammefinden und noch ein paar gute Filmleute ins Boot holen, und schon könnte aus dieser Mischung ein richtig guter interaktiver Film entstehen, der dazu nebenher den so sehr herbei gewünschten Traum von der perfekten Medienkonvergenz erreicht 😉
Vor wenigen Wochen besuchte ich die Ars Electronica in Linz, eins der grössten Medienkunstfestivals in Europa, wo die Symbiose aus Wissenschaft und Kunst Vordergrund steht. Ich bin mit vielen guten Impressionen nach Fribourg zurückgekehrt und werde ein paar für Medieninformatiker interessante Projekte vorstellen. Zudem liegt mein letzter Blogeintrag, wo ich einige interessante Medienprojekte vorgestellt habe relativ lange zurück, so dass sich da auch einige tolle neue Projekte in meiner Linkliste angesammelt haben. Los gehts:
Projects in Interaction
SAMPLINGPLONG
Bei dieser Medieninstallation von Jörg Niehage kann man mit Hand eines projezierten Mauscursors im realen physikalischen Raum Gegenstände ausführen. Sehr nette Idee Mauszeigermetapher raus aus der virtuellen Welt in die physikalische Welt zu holen.
Mehr Infos unter:
Projekthomepage
Video
Sandscape Version 2
Sandscape ist eine haptisches Mensch-Maschine Schnittstelle für ein besseres Verständnis und Design von Landschaften, was mit Hilfe eines Art Sandkasten erreicht wird.
Mehr Infos unter:
Projekthomepage
ACM Artikel
BLUI: Low-cost Localized Blowable User Interfaces
Steuerung eines Mauszeiges per Luft bzw. durch blasen. Eine interessante berührungslose Interaktionsschnittstelle, welche für Menschen mit Behinderungen (z.B. Querschnittslähmung ab Hals) eine alternative Bedienungsmöglichkeit darstellen könnte.
Mehr Infos unter:
cnet Newsmeldung
Paper (PDF)
You Tube Video
Swype (TextInput für Touchscreens)
Der Erfinder Cliff Kushler hat eine neue Eingabemöglichkeit für Touchscreens entwickelt. Man fährt über das Keyboard und das System erkennt aus den dabei getroffenen Buchstaben das richtige Wort.
Mehr Infos unter:
Projekthomepage
Golem Newsmeldung
Informationsquelle
reactable
Sicherlich kennen die Meisten den reactable schon. Meiner Meinung nach ein super Tool für kollaborative elektronische Musik und es hat auf der Ars Electronica einen sehr stabilen Eindruck gemacht.
Mehr Infos unter:
Projekthomepage
You Tube Video
TRACKS Beitrag
Levelhead
Bei Levelhead handelt es sich um ein Augmented-Reality Memory Game. Dieses Game wird mit einen Würfel gesteuert, der an den Seiten mit 2dim Barcodes beklebt ist. Eine Webcam trackt die Bewegung und erstellt den passenden 3D Raum zum jeweiligen BarCode.
Mehr Infos unter:
Projekthomepage
Vimeo Video
interaktives Theater - Tablescape Plus
Tablescape Plus ist ein interaktives Tisch-Video-Theater. Verschiedene Bilder werden auf die winzigen Bildschirmen, die aufrecht auf dem Tisch angebracht sind, projiziert.
Mehr Infos unter:
Projekthomepage
Paper (ACM)
YouTube Video
Phun
Bei Phun handelt es sich um eine kleine feine 2D Physik Engine mit einem sehr netten (Level)Editor
Mehr Infos unter:
Projekthomepage
YouTube Video
Nervous System
Organic and computational designs, which pushes the boundary of computer-based generative Art. The homepage includes some tutorials, too!
Mehr Infos unter:
Projekthomepage
Beispielprojekt
Tutorial
Structure Synth
Structure Synth ist ein Programm für die Erstellung von 3D Strukturen, die sich an ein eingegebenes Regelset vom User bzw. Programmierer orientiert.
Projekthomepage
CityEngine von Procedural
Sehr praktisch für Computer Games und Filmszenen.
Mehr Infos unter:
Firmen Homepage
Videos
Trial Version
Anderes:
Giant video wall
Einfach eine riesige Videowand! Da stellt sich demnächst sicher die Frage, wie sich Motion Design am besten in den urbanen Raum integrieren lässt. Eine Symbiose aus Architektur und (Motion) Graphic Design
Mehr Infos unter:
Informationsquelle
Blogeintrag
YouTube video
Flash Intros bzw. interaktives video
Finde diese beide Beispiele einfach sehr gut gelungen. Super Idee!
de.youtube.com/experiencewii
producten.hema.nl
Weitere interessant Projekte gibts auf dem YouTube Channel iNspIreNewMedia zu sehen. Beispielsweise unter den Playlisten:
Das Thema Masterstudiengang beschäftigt mich nach wie vor sehr. Meine ursprüngliche Planung war es nach meinen Bachelorabschluss in Computer Science in Media (deutsch: Medieninformatik) an der Hochschule Furtwangen 1-2 Jahre zu Arbeiten.
In dieser Zeit möchte ich bissl mehr Praxiserfahrung sammeln und ich will erkennen Können in welche Richtung ich mich weiter entwickeln möchte. Denn bei meinem Praxissemester in München trat ein kleiner AHA-Effekt bei mir auf. Denn während der 6 Monaten Anstellung als Kamera- und Tonassistent in der Video- und Filmproduktion merkte ich das dieser Bereich mir beruflich nicht so sehr zusagte, wie ich es mir ursprüglich vorgestellt habe. Und so geschah es, dass ich immer mehr in die Richtung (Web)Programmierung und Interaction Design abdrifftete. Was mir nun nach wie vor sehr viel Spass macht. Deswegen beobachte ich momentan hauptsächlich Master Studiengänge mit Schwerpunkten im Interaktionsbereich, Medienkonzeption und ein bissl Medienwissenschaft. Im Rahmen dieses Blogeintrages werde ich einige Master Studiengänge auflisten, die für mich und auch für andere Medieninformatiker nicht ganz so uninteressant klingen.
Goldsmiths University (London)
Potsdam
Hochschule der Künste in Zürich (Schweiz)
Kunstuniversität Linz (Össterreich)
University Malmö (Schweden)
University Leiden (Holland)
Carnegie Mellon University + Uni Madeira (USA und Portugal)
Manche, der hier erwähnten Studiengänge in meiner Auflistung sind nicht in Deutschland und sind zum Teil auch nicht gerade billig (siehe Goldsmiths Uni), aber vielleicht liefert gerade diese andere ausländische Sichtweise auf die Medien das besondere Etwas im Ausbildungsportfolio eines Medieninformatiker ;-). Zu dem fehlt der Masterstudiengang in Furtwangen in meiner Liste. Das liegt daran, dass ich einiges in Furtwangen gelernt habe und die Sichtweisen der Professoren zu den Medien mittlerweile gut kennen gelernt habe. Die Erfahrung (mein Hochschulwechsel von der FH Wiesbaden nach Furtwangen im selben Studiengang) hat mir gezeigt, dass solch ein Hochschulwechsel mit einer neuen Lehrbelegschaft und dem damit verbundenen anderen Verständnis von Medieninformatik sehr hilfreich war. Man bekam einen viel umfassenderen Einblick in die Thematik Medien und Informatik. Daher rate ich jedem seinen Masterstudiengang nicht an der selben Hochschule zu absolvieren, wie seinen Bachelor Studiengang. Nun ja das ist wieder meine sehr persönliche Meinung zu diesem Thema. Ich durfte mir auch schon andere gute Meinungen dazu anhören ;). Wie auch immer, falls jemand da draussen im WWW die eine oder andere hier erwähnte Fakultät bzw. Uni kennt, wäre ich um Feedback sehr sehr dankbar!
Vor ca. über einem halben Jahr habe ich einen Blogeintrag zum Thema Die Zukunft der Medieninformatik?! verfasst. Damals ging es um Web 3.0 (bzw. das Internet der Dinge) und um ziemlich heftige Bildverarbeitungsprojekte. Auch diesmal ist die Bildverarbeitung wieder ein ein wichtiges Thema, denn sie ist auch aus einigen hier vorgestellten
Human-Computer-Interaction Beispielen nicht mehr wegzudenken (siehe Multi-Touch Bildschirme). Somit werde ich jetzt einige interessante Projekte mit einer kurzen Beschreibung vorstellen und am Ende jeder Vorstellung sind dann noch Links zur weiteren Information beigefügt.
Bildbearbeitung
Microsoft Photosynth
Photos werden inhaltlich passend 3dimensional zueinander ausgerichtet und mit Hyperlinks versehen.
Weitere Infos:
Vortrag auf der TED
Projekt Homepage
Using Photographs to Enhance Videos of a Static Scene
Ein Verfahren, welches Z-Parameter aus einem Videobild heraus extrahiert, und noch zusätzlich Fotos in das Video mappen kann um damit grössere Belichtungsspielräume (siehe HDR) im Video, Objekt- und Kamera-Shakesbearbeitung im Bild zu ermöglichen.
Weitere Infos:
Beispiel Video
Projekt Homepage
HDR Video
Das Max Planck Institut hat sich dem Thema HDR verschrieben. Einige interessante Arbeiten zum Thema HDR Video Encoding und HDR Image Processing sind daraus entstanden.
Weitere Infos:
Beispielvideo
HDR Video
Projekt Homepage
Digitales Schärfeziehen
Mit dieser Kamera kann man ein Bild aufnehmen, bei dem sich in der Post Production die Schärfeebene bearbeiten lässt.
Weitere Infos:
Beispielvideo
Projekt Homepage
netter Blogeintrag dazu
Charakter Motion Tracking Verfahren
Das Motion Trackingverfahren kommt ganz ohne die üblichen TrackingSensoren aus. Als erstes muss der Mensch durch einen 3D Scanner, wo ihm dann die Gelenkpartien zugeordnet werden. Danach kann er sich im Raum frei bewegen und die speziell ausgerichteten Kameras berechnen dann die Bewgung, und erstellen daraus die Bewegungsdaten für 3D PRogramme.
Weitere Infos:
Paper
Entwickler Homepage
Seam Carving for Content-Aware Image Resizing
Eine neue kontextbasierte Skalierung von Bildern. Das Verfahren fand eine grosse Aufmerksamkeit in der Bloggerszene. Nun will es Adobe in Photoshop integrieren.
Weitere Infos:
Paper
Beispielvideo
Umsetzung in Flash
Heliodisplay
Bei diesen Display soll es sich um ein Display aus Luft bzw. um eine Luftprojektion handeln. Mit 20.000 Dollar ist man dabei.
Weitere Infos:
Hersteller Seite
Blogeintrag dazu
Blogeintrag dazu
Mensch-Maschine Interaktion:
Multi-Touch Display
Jef Han verursachte mit seinen Mult-Touch Bildschirm einen riesigen Hype. Der Vorteil von MultiTouch Bildschirmen ist das mehrere Berührungspunkte (multi-touch) erkannt werden können, was widerum eine direkte, umfangreiche und gestenbasierte Steuerung am Display ermöglicht.
Weitere Infos:
Jef Han TED Vortrag
Microsoft Surface
Jens Frankes (Flash) MultiTouch
Tim Roths (Flash) MultiTouch
Blog zu MultiTouchs
360° Holographic Display mit 3D Interface
Ein kugelartiges Display, welches sich komplett mit den Händen steuern lässt. Ähnlich eines MultiTouch Displays.
Weitere Infos:
Paper
Entwickler Homepage
Entwickler Homepage
Entwickler Homepage
Universität
Blogeintrag dazu
DataTiles
Rekimotos hat im Jahre 2001 das grafische Interface mit einem physikalischen Interface verbunden. Eine sehr intuitive Interaktion ist daraus entstanden.
Weitere Infos:
Projekt Homepage
Mixed-Reality Painter
Das MIT hat eine Art Mixed-Reality Painter erstellt mit dem man das Gemalte beliebig im Raum positionieren kann.
Weitere Infos:
Projekt Homepage
Mobile Stadtspiele: REXplorer
Mobile Stadtspiele sind eigentlich nichts Neues, aber die RWTH hat mit ihrem REXplorer (Regensburg Tourismusführer) eine vorbildliche Umsetzung abgeliefert. Ihr System basiert auf Gestenerkennung, GPS und Smartphones.
Weitere Infos:
Projekt Homepage
Entwickler Homepage
Fernseh Beitrag
The Arcade Fire
Ein gut umgesetztes interaktives Musikvideo.
Weitere Infos:
Musikvideo
Drop Spin Fade
Mensch-Maschine Kommunikation über eine Art Fadensystem. Weiss gar nicht wie ich das erklären soll, muss man sich einfach mal anschauen.
Weitere Infos:
Projekt Homepage
Adobe Creativity Conducted
Blitz Agency präsentiert eine grosse HD Flash Interactive Leinwand, gesteuert mit Wii Remotes.
Weitere Infos:
Projekt Blogeintrag
Design
Justice - Dance
Das Musikvideo Dance von Justice ist eine hammerharte Motion Graphics und Tracking Arbeit, kombiniert mit einer geile Idee. Ein absolutes must see!
Weitere Infos:
Musikvideo
Creativity Spark From Masters Of Illustration
Eine sehr umfangreiche Gallery von Illustrationen, die die Zeichnungen wunderbar mit dem Realbild kombiniert.
Weitere Infos:
Gallery
Aukustik Hörspiel
Schon mal einen Stereobasierten Haarschnitt erlebt? Dann jetzt mal schnell die Kopfhörer aufziehen und zurücklehnen.
Weitere Infos:
Hörspiel
Ich hoffe die vorgestellten Projekte konnten euch genauso begeistern und inspierien wie mich. Ich bin immer wieder überrascht was für ein abgefahrenes Zeug von noch abgefahreren Leuten produziert wird. Schade das man im normalen Arbeitsalltag davon kaum etwas erfährt. Die absoluten Klassiker wie z.B. MS Surface sind davon mal ausgenommen. Wer sich jetzt noch ein paar Videos von kreativen Hobbybastlern und Studenten anschauen möchte, der kann gerne Stunden auf der Seite hackedgadgets.com verbringen. 😉
-- UPDATE 1.12.2007 --
Auf slashcam.de ist ein schöner Übersichtsartikel zum Thema Ausblick in der Bildtechnik erschienen. Sehr krass was da alles auf der Siggraph 2007 vorgestellt wurde. Eine noch umfangreichere Auflistung gibt es auf trowley.org.
Ich habe schon einmal in einem älteren Blogeintrag die InnoVisions Zeitschrift vom Fraunhofer-Iuk Verbund für Medieninformatiker empfohlen. Nun gibt es wieder mal einen Themenschwerpunkt im Bereich der Digitale Medien in der aktuellen Herbstausgabe. Gerade für angehende oder zukunftsorientierte Medieninformatiker sind die 3 Hauptthemen produzieren & senden (Schwerpunkt interaktives Fernseh), suchen & finden (von Video-, Ton- und Bilddateien), präsentieren & interagieren (mit Displays) eine gute Orientierungshilfe, was momentan State of the Art ist bei den Fraunhofer Jungs. Besonders gut gefallen haben mir die Projekte PointScreen und digitaler Leuchttisch. Das Projekt Rockscreen könnte gutes Potenzial haben für eine neue Spielwiese der Cyperpunks. Bei dem Projekt Rockscreen sollen nämlich grossflächige Plakate in LED-Screens umgebaut werden. Diese LED-Screens erhalten ihre Daten (Grafiken und Animationen) äber einen WLAN oder DSL Anschluss. Den mässte man dann nur noch knacken, und dann kann die Cyberpunkshow im öffentlichen Raum losgehen. 😉
Daräber hinaus gibt es noch das Special Smart Living, das sich hauptsächlich mit einem komfortableren Wohnen mit Hilfe von IT-Technologie beschäftigt. Eigentlich ein schon bissl ausgelutschter Themenbereich, aus diesem Grund wird wohl in dieser Artikelreihe auf die bestehenden Probleme und mögliche Lösungswege näher eingegangen. Alles nicht ganz uninteressant für Medieninformatiker, wenn man das Ganze hinsichtlich mediales vernetztes Zuhause und Web 3.0 (Internet der Dinge) näher betrachtet.
Zusätzlich zur Printausgabe wird von der InnoVisions-Redaktion noch ein Videocast angeboten. Ein Besuch lohnt sich an dieser Stelle auf jeden Fall mal.