Die Entwicklung sensitiver Oberflächen hatte zum Ziel, Alternativen zum Bildschirm zu finden und das gemeinsame Erkunden von Inhalten zu fördern. Die in den Multi-Touch Tischen und den späteren amorphen, sensitiven Oberflächen eingesetzte Kapazitätssensortechnologie ist eine Eigenentwicklung, die im Laufe der Jahre in vielen Installationen zur Anwendung kam.
Während Ende der 90er Jahre die meisten interaktiven Systeme per Hand über Tastatur, Maus oder Joystick, also klassische Single-User Interfaces bedient wurden, entwickelte ART+COM damals bereits Interfaces, die eine unmittelbare, körperliche Interaktion mit virtuellen Objekten und durch mehrere Nutzer gleichzeitig ermöglichte.
Sensitive Böden
Auf den sensitiven Böden, an deren Anfang das Projekt Bodymover (2000) steht, können sich Nutzer frei im Raum bewegen und nicht nur mit dem System, sondern auch miteinander über das System interagieren. Der körperliche Einsatz, zu dem die Besucher der Installation angeregt wurden, war ein klarer Gegenentwurf zu den seinerzeit üblichen, eher bewegungsarmen Interaktionsformen und nahm die heutigen, bewegungsintensiven Konsolenspiele vorweg.
Der gesamte Körper wurde zum Interface: Auf einem Projektionsboden erzeugten Besucher um sich herum Lichtsilhouetten. Durch schnelle Bewegungen ihrer Arme und Beine, konnten sie Lichtstrahlen aus ihren „Auren“ schleudern. Trafen diese auf die im Raum aufgestellten Objekte, erklangen Töne. Das Ergebnis dieses spielerischen Prozesses war ein sich permanent durch die Besucher und ihre Bewegungen veränderndes audiovisuelles Ereignis. Die Installation besaß ein Boden, der in der Wahrnehmung der Besucher sensitiv und interaktiv war; technisch war dies jedoch nicht der Fall: Die Besucher wurden von einer an der Decke angebrachten Kamera aufgenommen und ihre über einen Bilderkennungsalgorithmus errechneten Umrisse wurden in Echtzeit als bewegliche „Auren“ um sie herum projiziert.
Mit Duality (2006) wurde der erste „echte“ sensitive Boden realisiert, in den Sensoren integriert waren. Eingabe- und Ausgabe-Interface waren bei Duality dasselbe: ein 4 x 4 Meter großes Feld, in dem Passanten durch das Betreten Lichtwellen produzieren. Das System basiert auf Wägezellen, von denen je vier an den Ecken der Bodenplatten angebracht sind und mit denen sich so die Position des Fußes und seine Auftrittsenergie bestimmen lässt. Unter den gesandstrahlten Glasplatten liegt ein Grid aus weißen LEDs, das auf Basis der ermittelten Werte dann die virtuellen Wellen darstellt.
Zwischen der temporären Installation Bodymover, die auf der Expo 2000 in Hannover gezeigt wurde, und der permanenten Installation Duality realisierte ART+COM mit Grouse Experience (2002) den ersten permanenten sensitiven Boden weltweit, als Teil eines interaktiven Raums. Grouse Experience basiert auf derselben Technologie wie Bodymover, doch kommen zusätzlich zum Kameratracking noch Mikrofone in den vier Ecken des Bodens zum Einsatz, über die sich die Auftrittsstärke der Besucher messen lässt. Abhängig von diesen beiden Datenquellen, dem Tracking von Bild und Ton, reagiert die interaktive Bodengrafik: Um beispielsweise eine virtuelle Eisfläche aufzubrechen, müssen Besucher hart bzw. laut auftreten. Leichtes und leises Auftreten hat keinen Effekt – erst ab einer gewissen Lautstärke birst das Eis und gibt die darunter liegende virtuelle Wasserfläche frei.
Sensitive Tische, Objekte und Installationen
Um den Limitationen des Bildschirms zu entkommen, forsche ART+COM Anfang der 2000er Jahre nach einer Technologie, die es ermöglichte, sensitive Oberflächen jedweder Größe und Form herzustellen und entwickelte die ersten berührungssensitiven Tische: Behind the Lines (2003) war noch ein Single-User/Single-Touch Medientisch, der mittels unter der Oberfläche verborgender, drucksensitiver Lippenschalter funktionierte. Alle späteren Medientische nutzen Kapazitätssensoren, die mehrere gleichzeitige Berührungen der Oberfläche punktgenau erfassen können. Nutzer können durch Berührung mit der dynamischen Bild- und Textinformation interagieren, die von oben auf die Oberfläche projiziert wird. Als kulturhistorischer Ort der Kommunikation und des Austauschs fordert der Tisch intuitiv zur gemeinsamen Interaktion auf.
Der erste Multi-Touch Tisch dieser Art war floating.numbers (2004) mit einer 18 Quadratmeter großen Oberfläche, die Nutzer im Dialog miteinander erkunden konnten. Aus einem virtuellen Zahlenstrom, der über den Tisch floss, tauchten immer wieder einzelne Zahlen auf und wechselten kurzzeitig die Farbe. Dieses visuelle Signal kommunizierte, dass Nutzer in diesem Moment mit der Zahl interagieren konnten. Im Gestaltungsprozess wurden diejenigen Stellen auf dem Tisch festgelegt, die sensitiv sein sollten, also an denen mit Inhalten interagiert werden konnte. Nur dort wurden Kapazitätssensoren, für den Nutzer unsichtbar, eingebaut. Aus gestalterischer Sicht reichte es völlig, mit über den Tisch verteilten sensitiven Arealen zu arbeiten. Auf diese Weise konnte die Nutzerinteraktion auf mehrere Stellen konzentriert werden, statt sich über den gesamten Tisch zu erstrecken, was bei der Größe des Tisches das gemeinsame Erkunden und Interagieren erschwert hätte. Zudem hatte diese Lösung den ökonomischen Vorteil, dass nicht die gesamte Oberfläche mit Sensoren ausgestattet werden musste.
Die zweite Version der Installation, die 2005 für eine Ausstellung in Taiwan gestaltet wurde, „faltete“ sich aus der Horizontalen nach oben. Kapazitätssensoren waren lediglich in die horizontale Fläche eingebaut. Die Zahlen flossen von oben nach unten, wo sie interaktiv erkundet werden konnten. Die sensitiven Bereiche waren gegenüber der ersten Version deutlich reduziert, auch um Kosten zu sparen. Bei beiden Installationen wurden horizontale Linien als Gestaltungselement eingesetzt, da Edgeblending den vorgegebenen budgetären Rahmen gesprengt hätte.
Die in den Multi-Touch Tischen und den späteren amorphen, sensitiven Oberflächen eingesetzte Kapazitätssensortechnologie ist eine Eigenentwicklung. Im Laufe der Jahre wurde diese immer weiter verfeinert und kam in vielen Installationen zu Anwendung, zum Bespiel in der O2 Skulptur (2005), einer Kombinationaus sensitivem Boden und Tisch, dem documenta mobil (2005), oder dem Medientisch Salz weltweit (2010).
Bei ART+COM wurden zwei unterschiedliche Arten von Kapazitätssensoren entwickelt. Neben den Plättchen-Sensoren arbeiteten wir mit Raster-Scanning: Ein Grid aus Drähten unter der Oberfläche erkennt gleichzeitige Berührungen an den Kreuzungspunkten. Dieses System hat den Vorteil, dass große Flächen kostensparend sensitiv gemacht werden können und dass es zusätzlich zum Multi-Touch auch die Handgesten Wischen und Ziehen für Bewegen bzw. Zoomen ermöglicht; allerdings können damit nur plane Oberflächen ausgestattet werden.
Eine Installation, die sensitives Objekt und Multi-Touch Tisch vereint, ist The Player (2007): Besucher können die lebensgroße, stilisierte Figur eines Fußballspielers an verschiedenen Stellen berühren und so erfahren, welche Verletzungen dort bei Fußballern typischerweise vorkommen. Mit der Bild- und Textinformation, die entsprechend auf der Tischoberfläche erscheint, kann anschließend weiter interagiert werden.
Im Gegensatz zum Raster-Scanning kann mit der Plättchen-Sensorik wesentlich freier gestaltet werden, und auch amorphe Objekte können sensitiv gemacht werden. Diese gestalterische Freiheit führte u.a. zu Installationen wie Die Quelle, die in der Ausstellung Level Green (2009) zum assoziativen Spiel mit dem Thema Nachhaltigkeit anregt. Aus einem skulpturalen Objekt strömt virtuelles Wasser, in dessen Fluss immer wieder Begriffe auftauchen, die mit dem Thema Nachhaltigkeit verknüpft sind. Einer Bergquelle entsprechend wurde die Oberfläche als Relief gestaltet, das aus einem Stück gefräst wurde. Die Form des Reliefs leitete sich dabei aus derselben Wassersimulation ab, die für das projizierte, virtuelle Wasser programmiert wurde. Unter der gefrästen Reliefoberfläche befinden sich Kapazitätssensoren, welche die Besucherinteraktion mit dem Wasser und den Begriffen ermöglicht.
Heutzutage ist sind plane, berührungssensitive Multi-Touch Oberflächen im Alltag angekommen: sowohl in der Consumer Elektronik als Tablets und Mobiles als auch in den Museen in Form von interaktiven Exponaten. Was heute also Standard ist, war Mitte der 2000er Jahre noch faszinierend einzigartig und bedurfte sogar der Anleitung. Ausstellungsbesucher mussten zur Interkation mit den virtuellen Inhalten motiviert werden. Häufig geschah dies dadurch, dass das Museumspersonal anfänglich mit dem System interagierte, die ersten Besucher das einfache Interaktionsprinzip sofort verstanden und ihre Interaktion quasi an die nächsten Besuchern weitergaben. Im jetzigen Zeitalter allgegenwärtiger, berührungssensitiver Oberflächen ist genau das Gegenteil nötig. Dementsprechend begegnet man in Ausstellungen immer öfter dem Hinweis „Bitte nicht berühren“.