Interactive installation that stages a staring contest between a human participant and a machine.
Intimidation Game
Quick prototype of the mechanical version of the Intimidation Game. Needs some more tweaks here and there.
Video showing interaction with the unfriendly face
Video showing interaction with the friendly face.
AI-generated image of the planned installation: unfriendly face turned toward the participant.
Friendly face turned toward the participant.
Setting
Teilnehmende treten in einen Staring Contest mit einer maschinellen Installation, die als Gegenüber fungiert.
Das System zeigt ein Paar Augen, das den Blickkontakt aufrechterhält. Das Augenpaar und seine Animation sind keine Repräsentation von KI. Sie spiegeln – bevor das Duell beginnt – lediglich das Verhalten des Nutzers wider (seine Blinkfrequenz wird aufgenommen und verzögert am Maschinen-Augenpaar angezeigt).
Experimentelle Anteil des Intimidation Games (AB-Test)
In einem AB-Design variiert ausschließlich die affektive Gestaltung des Gegenübers (freundliche vs. unfreundliche Augen bzw. Maschine). Alle weiteren Parameter bleiben konstant.
Limitationen
Das Experiment erhebt keinen Anspruch auf statistische Generalisierbarkeit. Es versteht sich als situatives, performatives Experiment zur Exploration affektiver Zuschreibungen in Mensch-Maschine-Interaktionen.
Benutze Technologie im Intimidation Game
Das Blinzeln der Teilnehmenden wird mittels Facemash und EAR-Algorithmus als körperlicher Abbruchmarker erfasst.
Facemesh
MediaPipe Face Mesh (von Google) ist ein leistungsstarkes KI-Modell, das 468 3D-Landmarks in Echtzeit ermittelt.
Ich habe dieses Modell gewählt, da ich die gesamte Programmierung auf einem Raspberry Pi 4 laufen lassen möchte. Das Modell ist leichtgewichtig genug, um dies umzusetzen.
Für den Ausstellungskontext ist mir wichtig, dass keine Daten an Drittanbieter übertragen werden müssen und aus Datenschutzgründen weder identifizierende Technologien eingesetzt noch Daten gespeichert werden.
Eye Aspect Ratio (EAR) Technik
Die EAR-Technik ist eine einfache, aber robuste Methode zur Erkennung des Geschlossenheitszustands von Augen. Sie wird näher im Real-Time Eye Blink Detection using Facial Landmarks paper beschrieben:
A real-time algorithm to detect eye blinks in a video sequence from a standard camera is proposed. Recent landmark detectors, trained on in-the-wild datasets exhibit excellent robustness against a head orientation with respect to a camera, varying illumination and facial expressions. We show that the landmarks are detected precisely enough to reliably estimate the level of the eye opening