Soziale Interaktion durch Klang-Feedback – Sentire


In diesem Forschungsprojekt wird eine Weiterentwicklung des klangbasierten BMI (Body-Machine Interface) namens Sentire sowohl durch die HCI (Human-Computer Interaction)-Forschung als auch durch die klinisch-experimentelle und Real-World Interaktionsforschung angestrebt. Ziel ist es, ein innovatives und bedarfsgerechtes Therapie-System bereitszustellen.
Sentire ist ein italienisches Wort, das sowohl Hören als auch Spüren bedeutet. Sentire nutzt einen Sensor, der die Nähe und die Berührung zwischen Menschen erkennen kann und diese durch eine effektiv berechenbare Abbildung („Mapping“) in Klang umwandelt. Es wurde in Anknüpfung an den als „embodied cognition“ bezeichneten neueren kognitionswissenschaftlichen Ansatz sowie das „embodied interaction“ genannte Paradigma der HCI-Forschung als ein „embodied interface“ konzipiert. Durch die multimodale, sensorische Erfahrung Sentires werden Hören, kinästhetische Wahrnehmung und Berührung mit motorischer Bewegung/Handlung gekoppelt. Unter Berücksichtigung der neurophänomenologischen Bewusstseinsforschung wird derzeit die Möglichkeit des verkörperten Erlebens von eigenen Körper- und Bewusstseinszuständen untersucht. Um der Komplexität der o.g. Interaktion gerecht zu werden und sie in einem System und einer Anwendungsmethode integrieren zu können, ist interdisziplinäre Forschung notwendig. Hierfür ist zum einen die auf eine technologische Lösung abzielende HCI-Forschung, zum anderen die klinisch-experimentelle und Real-World Interaktionsforschung in den ersten zwei Jahren vorgesehen.
Im Teilbereich HCI-Forschung liegt der Fokus auf der Weiterentwicklung des bestehenden Hard- und Software-Designs. Angestrebt wird eine kabellose Version des bereits bestehenden Systems, welche durch maschinelles Lernen und den daraus gewonnenen Mapping-Strategien in der Lage ist, die Entfernung zwischen zwei Personen sowie deren Berührungen kontextabhängig zu erfassen und in darauf präzise abgestimmten Klang umzuwandeln. Darüber hinaus soll eine Benutzer*innen-freundliche Bedienoberfläche entwickelt werden, welche den Anforderungen der verschiedenen Anwendungsgebiete gerecht wird.
Im Teilbereich klinisch-experimentelle und Real-World Interaktionsforschung wird der Fokus auf therapeutische Nutzung im klinischen sowie nicht-klinischen Kontext gelegt. Es werden zwei therapeutische Studien durchgeführt: eine mit der Friedrich von Bodelschwingh Klinik – sie schließt Patienten ein, die an Schizophrenie und Depression leiden, um die mit der Krankheit einhergehenden neurokognitiven Defizite zu verringern; die andere in Kooperation mit der neurologischen Rehabilitationsklinik und Früh-Rehabilitation Beelitz-Heilstätten mit bewegungsbeeinträchtigten Patienten, um die Möglichkeit der Stimulation verschiedener Aspekte der Sensomotorik – sowohl Grob- als auch Feinmotorik – durch Klänge zu untersuchen. In Verbindung mit einem iterativen und inkrementellen Entwicklungsprozess werden des Weiteren nicht-klinische Anwendungen der Technologie unter Einsatz strukturierter Beobachtung sowie mikrophänomenologischer Intervewtechniken untersucht und in Verbindung mit der HCI- und Akzeptanzforschung evaluiert.

Spokesperson
Kim, Jin Hyun Prof. Dr. (Details) (Systematic Musicology)

Financer
BMBF

Duration of project
Start date: 09/2019
End date: 02/2023

Last updated on 2024-04-01 at 16:07