Synesthesia, Design, Fine Arts and Music



Multisensory Perception and Synesthesia

Synesthesia means the capability of the perceptual system to induce perception within one sensual modality by stimulation of a different sensual area. Similar phenomena are pronounced at relatively few individuals, but show a characteristic permanence. Often the phenomenon of visual perception caused by auditory stimulation is described as color(ed) hearing. In principle, synesthesia can occur between all senses. Such connections are also observed within one sensory space. In that manner, numbers and letters can get an additional color during a process of visual perception or imagination. 

Applications in the Arts and Design

My papers and artwork mentioned on this website illuminate phenomena of synesthesia, but also consider the widespread capabilities of cross-sensory connections via correspondences, associations/iconicity, multi-sensory symbolism and conscious generation of rules (e.g. with reference to physical parameters or algorithms). This enables development of numerous fields of application, like sound design and perception of soundscapes, multi-sensory design of products and interfaces, virtual environments, correlation of music and the fine arts, musical acoustics, and many others. 

 

Recent publications


Influence of the key played on the timbre variation of recorders. Proc. forum acusticum 2023, 10th Convention of the European Acoustics Association, Turin, Italy.

with Frank Hergert: Tonal timbre variations of historical recorders and transverse flutes compared to pipe organ ranks. Proc. forum acusticum 2023, 10th Convention of the European Acoustics

Association, Turin, Italy.Wirkung der Klangfarben-Variabilität von Flöten auf Tonart und melodischen Verlauf. Annual Conference DAGA 2023, Hamburg. Berlin: DEGA, 2023, 957-60

with M. Gatt, Ph. Steurer, H.-M. Fischer, A. Drechsler, D. Krahé: Philosophie in der Akustik, Aspekte der Podiumsdiskussion. Annual Conference DAGA 2023, Hamburg. Berlin: DEGA, 2023, 1116-9

Scope and limits of synaesthetic arts. Proc. VII International Congress “Synaesthesia: Science and Art” *The digital / physical challenge* Oct 26-29, Granada & Alcalà la Real/Spain, 2022, 241-50

How can we approach the topic of the tone-to-tone timbre variability of historical instruments? Proc. Mtgs. Acoust. 49, 035005 (2022)    https://doi.org/10.1121/2.0001660

Verfahren zur auditiven und visuellen Darstellung der Klangfarbenvariabilität historischer Flöten. TIBIA, Portal für Holzbläser. Celle: Moeck, 2022     Text

The Role of the Iconicity of Sound within the Multisensory Environment. Vibrations in Physical Systems, 2022, 33(1), 2022106. DOI: 10.21008/j.0860-6897.2022.1.06

Die wahrgenommene Qualität – Ein Paralleluniversum zur technischen Qualität. QZ-online.de, München: Carl Hanser Verlag, 2022.

Authentische Gestaltung – Messung der assoziativen Qualität von Designelementen und Oberflächen. QZ-online.de, München: Carl Hanser Verlag, 2022.

Subjective and objective evaluation of the tone-to-tone timbre variability of historical flute designs. Proc. Euroregio/BNAM2022 Joint Acoustics Conference, Aalborg, 2022, 67-76

Eine Alpensinfonie. Synästhetische Kunst zur sinfonischen Dichtung von Richard Strauss. AXON, Newsletter der Deutschen Synästhesie-Gesellschaft, 01/2022,  8-9. 

Influence of the key played on the timbre variation of recorders. Proc. forum acusticum 2023, 10th Convention of the European Acoustics Association, Turin, Italy, 3439-46  DOI: 10.61782/fa.2023.0073


Key topics

Audio-visuelle Verknüpfungen im Wahrnehmungssystem und die Eingrenzung synästhetischer Phänomene. In: Sidler, Natalia & Jewanski, Jörg (ed.): Farbe-Licht-Musik. Synästhesie und Farblichtmusik. Züricher Musikstudien Vol. 5. Bern: Peter Lang Verlag, 2006

Synesthetic Design – building multi-sensory Arrangements. In: Kai Bronner & Rainer Hirt (eds.): Audio Branding - Brands, Sounds and Communication. Berlin: Nomos, 2009

Synästhetisches Design - Multisensuelle Gestaltung in der angewandten Kunst. In: Andrea Gottdang, Regina Wohlfarth (eds.): Mit allen Sinnen - Sehen, Hören, Schmecken, Riechen und Fühlen in der Kunst. Leipzig: Seemann Henschel Verlag, 2010

Advanced description of noise perception by analysis of cross-sensory interactions within soundscapes. Noise Control Eng. J. 58 (5), Sept-Oct 2010, 540-50

Synästhetisches Design - Kreative Produktentwicklung für alle Sinne. München: Carl Hanser Verlag, 2009 - English Edition: Synesthetic Design. Handbook for a Multi-Sensory Approach. Basel: Birkhäuser Verlag, 2013

Multisensory Perception and Product Design. Plastics in Automotive Engineering. Düsseldorf: VDI Verlag, 2013, 1-12

Alexander Truslit: Gestaltung und Bewegung in der Musik. Ein tönendes Buch vom musikalischen Vortrag und seinem bewegungserlebten Gestalten und Hören. Reprint of the original edition 1938, edited and prefaces by Hans Brandner & Michael Haverkamp. Augsburg: Wißner-Verlag, 2015

Effects of Material Touch-Sounds on Perceived Quality of Surfaces. SAE World Congress WCX17. Detroit, USA, April 5, 2017. SAE Paper 2017-01-0495

How does what we hear sound? The qualia problem in acoustics. Proceedings of the 23rd International Congress on Acoustics, September 9-13, 2019, Aachen, Germany, 1418-25

Light, color and motion as crossmodal elements of Baroque music. e-Forum Acusticum 2020, Lyon, France, 2099-106. DOI 10.48465/fa.2020.0021

Soft sounds in quiet cars - design with respect to subjective intensity of sounds. e-Forum Acusticum 2020, Lyon, France, 2377-84. DOI 10.48465/fa.2020.0020

Synesthetic Design versus Multisensory Design – Differences and Benefits. In: A.V.Sidoroff-Dorso (ed.), Synaesthesia: Cross-sensory aspects of cognitive activity in science and art. Proc. 2nd IASAS-Symposium, October 17 – 20, 2019. Moscow, 2021, 142-7

Auditory perception and the subjective representation of time. Proc. Euronoise 2021 E-Congress. Sociedade Portuguesa de Acústica (SPA), 2021, 452-60 

Synaesthetic and multisensory approaches for product design. Venice Design Week opening event,  October 7, 2023


Multisensorische Konzepte in Kunst und Design am Beispiel der Werke von Paul Klee und Wassily Kandinsky. Städtisches Museum Braunschweig, April 18, 2024

Synaesthetic artists of “Farbe-Ton-Forschung” (colour-tone-research) in Germany 1925-36. UKSA/ASA Conference at Somerville College, University of Oxford.  May 10, 2024



Interviews

Andreas J. Haller, Mischa Delbrouk: Sinneswahrnehmung als Ganzes denken. HAPTICA Magazin #01, Köln: WA Media, Jan/Feb 2024, 82-85

Marianne Preibisch: Michael Haverkamps kreative Produktentwicklung für alle Sinne. In: werkspuren. Zürich: Verein für die Vermittlung von Gestaltung und Technik, 4/2022, Nummer 168, pp. 18-21.  

Anton V. Sidoroff-Dorso, Sean A. Day, and Jörg Jewanski (Eds.): Synaesthesia; Opinions and Perspectives - 30 Interviews with Leading Scientists, Artists and Synaesthetes. Wissenschaftliche Schriften der WWU Münster, Reihe VIII, Band 5, Dortmund: readbox unipress, 2020, pp. 278-287.


Current Presentations & Exhibitions


2024:

 

Presentation: Synaesthetic artists of “Farbe-Ton-Forschung” (colour-tone-research) in Germany 1925-36.

UKSA/ASA Conference at Somerville College, University of Oxford. May 10th to 12th 2024.



Dialogführung mit Juliane Zetzsche: Synästhesie im Werk von Wassily Kandinsky

In der Ausstellung: Hilma af Klint und Wassily Kandinsky - Träume von der Zukunft

Kunstsammlung NRW - K20

Grabbeplatz 5   Düsseldorf    1.5.2024  18:00Uhr



Vortrag: Synästhesie - Sehen mit allen Sinnen.

Low Vision Kreis, Frühjahrstagung, 

Aachen, 27.4.2024



Vortrag: Multisensorische Konzepte in Kunst und Design am Beispiel der Werke von Paul Klee und Wassily Kandinsky.

Im Begleitprogramm zur Ausstellung: Galka Scheyer und die Blaue Vier - Feininger, Jawlensky, Kandinsky, Klee. Städtisches Museum Braunschweig,                    18.4.2024 19:00 Uhr



Vortrag: Klangfarben-Variabilität von Bassblockflöten in historischen und modernen Bauformen.                     19.3.2024  13:40 Uhr

Poster: Die Welt als Wahrnehmung

Podiumsdiskussion: Philosophie in der Akustik (Moderation & Beitrag)  21.3.2024 14:00-16:40 Uhr

DAGA 2024 - 50. JAHRESTAGUNG FÜR AKUSTIK, Hannover

 



2023:

 

Verknüpfung der Sinne als Grundlage von Kreativität

Vortrag und Gespräch mit Prof. Dr. Nicolas Rothen (Bern) und Dr. Marie Luise Schreiter (Tübingen)

Württembergische Landesbibliothek Stuttgart, 30.11.2023, 19 Uhr


Ausstellungsbeteiligung / Contribution to exhibition

Musik aufs Auge

Württembergische Landesbibliothek Stuttgart

27.09.2023 - 05.01.2024

 

Synästhetische Kunst in der Zeit der "Farbe-Ton-Forschung"

Jahreshauptversammlung der Deutschen Synästhesie Gesellschaft DSG

18.11.2023, Neuwied


Multi-sensory features of surfaces – perception and design

on-line presentation

Visual Elements for Design/Studio (professors: Dina Riccò and Antonella Andriani), School of Design, Politecnico di Milano

November 9, 2023, 2:15 pm



Contribution to exhibition

A Taste of Synaesthesia

OXO Tower Barge House, Central London

Oct 27, 2023

organized by:


 

Art in Conversation: Design and Synaesthesia 

online seminar 

ArC_Art in Conversation

October 25, 2023, 3:30pm UK time



Synesthetic and Multi-Sensory Approaches for Product Design

Presentation and Talk

Venice Design Week

October 7, 2023, Venice, Italy




Influence of the key played on the timbre variation of recorders

with Frank Hergert: Tonal timbre variations of historical recorders and transverse flutes compared to pipe organ ranks

forum acusticum 2023, Sep. 11-15, Torino, Italy



Synaesthetic and multisensory design of real and artificial environments 

Cologne, TH Köln (Cologne Game Lab), Schanzenstr. 28, August 14, 2023


 

Wirkung der Klangfarben-Variabilität von Flöten auf Tonart und melodischen Verlauf


Was heißt und zu welchem Ende brauchen wir Philosophie in der Akustik?


DAGA 2023 - 49. JAHRESTAGUNG FÜR AKUSTIK, 6. - 9. März 2023, Hamburg

 



2022:

 

Scope and limits of synaesthetic arts

presentation at VII International Congress Synesthesia, Science & Art - The digital/physical challenge, Granada and Alcalá la Real (Jaén), Spain, October 27, 2022


Richard Strauss - Alpensinfonie 

Cycle of Objects/Paintings - Excerpt. Exhibition “Art and Synaesthesia”, Alcalá la Real, Convento de los Capuchinos, Vernissage October 29, 2022, 18:30


J. S. Bach - Sonata for recorder and piano F major

Svetlana Rudenko, Piano; Michael Haverkamp, recorder & paintings. Alcalá la Real, Teatro Martínez Montañés, October 29, 2022, 20:00



How can we approach the topic of tone-to-tone timbre variability of historical instruments?

4th Vienna Talk on Music Acoustics.

- on the occasion of the 40th anniversary of the Department of Music Acoustics (IWK).

University of Music and Performing Arts Vienna, Austria. 

September 11-14, 2022



Das Hören im Kontext der Sinne - Multisensorische Aspekte von Geräuschen und Musik. 

Vortrag im Rahmen der Ringvorlesung Faszination Akustik - eine Reise durch die Welt des Schalls.

Technische Universität Braunschweig

1. 6. 2022, 16:45Uhr






Synesthetic versus Common Approaches for Multisensory Arts.


+ Exhibition of my "Alpensinfonie"-Project


Convergence - Seminar on multisensory approaches in artistic performance and interactions.      20 & 21 May 2022
Royal Conservatoire Antwerp / Belgium




Klangfarben-Variabilität von Blockflöten aus Renaissance und Barock - Vortrag

48. Jahrestagung für Akustik

22. 3. 2022    14:00   Stuttgart 




Subjective and objective evaluation of the tone-to-tone timbre variability of historical flutes

EAA Euroregio / BNAM 2022 Joint Acoustics Conference, May 9-11  2022   Aalborg (DK)