Audible Textures
2020
私たちが音を聴くとき、その音の性質は、実際に音が出る物体やデバイスなどによって変化する。また楽器のように、音を出す物体を操作する際には、自分の行為と実際に鳴る音の間に存在するルールを推測し、自らの身体感覚に落とし込むことで、直感的に演奏することが可能になる。デジタルデバイスは行為による入力と実際に出る音の間のルールを自由に設定することができ、ユーザーは入力装置の形やグラフィックの変化などを手がかりに、音を操作する。ここでユーザーに与える感覚的フィードバックを音とリンクさせることで、ユーザーが「何を聴いているか」を認識させ、新しい演奏体験を作ることができると考えた。
モアレは、二種類以上のパターン(模様)を重ねてずらした時に発生する新たなパターンである。主に視覚的なものに用いることが多いが、この研究ではモアレを操作する感覚で音を操作する、つまり「モアレを聴く」感覚をユーザーに与えることを試みる。アクリル板に印刷した、同じドットのパターンを回転させる(ずらす)ことで現れるモアレのパターンの密度の変化を観察し、曲線を描写する。この曲線を音の再生スピードやボリュームの変化に当てはめ、実際のモアレの変化と連動させることで視覚的フィードバックを与え、一つのツマミによる操作を可能にした。
When we listen to sound, the nature of that sound changes depending on the object or device that actually produces the sound. When we manipulate objects that produce sound, such as musical instruments, we can play intuitively by inferring the rules that exist between our actions and the actual sound, and by incorporating them into our physical senses. The digital device allows the user to freely set the rules between the input by action and the actual sound produced, and the user manipulates the sound using cues such as changes in the shape and graphics of the input device. By linking the sensory feedback given to the user here with the sound, we thought we could create a new performance experience by making the user aware of what he or she is listening to.
Moiré is a new pattern that occurs when two or more patterns are superimposed and displaced. Although it is often used mainly for visual objects, this research attempts to manipulate sound with the sensation of manipulating moiré, in other words, to give the user the sensation of "listening to moiré. By rotating (shifting) the same pattern of dots printed on an acrylic board, we observed changes in the density of the moiré pattern that appeared, and drew a curve. By applying this curve to changes in sound playback speed and volume, and linking it to actual changes in moiré, visual feedback is provided and operation with a single knob is made possible.
Video shooting and editing: Tetsuro Ryuta