Takafumi Horiuchi

Arpeggicho

Система, превращающая сыгранные арпеджио в аккорды в реальном времени

1. Обзор

Система записывает каждую сыгранную ноту и накладывает записи друг на друга, позволяя услышать арпеджио как аккорд. Даже на инструменте, который извлекает только одну ноту за раз, можно в реальном времени услышать собственные ноты вместе и исследовать их гармонию.

Демонстрация прототипа, находящегося в разработке

2. Предпосылки и проблема

Разучивая арпеджио на саксофоне, я заметил, что запоминаю их прежде всего как последовательности движений пальцев или схемы аппликатуры. Мне было трудно мысленно связать ноты, которые я играл по одной, со звучанием аккорда, который они образовали бы вместе.

Так появилась идея инструмента, который накладывает друг на друга действительно сыгранные ноты и помогает на слух понять связь между арпеджио и аккордами.

3. Подход

Слева: после исполнения C и E. Справа: с добавлением G завершено до-мажорное трезвучие.

Сценарий 1: собирать аккорд во время игры

Система продолжает воспроизводить уже сыгранные ноты. Когда вы играете следующую ноту, слушая предыдущие, сохранённые звуки накладываются на живой звук инструмента. Это позволяет слышать интервальные соотношения и звучание аккорда прямо во время игры.

Сценарий 2: слушать после игры

Когда вы заканчиваете играть, записанные ноты продолжают звучать вместе как аккорд. Можно послушать гармонию, созданную вашим арпеджио, не играя при этом на инструменте.

Главная идея: использовать собственный звук

Для воспроизведения используется ваша собственная игра, записанная на месте, а не готовые звуки инструментов. Тембр и интонация сохраняются, поэтому и создание аккорда во время игры, и последующее прослушивание опираются на ваше собственное звучание.

4. Проектирование и реализация

Поскольку система работает со звуком в физическом пространстве, место использования и условия аудиоввода и вывода тоже входят в задачи проектирования. При запуске проводится калибровка: примерно одну секунду измеряется окружающий звук, а затем на основе его уровня регулируется порог обнаружения сыгранных нот.

Кроме того, в одном пространстве динамик воспроизводит запись, а микрофон одновременно улавливает новые ноты. Поскольку микрофон принимает оба звука, различение воспроизводимых и вновь сыгранных нот стало ещё одной задачей при реализации.

Участки с нестабильной высотой тона или громкостью отбрасываются. Из каждой записи выбирается стабильный фрагмент длиной 150–300 миллисекунд, который воспроизводится по кругу со сглаженными стыками. Пики выходного сигнала при наложении нот также ограничиваются, чтобы громкость не становилась чрезмерной.

5. Дальнейшие задачи

Система пока находится в разработке и не выпущена для широкой публики. Я хочу повысить качество распознавания звука и сделать интерфейс и взаимодействие удобнее для занятий. Эффект для обучения тоже ещё не проверен: в ходе реальных занятий я планирую выяснить, помогает ли система на слух понять связь между арпеджио и аккордами.