MIDI и OSC — основные протоколы взаимодействия музыкальных приложений
Часть 1. MIDI
1 Предпосылки
Необходимость в таком стандарте возникла примерно к концу 70-х годов. В то время синтезаторы управлялись напряжением с помощью интерфейса CV/Gate. Существовало несколько его видов, однако, наибольшую популярность получил вариант, предложенный фирмой Roland: в нем при увеличении напряжения на 1 В, частота генерируемого тона увеличивалась на одну октаву. Главным недостатком такого интерфейса является то, что с помощью него можно управлять только одним голосом полифонии. Для извлечения дополнительной ноты нужно добавлять еще один интерфейс CV/Gate. Кроме того, таким способом передается только сам факт нажатия клавиши и ее высота, чего однозначно мало для выразительной игры.
Другим недостатком синтезаторов того времени была сложность настройки. Для каждого нового звука музыкантам приходилось настраивать инструмент заново, что было очень не удобно на живых выступлениях. На концертах тех времен часто можно было увидеть целые стеллажи из синтезаторов — так музыканты выходили из ситуации. Со временем в инструменты были встроены мини-компьютеры, с помощью которых можно было сохранять положения ручек в пресеты.
Однако, есть еще один момент, который оказал большое влияние на разработку MIDI.
Несомненно, у каждого синтезатора свой характер звучания, каждый из них был силен в определенных типах звуков. Поэтому многие музыканты того времени практиковали игру сразу на двух инструментах, как бы используя лучшее из разных моделей. Наслоение звуков из различных синтезаторов стало исполнительским приемом, визитной карточкой многих музыкантов. [1]
2 История появления
К началу 80-х большинство производителей осознали необходимость создания единого интерфейса. Задача стояла такая: разработать стандарт передачи действий исполнителя в цифровой форме между всеми типами электромузыкальных инструментов. [1]
3 Основы
MIDI — это протокол последовательной передачи данных между главным и подчиненным устройством. Главное устройство генерирует сообщения и отправляет их подчиненному устройству, который выполняет полученные команды. Последовательный — значит информация передается по одному биту, бит за битом. Отсюда следует невозможность передачи нескольких сообщений одновременно.
Сам протокол состоит из трех частей [1]: спецификация формата данных, аппаратная спецификация интерфейса и спецификация хранения данных. В данной статье будет идти речь только о первой части.
MIDI сообщения делятся на два типа: сообщения канала (channel messages) и системные сообщения (system messages). Первые управляют звукообразованием, а вторые выполняют служебные функции, например, синхронизация.
Сообщение обычно состоит из двух или трех байт. Первый байт называется статус байтом. В нем задается тип сообщения и номер канала, к которому оно относится. Все последующие байты называются байтами данных. Статус-байт всегда начинается с единицы, а байт-данных с нуля — таким образом система их различает. Получается, что для MIDI информации остается только 7 бит, с помощью которых можно закодировать целые числа от 0 до 127, — вот откуда берется это «знаменитое» ограничение на количество нот и значения контроллеров.
Как видно из рисунка, информации о типе сообщений отводится всего 3 бита, в которых можно закодировать только 8 чисел. 7 из них отведены под наиболее часто используемые команды, а последнее используется для системных сообщений. Когда передается системное сообщение, последние 4 бита статус байта (в которых обычно передается номер канала) определяют тип системного сообщения.
Табл. 1. Сообщения канала.
| Сообщение | Статус-байт | Байт данных 1 | Байт данных 2 |
| Note Off | 1000nnnn | Номер ноты | Velocity |
| Note On | 1001nnnn | Номер ноты | Velocity |
| Polyphonic Key Pressue | 1010nnnn | Номер ноты | Давление |
| Control Change | 1011nnnn | Номер контроллера | Значение |
| Program Change | 1100nnnn | Номер программы | — |
| Channel Pressure | 1101nnnn | Давление | — |
| Pitch Wheel Change Change | 1110nnnn | Номер программы | — |
| Системные сообщения | 1111nnnn | . | . |
Табл. 2. Системные сообщения
| Сообщение | Статус-байт | Байт данных 1 | Байт данных 2 |
| System Exclusive (SysEx) | |||
| System Exclusive | 11110000 | ID | . |
| System Common | |||
| MTC Quater Frame | 11110001 | Тайм-код | — |
| Song Position Pointer | 11110010 | LSB | MSB |
| Song Select | 11110011 | Номер песни | — |
| Tune Request | 11110110 | — | — |
| End Of Exclusive (EOX) | 11110111 | — | — |
| Real Time | |||
| Timing Clock | 11111000 (248) | — | — |
| Start | 11111010 (250) | — | — |
| Continue | 11111011 (251) | — | — |
| Stop | 11111100 (248) | — | — |
| Active Sensing | 11111110 | — | — |
| System Reset | 11111111 | — | — |
4 Недостатки
MIDI разрабатывался, как доступный и практичный стандарт для передачи жестов исполнителя между любыми MIDI-устройствами [2]. Не в последнюю очредь благодаря своей легковесности он и получил такое распространение. Что ни говори, со своим предназначением он справляется прекрасно, и это подтверждается временем.
Итак, наверное, самый известный недостаток — ограничение значений контроллеров на 128 значений. Конечно, есть возможность передавать их с помощью двух байтов данных (что дает 16 384 возможных значений), но для этого надо передать три сообщения Control Change, что очень сильно загрузит протокол, так как данные по нему передаются со скоростью 31 250 бит/с. Это очень мало. Для сравнения, 12-нотный аккорд передастся примерно за 10 мс. И это без других сообщений, например Clock и CC. В реальном перфомансе, когда одновременно передается много различных параметров, могут возникнуть проблемы с синхронизацией.
Часть 2. Open Sound Contol
«Open Sound Control — это новый, оптимизированный для современных сетевых технологий протокол для взаимодействия компьютеров, звуковых синтезаторов и других мультимедиа устройств» — так был представлен OSC на международной конференции по компьютерной музыке в 1997 году [3]. OSC не является протоколом в том виде, каким является MIDI, так как он не описывает требований к аппаратному обеспечиванию — спецификации описывают лишь формат передачи данных. В этом плане OSC больше схож с XML или JSON, нежели с MIDI [8].
Пока оставим технические подробности и начнем с самого начала, с истории.
1 История, области применения
Open Sound Control был создан в 1997 году Мэттью Райтом (Matthew Wright) и Эдрианом Фридом (Adrian Freed) в Университете Калифорнии в центре новой музыки и аудио технологий (CNMAT — Center of New Music and Audio Technologies). Разработчики хотели использовать высокоскоростные сетевые технологии в интерактивной компьютерной музыке [4]. OSC не важно, по какому протоколу передаваться, так как он представляет собой всего лишь формат данных (binary message format), хотя большинство реализаций используют TCP/IP или UDP. Другой причиной создания было то, что MIDI с его нотами, каналами и контроллерами логично не подходил к разрабатывающемуся в то время синтезатору CAST (CNMAT Additive Synthesis Tools), оно и понятно, ведь MIDI — это клавишно-ориентированный протокол, который разрабатывался для управления одним синтезатором с другого [1].
Слово «Open» в названии означает, что OSC не предопределяет, какие сообщения должны использоваться для определенных параметров — это решается разработчиком конкретного девайса. Кроме того, это слово имеет и другое значение: протокол открыт, его спецификации находятся на официальном сайте, где можно скачать исходники.
2 Особенности
3 Анатомия сообщений
Стоит отметить, что при использовании UDP, если сообщения передавались в разных пакетах, они не обязательно будут приходить в том порядке, в каком были переданы [6]. Допустим, были переданы сообщения:
/synth1/noteoff 54
/synth1/noteon 60
Фактически они могут прийти в обратном порядке:
/synth1/noteoff 60
/synth1/noteon 54
Это может привести к проблемам с управлением голосами в полифонии, например, в данном сообщении передается команда noteoff, которая выключает голос, а потом включает другую ноту. Если эти сообщения придут в обратном порядке, голос не освободится и новая нота не сможет запуститься.
Чтобы этого избежать, нужно передавать сообщения в одном пакете (bundle), либо использовать TCP/IP, он отличается от UDP тем, что гарантирует корректную доставку пакетов, передавая каждый из них до тех пор, пока он не передастся в изначальном виде. Нужно иметь ввиду, что ценой такому удобству будут большие в сравнении с UDP задержки, поэтому использование TCP/IP должно быть обосновано.
4 Pattern matching
дефис между двумя символами означает диапазон чисел в ASCII последовательности (дефис в конце строки не имеет специального значения);
Что значит подключение как MIDI?
Что означает подключение как MIDI?
Режим, который использует интерфейс USB для вывода звука с компьютера. MIDI. Этот режим дает возможность использовать смартфон в качестве MIDI-устройства: например, MIDI-клавиатуры для создания музыкальных композиций в специализированных программах.
Что такое MIDI режим?
MIDI (англ. Musical Instrument Digital Interface — цифровой интерфейс музыкальных инструментов) — стандарт цифровой звукозаписи на формат обмена данными между электронными музыкальными инструментами.
Что такое использовать устройство как MIDI?
Что такое режим PTP?
PTP означает «Протокол передачи изображений». Когда Android использует этот протокол, он представляется компьютеру как цифровая камера. MTP фактически основан на PTP, но добавляет больше функций или «расширений». PTP работает аналогично MTP и обычно используется цифровыми камерами.
Как транслировать экран телефона через USB на телевизор?
Если требуется, подключите к нему питание с помощью USB-кабеля. Выберите на телевизоре HDMI-разъём, к которому подключён адаптер. Скачайте приложение по QR-коду на экране и подключитесь через него. Или используйте стандартную функцию Android, активировав её в меню «Настройки» → «Экран» → «Беспроводной монитор».
Можно ли подключить телефон к магнитоле через USB?
Возьмите USB шнур и соедините им телефон и бортовую «музыку». Скорее всего, она определит подключенный телефон как «флешку». В меню телефона разрешите передачу данных через USB. Управлять проигрыванием можно через аудиосистему машины.
Что такое MIDI USB?
Что такое USB для MIDI?
Для чего нужны MIDI файлы?
Как настроить USB подключение на Андроиде?
Вернитесь в основное меню настроек и перейдите в раздел «Для разработчиков» Выбрать «Конфигурация USB» Выбрать MTP подключение для передачи файлов Если на вашем ПК не установлены Android драйвера, то установить
Почему телефон не подключается к компьютеру?
Почему компьютер может не определить телефон или планшет
Среди возможных причин — некорректные действия при подключении, устаревшее или неправильно настроенное ПО, неисправности USB-кабелей, портов или самих устройств.
Как перевести телефон в режим передачи файлов?
Разблокируйте экран телефона. На телефоне коснитесь уведомления «Зарядка устройства через USB…». В диалоговом окне «Режим работы USB» выберите Передача файлов.
Что такое режим Ртр в телефоне?
Режим PTP предназначен для прямой печати фотографий с фотоаппарата на принтеры или автоматические фотокиоски. Также этот режим можно использовать для передачи фото в ОС и устройства, которые не поддерживают MASS STORAGE, а работают по PTP. Считают, что это решение удачно: 1 чел. NEX-5 не работает по USB как веб-камера.
Что такое Мтп в телефоне?
Протокол Media Transfer Protocol (передача мультимедийного контента) или сокращенно MTP. Протокол для мультимедиа устройств, таких как Android смартфоны и планшеты, MP3-плееры, при подключении их к компьютеру или ноутбуку. Используется для обмена данными между устройством и компьютером.
Что такое медиа устройство?
Что такое подключение как MIDI?
MIDI — это аббревиатура от Music Instrument Digital Interface (он же МИДИ) — цифровой протокол передачи данных между электромузыкальными инструментами (ЭМИ). … ЭМИ это инструмент, звучащий в результате электронного синтеза (в народе — синтезатор).
Что такое USB MIDI?
Для чего нужна миди клавиатура?
Миди-клавиатура – это разновидность клавишного инструмента, который позволяет музыканту играть на клавишах, используя звуки, заложенные в компьютере. MIDI – это язык при помощи которого, музыкальный инструмент и компьютер понимают друг друга.
Что такое миди вход на устройстве?
MIDI (англ. Musical Instrument Digital Interface — цифровой интерфейс музыкальных инструментов) — стандарт цифровой звукозаписи на формат обмена данными между электронными музыкальными инструментами.
Для чего нужен миди выход?
Для начала скажем так: MIDI (Musical Instrument Digital Interface — Цифровой интерфейс музыкальных инструментов) — это то, что позволяет нажать клавишу на одном синтезаторе и воспроизвести при этом звук другого.
Что такое режим MIDI?
Режим, который использует интерфейс USB для вывода звука с компьютера. MIDI. Этот режим дает возможность использовать смартфон в качестве MIDI-устройства: например, MIDI-клавиатуры для создания музыкальных композиций в специализированных программах.
Что такое MIDI?
Миди представляет собой изделия средней длины до колена или чуть ниже колена. Плюс в том, что подобные платья подходят девушкам с любым типом фигуры, но смотреться гармонично только с обувью на каблуке, балетки с такой длиной лучше не носить.
Сколько нужно клавиш на миди клавиатуре?
Ответы на эти вопросы определяют, на сколько клавиш Вам нужен контроллер. Обычно, MIDI клавиатуры имеют стандартное количество 25, 49, 61 или 88 клавиш, а их длина составляет от менее 50 до более 130 сантиметров. Но встречаются и модели на 32, 37, 73 и 76 клавиш.
Чем отличается миди клавиатура от компьютерной клавиатуры?
MIDI-клавиатуры бывают только цифровыми, а синтезаторы как цифровыми, так и аналоговыми. Функции цифровых инструментов очень похожи между собой. … Главные функции синтезатора – проигрывание и запись звука. Да, MIDI-клавиатуры также способны воспроизводить звук, однако в основном они используются как контроллеры.
Как настроить пэды на миди клавиатуре?
Как работают с миди?
MIDI — это протокол связи между устройством управления, генерирующим команды, и подчиненным устройством, выполняющим эти команды. … Эти инструменты, получая команды, обрабатывают их так же, как и при воздействии на их собственные органы управления.
Как правильно выбрать синтезатор для начинающих?
Топ-5 синтезаторов для начинающих
Для чего нужен миди контроллер?
MIDI контроллер – это специальное устройство, которое преобразовывает физические действия в цифровые сообщения формата MIDI. Под физическим действием я подразумеваю, скажем, нажатие на клавишу, движение фейдера или поворот ручки. … Очень удобно использовать MIDI контроллеры для записи автоматизации или отпечатков клавиш.
Что такое музыкальная клавиатура?
Музыкальная клавиатура — совокупность клавиш музыкального инструмента, которым соответствуют звуки определенной высоты. … Музыкальные инструменты, имеющие клавиатуру, классифицируются как клавишные музыкальные инструменты. Диапазон у клавиатур встречается разный.
Можно ли научиться играть на миди клавиатуре?
Чтобы ответить на ваш вопрос, да. Вы можете научиться играть на пианино, тренируясь на миди-клавиатуре. Если возможно, я бы посоветовал вам приобрести миди-клавиатуру с 88 клавишами, имеющую утяжеленные клавиши.
Как использовать планшет или телефон в качестве Midi устройства в Fl Studio
В статье рассказывается о возможности использования вашего планшета/смартфона в качестве дополнительного MIDI устройства (клавиатуры, пэдов и т.д.) в программе FL studio, независимо от фирмы и установленной на нем операционной системы.
Для того что бы использовать Ваш гаджет в качестве Midi устройства, необходимо иметь Fl Studio от одиннадцатой версии.
Далее необходимо скачать в PlayMarket или Itunes (в зависимости от установленной на вашем портативном устройстве операционной системы) программу «IL Remote». Она бесплатна в обоих случаях.
Основной компьютер и мобильное устройство должны быть подключены к одной и той же Wi-Fi сети.
После проведения всех этих действий, необходимо зайти в FL Studio и включить функцию «Enable Image-Line Remote». (Options–Midi settings)
Теперь связь между вашим Пк и гаджетом установлена. Программа имеет множество различных функций, имеет возможность тонкой настройки. Также можно создать свой пресет.
На скриншоте выше, можно увидеть пример пользовательского пресета. На нем имеется 16 пэдов, транспортная панель, кнопка включения метронома, кнопка переключения между режимами Song\Pattern, два программируемых кноба и один фейдер. Также хотелось бы заметить, что отсутствует какая либо задержка, программа работает идеально. Если у Вас она все таки имеется, проверьте размер буфера звуковой карты или установленного «асио» драйвера.
В заключении несколько примеров использования данной программы:
Что такое MIDI?
Intro…
Поэтому, сейчас в рамках использования инструментов и компьютерных устройств MIDI воспринимается как простейшая командная система и все надстройки над этим стандартом, разработанные ранее просто теряются. Командная система MIDI уникальна и сейчас используется не только в музыке, но и в реализации программного управления любыми техническими процессами. Например, в робототехнике довольно известна фирма MediaMation (http://mediamat.com/), которая производит оборудование для обеспечения дистанционного программного управления с помощью MIDI-интерфейсов. Помимо этого протокол MIDI использовался для обеспечения интерактивности в системах виртуальной реальности. Всему виной простота, распространенность и низкая стоимость этих устройств.
Второй плюс MIDI состоит в том, что в этом стандарте изначально закладывалась полифония. То есть можно было без труда использовать несколько инструментов.
Сейчас возможности сложной аппаратной MIDI коммутации используются довольно редко, в основном в больших аппаратных студиях. Распайка MIDI-кабелей в данном случае выглядит следующим образом:
MIDI-сообщения
При этом между блоком преобразования сигнала с датчиков и блоком синтеза существует свой поток данных (если мы говорим об аналоговых синтезаторах, то это будет аналоговый сигнал, созданный определенным образом). Теперь обратим внимание на устройство 2. Допустим, что это современная MIDI-клавиатура. В этом устройстве информация с датчиков преобразуется и поступает в MIDI-интерфейс, который конвертирует аналоговый сигнал в цифровой поток, включающий набор команд и передает его на любое MIDI-совместимое устройство (сэмплер, РС, цифровой синтезатор). В результате получается универсальная модель коммутации. Обратите внимание на то, что наш аналоговый синтезатор тоже можно подключить к MIDI, для этого достаточно перевести MIDI-сообщения в аналоговые сигналы управления, понятные для аналогового блока синтеза.
С внедрением MIDI ситуация на рынке синтезаторов изменилась. Получили распространения устройства, именуемые звуковыми модулями, а, по сути, они представляли собой синтезатор или сэмплер, но без клавиатуры. Такие модули управляются по MIDI.
Стандартный банк General MIDI предусматривал практически все инструменты, использующиеся в реальной индустрии, начиная от скрипок и заканчивая некоей эмуляцией современных органов.
Помимо этого, предусмотрен ряд стандартных эффектов, таких как реверберация, хорус, вибрато и т.п.
Таким образом, предполагалось, что музыкант создав аранжировку на своем синтезаторе, сможет без труда перенести ее на устройство от другого производителя и прослушать в нормальном качестве. Но не тут-то было. Производители отказывались делать однотипные по звучанию устройства, и, к тому же со временем набора GM стало просто не хватать. Остановимся сейчас на первом моменте.
В 1999 году появился стандарт GM2, имеющий большее количество инструментов, но это не спасло ситуацию. Параллельно с этим, раньше или позже появились стандарты GS, XG, XS, DLS, которые расширили возможности как непосредственно управления по MIDI, так и по улучшению качества звучания и увеличения набора инструментов. Но, развитие сэмплерных технологий, а также появление виртуальных программных инструментов VSTi и DXi поставило над всеми этими попытками жирную точку. И этот факт показал, что стандартизации такого глобального уровня в индустрии быть не может.
Второй тип явно иллюстрирует недостаток MIDI, поскольку, по сути, является надстройкой, говорящей о том, что каждый производитель может использовать MIDI-сообщения по своему усмотрению, исходя из специфичности своего оборудования. Например, если синтезатор от одного производителя имеет эффект дисторшна и это зафиксировано в файле, то модель от другого разработчика может не понять или проигнорировать это сообщение. Поэтому любители MIDI, сами перепрограммируют SysEx (системные эксклюзивные сообщения) для того, чтобы добиться максимальной совместимости. К каждому устройству поставляется руководство MIDI Implementation, в котором производитель указывает на особенности построения SysEx-сообщений. Для всех верно одно, что эти сообщения начинаются с символа F0, следующим символом будет код фирмы-производителя, после этого идет идентификационный номер устройства в сети (устанавливается системой) и код самого синтезатора, который присваивается производителем. После этого идут команды и значения, количество символов в строке может быть каким угодно. Все данные берутся из того же руководства MIDI Implementation от производителя. SysEx сообщение заканчивается символом F7.
Но, вместе с тем, SysEx дает и множество плюсов, поскольку с его помощью можно описать любые возможности любого MIDI-устройства. Например, с современными моделями синтезаторов и в новом ПО поставляется просто огромное количество SysEx-банков. По сути их можно считать неким аналогом драйверов, действующих в рамках MIDI-систем. При этом для каждой аранжировки можно создавать, изменять и сохранять собственный поток SysEx-сообщений. Это могут делать практически все программные редакторы, работающие с MIDI (Cubase, SONAR, Nuendo…). Помимо этого стоит отметить, что такие стандарты как DS или XG являются в своей основе не более чем SysEx-надстройкой, использующей за основу стандартизацию MIDI и документированные особенности небольшого количества оборудования от нескольких производителей.
С приходом программных виртуальных инструментов все стало намного проще, и мы оперируем только канальными MIDI-сообщениями, программными пресетами и внутренним наполнением файлов.
Во всех секвенсорах и их аппаратных и/или программных реализациях существуют генераторы временного кода, которые производят MIDI-сообщение под названием MIDI Clock. Оно служит для синхронизации аппаратных устройств и программного обеспечения. Группа MIDI-сообщений, использующихся для синхронизации, называется MIDI Time Code или MTC и является одним из основных современных стандартов в синхронизации. MTC поддерживают не только MIDI-устройства, но и обычные цифровые магнитофоны и большинство современного ПО.
Выводы о MIDI
Стандарт MIDI выживает за счет своей распространенности. При этом со временем мы получили огромное количество надстроек над ним, часть из которых уже превратилось в историю.
Синхронизация
Но вместе с тем, звукорежиссер может столкнуться с проблемами синхронизации при работе с менее современным оборудованием (или очень дорогим оборудованием). Поэтому мы сейчас рассмотрим основные принципы реализации синхронизации.
Нужно отметить, что проблема их синхронного воспроизведения решалась с помощью использования перфорационной дорожки на магнитной ленте, которая соответствовала такой же на кинопленке. В результате мы имели вариант физической синхронизации. Система приводилась в движение с помощью одного двигателя, что позволяло автоматизировать процесс. Хотя были и варианты с двумя двигателями отдельно для звука и для кинопленки, скорости вращения которых необходимо было синхронизировать, но проблема в данном случае решалась также просто, поскольку эти скорости находились в прямой зависимости от частоты переменного тока.
С приходом видеоиндустрии и развитием телевидения ситуация кардинально изменилась. Появилась необходимость в протоколах синхронизации, и они были созданы. В 1971 году Обществом Кино- и Видеоинженеров (Society of Motion Picture and Television Engineers, SMPTE) США был принят стандарт SMPTE (читается как «симпти»). Через некоторое время он был поддержан со стороны Европейского Союза Вещателей (European Broadcast Union, EBU) и в результате получившегося слияния принял статус мирового протокола. Поскольку SMPTE был разработан для видеомагнитофонов, то он нес в себе временную информацию, содержащую больше временную информацию, а именно часы (0… 23), минуты (0… 60), секунды (0… 60), кадры (0… 24, 25 или 30). Эта информация называется временным или тайм-кодом.
Еще следует отметить стандарт MIDI Clock, с помощью которого внешним секвенсорам и ритм-машинам сообщается темп по типу метронома.