Преобразование изображения в музыку позволяет слепым людям ориентироваться в окружающем пространстве.

Работа системы EyeMusic


Исследователи из Еврейского университета в Иерусалиме разработали и провели испытания системы EyeMusic, основанной на технологиях замены одного вида ощущений на другие (Sensory substitution devices, SSD). В данном случае система EyeMusic в режиме реального времени выполняла преобразование изображения, получаемого с камеры, в последовательность звуков, в своеобразную музыку, что давало слепым людям возможность "увидеть" окружающую среду в звуковом оформлении. После непродолжительных тренировок все пациенты были способны ориентироваться и быстро перемещаться в окружающей среде, используя музыкальные подсказки системы EyeMusic.

Развертка получаемого камерой изображения осуществляется непрерывно, каждая новая полоса развертки отмечается соответствующей звуковой меткой, чем выше положение текущей развертки, тем выше, соответственно, частота звука метки. Помимо этого пользователю системы EyeMusic предоставляется возможность сфокусировать камеру и звуковую развертку изображения на небольшой области, что позволяет человеку получить более подробное представление об интересующем предмете, потрогать его и взять в руки.

Алгоритм системы EyeMusic использует звучание различных музыкальных инструментов для того, что бы дать пользователю возможность различать цвета. К примеру, белому цвету соответствует вокал, синему - звук трубы, желтому - скрипка, черному - полная тишина. Каждый инструмент может воспроизводить по пять октав, которые были тщательно отобраны профессиональными музыкантами. В большинстве случаев синтезируемый системой EyeMusic звук приятен для слуха человека, по крайней мере не раздражает человека. Примеры синтезируемых системой EyeMusic звуков можно услышать, обратившись по этому адресу.

Проведенные исследования продемонстрировали, что после короткого периода подготовки, около получаса времени, пользователи смогли уверено перемещаться в окружающем пространстве, используя систему EyeMusic. Этот факт работает в поддержку гипотезы о том, что представление пространства внутри мозга не зависит от метода получения информации. Таким образом, любому человеку доступно воссоздание картины окружающей среды по звукам, а после приобретения некоторого опыта с помощью звука можно точно ориентироваться и быстро перемещаться в пространстве.




Ключевые слова:
Система, EyeMusic, Человек, Слепой, Камера, Изображение, Развертка, Звуки, Музыка, Ориентация, Пространство

Первоисточник

Другие новости по теме:
  • Новая система делает действительную реальность неотличимой от виртуальной р ...
  • "Лампочка" LuminAR позволяет превратить любую поверхность в сенсорный дис ...
  • C помощью лазеров можно добиться качественного звучанию акустических музыка ...
  • Используя лазерный датчик можно получать трехмерные изображения и видео с п ...
  • Ученые утверждают, что эхолокацию может освоить каждый.




  • 14 июля 2012 14:12
    #1 Написал: volod

    Публикаций: 0
    Комментариев: 1489
    Не убедили, если взять обычное фото окружающей обстановки, то очень сложно увидеть объемность, т.е. стереоизображение. Например будет не понятно смотрю ли я на картину рядом на стене или на дверь в 3х метрах дальше. Про сложную цветовую гамму и сложную смесь узоров вообще молчу. Поможет разве что в квартире и помещениях для слепых, где будут везде расклеены контрастные цветные фигуры, а до этого будет дано описание где что наклеено.
    Также поможет там, где слепой может ощупать то, что увидел и сопоставить, но не везде и не все можно трогать и другой ракурс того же предмета даст другие звуки, большой вопрос, справится ли мозг с расшифровкой 3д на слух.
        

    Информация

    Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.