Apple Glass может сделать дополненную реальность правдоподобной с помощью точного 3D-звука

Гарнитура Apple AR или умные очки «Apple Glass» могут предлагать реалистичные звуковые эффекты, которые сочетаются с цифровыми изображениями, наложенными на реальный мир, путем точного воспроизведения звука таким образом, чтобы он соответствовал тому, откуда звук будет исходить в трехмерном пространстве. .

Все игровые системы и системы виртуальной реальности предлагают пользователю некоторый уровень звуковой обратной связи для сопровождения визуальных эффектов. . В случае дополненной реальности опыт просмотра созданного в цифровом виде предмета в реальном мире может быть легко усилен звуковым эффектом, когда с ним каким-либо образом взаимодействуют.

Хотя звук может помочь продать иллюзию видео, есть некоторые ограничения. Типичная настройка стереонаушников может обеспечивать некоторую ограниченную дифференциацию левого и правого каналов на базовом уровне, в то время как виртуальные звуковые системы могут имитировать трехмерное положение, изменяя свойства звукового эффекта для имитации искажений в зависимости от его расположения.

Например, звук, воспроизводимый за головой пользователя, может быть приглушен, а звук спереди может быть намного четче. Однако, хотя это может быть полезно, эффект не совсем правдоподобен, поскольку различия в физиологических элементах, таких как уши, голова и тело, могут изменить то, что человек ожидает услышать от шума в определенном положении.

В патенте, выданном Apple во вторник под названием «Выбор передаточной функции, связанной с головой, для воспроизведения стереозвука», Apple считает, что может создать эффект виртуального трехмерного звука. позиционирование лучше за счет того, что называется передаточной функцией, связанной с головой (HRTF). По сути, это пара акустических фильтров для каждого уха, которые характеризуют передачу звука из одного места в окружающую среду к уху.

Каждая HRTF различается по ряду факторов, чтобы соответствовать различиям между людьми с точки зрения пространственных ожиданий слуха. Хотя создание HRTF для отдельного пользователя, использующего бытовую электронику с любым реальным уровнем точности, относительно трудоемко или непрактично, существует возможность использования либо общего «среднего» HRTF, либо выбора HRTF, наиболее близкого к потребности пользователя.

Пример матрица рейтингов для группы пользователей, испытывающих различные настройки HRTF.

Затем HRTF используется как часть алгоритма обработки цифрового сигнала бинаурального моделирования для воспроизведения аудиозаписи в виде бинаурального звука, который, в свою очередь, воспроизводится через наушники.

Патент основан на идее выбора HRTF, ближайшего к тому, что необходимо, путем сокращения базы данных до нескольких избранных. Процесс обрезки может включать удаление параметров, которые далеки от основных характеристик пользователя, таких как рост, пол, раса и возраст..

Сокращение базы данных до меньшего числа увеличивает шанс использования наиболее правильной HRTF, говорится в патенте. После начальных настроек система может сузить свой выбор до наиболее общего из сокращенного списка, чтобы выбрать наиболее подходящую HRTF для использования.

Для большей помощи системе предлагается, чтобы аудиоустройство для пользователя могло выполнять бинауральные измерения. Если устройство используется только одним пользователем, измерение нужно будет выполнить только один раз, но оно потенциально может предложить другую информацию о том, какой HRTF будет лучше всего.

Система будет искать наилучшее соответствие HRTF слушателя, а не его конкретным настройкам.

Также предлагается, чтобы путем группировки пользователей можно было отслеживать массовое использование различных HRTF, чтобы улучшить выбор. Например, знание того, что пользователи в возрасте 20-25 лет предпочитают HRTF с определенными свойствами, будет означать, что система будет ошибаться в отношении этих конкретных фильтров, если в будущем она встретит кого-то, кто соответствует этим настройкам.

В заявке указаны его изобретатели: Дариус А. Сатонгар, Джонатан Д. Шиффер, Мартин Э. Джонсон и Питер В. Джупин.

Apple еженедельно подает множество патентных заявок. Хотя наличие документации указывает на области, представляющие интерес для исследований и разработок компании, они не гарантируют, что концепция будет использована в будущем продукте или услуге.

Обработка звука Apple привела к появлению таких продуктов, как HomePod, а также к функции сквозного шумоподавления в AirPods Pro, но она все еще продолжает работать. разрабатывать больше идей, связанных со звуком.

В декабре 2019 года компания получила патент на «Систему для удаления виртуального звука от слушателя с помощью компенсатора перекрестных помех», которая выполняет аналогичный Трюк с пространственным звуком, позволяющий создать впечатление, что звук исходит из другого места, чем динамики устройства.

Одно из подходящих мест, где можно было бы применить патент, — это «Apple Glass», очки AR от Apple, о которых давно ходят слухи. Поскольку предполагается использовать AR и применять цифровые элементы в реальной среде, чтобы пользователь мог видеть и взаимодействовать с ними, совершенствование воспроизведения звука может помочь сделать несуществующий элемент более правдоподобным для пользователя.

В соответствующем патенте под названием «Устройства отображения с мультимодальным звуком» предполагается, что гарнитура может иметь наушники, которые настраиваются в соответствии с типом представляемого звука.

Оцените статью
futurei.ru
Добавить комментарий