Apple Glass может ускорить AR, отображая только то, что находится в поле зрения пользователя

Анализ того, на что смотрит пользователь, может помочь Apple Glass или гарнитуре AR улучшить производительность при обработке видео за счет использования взгляда для определения приоритетности элементов изображения с камеры для анализа.

Системы дополненной реальности полагаются на сбор данных об окружающей среде, чтобы лучше представить смешанную реальность. изображение пользователю. Для большинства людей это в значительной степени сводится к тому, чтобы взять прямую трансляцию с камеры рядом с глазом пользователя, обработать ее в цифровом виде и затем показать пользователю в измененном состоянии, хотя это также может охватывать другие типы данных, такие как отображение глубины.

Поскольку многие системы VR и AR используют гарнитуру, привязанную к главному компьютеру, необходимость ввода данных об окружающей среде может вызвать проблему, поскольку есть только много данных, которые вы можете передавать через эту привязку за раз. Улучшения камер за последние годы, включая более высокое разрешение и частоту кадров, означают, что есть еще больше данных, которые нужно анализировать и обрабатывать, и, возможно, слишком много для обработки этой привязью.

Также необходимо учитывать ресурсы обработки, поскольку чем больше данных, тем больше обработки может потребоваться для создания изображения AR.

В патенте, выданном Управлением по патентам и товарным знакам США во вторник под названием «Адаптивная предварительная фильтрация видеоданных на основе направления взгляда», Apple пытается бороться с проблема входящего трафика, заключающаяся в сужении количества видеоданных, которые необходимо обработать, до того, как начнется основная обработка.

Короче говоря, патент предполагает, что гарнитура может снимать изображение окружающей среды и применять к сцене некоторые фильтры, каждый из которых покрывает разные области видеокадра. . Эти фильтры, которые определяют данные, которые передаются на хост для обработки, позиционируются на основе взгляда пользователя, а также типичных точек данных AR и VR, таких как положение и движение головы.

Отфильтрованные уровни данных отправляются на хост, будь то привязка или беспроводное соединение, которые затем обрабатываются и отправляются обратно в гарнитуру для отображения. Затем цикл повторяется.

Логика заключается в том, что не все данные, которые собирает камера, обязательно необходимы для обработки того, что на самом деле видит пользователь. Хотя пользователь может смотреть в определенном направлении, его глаза могут быть направлены в одну сторону, что делает рендеринг контента на другой стороне его обзора практически бессмысленным.

Система Apple требует обнаружения взгляда, а затем применения этой точки данных к кадру данных изображения. Множественные подмножества данных могут определять различные формы и размеры изображения, которым может быть назначен приоритет, с частями, которые пользователь активно просматривает под основным подмножеством, в то время как большая вторичная версия покрывает окружающую область.

Меньшему и основному подмножеству будет дан приоритет обработки, так как пользователь активно просматривает его. Дополнительное более широкое подмножество может потребовать меньше обработки из-за того, что находится на периферии пользователя, и поэтому оно менее важно. Эти вторичные данные также могут не передаваться на хост с полным качеством, поскольку они не так важны, как поднабор данных приоритета.

При рендеринге конечного изображения для пользователя к данным могут быть применены дополнительные фильтры, чтобы эффективно объединить их вместе настолько ненавязчиво, насколько это возможно. По сути, система стирает границы между первичным высококачественным подмножеством и периферийным подмножеством более низкого качества, а также остальной частью потока камеры, которую она накладывает в приложении AR.

Центр взгляда пользователя будет отображаться полностью, а качество визуализации будет ниже.

Идентификация подмножества не обязательно должна быть сгенерирована за один раз. Apple предполагает, что первичное подмножество может быть создано после того, как первый кадр визуальных данных сгенерирован камерами, но области вторичного подмножества могут быть определены во время создания второго кадра.

Кроме того, данные обнаружения взгляда, связанные со вторым кадром, могут информировать области вторичного подмножества в первом кадре для обработки. Это было бы полезно в случаях, когда глаза пользователя движутся, поскольку это может смягчить любые нежелательные эффекты изменения точки обзора для пользователя и для системы, которая должна догнать и разместить данные в их поле зрения.

В патенте указаны его изобретатели: Джан Джин, Николас Пьер, Мари, Фредерик Бонье и Хао Пан. Первоначально она была подана 19 июля 2018 года.

Apple подает множество патентных заявок еженедельно, но, хотя наличие заявки указывает на области, представляющие интерес для Исследования и разработки Apple не гарантируют их использования в будущих продуктах или услугах.

Ходят слухи, что Apple уже несколько лет работает над той или иной формой гарнитуры AR или VR, при этом большая часть недавних спекуляций связана с тем, что известно как «Яблочное стекло». Предполагается, что он потенциально может принять форму гарнитуры AR и, возможно, умных очков позже, слухи намекают, что он может принять форму очков, которые по размеру аналогичны обычным очкам.

Естественно, Apple подала много патентных заявок, относящихся к этой области, но одна, которая очень похожа по основной концепции, — это «ямчатый дисплей» с июня 2019. В этом приложении Apple предположила, что может быть способ улучшить производительность обработки и рендеринга дисплея гарнитуры, ограничив объем обрабатываемых данных..

Вместо того, чтобы ограничивать данные, поступающие на хост-устройство, регистрация сводится к передаче данных на дисплей. Аналогично подмножествам данных Apple предлагает два разных потока данных, которые могут использоваться дисплеем, состоящие из изображений с высоким и низким разрешением.

Используя обнаружение взгляда, система помещает только изображения с высоким разрешением туда, где смотрит пользователь, а затем данные с более низким разрешением для окружающих областей. Благодаря этому на самом дисплее будет меньше данных, с которыми он должен иметь дело при обновлении каждого обновления, что может позволить использовать более высокие частоты обновления.

Оцените статью
futurei.ru
Добавить комментарий