ARKit 4 от Apple привязывает трехмерную реальность к реальным локациям на Картах

С помощью ARKit 4 Apple создает основу для виртуального мира анимированной интерактивной трехмерной «реальности», доступной для исследования любому, у кого в кармане есть новый iPhone.

На WWDC20 Apple рассказала о новых футуристических функциях, которые появятся в ARKit 4. Предыдущие выпуски компании Платформа дополненной реальности сначала позволила базовой 3D-графике фиксироваться на месте в видеопотоке с камеры iOS 11 с помощью визуальной инерциальной одометрии. Это позволяет пользователю исследовать виртуальный объект со всех сторон или играть в интерактивную игру, закрепленную через AR на поверхности стола.

ARKit 2 в iOS 12 2018 года представил общие миры AR, где два пользователя могли видеть разные представления одной и той же виртуальной сцены, обеспечивая многопользовательский игровой процесс в приложениях дополненной реальности. В прошлом году ARKit 3 представил захват движения и окклюзию людей, которые позволяли виртуальным объектам перемещаться впереди и сзади людей, при этом понимая, как человек находится перед камерой.

Инвестиции Apple в набор AR и связанных технологий используют компьютерное зрение, машинное обучение и обнаружение движения для создания все более сложных интерактивных миров компьютерной графики, зафиксированных в место в поле зрения камеры. В конечном итоге продажа смартфонов виртуальной реальности за последние несколько лет оказалась гораздо более успешной и результативной, чем попытки конкурентов.

ARKit 4 в недавно анонсированной iOS 14 добавляет якоря местоположения, который может зафиксировать модель AR в определенном месте в реальном мире, определяемом широтой, долготой и высотой. Это можно было бы использовать для демонстрации виртуальных произведений искусства, как Apple продемонстрировала с установкой KAWS, расположенной в здании Ferry Building в Сан-Франциско. Его также можно использовать для размещения меток, которые закреплены в пространстве в определенном месте, или для создания всего опыта дополненной реальности в данном месте.

Чтобы предоставить больше Apple продемонстрировала ARKit 4 с точностью привязки местоположения, которую может обеспечить сам по себе, с использованием визуального определения местоположения, которое использует машинное обучение для сопоставления ориентиров, видимых камерой, с картой локализации, загруженной с Apple Maps, соответствующей текущему местоположению. Судя по всему, это данные, собранные автомобилями Apple Maps для создания доступных для изучения карт Look Around Maps в крупных городах.

В презентации Apple # WWDC20 # ARKit4 случайно упоминается, что Apple Maps имеет карту локализации, которая может точно позиционировать ваш iPhone. с помощью камеры и машинного обучения. https://t.co/dM7flEOBR6

— Дэниел Эран Дилгер (@DanielEran) 25 июня 2020 г.

Соответствие местоположения процесс выполняется локально на вашем телефоне, при этом личная информация не отправляется обратно на серверы Apple. Это впечатляющее пересечение технологий может быть дополнительно объединено с другими функциями, которые Apple подробно описала на WWDC20, в том числе App Clips для обеспечения мгновенной функциональности, включая оплату с помощью Apple Pay или вход пользователя с использованием «Войти через Apple».

Будущие приложения этих технологий предлагают очевидные варианты использования носимой дополненной реальности, в том числе известную по слухам «Apple Glass», которая может перемещаться по достопримечательностям и позволять пользователю взаимодействовать с привязанным опытом AR, чтобы найти дополнительную информацию или обработать множество сложных транзакций приложений.

Depth API и LiDAR

В дополнение к привязке опыта AR к фиксированной указывают на реальный мир, ARKit 4 теперь также предоставляет расширенные возможности понимания сцены с новым API глубины. Это позволяет ему использовать сканер LiDAR на новейшем iPad Pro, который, по слухам, появится на будущей модели iPhone 12, для быстрого получения детальной информации о глубине окружающей среды.

Вместо того, чтобы сначала сканировать сцену камерой, LiDAR позволяет мгновенно размещать виртуальные объекты в среде дополненной реальности, например в игре, которая взаимодействует с реальным миром. объекты в комнате.

Apple продемонстрировала свои новые API глубины и геометрии сцены, которые используют #LiDAR для быстрого отображения и идентифицировать объекты в сцене для насыщенного опыта AR # ARKit4 # WWDC20 pic.twitter.com/rD2KQys4vk

— Дэниел Эран Дилгер (@DanielEran) 25 июня 2020 г.

Новый API геометрии сцены может создавать топологическую карту окружающей среды, которую можно использовать вместе с семантической классификацией для идентификации физических объектов и различения пола, стен и других объектов, а также понимания глубины объектов в сцене и как они расположены.

ARKit 4 может затем размещать виртуальные объекты в сцене перед или за закрытыми людьми или идентифицированными объектами в сцена; использовать игровую физику для моделирования реалистичного взаимодействия виртуальных и физических объектов; и реалистичный свет с помощью Raycasting, чтобы стереть грань между реальным и цифровым контентом, дополняющим реальность.

Отслеживание лица и рук

Третье важное достижение в ARKit 4 расширяет возможности отслеживания лиц за пределы устройств, оснащенных камерой TrueDepth, до нового iPhone SE и других продуктов с процессором как минимум A12 Bionic.

Отслеживание лица фиксирует привязку лица и геометрию, позволяя применять графику к лицу пользователя, либо для создания аватара, подобного Memoji, который фиксирует выражения лица пользователя для анимировать виртуального персонажа или применять виртуальный макияж или другие световые эффекты, аналогичные портретному освещению, в камере iOS.

Apple также добавила отслеживание рук в свою структуру Vision, что позволяет устройству iOS распознавать не только движения всего тела, но и отдельные позы пальцев руки. . Одна демонстрация показала, как пользователь может произносить слова в воздухе, просто наблюдая за камерой и определяя точные движения рук.

Инструменты реальности для создания опыта дополненной реальности

Apple также предоставляет новое приложение Reality Converter для переноса 3D-моделей, созданных во внешнем цифровом контенте. Creator в формат файла usdz, используемый ARKit, а также обновление для Reality Composer для создания и тестирования возможностей AR и их экспорта обратно в портативный usdz.

RealityKit также добавляет поддержку для применения видеотекстуры в сцене ARKit, такой как виртуальное телевидение, размещенное на стене, с такими атрибутами реализма, как световое излучение. , альфа и шероховатость текстуры.

Работа Apple в области дополненной реальности перекрывает уже существующую работу, начатую другими, особенно Google. Но одна вещь, которая существенно поддерживает усилия Apple в области дополненной реальности, — это обширная установленная компания высококлассных сложных устройств с датчиками структуры, такими как TrueDepth на iPhone X и более поздних версиях, и новый датчик LiDAR на новых iPad Pro.

Apple запустила ARKit три года назад и сразу же стала крупнейшей в мире платформой AR, а это означает, что у разработчиков есть множество возможностей для создания опыта, который позволяет большому количеству реальных пользователей мировые пользователи могут испытать. Компания все еще только начинает работать, и мы можем ожидать, что она будет все чаще внедрять новые технологии, которые расширяют возможности ARKit в новых направлениях, потенциально включая носимые очки и лобовые стекла транспортных средств в дополнение к ее текущей установленной базе портативных мобильных устройств iOS и iPadOS.

Оцените статью
futurei.ru
Добавить комментарий