Науковий вісник НЛТУ України (Feb 2023)
Модель синтезу тривимірного зображення користувача на підставі ігрового рушія SceneKit та USDZ формату під ОС IOS
Abstract
Подано модель синтезу 3D-аватару обличчя користувача, що використовує набір 3D-морфів та їх комбінацію. Проаналізовано ключові характеристики обличчя людини, такі як форма носа, рота та очей, і створення морфів, що відповідають цим особливостям. Отримана 3D-модель може бути доопрацьована коригуванням морфів, поки не буде досягнуто бажаного рівня точності. Розроблено тривимірну модель з урахуванням специфіки відображення 3D об'єктів на мобільній платформі так, щоб займати якомога менше пам'яті на диску та забезпечити оптимізацію при відображенні. Перевагою такого підходу є можливість створення додаткових 3D-морфів для взаємодії моделі з користувачем та відображення емоцій. Під час виконання цієї роботи проаналізовано сучасні наукові дослідження у галузі. На підставі отриманих результатів зроблено висновок щодо оптимальних підходів для синтезу тривимірного аватару користувача на платформі iOS. Базову тривимірну модель розроблено за допомогою відкритого програмного забезпечення Blender, а морфи створені для відображення емоцій користувача за допомогою техніки під назвою blend shapes. Для забезпечення сумісності та максимальної ефективності при рендерингу на мобільній ОС iOS використовується модель, подана у форматі USDZ. Також під час виконання поставленого завдання розроблено алгоритм синтезу тривимірного аватара користувача на платформі iOS з використанням саме ігрового рушія SceneKit та таких засобів, як: апаратно-пришвидшений API для 3D-графіки Metal та фреймворк для роботи з доповненою реальністю – ARKit. Використання саме цих вбудованих методів і засобів дало змогу не залежати від стороннього ПЗ, а також досягнути більшої оптимізації при відображенні та взаємодії із синтезованою моделлю порівняно з наявними аналогами. Результатом розробленої моделі та алгоритму є мобільний додаток для платформи iOS, який дає змогу користувачеві створювати власний цифровий 3D-аватар та взаємодіяти з ним, проєктуючи свої емоції обличчя на відображену модель.
Keywords
