تعرف على تقنية HUGS الجديدة من «أبل» لإنشاء صورة رمزية ثلاثية الأبعاد متحركة من الفيديو
لقد وصل اختراع تقني عظيم آخر من باحثي شركة أبل، يسمى HUGS. يمكن لـ HUGS (Human Gaussian Splats) إنشاء صورة رمزية متحركة ثلاثية الأبعاد استنادًا إلى مقطع فيديو باستخدام 3D Gaussian Splatting.
هي تقنية عرض تعمل على الاستفادة من 3D Gaussian لتمثيل المشهد، مما يسمح للمرء بتجميع مشاهد ثلاثية الأبعاد من لقطات ثنائية الأبعاد. لقد أثبت Bad Decisions Studio قدراته بشكل جيد من خلال تحويل تسلسلات من الأفلام الشهيرة إلى مشاهد ثلاثية الأبعاد، والتي يمكن تحريرها في برنامج DCC.
تلتقط HUGS مقطع فيديو أحاديًا بعدد صغير (50-100) من الإطارات بحيث تتعلم الخوارزمية فك تشابك المشهد الثابت والصورة الرمزية البشرية المتحركة بالكامل في 30 دقيقة.
اقرأ أيضاً: تعاون فريد بين مايكروسوفت وSony خاص بعيد الميلاد
“نحن نستخدم نموذج الجسم SMPL لتهيئة الغاوسيين البشريين. لالتقاط التفاصيل التي لم يتم تصميمها بواسطة SMPL (على سبيل المثال، القماش والشعر)، نسمح للغاوسيين ثلاثي الأبعاد بالانحراف عن نموذج الجسم البشري. إن استخدام الغاوسيين ثلاثي الأبعاد للبشر المتحركين يجلب تحديات جديدة، بما في ذلك القطع الأثرية التي تم إنشاؤها عند التعبير عن الغاوسيين.”
ووفقا للباحثين، فإن هذه الطريقة تمكن من تجميع أوضاع ووجهات نظر جديدة. تصل سرعة العرض إلى 60 إطارًا في الثانية بينما تكون أسرع بحوالي 100 مرة في التدريب مقارنة بالأعمال الأخرى.
يبدو HUGS بمثابة استمرار لـ NeuMan، إطار عمل أبل الذي يعيد بناء الأشخاص والمشاهد من مقطع فيديو واحد. هناك، قام المؤلفون بتدريب نموذجين من نماذج NeRF لتقدير الهندسة التقريبية، وأنشأوا مجالًا تزييفًا يمتد من مساحة المراقبة إلى المساحة المستقلة عن الوضعية الأساسية.
إن طرق تحويل الفيديو إلى ثلاثية الأبعاد ليست جديدة، على الرغم من أنها لا تستخدم عادةً تقنية Gaussian Splatting ثلاثية الأبعاد. إذا كنت مهتما بهذا المجال، راجع هذه المقالات:
يكشف الباحثون عن حل جديد لإعادة بناء الحركة البشرية ثلاثية الأبعاد من مقاطع الفيديو
Vid2Avatar: إعادة بناء الصورة الرمزية ثلاثية الأبعاد من مقاطع الفيديو
3Dpresso: برنامج الذكاء الاصطناعي الجديد الذي يحول الفيديو إلى نماذج ثلاثية الأبعاد
تقدم NVIDIA نموذجًا جديدًا للذكاء الاصطناعي يحول مقاطع الفيديو ثنائية الأبعاد إلى هياكل ثلاثية الأبعاد
طريقة الجيل الجديد تحول الصور ثنائية الأبعاد إلى نماذج ثلاثية الأبعاد
