ByteDance تطور نموذجا جديدا قادرا على إنشاء مقاطع فيديو واقعية للبشر
شاركت ByteDance، الشركة التي تقف خلف TikTok، أبحاثًا جديدة حول إطار عمل جديد للذكاء الاصطناعي (AI) يطلق عليه اسم OmniHuman، وهو عبارة عن إطار عمل لتوليد الفيديو يمكنه إنشاء مقاطع فيديو بشرية واقعية مع حركة الجسم بالكامل ومزامنة الشفاه.
ByteDance تقوم بتطوير OmniHuman،
وذكر الباحثون أن الأمر يتطلب صورة بشرية إلى جانب إشارات الحركة مثل الفيديو أو الصوت لتوليد الإخراج، وقد تمت أيضًا مشاركة العديد من مقاطع الفيديو التوضيحية التي تم إنشاؤها باستخدام نموذج الذكاء الاصطناعي، والتي تعرض واقعية الناتج النهائي.
جدير بالذكر أن الشركة ذكرت أن نموذج الذكاء الاصطناعي متاح في المجال العام.
كما يمكن لـ OmniHuman إنشاء مقاطع فيديو بشرية واقعية، فقد شارك الباحثون العديد من العروض التوضيحية وقاموا بتفصيل إطار العمل على موقعهم الإلكتروني، الذى يعد نظام شامل تم إنشاؤه باستخدام استراتيجية تدريب مختلط جديدة متعددة الوسائط لتكييف الحركة.
وعلى الرغم من أن الباحثين لم يشاركوا أي مقاييس مرجعية، إلا أنهم زعموا أن نموذج الذكاء الاصطناعي يتفوق بشكل كبير على الأساليب الحالية.
كما يمكن لـ OmniHuman إنشاء مقاطع فيديو باستخدام صورة الشخص وإشارة الحركة، و يمكن أن تكون إشارات الحركة صوتية فقط، أو فيديو فقط، أو مزيجًا من الصوت والفيديو.
كما يمكن لنموذج الذكاء الاصطناعي إنشاء مقاطع فيديو واقعية بناءً على المطالبات النصية، كما يمكن أن تكون مقاطع الفيديو هذه لكامل الجسم حيث يمكن مزامنة الأطراف وتعبيرات الوجه وحركة الشفاه مع الصوت أو الموسيقى التي يتم تشغيلها في الخلفية.
ويمكن لـ OmniHuman إنشاء مقاطع فيديو بنسب عرض إلى ارتفاع مختلفة، مما يتيح المرونة للمستخدمين، ويعد استخدام إشارات الحركة تقنية جديدة تسميها الشركة بالتدريب متعدد الشروط، ومن خلال ذلك، يتم تدريب نموذج الذكاء الاصطناعي على طرق مختلفة، بما في ذلك النص والصورة والصوت والفيديو.
وقال الباحثون إن هذا سمح للنموذج بتعلم التكييف المختلط الذي تغلب على ندرة البيانات عالية الجودة.
جدير بالذكر أنه تم تدريب النموذج على 18700 ساعة من بيانات الفيديو البشرية، حيث
أرسل هذا الخبر لأصدقائك على