أطلقت Luma AI نموذج تحويل النص إلى فيديو باستخدام AI Dream Machine، ويمكن للنظام إنشاء مقاطع فيديو تصل مدتها إلى خمس ثوانٍ بمطالبات نصية بسيطة أو وصفية.

يمكن لنموذج الذكاء الاصطناعي إنشاء مقاطع فيديو بأنماط مختلفة، مثل اللقطات السينمائية والرسوم المتحركة والواقعية والمزيد. النظام الأساسي حاليًا مجاني للوصول والاستخدام، ولكن من المحتمل أن يكون هناك حد للجيل اليومي.

Luma AI تطلق Dream Machine لأول مرة

وبحسب الموقع، فإن نموذج Dream Machine AI مبني على نموذج محول ويتم تدريبه مباشرة على مقاطع الفيديو. عادةً ما يتم تدريب نماذج اللغات الكبيرة (LLMs) على النصوص والصور ثم يتم نقلها إلى مقاطع فيديو، لأنها تتطلب أجزاء مكانية ومرئية أعمق. وأضافت الشركة: “إن Dream Machine هي خطوتنا الأولى نحو بناء محرك خيالي عالمي المستوى.”

تنضم Dream Machine إلى منصات توليد الفيديو مثل Runway AI وPika 1.0 الموجودة أيضًا في المجال العام وتوفر القدرة على إنشاء فيديو في ثلاث إلى خمس ثوانٍ. قامت Gadgets 360 باختبار المنصة ووجدت أن المشاركة المباشرة مع المنصة غير كافية مع الأحرف المتعددة أو عندما يكون جهاز التوجيه معقدًا للغاية، ومع ذلك، بالمقارنة مع الاثنين الآخرين، فهو قادر على إنتاج مقاطع فيديو سينمائية بجودة أعلى.

وتستغرق منصة الذكاء الاصطناعي 120 ثانية لإنشاء مقطع فيديو تدعي الشركة أنه سيحتوي على 120 إطارًا مختلفًا. ستفهم آلة الأحلام أيضًا كيفية تفاعل الأشخاص والحيوانات والأشياء مع العالم المادي وإنشاء مقاطع فيديو ذات فيزياء دقيقة وتماسك الشخصية.

ومع ذلك، سلط Luma AI الضوء أيضًا على العديد من القيود في الوضع الحالي، مثل الحركة والنص والتحويل ومشكلة Janus الشهيرة، حيث بدلاً من تقديم مخرجات ثلاثية الأبعاد متسقة، يعرض نموذج الذكاء الاصطناعي مناظر أساسية متعددة لكائن ما في اتجاهات مختلفة يعرض.

لم تشارك Luma AI أي تفاصيل فنية حول نموذج الذكاء الاصطناعي، لذا فإن المعلومات حول حجم المعلمة والمعلمات والهندسة المعمارية وطرق التدريب غير معروفة، حيث تمكنت Gadgets 360 من إنشاء 360 مقطع فيديو مختلفًا تحتوي على أحرف محمية بحقوق الطبع والنشر.

لتجربة المنصة، يمكن للمتحمسين الذهاب إلى الموقع والنقر على زر “جرب الآن”. يجب على المستخدمين التسجيل في النظام الأساسي قبل أن يتمكنوا من إنشاء مقاطع فيديو.