Luma AI پلتفرم تبدیل متن به ویدیو با هوش مصنوعی Dream Machine را راه اندازی کرد

هوش مصنوعی Luma مدل تبدیل متن به ویدیوی هوش مصنوعی خود را با نام Dream Machine در روز چهارشنبه در سطح جهانی عرضه کرد. این سیستم می‌تواند ویدیوهایی تا پنج ثانیه با پیام‌های متنی ساده یا توصیفی ایجاد کند. مدل هوش مصنوعی می تواند ویدیوهایی را در سبک های مختلف مانند سینمایی، متحرک، واقع گرایانه و غیره ایجاد کند. این شرکت هوش مصنوعی ادعا می کند که Dream Machine کاملاً بر روی ویدیو آموزش دیده است و می تواند “فیلم دقیق، ثابت و پر حادثه” تولید کند. در حال حاضر دسترسی و استفاده از این پلتفرم رایگان است، اما احتمالاً محدودیت تولید روزانه خواهد داشت.

هوش مصنوعی Luma برای اولین بار Dream Machine را راه اندازی کرد

به گفته این وب سایت، مدل Dream Machine AI بر اساس یک مدل تبدیل شده است و مستقیماً روی ویدیوها آموزش داده شده است. به طور معمول، مدل‌های زبان بزرگ (LLM) بر روی متن و تصاویر آموزش داده می‌شوند و سپس به ویدیوها منتقل می‌شوند، زیرا به درک فضایی و حرکتی عمیق‌تری نیاز دارند. این شرکت افزود: «ماشین رویایی اولین گام ما به سمت ساخت یک موتور فانتزی در سطح جهانی است.

Dream Machine به پلتفرم‌های تولید ویدیو مانند Runway AI و Pika 1.0 می‌پیوندد که در حوزه عمومی نیز هستند و ایجاد ویدیو را در سه تا پنج ثانیه ارائه می‌دهند. گجت‌های 360 این پلتفرم را آزمایش کردند و تعهد فوری به پلتفرم را پایین‌تر از حد دریافت کردند. با کاراکترهای متعدد یا زمانی که درخواست خیلی پیچیده است مشکل دارد. اما در مقایسه با دو مورد دیگر، توانایی تولید ویدئوهای سینمایی با کیفیت بالاتری را دارد.

پلتفرم هوش مصنوعی 120 ثانیه طول می کشد تا ویدیویی بسازد که به ادعای شرکت دارای 120 فریم مختلف است. همچنین گفته می‌شود که ماشین رویایی درک می‌کند که چگونه انسان‌ها، حیوانات و اشیاء با دنیای فیزیکی تعامل می‌کنند و ویدیوهایی با فیزیک دقیق و سازگاری شخصیت ایجاد می‌کنند.

با این حال، هوش مصنوعی Luma همچنین چندین محدودیت را در وضعیت فعلی مانند حرکت، متن، تبدیل و مشکل معروف Janus برجسته کرده است، که در آن به جای نمایش یک خروجی سه بعدی ثابت، مدل AI چندین نماهای اساسی از یک شی را در جهات مختلف نمایش می دهد.

ماشین رویایی Luma AI ویدیویی در مورد Stormtroopers ایجاد می کند
منبع تصویر: Loma AI/Dream Machine

هوش مصنوعی Luma هیچ جزئیات فنی را در مورد مدل هوش مصنوعی به اشتراک نگذاشته است، بنابراین اطلاعات در مورد اندازه پارامتر، پارامترها، معماری و روش های آموزشی ناشناخته است. این شرکت همچنین هیچ جزئیاتی در مورد خرید داده های آموزشی به اشتراک نمی گذارد. قابل ذکر است که Gadgets 360 موفق شده است چندین ویدیو حاوی شخصیت های دارای حق چاپ ایجاد کند.

برای آزمایش این پلتفرم، علاقه مندان می توانند به وب سایت مراجعه کرده و روی دکمه «اکنون امتحان کنید» کلیک کنند. کاربران قبل از اینکه بتوانند ویدیو بسازند باید در پلتفرم ثبت نام کنند.