shauncastic.com

Moonvalley's Marey adalah model video AI canggih yang dilatih pada data berlisensi penuh


Listen Later

Bergabunglah dengan buletin harian dan mingguan kami untuk pembaruan terbaru dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari lebih lanjut

Beberapa tahun yang lalu, tidak ada yang namanya “model video AI generatif.”

Saat ini, ada lusinan, termasuk banyak yang mampu memberikan video ultra-definisi-tinggi, video kaliber Hollywood yang ultra-realistis dalam hitungan detik dari petunjuk teks atau gambar yang diunggah pengguna dan klip video yang ada. Jika Anda telah membaca VentureBeat dalam beberapa bulan terakhir, Anda pasti menemukan artikel tentang model-model ini dan perusahaan-perusahaan di belakangnya, dari Gen-3 Runway hingga Google VEO 2 hingga Openai yang sudah lama tertunda tetapi akhirnya tersedia Sora hingga Luma Ai, Pika, dan Kling dan Hailuo Chinese Upstarts dan Hailuo. Bahkan Alibaba dan startup yang disebut Genmo telah menawarkan model video open-source.

Sudah, model ini telah digunakan untuk membuat bagian dari blockbuster utama, dari Semuanya, di mana -mana sekaligus ke HBO's True Detective: Night Country ke video musik dan iklan TV dari Toys R 'US dan Coca Cola. Namun terlepas dari pelukan AI Hollywood dan pembuat film yang relatif cepat, masih ada satu masalah besar yang menjulang: kekhawatiran hak cipta.

Seperti yang paling kami ketahui, mengingat bahwa sebagian besar startup model video AI tidak secara terbuka membagikan rincian data pelatihan mereka secara terbuka, sebagian besar dilatih pada petak video yang luas yang diunggah ke web atau dikumpulkan dari sumber arsip lain, termasuk mereka yang memiliki hak cipta yang mungkin atau mungkin tidak benar -benar memberikan izin tersurat kepada perusahaan video AI untuk melatih mereka. Faktanya, landasan pacu adalah salah satu perusahaan yang menghadapi gugatan class action (masih bekerja melalui pengadilan) atas masalah ini, dan Nvidia dilaporkan mengikis petak besar video YouTube juga untuk tujuan ini. Perselisihan sedang berlangsung, apakah pengikisan data termasuk video merupakan penggunaan yang adil dan transformasional.

Tapi sekarang ada alternatif baru bagi mereka yang peduli tentang hak cipta dan tidak ingin menggunakan model di mana ada tanda tanya. Startup yang disebut Moonvalley – yang didirikan oleh mantan Google Deepminders dan peneliti dari Meta, Microsoft dan Tiktok, antara lain – telah memperkenalkan Marey, model video AI generatif yang dirancang untuk studio Hollywood, pembuat film, dan merek perusahaan. Diposisikan sebagai model video AI yang “bersih” canggih, Marey dilatih secara eksklusif berdasarkan data yang dimiliki dan berlisensi, menawarkan alternatif etis untuk model AI yang dikembangkan menggunakan konten yang dikikis.

“Orang-orang mengatakan itu tidak layak secara teknis untuk membangun model video AI mutakhir tanpa menggunakan data yang dikikis,” kata CEO Moonvalley dan pendiri Naeem Talukdar dalam wawancara panggilan video baru-baru ini dengan VentureBeat. “Kami membuktikan sebaliknya.”

Marey, tersedia sekarang berdasarkan daftar tunggu hanya undangan, bergabung dengan model video Firefly Adobe, yang menurut vendor perangkat lunak yang sudah lama ada juga merupakan kelas perusahaan-yang hanya dilatih pada data berlisensi dan data stok adobe (untuk kekhawatiran beberapa kontributor)-dan memberikan ganti rugi perusahaan untuk digunakan. Moonvalley juga memberikan ganti rugi tentang Klausul 7 dari dokumen ini, dengan mengatakan akan membela pelanggannya dengan biaya sendiri.

Moonvalley berharap fitur-fitur ini akan membuat Marey menarik bagi studio besar-bahkan ketika yang lain seperti landasan pacu membuat kesepakatan dengan mereka-dan pembuat film, di antara berbagai pilihan pembuatan video AI baru.

Video AI yang lebih 'etis'?

Marey adalah hasil dari kolaborasi antara Moonvalley dan Asteria, sebuah film AI yang dipimpin artis dan studio animasi. Model ini dibangun untuk membantu daripada menggantikan profesional kreatif, memberi para pembuat film alat baru untuk produksi video yang digerakkan AI sambil mempertahankan standar industri tradisional.

“Keyakinan kami adalah bahwa Anda tidak akan mendapatkan adopsi arus utama di industri ini kecuali Anda melakukan ini dengan industri,” kata Talukdar. “Industri ini keras dan jelas bahwa agar mereka benar -benar menggunakan model -model ini, kita perlu mencari cara untuk membangun model yang bersih. Dan sampai hari ini, trek teratas adalah Anda tidak bisa melakukannya. “

Alih -alih mengikis internet untuk konten, Moonvalley membangun hubungan langsung dengan pencipta untuk melisensikan rekaman mereka. Perusahaan membutuhkan waktu beberapa bulan untuk menetapkan kemitraan ini, memastikan semua data yang digunakan untuk pelatihan diperoleh secara hukum dan berlisensi penuh.

Strategi perizinan Moonvalley juga dirancang untuk mendukung pencipta konten dengan mengkompensasi mereka atas kontribusi mereka.

“Sebagian besar hubungan kami sebenarnya masuk sekarang karena orang -orang sudah mulai mendengar tentang apa yang kami lakukan,” kata Talukdar. “Untuk pencipta kota kecil, banyak rekaman mereka hanya duduk-duduk. Kami ingin membantu mereka memonetisasi itu, dan kami ingin melakukan model yang berfokus pada artis. Itu akhirnya menjadi hubungan yang sangat baik. “

Talukdar mengatakan kepada VentureBeat bahwa sementara perusahaan masih menilai dan merevisi model kompensasinya, umumnya mengkompensasi pencipta berdasarkan durasi rekaman mereka, membayar mereka dengan tarif per jam atau teliti berdasarkan perjanjian lisensi jangka tetap (mis., 12 atau empat bulan). Ini memungkinkan pembayaran berulang potensial jika konten terus digunakan.

Tujuan perusahaan adalah untuk membuat produksi video kelas atas lebih mudah diakses dan hemat biaya, memungkinkan pembuat film, studio, dan pengiklan untuk mengeksplorasi bercerita yang dihasilkan AI tanpa masalah hukum atau etis.

Kontrol Sinematografi Lebih Banyak – Di luar permintaan teks, gambar, dan arah kamera

Talukdar menjelaskan bahwa Moonvalley mengambil pendekatan yang berbeda dengan model video AI marey dari model video AI yang ada dengan berfokus pada produksi tingkat profesional daripada aplikasi konsumen.

“Sebagian besar perusahaan video generatif saat ini lebih berfokus pada konsumen,” katanya. “Mereka membangun model sederhana di mana Anda meminta chatbot, menghasilkan beberapa klip dan menambahkan efek keren. Fokus kami berbeda: apa teknologi yang dibutuhkan untuk studio Hollywood? Apa yang dibutuhkan merek -merek besar untuk membuat iklan Super Bowl? ”

Marey memperkenalkan beberapa kemajuan dalam video yang dihasilkan AI, termasuk:

  • Generasi HD asli -Menghasilkan video definisi tinggi tanpa mengandalkan peningkatan, mengurangi artefak visual
  • Panjang video yang diperpanjang -Tidak seperti kebanyakan model video AI, yang hanya menghasilkan beberapa detik rekaman, Marey dapat membuat urutan 30 detik dalam satu pass tunggal.
  • Pengeditan berbasis lapisan – Tidak seperti model video generatif lainnya, Marey memungkinkan pengguna untuk mengedit secara terpisah mengedit latar depan, tengah tanah dan latar belakang, memberikan kontrol yang lebih tepat atas komposisi video.
  • Storyboard dan input berbasis sketsa -Alih-alih hanya mengandalkan permintaan teks (seperti yang dilakukan banyak model AI), Marey memungkinkan pembuat film untuk membuat menggunakan storyboard, sketsa dan bahkan referensi aksi langsung, membuatnya lebih intuitif bagi para profesional.
  • Lebih responsif terhadap input pengkondisian -Model ini dirancang untuk menafsirkan input eksternal dengan lebih baik seperti gambar dan referensi gerak, membuat video yang dihasilkan AI lebih terkontrol.
  • Editor video “generatif asli” -MoonValley sedang mengembangkan perangkat lunak pendamping untuk Marey, yang berfungsi sebagai alat pengeditan video generatif yang membantu pengguna mengelola proyek dan jadwal lebih efektif.
  • “Model itu sendiri hanya dibangun dengan sangat berat di sekitar kemampuan kontrol,” jelas Talukdar. “Anda perlu memiliki lebih banyak kontrol secara signifikan di sekitar output – mampu mengubah karakter. Ini adalah model pertama yang memungkinkan Anda melakukan pengeditan berbasis lapisan, sehingga Anda dapat mengedit latar depan, tengah tanah, dan latar belakang secara terpisah. Ini juga model pertama yang dibangun untuk Hollywood, dibangun khusus untuk diproduksi. ”

    Selain itu, ia mengatakan kepada VentureBeat bahwa Marey bergantung pada model hibrida difusi-transformer yang menggabungkan difusi dan arsitektur berbasis transformator.

    “Model adalah model transformer difusi, jadi itu adalah arsitektur transformator, dan kemudian Anda memiliki difusi sebagai bagian dari lapisan,” kata Talukdar. “Ketika Anda memperkenalkan kemampuan kontrol, biasanya melalui lapisan -lapisan itu Anda melakukannya.”

    Didanai oleh VC besar-nama tetapi tidak sebanyak startup video AI lainnya (belum)

    Moonvalley juga minggu ini mengumumkan putaran benih $ 70 juta yang dipimpin oleh Bessemer Venture Partners, Khosla Ventures dan General Catalyst. Investor Hemant Taneja, Samir Kaul dan Byron Deeter juga bergabung dengan dewan direksi perusahaan.

    Talukdar mencatat bahwa pendanaan Moonvalley secara substansial kurang dari beberapa pesaingnya, sejauh ini – landasan pacu dilaporkan telah mengumpulkan total $ 270 juta di beberapa putaran – tetapi perusahaan telah mengoptimalkan sumber dayanya dengan mengumpulkan tim elit peneliti dan insinyur AI.

    “Kami mengumpulkan sekitar $ 70 juta, sedikit lebih sedikit dari pesaing kami, tentu saja,” katanya. “Tapi itu benar -benar bermuara pada tim – memiliki tim yang dapat membangun arsitektur itu secara signifikan lebih efisien, menghitung, dan semua hal yang berbeda itu.”

    Marey saat ini dalam fase akses terbatas, dengan studio terpilih dan pembuat film menguji model. Moonvalley berencana untuk secara bertahap memperluas akses selama beberapa minggu mendatang.

    “Saat ini, ada sejumlah studio yang mendapatkan akses ke sana, dan kami memiliki grup alfa dengan beberapa lusin pembuat film menggunakannya,” talukdar mengkonfirmasi. “Harapannya adalah bahwa itu akan sepenuhnya tersedia dalam beberapa minggu, kasus terburuk dalam beberapa bulan.”

    Dengan peluncuran Marey, Moonvalley dan Asteria bertujuan untuk memposisikan diri mereka di garis depan pembuatan film yang dibantu AI, menawarkan studio dan merek solusi yang mengintegrasikan AI tanpa mengurangi integritas kreatif. Tetapi dengan saingan startup video AI seperti landasan pacu, pika dan hedra terus menambahkan fitur baru seperti suara dan gerakan karakter, lapangan menjadi lebih kompetitif.

    Wawasan harian tentang kasus penggunaan bisnis dengan VB setiap hari

    Jika Anda ingin mengesankan bos Anda, VB Daily telah Anda liput. Kami memberi Anda sendok dalam tentang apa yang dilakukan perusahaan dengan AI generatif, dari pergeseran peraturan hingga penyebaran praktis, sehingga Anda dapat berbagi wawasan untuk ROI maksimum.

    Baca Kebijakan Privasi Kami

    Terima kasih telah berlangganan. Lihat lebih banyak buletin VB di sini.

    Kesalahan terjadi.

    ...more
    View all episodesView all episodes
    Download on the App Store

    shauncastic.comBy Shauncastic!