LTX-2 Membawa Penjanaan Audio-Visual Sumber Terbuka yang Akhirnya Menyaingi Sora dan VEO

Sepanjang tahun lepas, penjanaan video telah menjadi salah satu aplikasi teknologi AI yang paling menjanjikan. Dengan penyebaran video Sora oleh OpenAI, VEO oleh Google dan Kling AI di media sosial, penjanaan video AI pada dasarnya tidak dapat dielakkan dalam landskap dalam talian moden. Ini mempunyai banyak implikasi jangka panjang, tetapi kegunaan teknologi ini tidak seharusnya dipandang remeh atau diabaikan.

Teknologi sumber terbuka telah ketinggalan di belakang model berpemilikan ini untuk beberapa waktu sekarang. Walaupun mereka boleh menghasilkan video berkualiti tinggi dalam pelbagai gaya dengan pematuhan prompt yang baik, seperti dengan Wan2.2, mereka kekurangan penjanaan audio berpasangan. Walaupun model Sound-to-Video Wan mengambil langkah ke arah yang betul, terdapat terlalu banyak keluk kesukaran dalam menggunakan model ini untuk benar-benar memanfaatkannya bagi sesuatu seperti penciptaan kandungan. Had besar ini telah menghalang teknologi sumber terbuka ini daripada mencapai audiens yang lebih luas dan bukan teknikal serta dunia perusahaan.

Semua itu bersedia untuk berubah dengan LTX-2. Sebuah langkah ke hadapan yang sebenar untuk penjanaan video sumber terbuka, LTX-2 tidak diragukan lagi adalah teknologi penjanaan video paling berkuasa yang pernah diterbitkan secara terbuka. Ringkasnya, "LTX-2 adalah model asas audio-video berasaskan DiT yang direka untuk menjana video dan audio yang diselaraskan dalam satu model. " Gabungan yang berkuasa ini, bersama dengan reka bentuk model yang cekap yang membolehkannya dijalankan pada GPU kelas pengguna, menjadikan LTX-2 alat yang hebat untuk mencipta video.

Dalam tutorial ini, kami akan mengulas cara LTX-2 berfungsi sambil meneroka aliran senibinaannya, dan kemudian menunjukkan cara menjalankan LTX-2 di Linux-Console.net Gradient menggunakan ComfyUI.

Kesimpulan Utama

  • LTX-2 adalah satu lonjakan sebenar ke hadapan dalam penjanaan video, menyatukan pemodelan audio dan video dalam satu saluran.
  • LTX-2 mudah dijalankan di Gradient AI menggunakan GPU NVIDIA
  • LTX-2 kini boleh dijalankan secara percuma di Hugging Face

LTX-2: Cara ia berfungsi

LTX-2 adalah model penjanaan video-audio yang bersatu. Pada dasarnya, ia terdiri daripada transformer aliran-dwi asimetrik yang mempunyai aliran video dan audio yang berasingan yang dipasangkan dengan "lapisan cross-attention audio-video dua hala dengan pengimbangan posisi temporal dan AdaLN lintas-modality untuk pemasaan langkah masa yang dikongsi." Penyatuan ini membolehkan penjanaan kedua-dua aliran menjadi lebih cekap, dengan pengagihan kapasiti yang lebih besar untuk penjanaan video berbanding penjanaan audio.

Kita dapat melihat seni bina model di atas. Dalam praktik, isyarat video dan audio mentah akan dienkod ke dalam token laten khusus modaliti melalui VAE kausal, manakala teks diproses melalui saluran penyematan yang diperkemaskan. Pemisah transformasi penyebaran dua aliran kemudian secara bersama-sama membersihkan bunyi dan video laten, menggunakan perhatian silang audiovisual dua hala dan penyesuaian teks untuk menghasilkan output audiovisual yang disegerakkan.

Untuk menjadikan ini mungkin, pasukan Lightricks telah membuat beberapa kemajuan dalam teknologi Penglihatan Komputer dan penjanaan Audio. Terutamanya, kertas LTX-2 menyediakan empat sumbangan utama yang dibuat untuk pelepasan ini:

-Senibina Dua-Aliran Asimetrik yang Efisien: rangka kerja berasaskan transformer yang menampilkan aliran khusus modaliti yang dihubungkan melalui tumpuan-silang dwiarah dan AdaLN silang-modaliti untuk pemasaan perkongsian langkah masa.

  • Blok Pemprosesan Teks dengan Token Pemikiran: mereka juga membangunkan modul penyesuaian teks yang baru yang menggunakan ramalan berbilang token untuk meningkatkan pemahaman arahan dan kestabilan semantik.
  • Perwakilan Audio Neural Padat: untuk memproses audio, mereka mencipta AutoEncoder Variasi (VAE) audio kausal yang cekap yang menghasilkan ruang laten 1D berkualiti tinggi yang dioptimumkan untuk latihan dan inferens berasaskan penyebaran.
  • Panduan Tanpa Pengelasan Sedar Modality: Skema konfigurasi Bimodal baharu yang membolehkan kawalan bebas ke atas skala panduan silang-modal, meningkatkan penjajaran audiovisual dengan ketara

Kesemuanya, ini menghasilkan model video sumber terbuka yang paling cekap, yang menggabungkan penjanaan video dan audio ke dalam satu saluran.

Demo: LTX-2 dengan ComfyUI pada Droplet GPU

Sekarang setelah kita melihat bagaimana model berfungsi, kita boleh mula dengan demo. Untuk memulakan, log masuk ke Linux-Console.net Gradient, dan buat Droplet GPU. Kami mengesyorkan GPU NVIDIA H100 atau H200 untuk menjalankan LTX-2, tetapi ia juga sepatutnya boleh dijalankan dengan cukup baik pada NVIDIA A6000. Setelah Droplet anda siap, akses ia melalui SSH pada terminal komputer tempatan anda.

Menyiapkan Droplet GPU

Ikuti arahan yang diterangkan dalam tutorial ini untuk menyediakan GPU Droplet anda jika anda belum pernah melakukan ini sebelum ini. Kemudian, anda akan menggunakan SSH untuk mengakses GPU Droplet di komputer tempatan anda menggunakan VS Code atau Cursor. Pastikan kedua-dua tetingkap terminal dan VS Code/Cursor yang bersambung dibuka untuk kegunaan kemudian.

Menetapkan ComfyUI & Memuat Turun Model

Menggunakan tetingkap terminal yang disambungkan ke GPU Droplet, navigasi ke direktori pilihan anda. Setelah sampai di sana, tampal kod berikut untuk memasang ComfyUI pada GPU Droplet, memuat turun model yang diperlukan untuk LTX-2, dan kemudian jalankan ComfyUI serta aksesnya dengan VS Code/penyemak imbas mudah Cursor:

git clone https://github.com/Comfy-Org/ComfyUI
cd ComfyUI
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
cd models/text_encoders
wget https://huggingface.co/Comfy-Org/ltx-2/resolve/main/split_files/text_encoders/gemma_3_12B_it.safetensors
cd ../checkpoints
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-dev-fp8.safetensors
cd ../latent_upscale_models
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-spatial-upscaler-x2-1.0.safetensors
cd ../loras
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-distilled-lora-384.safetensors
cd ../custom_nodes
git clone https://github.com/Lightricks/ComfyUI-LTXVideo
cd ComfyUI-LTXVideo/
pip install -r requirements.txt
cd ../..
python main.py

Setelah ini selesai, ambil URL yang terhasil (default ialah http://127.0.0.1:8188) dan gunakan ciri Penyemak Imbas Mudah VS Code/Cursor untuk mengaksesnya di pelayar mesin tempatan anda.

Menjalankan LTX-2

Untuk menjalankan aliran kerja LTX-2 sekarang, kita boleh pergi ke bahagian kiri tetingkap untuk mengakses ikon templat di bar sisi. Klik ikon itu, kemudian cari dan pilih templat “LTX-2 Teks ke Video”. Ini akan melengkapkan persediaan kita. Jika kita klik jalankan sekarang, kita akan mendapat video lalai tentang seorang boneka yang menyanyi tentang hujan. Kita tidak boleh berkongsi video di platform ini, tetapi di sini adalah gif video itu tanpa bunyi.

Dari sini, kita boleh klik tetingkap arahan untuk mengubah suai video keluaran, dan juga menukar saiz/panjang video. Kami mengesyorkan untuk mencuba semua idea anda. Model ini cemerlang dalam menghasilkan video dengan bunyi, jadi pastikan untuk menyertakan arahan dengan ucapan yang di "petik", petunjuk bunyi, dan muzik.

Untuk penjanaan Imej ke Video, kembali ke menu pemilihan templat dan cari templat "LTX-2 Imej ke Video". Anda kemudian boleh memasukkan mana-mana imej yang telah anda cipta atau ambil di dunia sebenar, dan animasikan ia dengan arahan. Sebagai contoh, kita boleh memberitahu imej pegun pemandangan pantai untuk menjadi animasi video penuh dengan ombak yang menghentam, burung camar yang memanggil, dan pantai yang berangin. Berikut adalah contoh hanya itu:

Jelas daripada eksperimen kami bahawa, sekurang-kurangnya untuk pelepasan pertama LTX-2 ini, keupayaan teks-ke-video jauh lebih hebat daripada keupayaan imej-ke-video. Ini agak mengecewakan, tetapi kami menjangkakan ia akan diperbaiki dalam iterasi model akan datang, yang dijanjikan oleh pasukan LTX-2 Lightricks untuk hadir.

Pemikiran Penutup

LTX-2 mungkin model yang paling mengagumkan yang telah kami cuba dalam bidang video. Lebih hebat daripada VEO-3 dan Sora 2, kami sangat kagum dengan kelajuan dan kebolehcapaian model sumber terbuka ini. Kami menggalakkan semua orang untuk mencuba model ini di Gradient hari ini!

Terima kasih kerana belajar bersama Komuniti Linux-Console.net.