浙江大学らが発表、脚本から長尺動画生成の新枠組み「ATAS」

1️⃣ 発表概要
浙江大学をはじめ、モナシュ大学やカリフォルニア大学バークレー校の研究者が共同で、エージェント型動画生成の新枠組み「ATAS（Any Time, Any Space）」を発表しました。10月14日に技術的詳細を示し、脚本をショット単位に分解し、場所・カメラ・時間情報を持つ「シーン記憶」や「イベント記憶」を参照して動画生成を行う手法を紹介しました。

2️⃣ 技術的特徴

• 記憶活用：脚本情報を元に個々のショットへ必要な空間・出来事情報を取り出し、生成前に入力します。
• 検証プロセス：生成後に映像から3次元情報を復元し位置合わせを行い、審査をパスしたもののみ記憶へ更新します。これにより、離れたショットでも統一感を保つことが可能になります。

3️⃣ 評価結果
ATASを4種類の動画生成モデルに適用したところ、一貫性評価指標が改善したと報告しています。生成したショットは、記憶更新に関係なく映像として利用可能です。

4️⃣ 公開情報
論文はarXivにて公開され、実装コードはGitHub上で配布されています。