最近Twitter（X）で話題になっているAnimateDiffですが、何がすごいの？
どんなことができるのかについて調査してみました！
AnimateDiffとは？
AnimateDiffとは、たった1枚の画像から簡単に一貫性のあるアニメーション動画を作成できる技術です。
今は2秒ほどの動画しか生成できませんが、画像生成AIによって連続するアニメーションが作成できるということ自体が画期的ということで話題を呼んでいます。
実例紹介
簡単に一貫性のあるアニメーション動画を作れるのはわかったけど、どう利用するのか？動きの制御はできるのか？など、気になる点がいくつか残っていると思いますので、AnimateDiffにどのような利用方法があるのか調査結果をご紹介します。
組み合わせ
４つの変化を組み合わせたパターンがこちらです。
「夏→秋→冬→春」に装いを変化させてみた #animatediff #aiart pic.twitter.com/QAWpT55X4q
— 鳥 (@hypermocha) September 14, 2023
実写→アニメ変換
こちらは実写動画をアニメ動画に変換するのにAnimateDiffを利用した例です。
「実写動画のアニメ変換」は新領域へ！
・AnimateDiff
・IP Adapterで実現している例。
最近までチラついきまくってたのが嘘のようです。pic.twitter.com/C1OHkvekTe
— ひろちゅ～｜AI副業 (@hirochuu8) September 10, 2023
動きの制御
最初と最後の画像をControlNetで指定することで、動きを制御することもできます。
AnimateDiffに二枚の画像を入力して、ある程度狙い通りの動画を作れます
ControlNet tileからの制御テンソルを最初と最後のフレームに限定して適用しています#aiart pic.twitter.com/fbQpzYEqve— TDS (@TDS_95514874) August 20, 2023
リアル風画像
こちらもかなりクオリティが高いです。
※ComfyUIはStable Diffusionを簡単に使えるツールです。
ComfyUIで #AnimateDIFF のテスト２。mm_sd_v15_v2で出してみた😍いい感じ。尺どうするか…tileでいけるのはいけるけどなー😅 https://t.co/Y9POMu7DGR pic.twitter.com/4IbfoYilQq
— LUTA＠AI (@luta_ai) September 13, 2023
まるで映画のワンシーン
こちらは生成したエイリアンの動画を５つ組み合わせた動画です。
映画の一部みたいに見えませんか！？
They caught some of them and locked them up!!! #AnimateDiff #animation #ai #stablediffusion #aianimation #aiartcommunity #AIArtwork #MetaConsciousness #UFOtwitter #UAP #UFOs #Aliens #UFOSightings #Alien #alienbody pic.twitter.com/sYdCtr8k05
— Wurzeldieb (@Wurzeldieb) September 14, 2023
自分で使ってみた感想
実際に私自身も使ってみましたが、今まではControlNetなどでコマ画像を複数用意し繋ぎ合わせて動画にするみたいなやり方でしたが、それがこうも簡単に一貫性のある動画を作れるのか…と驚きを隠せませんでした笑
こちらの記事でAnimateDiffの簡単な使い方を解説しているので、気になった方は見てください！