画像のキャラクターを動かすのが流行っていますね。
Animate Anyoneが注目されてから、すぐにTikTokを運営するByteDance開発のMagic Animateが公開されました。
Animate Anyoneは2023年12月6日現在ではまだリリースしていないのですが、Magic Animateはすぐに使うことができます。（Animate Anyoneについてまとめた記事はこちらから）
※2024年4月10日追記
Magic Animateよりクオリティの高い、champが公開されています。今はchampを試してみるのをおすすめします。
この記事では「champ」を使った画像を動かす方法について、徹底解説しています。 ダンスAIが流行っていますが、意外と…
Magic Animateは何ができる？
こんな風に画像キャラクターを動かすことが可能です。
しかも、コードを書く必要はなく、Stable Diffusionのようなローカルアプリから操作可能です。
静止画を動かすことはいままでもできましたが、つながりがなく断片的な動画になっていました。（どんどん服や髪形が変わっていくAI動画を見たことがあると思います）
しかし、そうした今までの手法から変わり、一連の流れをキープしながら静止画のキャラクターを動かせるようになったのです。
他にもユーザー作成のだとこんな感じ。
画像1枚＋モーション→動画を生成できるAI「MagicAnimate」さっそく試してみた。
動きはOKだけど顔が破綻しやすいのでもう少し調整が必要そう。 pic.twitter.com/2ZII23LFzz
— 投資カピバラ ＠米国株相場実況Youtube (@Capybara_Stock) December 5, 2023
使い方を3つ紹介します
Magic Animateの使い方は3つです。どれを使ってもOKですが、Google Colabだと時間がかかりすぎてセッション切れになる可能性があります。
- Hugging Faceのデモを使う
- Google Colab（もしくはLinuxにローカルで建てる）
- Windowsにローカルで建てる
それぞれ解説します。
Hugging Faceのデモを使う
こちらは一番簡単な方法ですが、2023年12月6日現在、まともに使えません。
おそらくアクセスが集中しているためですが、以下のようなエラーになります。
ということで、一度デモサイトを試してみて無理そうであれば以下の二つを試してみましょう。
Google Colab（もしくはLinuxにローカルで建てる）
Google Colabは無料でGPUを利用できるGoogle提供のサービスです。高性能なGPUを搭載しているLinux PCをお持ちの場合も同じ方法で利用可能です。
無料版で試したところ処理に時間がかかりすぎて途中でセッション切れになり、生成することができませんでした…。
（右上のディスク容量がいっぱいになっています）
有料版でも試したところうまく生成できたので手順を説明します。
まずランタイムをGPUに変更します。
そして、ソースコードをクローンして初期化します。
!git clone https://github.com/magic-research/magic-animate
%cd magic-animate
!pip install -r requirements.txtこのようなエラーが出てきますが、これは無視して大丈夫です。
次にhuggingfaceのクローンを行います。
!mkdir pretrained_models
!cd pretrained_models
!git clone -b fp16 https://huggingface.co/runwayml/stable-diffusion-v1-5 /content/magic-animate/pretrained_models/stable-diffusion-v1-5/
!git clone https://huggingface.co/stabilityai/sd-vae-ft-mse /content/magic-animate/pretrained_models/sd-vae-ft-mse/
!git lfs clone https://huggingface.co/zcxu-eric/MagicAnimate /content/magic-animate/pretrained_models/MagicAnimate/
!cd ..最後に、デモページを建てるだけです。
!python3 -m demo.gradio_animate
public URLにアクセスすると以下のようなページが確認できると思います。（これの使い方は後ほど紹介します）
Windowsにローカルで建てる
Google Colabの時とほとんど同じです。PythonのバージョンはPython 3.10.11が推奨されています。pyenvなどを用いて適切にバージョン管理しておきましょう。
まず、ソースコードをクローンして必要なパッケージをインストールします。（※Google Colab用のとは別なので注意）
git clone https://github.com/sdbds/magic-animate-for-windows.git
あとはinstall用のファイルを実行するだけです。（このときvenvで仮想環境まで作ってくれるので、自分で仮想環境を作る必要はありません）
.\install.ps1
この工程、めちゃくちゃ時間かかったので、気長に待ちましょう。
完了したら、ローカル環境でデモページを建てることができます。
.\run_gui.ps1
local URLにアクセスしてください。Google Colabの時と同じですが、以下のような画面が表示されたらOKです。
デモページの使い方（Gradio Demo）
下のサンプルをクリックすると自動で画像と参照動画が挿入されます。
あとは、Animateを実行するだけです。（かなり時間がかかります。2~3時間くらい…？）
結果は、demo/outputsの中に格納されます。
実際の動画はこちら。いい感じですね！
また、現在、弊社CSOの”りょうちゃん”を動かす実験中です。（乞うご期待）
