Animate Anyoneが話題になっていますね。おそらく、早く使いたい！ということでこちらの記事を見ていただいたのだと思います。
2023年4月10日現在Animate Anyoneはリリースされていません。
そのため、すぐに試してみたいという方は、類似技術のchampの記事をチェックしてみてください。
この記事では「champ」を使った画像を動かす方法について、徹底解説しています。 ダンスAIが流行っていますが、意外と…
この記事では、Animate Anyoneの論文～使い方まで紹介します。
参照: Github, 論文(Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for
Character Animation),
Animate Anyoneにできること
「Animate Anyone」は、ただ一枚の画像からキャラクターを動かすことができる、画期的な技術です。これは、写真やイラストなどの静止画を取り、まるで映画のように動かすことができるのです！
Animate Anyone仕組みはどうなってるの？
Animate Anyoneは、静止画像からビデオへの変換を行う新しい手法です。このアプローチは、特定のキャラクターの画像を取り、それを動的なビデオに変換する能力を持っています。これにより、静止画から生命を吹き込むことができます。
この研究の中核となるのは、Stable Diffusionモデルの応用です。Stable Diffusionは、画像からビデオへの変換において、高品質な生成能力と安定した制御を提供します。このモデルは、キャラクターの外観を維持しつつ、自然な動きを実現するための重要な要素です。
アニメーションのプロセスは以下の流れだそうです。
- 画像選択: 動かしたいキャラクターの画像を選びます。
- 特徴抽出: 「ReferenceNet」と呼ばれるネットワークが画像から特徴を読み取ります。
- ポーズの設定: ポーズガイダーを用いてキャラクターの動きを決定します。
- アニメーション生成: ReferenceNetとポーズガイダーからの情報を組み合わせて、新しいフレームを作成します。
- ビデオ合成: 生成されたフレームをつなげてビデオを作成します。
「Animate Anyone」は、細部に至るまでキャラクターの特徴を忠実に再現することが可能です。この技術により、アニメーション制作、広告、アートなど多岐にわたる分野で応用が期待されます。
Animate Anyoneはどうやって使うの？
Githubから察するにソースコードが公開されて、それをダウンロードして使うのだと思われます。
「ソースコード…？我々一般人は使えないの…？」
と思われるかもしれませんが、しばらくすると誰かしら開発者が簡単につかえるような仕組みを整えてくれるはずです。
例えば、他の開発者がソースコードを利用して、より簡単に使えるラッパーやライブラリを開発することがあります。これらのラッパーは、元のコードをよりアクセスしやすく、理解しやすくするためのものです。
Animate Anyoneはいつ公開される？
まだ公開日は決まっていないというのが結論です。ただ、少なくとも1か月くらいは想定しておいたほうがいいかもしれません。1月ごろリリースのイメージですね。
「Animate Anyone」プロジェクトのREADME.mdファイルによると、デモやソースコードに関して多くの問い合わせがあったため、開発チームはこれらを公開する準備を進めているとのことです。現時点では具体的なリリース日は決まっていませんが、デモとソースコードの公開に向けて作業が進められています。
アカデミックなプロトタイプからより洗練されたバージョンへの移行をする必要があり、シームレスな体験を提供することが意図されています。そのため、コードのクリーニング、ドキュメント作成、テストなどの必要なステップを踏むために時間が必要です。
詳細な情報や最新の更新については、プロジェクトのウェブサイトを確認することをお勧めします。そこでは、今後デモやソースコードが公開された際の情報が提供されるでしょう。
Animate Anyoneが公開されれば、AIの島でもいち早く使い方を紹介します。
非エンジニアでも使えるような解説をモットーにしているので楽しみにしていてください！
ブックマークもお忘れなく！