【動画で一貫性を持たせる！？】TokenFlow技術が誕生！

TokenFlowについて

「TokenFlow」はワイツマン科学研究所の研究者グループが開発した手法で、ムービーのフレーム間の一貫性やクオリティを保ちながら雰囲気だけを変更することが可能です。

実用できるレベル？

こちらの動画は、実際にバスケットボールを指の上で回転させている男性にTokenFlowを適用したものです。

↓こちらが元の動画です。

元動画をゴッホっぽいものに変えてもバスケットボールを回す動作に不自然はなく一貫性が保たれています。

銀色のロボットというプロンプトを与えるとこんな感じです。

こちらは、スターウォーズのクローン・トルーパーを指定すると、背景まで宇宙っぽく変換されています。

従来の「フレームごとに雰囲気を変更していく」手法では、ボールの線の位置など、前後のフレームを元に適切な位置に配置する必要がある要素の扱いが苦手でしたが、TokenFlowの手法を用いると元のムービーと同等の一貫性を保つことが可能です。

まとめ

クオリティが以前とは比べ物にならないくらい上がっているので、今後の更なる進化が楽しみですね！
後日、Github上でコードが公開されるみたいです。