先日 Paperspace にて stable diffusion 環境を構築して AI 画像生成を経験してみました。
stable diffusion の Deforum という機能で、アニメーションを作成できるとのことで、
この機能を試してみたかったのがきっかけです。
しかし、Deforum の設定画面を見たり、GitHub の説明等を確認しても全然理解できませんでした・・・。
それでも諦め切れなかったため、パトロンというサイトで実際に使用できる Deforum の設定値を
配布しているクリエイターから、エクスポートデータを入手することで、Deforum 機能で
動画生成することができました。
Deforum はどんな絵にするか、どんな画風にするか、カメラワークをどう動かすか、といった設定を
フレーム毎に指示して、画像を連続生成することで動画にします。
(細かい点は間違っているかもしれませんが、概ねそういう機能と理解しています。)
やっとのことで動画生成までこぎ着けましたが、Paperspace のそこそこ良い GPU を活用しても
数十秒から 1 分程度の動画生成で数十分もかかりました。
AI 動画生成の知見を得ることができましたが、もう少し生成速度が上がればなと思う次第です。