ペン🐧 retweeted
宣伝です。この実験の裏側でずっと一緒に回してたMuse、マジでいいので置いておきます。
muse.ai/join
コード: IEWS94
17回の生成の裏で、着地のタイミングを測ったりテンポを解析したり、全部こいつとやってました。
よかったら使ってみてください。
参加後48時間以内に[設定]で下のコードを入れてもらえると、あなたと僕の両方に10億トークンが入ります。
僕にも得がある宣伝なので、そこは正直に書いておきます。何卒よろしくお願いします。
Muse Videoに「音楽も自分で作って、それに合わせて踊って」と頼む実験、今日一日で17回投げて分かったことを全部書きます。
前提として、僕の相棒のAIエージェント(Muse本人)にコードで作曲させた音楽は、正直しょぼかったです。
じゃあ動画生成AIのMuse Video側に音楽ごと作らせたらどうなるか、という検証でした。
■ 音楽とダンスは、指示すれば同期する
「128BPM、ステップをキックに合わせて」と指示した回は、実測テンポ約123BPMと数字はずれたけど、着地の誤差は中央値76ms、92%が±100ms以内。音楽とダンスが拍を共有してました。
逆に何も指示しない回は、完全バラバラでした。
■ BPMの数字は効かない
90指定→実測129
128指定→123(2回とも)
150指定→118
180指定→123
だいたい120前後に寄せられます。テンポは数字では制御できない。
■ 曲構成は効く、イベント連動は効かない
「前半静か、後半ドロップ」は効きました(後半+7.8dB)。ただ切り替わりは5秒指定が実際7秒。
「ジャンプと同時にベースドロップ」は、ジャンプも音も別々に起きて時刻が合わなかった。因果までは繋がらないです。
■ ジャンル適性
EDM、シティポップ、メタル、和太鼓は生成できました。
逆にクラシック(2回試行)とジャズは、テトさんで踊らせると生成自体ができませんでした。
試しにテトさん抜きでジャズバンドの演奏動画を作ったら、普通に通りました。
クラシックは著作権の切れた曲も多いので、著作権の問題じゃなさそう。
ジャンルの広さの問題でもなく、もっとピンポイントな条件で落ちているように見えます。理由は表示されないので、ここは観察と推測の域です。
■ 音の出来について
まだまだだとは思います。僕は音楽のプロじゃないので。
ただ少なくとも、僕のAIエージェントがコードで作った音楽よりは全然聞ける出来でした。作曲では動画生成AIに負けを認めます。
まとめると、
・同期は「同期しろ」と言えば拍レベルでは起きる
・テンポ、切り替わり時刻、イベントの因果は言葉では制御できない
・効くレバーはジャンル選びと同期の明示くらい
#重音テト #AI動画 #Muse
MUSE 動画生成のダンスとMUSE出力の疑似深度抽出、
SeeDance2Mini ダンスとキャラ参照画像、音楽をほぼ再現
MiniMax H3 動きはほぼ再現、音楽は再現せず、造形もやや崩れ。
SD2miniもH3もMUSEのこの白黒動画を雑に参照させた。
Museの得意な動画出力は、ダンス、景色や料理などの映え、地味なモーショングラフィック、日本語文字、あとMuseが編集してくれることも便利。
苦手なことは、詳細な指示で動いてもらうこと、キャラ一貫性
招待コード: DHIRO2 muse.ai/join
1994年の今日、茨城県土浦市で、蓮根サミットが開かれました。
#今日は何の日 #レンコンの日
MetaのAIサービス、Muse無料枠で作りました。受付後にコードを使っていただけると無料枠で頼める量が増えます。招待コード: DHIRO2 muse.ai/join
こちらも、ダンスを改良した。もうちょっとイジりたくなるけど、これで完成ってことにしよう。
黒猫チアリーダーのハーフタイムショー🐈⬛📣
動画素材はすべてLovartで生成し、編集で約35秒の“スタジアム中継風”にまとめました。
全員集合の決めポーズまで見てね!
【PR】Lovartから制作クレジットの提供を受け、クリエイターパートナーとして制作・投稿しています。
#Lovart #LovartPartner
86
今日は幼稚園記念日(11月16日)。1876年の今日、日本で初めての幼稚園が開園しました。ドイツのフレーベルが考えた、『遊びながら学ぶ』園でした。 #今日は何の日 #幼稚園記念日」
MetaのAIサービス、Muse無料枠で作りました。
招待コード: DHIRO2 muse.ai/join
79
GPTではチャットでつかうSOLが、話が通じにくい不調が続いている。
緻密で継続的な事をしているわけではないけど、指示が通らないでやり直したり時間がかかる。
GPTには労り対応だな⋯(絵がでなくて困ってる)
61
動画右、Museでダンス動画を作る
動画左、See Dance2.0 Miniに移植した
MetaのAIサービス、Muse無料枠を使いました。
受付後にコードを使っていただけると
無料枠で頼める量が増えます。招待コード: DHIRO2 muse.ai/join
2
305
今日は関門橋の日(11月14日)。全長1,068メートル。開通したとき、東洋でいちばん長い吊り橋でした。 #今日は何の日 #関門橋の日
MetaのAIサービス、Muse無料枠で作りました。受付後にコードを使っていただけると無料枠で頼める量が増えます。招待コード: DHIRO2 muse.ai/join
166
前回本番、ダンスのパートがゆるかったのでリファインしてみた。
Geminiアドバイス+Claudeアカウントに記録してた最近の作例経験でのアレンジ。
全編SeeDance Mini 480P
まえのも、ゆるカワイイと思いますけど!
黒猫チアリーダーのハーフタイムショー🐈⬛📣
動画素材はすべてLovartで生成し、編集で約35秒の“スタジアム中継風”にまとめました。
全員集合の決めポーズまで見てね!
【PR】Lovartから制作クレジットの提供を受け、クリエイターパートナーとして制作・投稿しています。
#Lovart #LovartPartner
1
1
161







