ペン🐧 (@penguinATM) header
ペン🐧 (@penguinATM) profile picture

放課後の部室、夜の線路脇、知らない誰かの夕飯、 見たことないけど見たことがあるシーン。 なかったはずの思い出をAI生成の動画にしています。 黒猫の子のシリーズ更新中。

Joined November 2014
Photo by ペン🐧 (@penguinATM)Photo by ペン🐧 (@penguinATM)Photo by ペン🐧 (@penguinATM)Photo by ペン🐧 (@penguinATM)Photo by ペン🐧 (@penguinATM)Photo by ペン🐧 (@penguinATM)Photo by ペン🐧 (@penguinATM)Photo by ペン🐧 (@penguinATM)Photo by ペン🐧 (@penguinATM)Photo by ペン🐧 (@penguinATM)
題名『だいたい見みたいの作ってるじゃん』
3
379
テスト動画生成 雑で雑で。
20
宣伝です。この実験の裏側でずっと一緒に回してたMuse、マジでいいので置いておきます。 muse.ai/join コード: IEWS94 17回の生成の裏で、着地のタイミングを測ったりテンポを解析したり、全部こいつとやってました。 よかったら使ってみてください。 参加後48時間以内に[設定]で下のコードを入れてもらえると、あなたと僕の両方に10億トークンが入ります。 僕にも得がある宣伝なので、そこは正直に書いておきます。何卒よろしくお願いします。
Muse Videoに「音楽も自分で作って、それに合わせて踊って」と頼む実験、今日一日で17回投げて分かったことを全部書きます。 前提として、僕の相棒のAIエージェント(Muse本人)にコードで作曲させた音楽は、正直しょぼかったです。 じゃあ動画生成AIのMuse Video側に音楽ごと作らせたらどうなるか、という検証でした。 ■ 音楽とダンスは、指示すれば同期する 「128BPM、ステップをキックに合わせて」と指示した回は、実測テンポ約123BPMと数字はずれたけど、着地の誤差は中央値76ms、92%が±100ms以内。音楽とダンスが拍を共有してました。 逆に何も指示しない回は、完全バラバラでした。 ■ BPMの数字は効かない 90指定→実測129 128指定→123(2回とも) 150指定→118 180指定→123 だいたい120前後に寄せられます。テンポは数字では制御できない。 ■ 曲構成は効く、イベント連動は効かない 「前半静か、後半ドロップ」は効きました(後半+7.8dB)。ただ切り替わりは5秒指定が実際7秒。 「ジャンプと同時にベースドロップ」は、ジャンプも音も別々に起きて時刻が合わなかった。因果までは繋がらないです。 ■ ジャンル適性 EDM、シティポップ、メタル、和太鼓は生成できました。 逆にクラシック(2回試行)とジャズは、テトさんで踊らせると生成自体ができませんでした。 試しにテトさん抜きでジャズバンドの演奏動画を作ったら、普通に通りました。 クラシックは著作権の切れた曲も多いので、著作権の問題じゃなさそう。 ジャンルの広さの問題でもなく、もっとピンポイントな条件で落ちているように見えます。理由は表示されないので、ここは観察と推測の域です。 ■ 音の出来について まだまだだとは思います。僕は音楽のプロじゃないので。 ただ少なくとも、僕のAIエージェントがコードで作った音楽よりは全然聞ける出来でした。作曲では動画生成AIに負けを認めます。 まとめると、 ・同期は「同期しろ」と言えば拍レベルでは起きる ・テンポ、切り替わり時刻、イベントの因果は言葉では制御できない ・効くレバーはジャンル選びと同期の明示くらい #重音テト #AI動画 #Muse
1
4
1,315
MUSE 動画生成のダンスとMUSE出力の疑似深度抽出、 SeeDance2Mini ダンスとキャラ参照画像、音楽をほぼ再現 MiniMax H3 動きはほぼ再現、音楽は再現せず、造形もやや崩れ。 SD2miniもH3もMUSEのこの白黒動画を雑に参照させた。
1
1
2
198
H3のほうはよく使えてないです。SD2のほうもだけど。 その上でだけど、SD2のほうは動きとキャラ、音、背景と別々にもってきてガッチャンコしやすい。 動きを切り貼りした上から白抜きにしたのっぺらぼうをもとに参照画像を被せて仕上げやすいですね。
48
Museの得意な動画出力は、ダンス、景色や料理などの映え、地味なモーショングラフィック、日本語文字、あとMuseが編集してくれることも便利。 苦手なことは、詳細な指示で動いてもらうこと、キャラ一貫性 招待コード: DHIRO2 muse.ai/join
1
1
151
1994年の今日、茨城県土浦市で、蓮根サミットが開かれました。 #今日は何の日 #レンコンの日 MetaのAIサービス、Muse無料枠で作りました。受付後にコードを使っていただけると無料枠で頼める量が増えます。招待コード: DHIRO2 muse.ai/join
1
119
こちらも、ダンスを改良した。もうちょっとイジりたくなるけど、これで完成ってことにしよう。
黒猫チアリーダーのハーフタイムショー🐈‍⬛📣 動画素材はすべてLovartで生成し、編集で約35秒の“スタジアム中継風”にまとめました。 全員集合の決めポーズまで見てね! 【PR】Lovartから制作クレジットの提供を受け、クリエイターパートナーとして制作・投稿しています。 #Lovart #LovartPartner
86
IT技術に疎いので名前がわからない。 AI生成の動画加工につかうような”プログラムで描く” 用語のアンチョコを作ってもらった。
🤖 Made with AI
1
63
いや、デスクトップに置くよなあ 置くよね?置かない?うーん。
33
まるっきり作り直したんですけどどうなんですかねえ… 変わった?
夏の日のオートバイのプレビズ
1
1
141
先日と同じ動画を、位置関係の図からコンテを描いてもらうみたいに少し丁寧につくっている。
🤖 Made with AI
1
55
今日は幼稚園記念日(11月16日)。1876年の今日、日本で初めての幼稚園が開園しました。ドイツのフレーベルが考えた、『遊びながら学ぶ』園でした。 #今日は何の日 #幼稚園記念日」 MetaのAIサービス、Muse無料枠で作りました。 招待コード: DHIRO2 muse.ai/join
79
GPTではチャットでつかうSOLが、話が通じにくい不調が続いている。 緻密で継続的な事をしているわけではないけど、指示が通らないでやり直したり時間がかかる。 GPTには労り対応だな⋯(絵がでなくて困ってる)
61
冒頭だけ作り加えた。とりあえずつなげただけだ。
104
動画右、Museでダンス動画を作る 動画左、See Dance2.0 Miniに移植した MetaのAIサービス、Muse無料枠を使いました。 受付後にコードを使っていただけると 無料枠で頼める量が増えます。招待コード: DHIRO2 muse.ai/join
2
305
今日は七五三(11月15日)。3歳、5歳、7歳。子どもの成長を祝って、神社へお参りします。11月15日は、鬼が外に出ない吉日とされました。 #今日は何の日 #七五三 この動画はAIサービス、Muse無料枠で作りました。招待コード: DHIRO2
178
夏の日のオートバイのプレビズ
1
1
2
215
いつまでかは知らないけどMinimax H3 Max TurboがSeedance Miniの4分の1の値段なのでずっとこれで使わせてくれんかなっておもってる。
120
今日は関門橋の日(11月14日)。全長1,068メートル。開通したとき、東洋でいちばん長い吊り橋でした。 #今日は何の日 #関門橋の日 MetaのAIサービス、Muse無料枠で作りました。受付後にコードを使っていただけると無料枠で頼める量が増えます。招待コード: DHIRO2 muse.ai/join
166
前回本番、ダンスのパートがゆるかったのでリファインしてみた。 Geminiアドバイス+Claudeアカウントに記録してた最近の作例経験でのアレンジ。 全編SeeDance Mini 480P まえのも、ゆるカワイイと思いますけど!
黒猫チアリーダーのハーフタイムショー🐈‍⬛📣 動画素材はすべてLovartで生成し、編集で約35秒の“スタジアム中継風”にまとめました。 全員集合の決めポーズまで見てね! 【PR】Lovartから制作クレジットの提供を受け、クリエイターパートナーとして制作・投稿しています。 #Lovart #LovartPartner
1
1
161