どこぞの研究所で機械学習やらの研究をしています。社会人博士を無事に修了しました（2021.3）。機械学習全般に興味があります。転職したので日本橋の某IPには出没しなくなりました。
Joined June 2008
- Tweets4.9K
- Following236
- Followers4.4K
- Likes591
mi141 retweeted
📢プラチナスポンサーとして協賛する ＃MIRU2026 でスポンサーイベント開催決定！
SB Intuitionsではじめる国産基盤モデル開発
📅8/4(火) 11:40-12:50
📍出島メッセ長崎
※お昼時間にご参加いただけるランチセッションです
詳細&申込 (定員に達し次第締切)
miru-committee.github.io/mir…
#SBIntuitions
mi141 retweeted
🎉Excited to announce the 1st Workshop on Generative AI for Audio-Visual Content Creation (Gen4AVC) at #ICCV2025!
Topics: Vision-to-audio, audio-to-vision, joint audio-visual generation & more. Let’s shape the future of immersive content!🚀
gen4avc.github.io/
mi141 retweeted
Join us at the MMAudio poster sessions to chat about synchronized audio 🕪 generation: tomorrow (12th) 2:30-4:00 at poster #205, or Sunday 4:00-6:00 at poster #260 in Hall D. It is not veo3, but it's open source :)
hkchengrex.com/MMAudio/
mi141 retweeted
AI Video providers should integrate MMAudio (open source) into their platforms 🔊🔊
It’s an AI video-to-audio model that easily creates audio for your clips & it’s like magic 🪄
mi141 retweeted
【宣伝】動画に合った音を生成するvideo-to-audioにおいて、既存のモデルをぶっちぎる性能を達成しました。話題のSoraで生成した動画にも音がつけられます！
論文は近日公開ですが、ソースコードは公開済みなのでぜひお試しください～
🔊 Tired of silent Sora videos? Bring them to 𝓵𝓲𝓯𝓮 with MMAudio!
Generate synchronized audio directly from video and/or text inputs.
Code's ready — try it now with one simple command:
github.com/hkchengrex/MMAudi…
Paper is in perp. 🧪
mi141 retweeted
MMAudio just made Sora videos highly engaging and more watchable by adding relevant audio to them😎
Gradio app is up on @huggingface Spaces: huggingface.co/spaces/hkchen…
Huge kudos to @hkchengrex and MMAudio team 🙌
🔊 Tired of silent Sora videos? Bring them to 𝓵𝓲𝓯𝓮 with MMAudio!
Generate synchronized audio directly from video and/or text inputs.
Code's ready — try it now with one simple command:
github.com/hkchengrex/MMAudi…
Paper is in perp. 🧪
mi141 retweeted
MM_AUDIO Tests
This tool takes a video and then automatically adds sound
Pretty cool tech and works so incredibly fast you can iterate forever
mi141 retweeted
🎶🎶 Exciting News! We are organizing and presenting a tutorial at @ISMIRConf in San Francisco, Nov. 10-14, on Diffusion Models for Music and Sound!
📅 Mark our section -- T3: From White Noise to Symphony: Diffusion Models for Music and Sound in ismir2024.ismir.net/tutorial…
🌐 Check out our webpage: sites.google.com/view/diffus…
Stay tuned for more updates!!!
#ISMIRConf #MusicAI #DiffusionModels
mi141 retweeted
Sony booth is now open in #CVPR2024!!
The information regarding our recent research and positions at Sony is here.
Please come 🤗
mi141 retweeted
Rectified Flow（RF）の学習方法の改良なんだけど、Consistency Models（CM）との対比がめっちゃ面白い。簡単に言うと、『RF⇒改良版RF』と『CM⇒改良版CM』でほぼ全く逆のことをやってる（続）
arxiv.org/abs/2405.20320
mi141 retweeted
こちらは隣の課のお仕事です。LCMの２倍速いという爆速T2Iモデルを実現。最初に64x64で学習し、UNetの後半だけ『成長』させることで512x512を生成できるようにする、みたいなことをしてます。生成モデルとしても拡散モデルとGANの良いとこどりをしたような新しいモデルなので、興味のある方はぜひ～
🚀Check our new work: PaGoDA!!!
arxiv.org/abs/2405.14822
🚀TL;RD: All you need is a 64x64 pixel diffusion model for a 512x512 1-step pixel generator!
🚀PaGoDA employs data-2-latent distillation (not noise-2-sample) and progressively trains a growing generator for resolutions higher than the pre-trained diffusion model. It achieves SOTA FIDs and makes your generation faster🔥!
Great teamwork with @gimdong58085414, @StefanoErmon, and our Sony's team!
mi141 retweeted
Visual Echoes
A Simple Unified Transformer for Audio-Visual Generation
In recent years, with the realistic generation results and a wide range of personalized applications, diffusion-based generative models gain huge attention in both visual and audio generation areas.
mi141 retweeted
チュートリアル情報を公開しました🎓
佐藤 育郎先生 @ikuro_s「自動運転のためのビジョン技術」
大谷 まゆ 先生 @mayu_otn「ビジョン研究のための評価方法」
五十川 麻理子 先生 @m_isogawa「様々なセンサやモダリティを用いたシーン状態推定」
です！ miru-committee.github.io/mir…
#MIRU24 #MIRU2024
mi141 retweeted
Consistency ModelとRectified Flowについて解説した動画を公開しました。元論文と最近の改良（ICLR2024論文３本で、うち１本はﾍｲｼｬの論文）を紹介してます。DALL-E3やLDM、StableDiffusion3などでも活用されている技術で、前提から説明しているので興味のある方はぜひ！
youtu.be/3IKCrAPe55k?si=r8Sx…
mi141 retweeted
SONYさんのイベントに呼んで頂いたのでKaggle話します！ちなみに完全な偶然ですが、チームSONYとはHMSコンペでなんと1位2位を争う仲です！当日も楽しみ！
sony.connpass.com/event/3150…
