Kenji Doi (@knjcode) header
Kenji Doi (@knjcode) profile picture

Kenji Doi

@knjcode

Engineer, Kaggle Competitions Grandmaster

 Fukuoka
kaggle.com/knjcode
Joined February 2014
  • Tweets510
  • Following1.1K
  • Followers1.8K
ACCV2024でポスター発表を行いました。 目的タスク(実世界超解像)とその部分タスクを用いて複数タスクのクラス条件付きの超解像拡散モデルを学習することで、本来の目的タスクに対してClassifier-Free Guidance(CFG)を適用可能にし実世界超解像の性能をブーストするという手法です。 #ACCV2024
Image from Kenji Doi (@knjcode)
1
6
53
6,285
ラーメン二郎用の拡散確率モデル(DDPM)の画像生成品質をFID等で評価してみました。 一般的なFIDよりも、CLIPや二郎分類モデルの特徴ベクトルを利用したFIDの方が定性的に良い結果でした。 画像は評価結果および各指標でベストの20000,90000,100000iteration時点のモデルで生成したサンプルです。
ラーメン二郎用の拡散確率モデル(DDPM)で生成した画像の定量評価指標の比較

ALT ラーメン二郎用の拡散確率モデル(DDPM)で生成した画像の定量評価指標の比較

20000iteration時点の拡散確率モデルで生成したラーメン二郎画像のサンプル

ALT 20000iteration時点の拡散確率モデルで生成したラーメン二郎画像のサンプル

90000iteration時点の拡散確率モデルで生成したラーメン二郎画像のサンプル

ALT 90000iteration時点の拡散確率モデルで生成したラーメン二郎画像のサンプル

100000iteration時点の拡散確率モデルで生成したラーメン二郎画像のサンプル

ALT 100000iteration時点の拡散確率モデルで生成したラーメン二郎画像のサンプル

1
10
小滝橋通り店の画像にしか見えないが川越店と誤認識されるよう細工した画像をDDPMで復元するとAdversarialなノイズを除去できました。 画像はPGD Attackで生成したもので、リサイズや軽いブラーでは回復できませんが、DDPMによる復元ではt=2で正解し、t=100でほぼ元の精度(むしろ良い)に回復しました。
DDPMでt回ノイズ付与後に復元した画像を@jirou_deepで識別した際の精度(top1) (正解は新宿小滝橋通り店)

ALT DDPMでt回ノイズ付与後に復元した画像を@jirou_deepで識別した際の精度(top1) (正解は新宿小滝橋通り店)

jirou_deep (@jirou_deep) profile picturejirou_deep@jirou_deep6 Jul 2022
Replying to @knjcode
川越店 です --- top3 --- 川越店 (98.80%) 新宿小滝橋通り店 (0.24%) 湘南藤沢店 (0.11%) teapawt.net/knjcode/status/1544721…
1
145
15
321
Replying to @jirou_deep
@jirou_deep 新宿小滝橋通り店の画像をPGD Attackにより川越店と誤認識されるように細工したAdversarial example
Image from Kenji Doi (@knjcode)
1
12
5
14
Replying to @jirou_deep
@jirou_deep 新宿小滝橋通り店(オリジナル画像)
Image from Kenji Doi (@knjcode)
1
1
1枚目: 動画に無いものを含む9枚分の128pxの生成画像 2枚目: 128px→512pxに超解像画像したもの 3枚目: inpaintingでレンゲを消した画像(256pxから128pxにリサイズ) 4枚目: レンゲを消した画像を128px→512pxに超解像したもの
拡散モデル(DDPM)による9枚の128pxの生成画像

ALT 拡散モデル(DDPM)による9枚の128pxの生成画像

128px→512pxに超解像画像したもの

ALT 128px→512pxに超解像画像したもの

inpaintingでレンゲを消した画像(256pxから128pxにリサイズ)

ALT inpaintingでレンゲを消した画像(256pxから128pxにリサイズ)

レンゲを消した画像を128px→512pxに超解像したもの

ALT レンゲを消した画像を128px→512pxに超解像したもの

1
74
5
280
128x128の二郎画像生成モデル(DDPM)に4倍超解像の拡散モデルを重ねることで、512x512の画像を生成できるようになりました。 動画は128pxの二郎画像を生成し、さらに4倍に超解像する過程です。生成は1000step、超解像は32stepあり、9秒から超解像が始まります。 #ラーメン二郎 #生成モデル

拡散モデルによる512px解像度のラーメン二郎画像の生成過程

拡散モデル(DDPM)により128pxのラーメン二郎画像を生成し、さらにその画像を超解像で4倍の512px解像度に拡大する過程の動画です。

1
191
11
613
拡散モデルによるinpaintingでラーメン二郎の写真からレンゲだけをキレイに消していく過程の動画です。

拡散モデル(DDPM)によるラーメン二郎画像のinpaintingの過程(レンゲの除去)

拡散モデルを使ってマスク領域にある物体(レンゲ)を自然に取り除いていく過程の動画です。

83
7,859
602
31,005
拡散モデルによるinpaintingも試してみましたが、かなり自然に消えてびっくりしました。 画像は、実画像に写っているレンゲ部分をマスクして、マスク部分は完全なノイズから画像を生成し、マスク以外の部分は各timestepごとにノイズを付加した実画像で置き換えながら生成処理を実施しています。
拡散モデル(DDPM)によるラーメン二郎画像のinpaintingの例(レンゲの除去)

ALT 拡散モデル(DDPM)によるラーメン二郎画像のinpaintingの例(レンゲの除去)

7
738
43
2,238
生成過程の乱数seedを固定し、4つの異なる初期値から生成した画像です。 左上の画像は値が全て0の初期値から、残り3つはランダム生成したノイズからの生成画像です。 全画像がほぼ同一で、この例からも、初期値ではなく、生成過程のランダムさによって画像が決定づけられることがわかります。
生成過程の乱数seedを固定し、4つの異なる初期値からDDPMで生成したラーメン二郎の画像 左上の画像は値が全て0の初期値から、残り3つはランダム生成したノイズからの生成画像

ALT 生成過程の乱数seedを固定し、4つの異なる初期値からDDPMで生成したラーメン二郎の画像 左上の画像は値が全て0の初期値から、残り3つはランダム生成したノイズからの生成画像

8
2
18
Load more