ヒル (@hiru_2005) header
ヒル (@hiru_2005) profile picture

RAM32GB VRAM12GB 以下のPCに対応した改造版Strata & 量子化 Qwen3.8 FN を作っています

Joined November 2026
Photo by ヒル (@hiru_2005)Photo by ヒル (@hiru_2005)Photo by ヒル (@hiru_2005)Photo by ヒル (@hiru_2005)Photo by ヒル (@hiru_2005)Photo by ヒル (@hiru_2005)Photo by ヒル (@hiru_2005)Photo by ヒル (@hiru_2005)Photo by ヒル (@hiru_2005)Photo by ヒル (@hiru_2005)
32GB RAMでStrataが140tok/s (IQ3_S同等)! (Sync-Strata 独自エンジン・量子化) Strataを低RAM PC向けに改造したエンジン Sync-Strataと、それに対応したQwen3.8 Flash-Next量子化モデルSyncを開発しています。(1/3)
22
106
19
758
100,668
お待たせしました!現在最終のチェックを実行中です 大きな問題が見つからなければ、6時間以内に公開できる予定です!
2
6
40
932
トラブルが起きました…
4
18
880
DDR4-3200 16GB+RTX 3060 Ti+SATA SSDの構成、15tok/sくらい出てて「そんなもんか〜」と思ってたら突然25tok/s出し始めた
1
1
28
2,853
トラブルがなければ、あと48時間以内公開します! 正式な公開日時が決まったらまたお伝えします
1
34
1,382
グラフィックボードの性能(TFLOPS.・FP32)は? (調べるのが大変だったら感覚でも大丈夫です!) 最も近いのを選択してください!
37%16(3060Ti、4060)くらい
35%32(3080Ti、4070、5070)くらい
22%48(4080,5070Ti)くらい
7%64以上(4090、5090)
101 votes • Final results
4
894
ローカルLLMに使っている(使う予定のある)PCのVRAM容量は? (最も近いのを選択してください!)
14%8GB
34%12GB
34%16GB
18%24GB以上
134 votes • Final results
3
703
地元LLM界隈のスペックの分布が知りたいのでアンケートいくつか流します! 良ければお答えください! ローカルLLMに使っている(使う予定のある)PCのメインRAM容量は?
6%16・24GB
48%32GB
6%48GB
41%64GB以上
105 votes • Final results
3
527
Replying to @mirai_yuki_tech
私はそのカットする機能は切ってるよ たしかVRAM に載っていない専門家のうち、その区間のどのトークンでも何番目以下でしか選ばれていないものを、転送も計算もせずに飛ばすみたいなやつ 0.1.42から付いた機能らしい
2
2
40
2,878
原因はわからないけどDSH再起動で直った
4
670
🤔🤔❓️
1
5
1,169
今晩〜明日のどこかで、以下のスペックでの計測を行います! decode速度を予測してみてください👀 ①Windows+R7 7800X3D+DDR5-4800 32GB+RTX3080(12GB) ②Windows+i5 14400F+DDR4-3200 32GB+RTX4060Ti(8GB) ③linux+i5 11400F+DDR4-3200 16GB+RTX3060Ti(8GB)
1
1
15
1,289
③は10tok/sくらいしか出ないかも🥲 NVMeならその2倍以上になるはず…!
1
372
Windowsでの成績もあまり芳しくない 目標は Sync-M R7 日本語chat 80tok/s コーディング 100tok/s R4 日本語chat 100tok/s コーディング 120tok/s なんだけど、いまはその-10〜-20あたり
9
914
思った以上にやること山積み ・Vulkan対応&最適化 ・Windows最適化 ・GUIの作成、軽量化 ・リモートコントロールシステムの作成 3日で完成するだろうか🫠
10
915
16GB+8GBマシン、SSDがSATAなのがめちゃめちゃ足を引っ張っている ケチらずNVMeにしておくべきだったか
1
704
Qwen3.8FNが最新のAAベンチでスコア29を獲得。これ結構すごいと思う。もちろんフロンティアモデルには負けてるが、6Luna-maxの28に勝利してるしHaiku5.5-Highの30に匹敵。DSV4.1F1017-Highと同点!GLM5.3Flashの28に勝利!やっぱサイズの割にあり得ん性能。Qwen3.8-27Bは20
1
31
14
242
84,141
質問・リクエスト募集中👀 ありそうな質問↓ Q. 画像入力は? A. 対応済。未使用の間は自動でEncoderを外すため、画像入力を受け付けながら、普段は高速なdecodeを実現 Q. コンテキストは? A. 262kまで(140tok/sの計測時も上限262k)。K/V Cacheを動的に広げるため、上限を上げても会話の最初は高速
1
1
10
1,544
この時間になって今日初のご飯🫠
2
664
Sync-Sやっぱり作るかも…?
1
9
977
ヒル retweeted
ご一読ください🙇 Please give this a read 🙇 敬请阅读 🙇
Replying to @hiru_2005
Ryzen7 7800X3D,DDR5-4800 16GB×2,RTX 3080 12GBの私の環境では、strata-jbench(@jun1228909)基準でdecode約140tok/sを記録しました!(tail-skip設定は標準の7) ご興味いただけた方はフォローいただけると幸いです!(3/3)
2
2
1
24
5,249