Pinned Tweet
32GB RAMでStrataが140tok/s (IQ3_S同等)! (Sync-Strata 独自エンジン・量子化)
Strataを低RAM PC向けに改造したエンジン Sync-Strataと、それに対応したQwen3.8 Flash-Next量子化モデルSyncを開発しています。(1/3)
グラフィックボードの性能(TFLOPS.・FP32)は?
(調べるのが大変だったら感覚でも大丈夫です!)
最も近いのを選択してください!
37%16(3060Ti、4060)くらい
35%32(3080Ti、4070、5070)くらい
22%48(4080,5070Ti)くらい
7%64以上(4090、5090)
101 votes • Final results 4
894
ローカルLLMに使っている(使う予定のある)PCのVRAM容量は?
(最も近いのを選択してください!)
14%8GB
34%12GB
34%16GB
18%24GB以上
134 votes • Final results 3
703
地元LLM界隈のスペックの分布が知りたいのでアンケートいくつか流します!
良ければお答えください!
ローカルLLMに使っている(使う予定のある)PCのメインRAM容量は?
6%16・24GB
48%32GB
6%48GB
41%64GB以上
105 votes • Final results 3
527
ヒル retweeted
Replying to @mirai_yuki_tech
私はそのカットする機能は切ってるよ
たしかVRAM に載っていない専門家のうち、その区間のどのトークンでも何番目以下でしか選ばれていないものを、転送も計算もせずに飛ばすみたいなやつ
0.1.42から付いた機能らしい
今晩〜明日のどこかで、以下のスペックでの計測を行います!
decode速度を予測してみてください👀
①Windows+R7 7800X3D+DDR5-4800 32GB+RTX3080(12GB)
②Windows+i5 14400F+DDR4-3200 32GB+RTX4060Ti(8GB)
③linux+i5 11400F+DDR4-3200 16GB+RTX3060Ti(8GB)
Windowsでの成績もあまり芳しくない
目標は
Sync-M
R7 日本語chat 80tok/s コーディング 100tok/s
R4 日本語chat 100tok/s コーディング 120tok/s
なんだけど、いまはその-10〜-20あたり
9
914
ヒル retweeted
Qwen3.8FNが最新のAAベンチでスコア29を獲得。これ結構すごいと思う。もちろんフロンティアモデルには負けてるが、6Luna-maxの28に勝利してるしHaiku5.5-Highの30に匹敵。DSV4.1F1017-Highと同点!GLM5.3Flashの28に勝利!やっぱサイズの割にあり得ん性能。Qwen3.8-27Bは20
質問・リクエスト募集中👀
ありそうな質問↓
Q. 画像入力は?
A. 対応済。未使用の間は自動でEncoderを外すため、画像入力を受け付けながら、普段は高速なdecodeを実現
Q. コンテキストは?
A. 262kまで(140tok/sの計測時も上限262k)。K/V Cacheを動的に広げるため、上限を上げても会話の最初は高速
ヒル retweeted
ご一読ください🙇
Please give this a read 🙇
敬请阅读 🙇
Replying to @hiru_2005
Ryzen7 7800X3D,DDR5-4800 16GB×2,RTX 3080 12GBの私の環境では、strata-jbench(@jun1228909)基準でdecode約140tok/sを記録しました!(tail-skip設定は標準の7)
ご興味いただけた方はフォローいただけると幸いです!(3/3)
















