Pinned Tweet
好きな絵を1枚入れたら、デスクトップに住みはじめました。
目で追って、撫でると反応して、話しかけると答える相棒アプリ「Castor」を正式リリースしました。MacとWindows(Preview版)に対応。
無料・オープンソースです。誰かの机の上に、ひとりでも増えたら嬉しいです。
castor.arils.jp
atemoya retweeted
⚡Meet Hy4 flash, the cheapest model for everyday productivity. Matches Claude Haiku 5.5 (high) on daily work (human blind tests), yet 18x task cost reduction. API pricing (per 1M tokens): $0.003 cached · $0.070 input · $0.281 output. 🔗:hy.tencent.ai/research/hy4-f…
atemoya retweeted
Token efficiency and cost: Qwen4-Max outperforms Qwen3.8-Max with fewer tokens. On Work360, token usage drops by approximately 24% (Xhigh) and 35% (High); on Terminal-Bench 4.0, by about 48% and 49%. In our Work360 evaluation, the average cost per task drops from $4.43 to $1.67.
atemoya retweeted
📢 Meet Qwen4-Max, your new AI teammate for work, creativity, and discovery!
Qwen4-Max is built on a new MoE architecture with native vision and a 1M-token context window.
Highlights:
- Outperforms Qwen3.8-Max with up to ~50% fewer tokens, while average cost per task drops over 60% in our internal evaluation.
- Advances real-world productivity through greater proficiency with professional tools, stronger long-horizon execution, and higher-quality deliverables.
- Handles real tasks, including 3D modeling, game development, manufacturing, finance, law, healthcare, and frontier scientific discovery.
- $1.5/M tokens for input, $4.5/M tokens for output, and $0.075/M tokens for implicit caching — all lower than Qwen3.8-Max, with implicit caching down by 70%.
The API is live on QwenCloud. You can also try Qwen4-Max on Qwen Studio, QwenWork and Qoder.
Start building today! 🚀
- Blog: qwen.ai/blog?id=qwen4-max
- API: qwencloud.com/models/qwen4-m…
- Token Plan: qwencloud.com/pricing/token-…
More to come! The open weights of smaller Qwen4 models will be released. Stay tuned. 👀
Transformerだ……
Embeddingが全部1で出力がtoks という単語に固定されててAttentionとかFFNの重みが全部ゼロなだけだから……(世間一般ではベンチマークという)
無限にtok/sを稼ぐモデル ToKpS-23.9Kを公開します!!! huggingface.co/puyokura/ToKp…
無駄に量子化が豊富です!!!!
5
266
4bit化ができたので共有します。性能はだいぶ落ちやすいと思うので余裕があればFP16をお勧めします!
huggingface.co/Takenoko12345…
1
152
学習結果をまとめたGitHubは近頃出します!
今月末までに弱点をなるべく対策したモデルも出す予定なので応援してもらえると助かります!
ベンチマークも日本語もあまり良い方ではないですが、今後改善していきます!今はあくまで普通に学習するのと少し似た性能を大きなモデルから継承する研究です。
日本語に弱い問題に対処するため、DSHのプロキシを開発しました。MITライセンス(モデルはPLaMo 3.0なのでそっちのライセンスに従ってください)です。
デフォルトモデルとして入れたPLaMo 3.0に感謝します。
GitHub:
github.com/atemoyacode-sudo/…
35B の MoE を、MoE のまま 9.4B に削りました(−73%)。
Qwen3.5-35B-A3B のエキスパートを1つずつ違う幅で残し、約1500万トークンの LoRA で回復。AIME 2026 は 20.7/30(Qwen3.5-9B は 22.3)。
研究プレビュー Astrantia を公開します🧵
(English is below)
Hugging Face:huggingface.co/Takenoko12345…
(非公式の派生モデル)
補足、性能が高いわけではなく、自由なウェイトで作り変えるのにほとんど学習を使わずにできるという研究です。(今後なるべく元のウェイトの性能を引き継ぐ研究もするので応援して欲しいです!フォロー等をしていただけると喜びます)
お願いです🙏
巨大モデルから任意のパラメータ数のモデルを作る研究で、削って「どこが弱くなったか」を知りたいです。
崩れた質問・ダメだった分野や言語・意外とできたこと、をリプライか HF の Discussions で教えてください(プロンプトと出力をそのまま貼ってもらえると最高です)
1
1
342
Astrantia: Qwen3.5-35B-A3B cut to 9.4B (−73%), still an MoE. AIME 2026 20.7/30 (Qwen3.5-9B: 22.3); behind on code and knowledge.
Research on making any size from a big model. Show us where it breaks, in replies or HF Discussions.
huggingface.co/Takenoko12345…
2
290













