EroCat (@DokiEroCat) header
EroCat (@DokiEroCat) profile picture

OwO, 尽量不虾头!

Joined February 2015
Photo by EroCat (@DokiEroCat)Photo by EroCat (@DokiEroCat)Photo by EroCat (@DokiEroCat)Photo by EroCat (@DokiEroCat)Photo by EroCat (@DokiEroCat)Photo by EroCat (@DokiEroCat)Photo by EroCat (@DokiEroCat)Photo by EroCat (@DokiEroCat)Photo by EroCat (@DokiEroCat)Photo by EroCat (@DokiEroCat)
米总高见 , grok 都未必能理解😅 #VRChat
1
7
226
#VRChat @铜花瞬 33 #MiniMaxH3 克隆人物与声音
2
98
#MinimaxH3 音频和人物克隆下SolAttn加速测试
1
3
251
让可爱小缇动走出相册=3= 该被电了 ~ #VRChat #MinimaxH3 #Lolicon
4
71
=3=
🫟🔹🥦君色に染まる~
2
3
167
给大家写个简单的Jev模型介绍, 这绝对是个需要重点关注的模型. 简单讲, 这个模型放弃了传统自回归架构, 它没有办法直接输出普通文本. 但是他能进行决策! 比如最简单的二分类场景, 输入一条短信, 让它判断是否为垃圾短信, 它就可以输出这样的JSON: {"decision": { "isSpam": true }, "probabilities": { "isSpam": { "true": 0.982, "false": 0.018 } } } 没错, 它只能进行结构化输出, 甚至你输入的时候要定义 Schema (用过protobuf/GraphQL的同学应该能理解), 在送入模型时被编译为特定的决策槽位, 然后按照槽位输出, 所以输出JSON不可能出问题. 而复杂一些的场景, 比如让这个模型玩杀戮尖塔或者看盘, 只需要把内容转换为文本输入进去(没错, 目前模型只支持文本输入), 然后定义好模型能进行哪些动作, 模型就会自主决策了. 到目前为止, 是不是看上去跟普通文本大模型没区别? #jev #TypeSafeAI #DiogoAlmeida #systemone #vercel
62
25
8
338
68,859
EroCat retweeted
这是我见过 讲解 fde 现状最好的视频 没有之一!
156
108
28
982
152,397
去年、日本に旅に出る時は良い写真を取れた, 最近偶然アルバムからこの写真を見ました
2
172
✈️重庆
1
3
109
给大家写个小学水平也能理解TurboQuant的解读 Google 刚发布的 TurboQuant 论文有多猛? X 上1000多万阅读了, 给大家写个都能看懂的大白话解析介绍下, 着又是能让大模型成倍提速, 价格嗷嗷给打下来的技术创新. 首先要从KVCache说起, 也算是老生常谈了, KVCache 是啥? 简单来讲, 大模型是一个个字往外蹦的, 而每蹦一个字都需要把这个字跟之前已经输出的字都计算一下, 类似于人类的边说话边回顾. 但是把刚开始说话的内容全算一遍显然不靠谱, 于是有了缓存, 直接把之前的计算结果保存下来, 每次只要跟这个缓存的结果去计算就行了,这个缓存里面存的就是每个字每次的特征数据 聪明的你一定能想到了, 那话说的越多, 这个缓存就会变得越大. 为了解决这个问题,业界卷出了【滑动窗口注意力】和【线性注意力】 这俩是啥呢? 我们可以把 KV Cache 想象成一个存放数据的【3D立方体】 立方体的【长】(上下文长度): 随着对话变长而不断变长。【滑动窗口注意力】就是限制了它的长,只保留最近固定长度的记忆,扔掉太老的,有效控制了体积。 立方体的【高】(状态大小): 【线性注意力】出手了,它通过数学魔法,把所有历史记录压缩成一个固定大小的隐状态。也就是说,无论说多少话,立方体的高永远被卡死了。 还剩下一个KVCache的【宽】对吧? 没错, 这个就是里面数据的精度(可以简单理解为小数点后面保留几位小数), 大家都知道模型参数是有精度的, 自然KVCache也有精度, 答案呼之欲出了——压缩KVCache的数据精度! 但是问题来了, 压到特别小 3bit 特别难, 而这就是 Google 这篇论文的核心了, 它使用了新的算法 (PolarQuant+QJL) 成功把 KV Cache 无损压缩到只有 3-bit! 要知道,今天很多普通大模型的KVCache还在用 16-bit(FP16/BF16)跑! 那为啥 KVCache 小了大模型会提速? 是因为计算的数据少了吗? 并不是, 因为现在显卡的算子也是有最小精度要求的, 比如 H100, 硬件底层的 Tensor Core 原生也只能算到 8-bit, 再小的精度还要反量化扩充到8bit才能计算. 提速的奇迹,其实发生在数据的读写上! 大模型数据和KVCache都存储到显存中, 而GPU计算这些数据要加载到GPU的SRAM中, 这个过程十分受限于显存带宽(我已经给大家科普这个观点不下100次了...). 所以,现在把 KV Cache 的精度从 16-bit 砍到 3-bit,直接就把需要读取和搬运的数据量缩小到了 1/4 到 1/5 !在显卡带宽不变、算力严重过剩的情况下,省下了海量的“搬砖时间”,速度自然就成倍飙升了! 目前我十分看好TurboQuant, 如果这个搭配线性注意力或者滑动窗口, 未来模型的推理速度翻倍完全没问题了! #TurboQuant #PolarQuant #Google #线性注意力 #滑动窗口注意力
39
120
9
727
86,954
这个指纹盒子 在我使用场景下确实方便, 每次都要把手伸的老长才能够到 mac touch
Standalone Touch ID button 😆 Pulled out the parts from Magic Keyboard and it worked nicely.
2
199