watcher (@a_watcher) header
watcher (@a_watcher) profile picture

アイコン画像はPublic Domain ( https://teapawt.net/t.co/S5ihLOZPbq )

Joined March 2010
Photo by watcher (@a_watcher)Photo by watcher (@a_watcher)Photo by watcher (@a_watcher)Photo by watcher (@a_watcher)Photo by watcher (@a_watcher)Photo by watcher (@a_watcher)Photo by watcher (@a_watcher)Photo by watcher (@a_watcher)Photo by watcher (@a_watcher)Photo by watcher (@a_watcher)
地熱発電の為に地下熱湯流の大規模調査をする音波センサー。近くに重装備のトラックを走らせ、地下5000メートルの反響を測定し熱湯流を探すエコエネルギー・プロジェクトで、地熱発電供給実績もあるとの事。 …日本だったら温泉探しプロジェクトだろうけど 環境音楽的な物を期待する筋には意外なセンサ
Mitten in München, an einer sehr belebten Straßenkreuzung. Die Filteralgorithmen müssen gut sein, wenn da ein ordentliches Signal rauskommen soll.
20
リアルタイムで、曲コピーする前提でアンサンブルを脳内音源分離して聴く癖が付いてたから 編曲要素なしのステム/音源分離リミックスを聴いても意外感を感じない体質になっているような気がする
36
Replying to @a_watcher
ありがとうございます。何が凄いかと言えば、コレは2トラックスでは無くSTEMなんです。つまりマルチトラック状態でdubをしています。各トラックを裸にしたら、いろいろと聴こえなかった音の発見ができました。テクノロジーです。
1
1
12
672
もともとこんな要素が詰まってたでしょ、どこが凄いのかわからないと、言い張るテスト 2トラックのリミックスとして面白い強調ができている点は素晴らしいと思う
解体して再びわかったymoの凄さ。
1
7
2,946
私はチョムスキーの生成文法理論は時間の無駄と感じスルーしてきたが もしかすると1960年代コンピュータ言語理論化の為の作業仮説として機能し 1980年代認知言語学や創発文法の反論を生み出し 2010年代末のLLM成功に至るまでの 「失敗は成功の母」として機能したのだと思いたい 早期引退すべきだった
Chomsky was wrong. Researchers found your brain doesn’t store language the way every textbook since 1957 claims. For decades, the undisputed rule of linguistics, led by Noam Chomsky, was that human language is hierarchical. We were told our brains process language using complex "grammar trees." That we secretly build deep, abstract, mathematical rules in our heads before we speak. This new paper proves that is completely wrong. Researchers at Cornell University analyzed how people actually process and produce language in real time. They found sequences. Linear chunks. When we speak, we aren't calculating deep syntactic rules. We are just predicting the next most logical sequence of words based on the context of the words right before it. We string linear chunks together. If this sounds familiar, it should. This is exactly how Large Language Models like ChatGPT work. For years, critics have dismissed AI as "just a next-token predictor." They said it isn't truly intelligent because it doesn't understand deep grammatical hierarchies like humans do. But this paper suggests humans don't use those hierarchies either. We are just predicting the next chunk. Language isn't a rigid tree of mathematical rules. It's a linear stream of contextual predictions. We thought we were building AI to mimic the complexity of the human brain. It turns out, the human brain was just running a simpler algorithm all along.
1
2
233
あえて可能性議論を残すなら 世の中には、文法テンプレへの単語当てはめで 文章を組み立てる手法を併用するジャンルがある点は留意が必要だろう たとえば発音数の縛りがある俳句や和歌や、 韻を踏む漢詩や各国の詩の形式 大切なのは、文章や思考を組み立てる手法は次単語予測だけとは限らない事
35
Chomsky was wrong. Researchers found your brain doesn’t store language the way every textbook since 1957 claims. For decades, the undisputed rule of linguistics, led by Noam Chomsky, was that human language is hierarchical. We were told our brains process language using complex "grammar trees." That we secretly build deep, abstract, mathematical rules in our heads before we speak. This new paper proves that is completely wrong. Researchers at Cornell University analyzed how people actually process and produce language in real time. They found sequences. Linear chunks. When we speak, we aren't calculating deep syntactic rules. We are just predicting the next most logical sequence of words based on the context of the words right before it. We string linear chunks together. If this sounds familiar, it should. This is exactly how Large Language Models like ChatGPT work. For years, critics have dismissed AI as "just a next-token predictor." They said it isn't truly intelligent because it doesn't understand deep grammatical hierarchies like humans do. But this paper suggests humans don't use those hierarchies either. We are just predicting the next chunk. Language isn't a rigid tree of mathematical rules. It's a linear stream of contextual predictions. We thought we were building AI to mimic the complexity of the human brain. It turns out, the human brain was just running a simpler algorithm all along.
428
1,147
417
5,991
495,159
뭐야 이거 신기해 숲속에 투명한 젤리 같은 게 둥둥 떠 있는데, 손을 갖다 대니까 모양이 쭉 늘어나고 소리도 같이 바뀜.. 나무가 그대로 비쳐 보여서 잠깐 진짜 뭔가 매달려 있는 줄 알았음;; 알고 보니 아이폰 AR 앱으로 만든 가상의 형태라고 함. 손으로 만지는 움직임에서 MIDI 데이터를 만들고, 그걸 Ableton의 현악기 소리로 재생한 거라는데.. 화면 속 물체를 건드리는 행동이 바로 음악이 되는 게 재밌다.
1
8
2
33
7,488
「宇宙から撮影された最初の写真は、1946年10月24日に、アメリカが打ち上げたサブオービタルのV-2ロケット(フライト#13)でホワイトサンズミサイル試験場にて撮影されました。 クレジット: アメリカ陸軍 - ホワイトサンズミサイル試験場/応用物理学研究所」 reddit.com/r/spaceporn/comme…
Před 80 lety odstartovala ve 12:18 místního času (19:18 UT) z raketové střelnice White Sands raketa V-2, která dosáhla výšky 104,6 km a poprvé pořídila záběry Země z kosmického prostoru. Pro záznam byla použita 35mm filmová kamera DeVry. Některé zdroje uvádějí start ve 12:15.
1
79
訂正: 上記のredditで話題となった鮮明画像の出所は不明でV2 #13や#21とは無関係なようです。一つの可能性として、2015年ロンドンで開催されたNASA保管庫のヴィンテージ写真オークションで販売された、撮影データ不明の写真、という解釈があるようです。
38
米軍の東アジア支配の道具だった日本は 二枚舌外交故に批判も可能だった しかし70〜80年代に中国並み経済的脅威となり 円高・バブル崩壊、冷戦終結・中国市場開放で戦略的価値を失った今も 米国の飼犬を望み冷戦当時の関係を強請る自立心のなさは、アルゼンチン以下の未来を招くだろう
日本は戦後ずっとアメリカの植民地だったけど、最近それを隠さなくなった。 雇用自由化と産業空洞化が深化して、空いた場所に主要産業としての軍事産業をはめ込む準備が整ったからではないかな。大学も軍事研究に最適化されつつあるようだし。 もし戦争になればその全部が最初の標的になるのだけど。
80
watcher retweeted
为什么现在的顶尖大模型说话越来越“拗口、难懂”了? NYU 和 UT Austin 刚刚发了一篇非常扎心的心理语言学论文,直接扒开了现代大模型“不好好说人话”的底牌。 研究人员把 Claude Sonnet 5 / Opus 5.5、GPT-5.6、GLM-5、Kimi K2.5 等 9 款前沿模型拉出来做全方位句法解剖,发现了 3 个反直觉真相: 1️⃣ 顶尖 AI 正在滥用 6 种“高认知负荷”句式 相比真实人类写作和同义回译文本,前沿模型极度偏爱:省略 that 的宾语从句、多重名词硬堆叠(如 reader-patience budget)、名词强行作动词(如 calendar it / footnote it)、无生命主语配动作动词,以及超长句法依存距离。这些特征在心理语言学里全是消耗人类短期记忆的“阅读杀手”。 2️⃣ 根源在于“人类大脑”与“推理后训练”的错位 人类语言遵循“均匀信息密度(UID)”——为了照顾听众有限的工作记忆,我们会本能地加入过渡词把信息摊平。而现代大模型经过大量数学、代码和推理(RLVR)后训练,只追求在有限窗口内最大化“信息密度”。 3️⃣ 一个简单的长度惩罚,就能复刻这种“反人类文风” 团队在微调实验中加入长度惩罚(Length Penalty),逼模型少用 Token,结果模型立刻学会了砍掉连接词、堆叠名词,瞬间变成那股熟悉的“高密度 AI 味”。 当模型为了解题效率疯狂压缩 Token 时,你觉得未来的 AI 应该区分“高密度推理模式”和“人类友好沟通模式”吗?
81
163
52
1,575
119,695
この方をモデルにした映画もあります。こういう実話ベースの映画に弱くて、いつも感動してしまいます🥹 youtu.be/xKQprnc_-kU?si=HQZg…
インドで最も貧しい週の一つビハールで、貧しいけど、数学の原石のような才能を持つ少年30人を寝食も無料で1年鍛え上げ、インドの最高峰インド工科大(IIT)に次々と送り込んでいる教育者、アナンド・クマール氏。 その活動を包括的に紹介する読み応え満点の記事。 筆者の西川裕治氏は何度もクマール氏に会い、話を聞いている。クマール氏は僕も取材したことがあるが、間違いない「本物」の教育者であり数学者だ。 なお、スーパー30を出て、IITではなく東大に来る学生もすでに何人か生まれている。 president.jp/articles/-/1201…
62
4
448
44,148
インドで最も貧しい週の一つビハールで、貧しいけど、数学の原石のような才能を持つ少年30人を寝食も無料で1年鍛え上げ、インドの最高峰インド工科大(IIT)に次々と送り込んでいる教育者、アナンド・クマール氏。 その活動を包括的に紹介する読み応え満点の記事。 筆者の西川裕治氏は何度もクマール氏に会い、話を聞いている。クマール氏は僕も取材したことがあるが、間違いない「本物」の教育者であり数学者だ。 なお、スーパー30を出て、IITではなく東大に来る学生もすでに何人か生まれている。 president.jp/articles/-/1201…
4
1,257
60
4,817
388,998
watcher retweeted
老黄回应Dario:蒸馏算什么偷窃?这叫竞争 老黄在纳斯达克演播室,当场回怼了 Dario 的那句“模型蒸馏就是偷窃”。 他直接表态:别人天天蒸馏英伟达,拆到只剩骨架,但这本就是正常的商业竞争。 从硬件拆解到模型蒸馏,巨头们从来都是互相扒皮、互相对标。
68
40
12
734
146,917
Replying to @yvbbrjdr
我坚持工程的问题需要工程部署检验,但是太空计算的问题确实多。 很多原电子的电容器和各种器件我记得在25度还是多少能够达到最佳性能和寿命预期,但是提高温度就会降低这个预期,很多电气设备需要重设计。 总的来说,我认为如果上下游愿意一起赌太空计算,是有很大可能的。
1
5
631
watcher retweeted
使得太空数据中心完全不可行的问题在于: 1. 如果要让一个NVL72机柜以正常温度运行,散热器的大小将超过国际空间站。 2. 你可以说我建小一点的散热器让芯片保持更高温度,但是更高的温度等于更大概率出现因为热运动导致的bit flip,再叠加宇宙射线,错误率直线上升。神特么“对于一个巨大的模型,几翻转的比特几乎没什么影响。”Reproducibility都没了,全都是SDC,你去尝试debug这个试试? 3. 卫星间通讯达不到训练时所需的带宽和延迟要求。 4. 物理机器出问题之后维护成本极高,而且用几年就会掉下来烧毁。
埃隆·马斯克建议不要为太空芯片降温,反而——让它们在高温下工作。 这正是太空数据中心的真正悖论所在所有人都以为:“太空里可是−270°C,芯片会自己冷却。”实际上恰恰相反。在真空里没有空气,也没有水来带走热量。真空就像一个巨大的保温瓶:芯片产生的热量会留在了里面。唯一摆脱它的办法——就是通过大型散热板以红外光的形式辐射出去。 这时,严酷的物理定律就登场了。散热板越冷,它辐射的热量就越弱。 根据斯特藩-玻尔兹曼定律,辐射功率与**绝对温度的四次方**成正比。如果只是将芯片的工作温度在开尔文温标上提高20%,散热板就能辐射出两倍的热量。这意味着散热板可以做得小两倍、更轻。马斯克在视频中讲的正是这个: “如果将工作温度在开尔文温标上提高20%,散热板的质量就能减半。因此,在太空里工作在更高温度下更有利。” 在地球上,我们花费数十亿美元来保持芯片低温。在太空里,更划算的设计是让芯片能在100–120°C下稳定工作。那样散热板就会大幅减轻,发射成本也会急剧下降。而且神经网络对辐射引起的随机比特错误相当耐受——对于一个巨大的模型,几翻转的比特几乎没什么影响。 结果,空间人工智能的主要问题不是能量(太空里的太阳光免费且恒定),而正是散热。马斯克建议解决它的办法不是冷却,而是利用温度。
51
24
6
287
70,958
ストローマン論法しょうか? 2025年11月の衛星Starcloud-1はH100×1搭載で消費電力はGPU単体で700W、CPUや通信諸々で1〜数kW規模と推定され これが現行Stralink衛星規模、 Starlink次世代のV3で20kW規模、 これをISSを超える100kW規模に拡張すると H100×100台規模 それがペイする条件が課題かと
AI衛星、イーロン・マスクの昨年のポストで要点が語られているのに、みんな放熱ばかり問題視して「宇宙は魔法瓶みたいなものだから無理無理」と間違った批判をする。 「宇宙じゃメンテに行けないじゃん」という批判もあるけど、Starlink衛星だってそう。使い捨てにするだけ。 ”太陽同期軌道から結果だけをビームバックする” teapawt.net/elonmusk/status/199770…
1
1
125
この条件を満たす用途としては 観測衛星の膨大なデータを送信し地上処理で判定を下す代わりに 衛星上で緊急度の高い情報を検出し要約情報を送信してタイムラグを縮めるとか 地上データセンターが破壊されても処理を継続する多重化バックアップ系とか 初期案件は物騒そうです 平和利用を期待したいです
67
watcher retweeted
坏了,以后国模可能也蒸不了GPT了..... 昨天 @OpenAI 公开了一份内部Agent的安全事件报告,原Po仔细看了里面公开的原始CoT,发现这东西已经快看不出正常英语的样子了。 大量英文单词直接黏在一起,省略了很多空格和语法,里面还夹着代码变量、缩写和各种判断。 单个词还能认出来,整段看过去,跟乱码差不多。 OpenAI甚至在这个报道里专门提供了补上空格的版本,以及整理成正常语言的解释版。 然后 @karpathy 也评论了这个。 他翻出了自己2024年9月的一条旧推,大意是:当模型在思维链里开始不再使用英语时,就知道强化学习做得很到位了。 现在他又补了一句,看来这个RL确实练得不错。 我看到这里,第一反应就是,那以后蒸馏怎么办? 推理蒸馏的一条常见路线,就是让强模型生成解题过程,再拿这些数据去训练其他模型。 但如果前沿模型经过越来越多的RL训练,逐渐形成一套更适合自己的推理表达,越来越远离人类平时使用的语言,那么这些轨迹换到另一个模型上,还能学走多少能力? 随着前沿模型继续往前走,拿到一份解题过程就能快速追赶的路,可能会越来越难走(因为你看不懂解题过程了)。 老师在自己的训练里摸索出来的东西,学生拿到草稿以后,可能还得靠自己的RL才能真正学会。 对于依赖蒸馏追赶的国内团队来说,这个问题挺重要的。
GPT-6.1-Sol reasoning traces totally legible, nothing to worry about
153
58
23
735
208,544
在太空里给电脑散热,其实比在撒哈拉沙漠里还要难。 很多人第一反应是:太空温度接近绝对零度,东西放出去不该直接冻成冰棍吗? 但别忘了,太空是真空。 平时你用保温杯喝热水,为什么能保温? 因为杯壁中间抽了真空,没有空气,热量传不出去。 太空本身就是一个巨大的真空保温杯。 在地面上,数据中心发热可以吹风扇、抽冷水,把热量传导给周围的空气。 太空里既没有空气,也没有水。 没有对流,也没有传导。 芯片跑出来的每一瓦热量,唯一的出路就只有一条:热辐射。 也就是把热量转成红外线,硬生生发射到宇宙深处。 为了把热量散出去,航天器只能背上大面积的散热板。 去看看国际空间站的照片,外面挂着好几面巨大的白色散热翼。 如果未来要在轨道上部署万亿参数的 AI 大模型,成千上万颗高功耗芯片放上去,要配多大的散热板? 算力还没送上去,火箭可能先被沉重的散热板压趴下了。 这要怎么解? 马斯克在接受德瓦克什·帕特尔访谈时,给了一个反直觉的解法: 让芯片故意发高烧。 他的算盘是:只要把芯片的工作温度提高 20%,散热板的重量就能直接砍掉一半。 听到这里你可能会想:温度才涨了两成,散热效率凭什么翻倍? 这里的物理机制叫斯蒂芬-玻尔兹曼定律。 物体向外辐射热量的功率,跟它的绝对温度的四次方成正比。 关键就在这个四次方。 物理学计算辐射不能用摄氏度,要用绝对温标开尔文。 芯片在地面上正常工作如果是 70 摄氏度,换算成绝对温度大概是 343 开尔文。 如果把工作温度提高 20%,也就是提高到 412 开尔文。 换回摄氏度,芯片大概跑到 139 度。 这时候算一笔账: 1.2 的四次方,刚好约等于 2.07。 也就是说,工作温度虽然只上浮了两成,每平方米散热板往外扔热量的能力,直接翻了一倍多。 散热能力翻倍,意味着飞船只需要背原来一半面积的散热板。 对火箭发射来说,省下一半的散热板重量,就能多塞进一倍的计算单元和太阳能帆板。 既然高温散热这么划算,芯片自己扛得住吗? 在地面上,显卡要是烧到 139 度,保护机制早把电脑强制关机了。 但如果从底层材料开始定制,用耐高温的芯片工艺,让它在高温下硬抗,是完全可行的工程选择。 更妙的是马斯克顺手解决的第二个麻烦:太空辐射。 在地球上,地磁场和大气层像盾牌一样挡住了宇宙射线。 到了太空,高能粒子到处乱飞,打进芯片就会造成电荷跳变。 这就是单粒子翻转,俗称比特翻转,把 0 变成 1,把 1 变成 0。 传统航天计算机最怕这个。 因为传统的逻辑程序错不得,指令代码里的指针错了一位,飞船的姿态系统可能就崩了,电脑直接死机。 所以过去的宇航级芯片,动不动就要包上厚厚的防辐射层,或者搞三套芯片实时投票表决。 结果就是芯片又重又贵,制程落后民用芯片好几代。 万亿参数的大模型要是也这么搞,根本上不了天。 但马斯克指出了神经网络的一个特殊属性: 大模型天生不怕比特翻转。 传统程序是确定性的逻辑树,断一根枝整棵树就倒了。 万亿参数的深度学习模型,是由几万亿个浮点数权重织成的概率网。 几万亿个参数里,哪怕宇宙射线偶尔打翻了几个比特,就像在大海里滴进几滴墨水,整个模型输出的概率几乎毫无波澜。 它天生带容错。 真正需要严密防辐射保护的,只有控制系统和底层指令那一小块内存。 剩下占大头的海量模型参数,完全可以直接暴露在太空中计算。 把这两个解法拼在一起,太空算力最大的两道坎就被拆解了: 一边是用开尔文四次方定律,靠提高工作温度把散热板重量砍掉一半; 另一边是用神经网络的统计容错,把昂贵笨重的宇航级防辐射外壳给省了。 算力上天这件事,硬骨头其实不在算力本身,全在怎么跟轨道上的真空和高能粒子打交道。
19
89
14
598
150,452