fuxiang (@fuxiangPro) header
fuxiang (@fuxiangPro) profile picture

Build robots & AI projects

Beijing
Joined August 2021
Photo by fuxiang (@fuxiangPro)Photo by fuxiang (@fuxiangPro)Photo by fuxiang (@fuxiangPro)Photo by fuxiang (@fuxiangPro)Photo by fuxiang (@fuxiangPro)Photo by fuxiang (@fuxiangPro)Photo by fuxiang (@fuxiangPro)Photo by fuxiang (@fuxiangPro)Photo by fuxiang (@fuxiangPro)
“If you’re looking for new ideas, one way to find them is by looking for heresies.” — Paul Graham, Novelty and Heresy
52
218
37
1,718
193,370
今天两个朋友的AI产品上线或发布了上线预告。 一个是 @oran_ge 的Listenhub,一个是遥行兄的medeo 全是音频或视频领域的创业项目。 项目启动时间都在半年到一年前。 最近,很认可Lovart CEO 陈冕的观点:AI创业最重要的是“认知领先 + 极致执行” 虽然大家都说认知是迭代的,但在1-2年前就有苗头,认知领先的人会提前行动。 祥叔 @fuxiangPro 曾跟我说:想看趋势,就看身边的聪明人周末在搞什么项目。(不记得他引用谁的话了) 记得2023年7月份,Project Tailwind 正式更名为 NotebookLM后 ,橘子就推荐过。 2024年9月加了音频播客功能后,感觉他非常兴奋,在Fingerfly 访谈嘉宾群里发了好几条感慨,赞叹这个产品的未来前景。 后来拿投资创业,不出意外,选择了AI音频节目生成赛道。 遥行和祥叔是我身边最爱读AI论文的朋友。 尤其是遥行,不仅读,而且还做笔记,他的读论文笔记飞书文档,打开都会震撼一把。 他也是一年半前,就坚定要做视频生成 Agent,前瞻性可能就来源于读论文获得的“认知领先优势”。 后来,他跟Kimi前产品负责人一起创业,就是做这个方向。 另外,我觉得整个国内AI圈都要感谢Manus。 不论Lovart,还是Medeo,还是近期要上线的很多Agent类产品。 要么让大家更坚定Agent方向,要么是让融资变的更容易。 Manus加强了AI Agent是未来的共识。 可大家回想下,两年前AutoGPT、BabyAGI出现的时候,热度上去、快下来也快。 有人就觉得,都是概念炒作、都是烧Token骗钱的玩具。 认知领先且坚定的人,相信大模型的发展速度,会埋伏,会快速执行,等 1-2年后的成熟起飞。 新生事物,一定是不完美的,但会随着技术和市场,共同成长。 就像现在很多人会吐槽现在的MCP的各种问题。 我相信1-2年后,一定会更好,真能一句话解决复杂问题。 --- 想体验这两个新AI产品的朋友,可以看评论区第一条。 附:遥行兄的论文阅读笔记飞书文档。
9
19
2
119
29,320
fuxiang retweeted
The Physical Turing Test: your house is a complete mess after a Sunday hackathon. On Monday night, you come home to an immaculate living room and a candlelight dinner. And you couldn't tell whether a human or a machine had been there. Deceptively simple, insanely hard. It is the next North Star of AI. The dream that keeps me awake 12 am at the lab. The vision for the next computing platform that automates chunks of atoms instead of chunks of bits. Thanks Sequoia for hosting me at AI Ascent! Below is my full talk on the first principles to solve general-purpose robotics: how we think about the data strategy and scaling laws. I assure you it will be 17 minutes you don't regret!
67
204
47
1,142
135,803
最早认识 @op7418 (歸藏)也是机缘巧合,谷歌搜ChatGPT,找到这份AIGC周刊,如获至宝。 后来发现他的Twitter,私信邀请成为fingerfly访谈嘉宾。 记得那次的访谈嘉宾还橘子 @oran_ge ,主持人七娘 @GlocalTerapy 祥叔 @fuxiangPro 歸藏老师是AI圈最卷,最认真的一批科普达人。另外还有宝玉(@dotey )、小互 @xiaohu 等 不知不觉,离ChatGPT发布已经过去很久。 以前大家对 AI 资讯如饥似渴,随便发,只要跟AI有关,浏览量都是几万,几十万,现在数据惨淡。 这种反差下,仍然坚持发AI干货的人,绝对靠的是热情和信仰。 所以,强烈推荐歸藏的小报童,为持续交付价值的人点赞、打赏~ 点击以下链接购买或看图微信扫码。 xiaobot.net/p/guizangNews?re…
3
2
1
13
7,776
有个朋友超爱读书,且每次都能讲的头头是道。 问他秘诀:记笔记,常回顾。 我发现Readwise等阅读辅助工具,都是类似理念。 汇集所有划线、笔记,不断提醒你复习回顾、整理。 但是,这类产品定价不便宜,且产品比较重。 于是,撺掇朋友开发了一款轻量级的划线收藏复习工具,当前基于浏览器,验证后考虑支持客户端。 产品核心功能: 全网划线收藏:网文、微信读书、社交媒体帖子。 信息整理:自动归类、AI辅助打标签。 学习巩固:AI解读、闪卡复习、邮件/角标推送。 内化输出:关键词检索、信息关联,AI辅助写作。 想让自己真的学会记住一些划线和收藏? 1. 注册账号:memowise.ink/?f=xyqm 2. 插件下载安装 chromewebstore.google.com/de…
10
75
2
294
68,669
fuxiang retweeted
西方今年有一本新书《技术封建主义》非常走红,提出一个全新观点。 它认为,当今的互联网经济,本质就是欧洲中世纪的封建主义,只是多了高科技。 那几家互联网巨头是数字领主,瓜分了大部分数字领地,广大网民则是数字农奴(又称云奴),为领主打工。 详细介绍见我的文章 ruanyifeng.com/blog/2024/06/…
23
126
12
507
103,872
fuxiang retweeted
one day PhDs will animate every object around us with reinforcement learning to keep their thesis going
56
330
93
3,244
464,226
推荐两个 App,一个阅读工具,一个背单词工具。 1️⃣ Feeeed 著名浏览器 Arc 团队出品的 Rss 阅读工具,交互优雅,内置不少阅读源,比如经济学人、纽约时报、BuzzFeed、TechCrunch等。 但有些功能没搞懂,比如添加朋友生日,创建闪卡,查看天气等,简直是大杂烩。 可能从他们视角看,都是阅读内容,一切皆 Feed。 2️⃣ 墨典单词 朋友推荐,30 元购买,说背单词记的很牢。 设计有点意思,选单词书,自动生成 100 天打卡任务,复习节奏严格遵守艾宾浩斯曲线,一键添加系统日历。 每个单词都有配图,画面与单词意思相关,左右滑切换背诵。 每个单词都有奇葩的中英文混杂的谐音记忆法....
15
85
396
119,464
Can we collect robot data without any robots? Introducing Universal Manipulation Interface (UMI) An open-source $400 system from @Stanford designed to democratize robot data collection 0 teleop -> autonomously wash dishes (precise), toss (dynamic), and fold clothes (bimanual)
42
357
125
1,777
441,043
去年跟@fuxiangpro 聊过这个话题。 他给的三个建议:自己做个好榜样,一切从简,学习靠孩子自己。 对照自己情况,一些个人观察和想法: ① 家长榜样:孩子确实会模仿,你读书,他也会跟着一起读书;你在娱乐,他也不想写作业。 想让孩子往好的方向发展,自己先做,在他面前做。 ② 一切从简:给孩子创造太好的生活条件,有可能会害了他。 家里各种电子设备可玩,书的吸引力就大大下降。 ④ 学习靠自己: 父母把自己认为有价值的东西强加给孩子,逼孩子去学。 孩子会认为学习是给父母学,学习自主性变差,影响内驱动力。 学习阿德勒的课题分离:“把马带到河边,喝不喝水是它的事儿。” 最近跟孩子共读《少年世界史》,发现他的阅读积极性大增,下一本是《哈利波特》。
刚上回上海的飞机儿子就拿出他的iPad玩游戏,我本想和他说别玩了休息一会儿,因为他已经玩了一早上,想想还是算了,不说他了。我拿出Kindle开始看书,飞机的旅程还没过半,儿子他自己就把iPad收起来了,也开始看他的Kindle。我不禁窃喜,心想最好的家庭教育果然就是做给孩子看,父母什么也不用说教,只管做自己的事情就好了。 等我回家收拾行李拿出iPad才知道,儿子他不玩iPad是因为没电了🤣
4
11
1
50
15,326
推特的朋友这里看也行。 teapawt.net/i/broadcasts/1YpKkwDjz…
2
25
85
20,329
fuxiang retweeted
MIT的Ddog项目成功将脑机接口和波士顿动力机器狗进行链连接,脑瘫人士也能操作机器狗 在Nataliya Kos’myna的领导下,麻省理工学院的一支研究团队最近发表了他们的研究成果,一项名为Ddog的项目。 该项目致力于将波士顿动力学公司的Spot四足机器人改造为能够为患有肌萎缩侧索硬化症(ALS)、脑瘫和脊髓损伤等疾病的人士提供基本沟通工具。 该项目 使用了一套包括AttentivU的脑-电脑界面(脑机接口,BCI)系统。这种从技术上实现了脑-电脑直接接口的技术,以一副内嵌传感器的无线眼镜的形式进行应用。这些传感器不仅可以测量人脑活动的脑电图(EEG),也可以追踪他们的眼动。 该研究以大学 的Brain Switch 作为基础,这是一个实时闭环型的脑机接口,它允许用户与看护者进行无言的、实时的交流。如今,Kos’myna正在借助与Brain Switch相同的技术所开展的Ddog项目,进一步扩大该技术的应用范围。 Spot可以为用户取物 根据全国罕见疾病协会报告,目前在美国有3万ALS患者,并且每年有5000个新病例被确诊。另一方面,据脑瘫指南所报告,大约有一百万的美国人生活在脑瘫之中。 许多患者已经或将会失去他们的行走、穿衣、说话、写字甚至呼吸的能力。目前虽然存在沟通辅助工具,但多数是靠视线跟踪的设备,允许患者通过计算机来交流。然而目前还没有太多的系统可以让患者与他们周围的世界进行互动。 Ddog的最大优势在于其移动性。Spot机器人可以进行完全自主的移动,这意味着在给定简单指令后,它可以在无需人工干预的情况下进行操作。 Spot也具有出色的移动性。凭借四足的结构,Spot几乎可以走向人类可以到达的任何地方,包括上下斜坡和楼梯。机器人的手臂配件还可以执行类似送货、移动椅子或者给用户送来书或玩具等任务。 MIT的这套系统只需要两部iPhone和一副眼镜就可以运行。它无需复杂的电极设备或背包,使其比其它现有的辅助设备更方便日常使用,这是研究团队的观点。 Ddog的工作原理 作为与新用户在新环境中工作的初步步骤,Spot首先需要建立工作环境的3D地图。然后,第一部iPhone将询问用户接下来想做些什么,用户只需想象他们想要的东西来做出回答。 第二部iPhone则会运行本地导航地图,并控制Spot的手臂,同时利用iPhone的雷达数据来提升Spot的雷达性能。这两部iPhone可以彼此通信,以跟踪Spot完成任务的进度。 MIT的研究团队设计了一个可以完全在线或离线工作的系统。在线版本则具有一套更为先进的机器学习模型,以及更好的微调模型。 来源:therobotreport.com/ddog-mit-…
4
31
6
114
35,165
fuxiang retweeted
Jim Fan 预言:距离机器人 AI 的 ChatGPT 时刻大约还有 3 年时间 以下为其推文转译: 除了大语言模型(LLM)之外,2024年最重大的领域无疑是机器人学。我们距离实体 AI 智能体实现 ChatGPT 式的突破仅有大约三年的时间。长期以来,我们一直受到莫拉维克悖论(Moravec's paradox)的困扰,这一直觉反常的现象表明:“人类觉得简单的任务,对 AI 来说却异常困难,反之亦然”。 2024年将成为 AI 领域首次大规模反抗这种困境的一年。虽然我们不会立刻取得胜利,但我们已经在通往成功的道路上迈出了坚实的步伐。 回顾2023年,我们已经初步见识到了未来机器人的基础模型和平台: - 多模态大型语言模型与机器人手臂作为物理输入输出接口:VIMA、PerAct、RvT(NVIDIA)、RT-1、RT-2、PaLM-E(Google)、RoboCat(DeepMind)、Octo(伯克利、斯坦福、卡内基梅隆大学)等。 - 连接高级推理(大型语言模型)与低级控制的算法:Eureka(NVIDIA)、Code as Policies(Google)等。 - 在坚固硬件方面取得巨大进步:Tesla Optimus @elonmusk、Figure @adcock_brett、1X @ericjang11、Apptronik、Sanctuary、Agility+Amazon、Unitree 等。 - 数据长期以来一直是机器人学发展的弱点。研究社区正致力于创造下一个“影像网”(ImageNet),如 Open X-Embodiment (RT-X) 数据集。尽管这些数据集的多样性尚未达到理想状态,但即使是微小的进步也意味着重大的飞跃。 - 在解决机器人灵活性甚至整个计算机视觉领域中,仿真和合成数据将扮演关键角色。 (1) NVIDIA Isaac 能以比现实时间快1000倍的速度进行仿真,其产生的数据量会随着计算能力的提升而增长。 (2) 通过硬件加速的光线追踪技术实现逼真效果,这种逼真的渲染还自带地面真值标注,比如分割、深度、3D 姿态等。 (3) 仿真器甚至能够扩展现实世界的数据,形成更大的数据集,从而大大减少昂贵的人类示范工作的需要。NVIDIA 的 MimicGen 就是一个很好的例子。 我个人全力投入这一领域。最精彩的部分还在后面。
I've been asked what's the biggest thing in 2024 other than LLMs. It's Robotics. Period. We are ~3 years away from the ChatGPT moment for physical AI agents. We've been cursed by the Moravec's paradox for too long, which is the counter-intuitive phenomenon that "tasks that humans find easy are extremely hard for AI, and vice versa". 2024 will be remembered as the first year that the AI community fights back big time against the curse. We will not win immediately, but we will be on the path of winning. In 2023, we've caught a glimpse of the future foundation models and platforms for robots: - Multimodal LLMs with robot arms as a physical I/O device: VIMA, PerAct, RvT (NVIDIA), RT-1, RT-2, PaLM-E (Google), RoboCat (DeepMind), Octo (Berkeley, Stanford, CMU), etc. - Algorithms that bridge the gap between System 1 high-level reasoning (LLMs) and System 2 low-level control: Eureka (NVIDIA), Code as Policies (Google), etc. - Insane amounts of progress on robust hardware: Tesla Optimus @elonmusk, Figure @adcock_brett, 1X @ericjang11, Apptronik, Sanctuary, Agility+Amazon, Unitree, etc. - Data has always been the Achilles' heel of robotics. The research community is coming together to curate the next ImageNet, such as the Open X-Embodiment (RT-X) dataset. It's still not diverse enough, but a baby step is a major step. - Simulation and synthetic data will play a critical role in solving robot dexterity and even computer vision in general. (1) NVIDIA Isaac can simulate reality at 1000x faster than real-time. The incoming data stream scales as compute scales. (2) Photorealism can be enabled by hardware-accelerated raytracing. The realistic renderings also come with groundtruth annotations for free, such as segmentation, depth, 3D pose, etc. (3) Simulators can even multiply real-world data to create much larger datasets, greatly reducing the expensive human demonstration efforts. MimicGen (NVIDIA) is a representative example. I'm all in, personally. The best is yet to come.
2
26
2
76
38,531
fuxiang retweeted
I've been asked what's the biggest thing in 2024 other than LLMs. It's Robotics. Period. We are ~3 years away from the ChatGPT moment for physical AI agents. We've been cursed by the Moravec's paradox for too long, which is the counter-intuitive phenomenon that "tasks that humans find easy are extremely hard for AI, and vice versa". 2024 will be remembered as the first year that the AI community fights back big time against the curse. We will not win immediately, but we will be on the path of winning. In 2023, we've caught a glimpse of the future foundation models and platforms for robots: - Multimodal LLMs with robot arms as a physical I/O device: VIMA, PerAct, RvT (NVIDIA), RT-1, RT-2, PaLM-E (Google), RoboCat (DeepMind), Octo (Berkeley, Stanford, CMU), etc. - Algorithms that bridge the gap between System 1 high-level reasoning (LLMs) and System 2 low-level control: Eureka (NVIDIA), Code as Policies (Google), etc. - Insane amounts of progress on robust hardware: Tesla Optimus @elonmusk, Figure @adcock_brett, 1X @ericjang11, Apptronik, Sanctuary, Agility+Amazon, Unitree, etc. - Data has always been the Achilles' heel of robotics. The research community is coming together to curate the next ImageNet, such as the Open X-Embodiment (RT-X) dataset. It's still not diverse enough, but a baby step is a major step. - Simulation and synthetic data will play a critical role in solving robot dexterity and even computer vision in general. (1) NVIDIA Isaac can simulate reality at 1000x faster than real-time. The incoming data stream scales as compute scales. (2) Photorealism can be enabled by hardware-accelerated raytracing. The realistic renderings also come with groundtruth annotations for free, such as segmentation, depth, 3D pose, etc. (3) Simulators can even multiply real-world data to create much larger datasets, greatly reducing the expensive human demonstration efforts. MimicGen (NVIDIA) is a representative example. I'm all in, personally. The best is yet to come.
72
332
67
1,766
357,704
卧槽,看了这个老哥用Midjourney V6生产3D素材,突发奇想,既然V6对中国传统元素的了解很详细,能不能也用来生产中国风3D素材贴图。 试了一下居然真可以,这效果也太好了。建模直接照着做就行,要求低可以直接用 https://3d. csm. ai/ 这种网站生成。 图像生成是现在视觉媒体生成的绝对上游,上游质量的突破绝对会帮助视频、3D等下游带来巨大突破。 提示词模板: A highly detailed 3D render of [需要生成的物品] isolated on a white background as an RPG game asset, unreal engine, ray tracing --ar 3:2 --v 6.0
Just used Midjourney v6 to make images of game assets, and the detail is incredible. It's way more realistic than v5.2. Here are 15 comparisons, the prompts I used & how to turn them into 3D objects:
26
276
9
1,095
325,431
I imagined my ideal life at 80-years-old: • Healthy mind and body • Relaxing on a sunny porch • Smiling wife at my side • Children chatting with us • Grandchildren playing in yard • Friends walking over for dinner This life cannot be bought—it must be earned: Want a healthy mind and body at 80? Exercise your mind and body daily. Want a smiling wife at your side at 80? Be a loving partner daily. Want kids who choose to be around you? Be a supportive and caring parent daily. Want good friends who you share laughs with? Be a loyal friend daily. What does your ideal life look like at 80: • Who are you with? • Where are you? • What are you doing? • How do you feel? Most importantly, what does that imply about how you need to live today? This simple exercise can have a powerful impact on how you live your life in the present. It forces you to begin with the ideal end in mind. Write it down and place it somewhere that you can reference it—a compass to guide you to the beautiful shores at the end of your journey. Remember: Your daily actions, habits, and behaviors shape your future. Small things become big things.
58
128
3
1,100
249,617
最近重读他写的《人类简史》,越发觉他的思考角度新颖且有深度。 刚用亚马逊Audible买了这本书英文朗读版。 另外,Lex fridman 5个月前对他的访谈也很值得反复看。 youtube.com/watch?v=Mde2q7GF…
《未来简史》这本书出版于2016年,赫拉利却对计算机算法(现在应该叫大模型或者AI)跟我们的关系,做出了精准的预测。分三步走: 第一步,算法相当于是我们的身边的先知(oracle),也就是一个算命的,你有什么问题问它一下,但是决策权在你手里。 目前大模型的特点就是通过预测下一个字符,来算出你想要的答案。 第二步,算法相当于是我们的代理人(agent),你告诉它一个大的方向和原则,它去执行,至于执行过程中一些小的决策,它自己就说了算了。 AI Agents随着GPTs的发展,已经近在眼前。 第三步,算法就成了我们的君主(sovereign),你索性就什么都听它的了。 AGI is coming...
13
29
10,302
fuxiang retweeted
推荐阅读:《多模态和多模态大模型 (LMM)[译]》 这是一篇相当详尽的讲述多模态和多模态大模型的文章!内容分为三部分。 * 第 1 部分围绕多模态的概念展开,讲述了使用多模态的原因、不同类型的数据模态以及多模态任务的种类。 * 第 2 部分深入探讨了多模态系统的核心原理,以 CLIP 和 Flamingo 为例,分别为未来多模态系统的发展奠定了基础,并通过 Flamingo 的卓越表现引领了大语言模型(LLM)的兴起。 * 第 3 部分聚焦于大语言模型(LLM)的当前研究热点,探讨了生成多模态输出和高效多模态训练适配器的新进展,涉及了像 BLIP-2、LLaVA、LLaMA-Adapter V2、LAVIN 等新兴多模态系统。 如果你想深入了解多模态模型,这是一篇相当好的科普文章! 原文:Multimodality and Large Multimodal Models (LMMs) huyenchip.com/2023/10/10/mul… 译文:baoyu.io/translations/lmm/mu…
7
118
309
36,363
fuxiang retweeted
I confirmed with friends at the team that they did not speed up the video. Having such smooth motions at real-time, especially in hand dexterity, will unlock LOTS of new capabilities down the road. Regardless of how well you train the model in the world of bits, a slow and unreliable hardware will always be the fundamental bottleneck in the world of atoms. The tactile sensing on fingers is the obvious right path forward. Now we can train truly multimodal robot transformers that take in text, video, audio, touch, proprioception (position, orientation, motion sensing) and some day, even smell and touch. The output is humanoid motor controls. Can Optimus spin pens? Someone please try out our Eureka method and let me know? @Tesla_Optimus 👏
71
250
46
1,989
521,949
fuxiang retweeted
我们使用AI Talk的语音和面部技术,结合Runway @runwayml 制作了这段三国武侠主题的短电影。 还原了原版《三国演义》电视剧中曹操和诸葛亮的原型,动作镜头的幅度也接近一个新高度。 AI Talk也会正式进入到AI电影和短剧的系列中。 youtube.com/@AITalk11 #AIart #AIGC #runwayml #ai电影 #三国
18
42
12
223
80,166