两位哈佛辍学生创立的芯片公司估值已达3400万美元，并计划明年交付一款名为「Sohu」的AI推理加速芯片——其LLM推理性能达到H100的10倍，而单价吞吐量更是高达140倍。

像Pika一样的神级创业故事又要再次上演了？两位哈佛退学的年轻人，想要制造一款专用于大语言模型加速的AI加速器芯片，将于2024年第三季度交付，推理性能达H100的10倍。

在今年6月份，两位创始人Gavin Uberti和Chris Zhu创立了Etched.ai，获得了包括Ebay前CEO Devin Wenig在内一众风投机构的536万美元的种子轮投资。公司估值更是高达3400万美元！

根据公司官网上放出的数据，这款芯片将在硬件层面上集成Transformer构架，将推理速度相比于英伟达H100提升了8-10倍！

他们将第一款LLM加速芯片命名为「Sohu」，号称可以在毫秒级别的时间里处理数千个单词。

芯片还支持通过树搜索更好地编码，能够并行比较数百个响应。还支持多重推测解码（Multicast speculative decoding），可以实时生成新的内容。

根据官方公布的具体细节，这款芯片只有一个核心，但是配备了144GB的HBM3e显存：

• 完全开源的软件栈，可扩展至100T参数型号
• 支持波束搜索（Beam search）和MCTS解码
• 支持MoE和Transformer的各种变体

两个哈佛辍学本科生挑战芯片行业最顶尖业务

两人原本计划从哈佛休学一年，在一家芯片公司找到了一份负责TVM开源编译器和微内核的工作。但在工作中，他们发现Arm的指令集中的一些低效设计使得他们的工作效率很差。

当他们思考如何系统性地解决这个问题时，发现可以利用这个思路来设计一款针对当下爆火的AI加速芯片。

在创始人之一的Uberti看来，通用设计无法获得他们正在研发的专有加速芯片所能带来的那种性能提升：「必须在单一架构上下大力气，让芯片处理AI任务，目标太大了，必须要针对更具体的任务来设计芯片......我们认为英伟达最终会这么做。」

在他们两人看来，这个市场机会太大了，一定不能错过。「如果你回顾四年前的GPT-2，与Meta最近的Llama模型相比，只有两个区别——大小和激活函数。训练方式存在差异，但这对于推理来说并不重要。」

Transformer的基本组件是固定的，虽然存在细微差别，但他们并不担心短期之内就会出现新的构架代替Transformer。所以他们决定做一个Transformer构架的专用集成电路（ASIC），在未来和英伟达等一系列芯片巨头在大模型推理市场中竞争。

他们认为，Etched.ai推出的第一款芯片，相比于H100，单位价格内将获得140倍的吞吐量性能！

到底是什么样的背景，能让两个本科还没有毕业的学生，敢于挑战芯片业目前最炙手可热的赛道呢？

创始人兼公司CEO Gavin Uberti

自从2020进入哈佛之后，就一直在校外兼职，在2022年底，成立了Etched.ai。在进入大学之前，他参与了美国最著名的青少年科技创新大赛FIRST Tech Challenge，团队获得了Top10奖项。团队开发的自动驾驶软件排在600个参赛团队第二名。

另一位创始人Chris Zhu

也是在哈佛就读时就在校外疯狂实习，甚至还没有从哈佛毕业，就已经成为兼职教员。

AMD MI300X决战NVIDIA H100

而英伟达和AMD这边，最近打得更是热火朝天，甚至连官方都直接下场写博客硬刚。

就在前段时间，AMD高调发布了自家最强的AI芯片MI300X。PPT显示，由8块MI300X组成的服务器在大模型推理方面的表现，要比同样规模的H100速度最高提升1.6倍之多。对于AMD来说，这种直接对标，实属罕见。

对此，英伟达很快就发表了一篇博客文章，驳斥AMD的

名人的成长故事

华盛顿砍树华盛顿是美国第一位总统。 他是孩子的时候，砍掉他父亲的两棵樱桃树。 他父亲回来了，非常生气。 他暗自思量，“如果我查明谁砍了我的树，我要狠狠揍他一顿。 ” 他父亲到处询问。 当他问儿子时，华盛顿开始哭了起来。 “我砍了你的树！”华盛顿和盘托出。 父亲抱起他的儿子说：“我好聪明的孩子，我宁愿失去一百棵树，也不愿听你说谎。 ”列宁小时候列宁小时候是一个认真学习的孩子。 列宁在学校里，每门功课都学得很好。 老师讲课，他用心听。 老师留的作业，他认真做。 列宁做完学校里的功课，还读许多课外书。 他常常把书里的故事讲给别人听。 他爱书里那些勤劳勇敢的人，拿他们做自己的榜样。 列宁十分爱护书。 他从来不把书弄脏，也不把书到处乱扔。 列宁小时候就是这样学习的。 小比尔.盖茨的“电脑梦”比尔·盖茨（cÍ）从小就是个“电脑迷”。 他1955年10月28日生于美国西北部华盛顿州的西雅图，小时候就开朗活泼，是一个精力充沛（pèi）的孩子。 不论什么时候，他都在摇篮里来回晃动。 等长大些又花许多时间骑弹簧（huáng）木马。 后来，他把这种摇摆习惯带入成年时期，也带入了微软公司，摇动了整个世界。 比尔·盖茨在中学时酷（kù）爱数学和计算机。 保罗·艾伦是他最好的校友，两人经常在湖滨中学的电脑上玩三连棋的游戏。 那时候的电脑就是一台PDP8型的小型机，学生们可以在一些相连的终端上，通过纸带打字机玩游戏，也能编一些诸如排座位之类的小软件，小比尔·盖茨玩起来得心应手。 1972年的一个夏天，年龄比他大3岁的保罗拿来一本《电子学》的杂志，指着一篇只有10个自然段的文章，对比尔说，有一家新成立的叫英特尔的公司推出一种叫8008的微处理器芯（xīn）片。 两人不久就弄到芯片，摆弄出一台机器，可以分析城市交通监视器上的信息，他们就想成立一家命名为“交通数据公司”的公司。 1973年，比尔上了哈佛大学，保罗则在波士顿一家叫“甜井”的电脑公司找到一份编程的工作。 两个伙伴经常会面，探讨电脑的事情。 如苹果砸出牛顿的灵感一样，个人电脑突入比尔的脑海也有一个外在的启蒙者。 这就是1975年1月份的《大众电子学》杂志，封面上Altair8080型计算机的图片一下子点燃了比尔·盖茨的电脑梦。 他和他的好朋友保罗在哈佛阿肯计算机中心没日没夜地干了8周，为它配上Basic语言，开辟了pc软件业的新路，奠定了软件标准化生产的基础。 如今，微软已成为业内的“帝国”，而这与比尔·盖茨小时候的“电脑梦”是不无关系的。

比尔盖茨图片简介

1955年10月28日，比尔·盖茨生于美国西北部华盛顿州的西雅图。 父亲是律师，是他早期打官司的重要帮手。 母亲是教师，后来在盖茨与IBM历史性的合作中起过关键作用。 盖茨从小欢快活泼，是一个高能量的孩子。 不论什么时候，他都在摇篮里来回晃动。 接着又花许多时间骑弹簧木马。 后来，他把这种摇摆习惯带入成年时期，也带入了微软公司，摇动了整个世界。 盖茨自小酷爱数学和计算机，在中学时 就成为有名的“电脑迷”。 保罗·艾伦（PaulAlan）是他最好的校友，两人经常在湖滨中学的电脑上玩三连棋的游戏。 那时候的电脑就是一台PDP8型的小型机，学生们可以在一些相连的终端上，通过纸带打字机玩游戏，也能编一些小软件，诸如排座位之类的，小比尔·盖茨玩起来得心应手，在程序上略施小计，就使自己座位的前后左右都是女生。 1972年的一个夏天，年龄比他大3岁的保罗拿来一本《电子学》的杂志，翻到第143页上，指着一篇只有十个自然段的文章，对比尔说，有一家新成立的叫英特尔的公司推出一种叫8008的微处理器芯片。 两人不久就弄到芯片，摆弄出一台机器，可以分析城市内交通监视器上的信息，于是又决定 成立了一家命名为“交通数据公司”（TrofOData）的公司，不过，两位少年的游戏很快结束了。 1973年比尔上了哈佛大学，保罗则在波士顿一家叫“甜井”的电脑公司找到一份编程的工作，两位伙伴经常会面，探讨电脑的事情。 1974年春天，当《电子学》杂志宣布英特尔推出比8008芯片快10倍的8080芯片时，比尔和保罗已认定那些像PDP8型的小型机的末日快到了。 他们在新芯 片背后已看到了对每个人来说堪称是完美电脑的辉煌前景：个人化、适应性强而且最重要的是不超出个人购买力。 一句话，英特尔的8080芯片将改变整个工业结构。