世博体育但并不是总共东谈主齐矫捷-万博官方体育app下载(官方)网站/网页版登录入口/手机版最新下载

DeepMind 近两万引科学家Felix Hill，死亡了。

他参与过 NLP 边界经典的 GLUE 和 SuperGLUE 基准，2016 年起在 DeepMind 使命直到临了一天。

在他死亡的前几个月，留住一篇筹办"在当代 AI 边界使命的压力"的著作《2000 亿权重的包袱》，引起热议。

著作中提到他因家东谈主死亡、压力等原因患上急性神经病，经历了 6 个月危及人命的抑郁症之后，嗅觉启动在好转了，从头收复写著作。

他把我方的经历，以及对以前两年 AI 边界的烦死共享出来，但愿能够匡助到相同正在领受灾荒的东谈主。

Felix Hill 死亡的音讯由他的好友、纽约大学说明注解Kyunghyun Cho带来。

Kyunghyun Cho 暗意 12 月 9 日就写好了这篇悼文，但迟迟不敢发布，因为不想也不敢信赖所发生的事。现在光是猜度这件事，心仍然很痛。

岂论是与他配合过，照旧仅有一面之缘，又或是只读过他著作、听过他学术演讲的学者纷繁暗意，这个音讯令东谈主心碎。

他留住筹办 AI 使命压力的著作，再次引起好多东谈主共识。

Felix Hill 其东谈主

Felix Hill 不是干事活命一启动就参预 AI 行业的。

2006 年，他在牛津大学数学专科毕业后作念过几年数学西宾。2016 年在剑桥大学取得计较说话学博士学位。

这期间他奋发于训诫，除了在高中教数学以外，也参加过非盈利组织，以及我方创办训诫企业。

2016 年加入 DeepMind 后一直使命了近 9 年。

除了连接以外，Felix Hill 时常共享我方的念念考，他会从说话学的角度分析 Transformer。

他留住的最新一篇学术著作，是探讨 Transformer 中归纳偏置的作用，与 Sutton 的《苦涩的教训》相对，建议《苦乐各半的教训》。

Felix Hill 认为，说话中局部依赖远比长距离依赖更为常见，依存句法分析器收尾浮现说话中依存关系散布严重偏向短距离。

但奇怪的是，RNN 有暗意局部依赖的归纳偏置，而 Transformer 在依赖长度上无偏好却在好多任务中显露更优。

他提议大概东谈主们应该住手遐想反应数据最常见格局的归纳偏置，一个好的通用模子很容易学到这些步地。

但唯一计较、范畴和数据有限，特定边界的偏置仍有必要遐想，Transformer 的无礼眼力是一种有用的归纳偏置。

此外，他 10 年前第一次战役 RNN 时，在一次演讲中建议果敢的不雅点"语法不存在了"，以及神经集聚说话模子给说话学带来的其他令东谈主颤抖的论断。

那时这个不雅点在学术界引起了一些争议，现在却经常被东谈主试吃。

临了附上 Felix Hill 探讨 AI 连接使命压力的著作整理翻译。

2000 亿权重的包袱

东谈主工智能边界在以前两年中发生了不可逆转的变化。

ChatGPT 的月活跃用户接近 2 亿。Gemini 在 2024 年 5 月看望量接近 3.2 亿次，AI 爱好者现在不错享受 AI 微波炉、AI 牙刷以至 AI 足球。

关联词，对于许多从事东谈主工智能使命的东谈主来说，这种公众兴味的激增既是福亦然祸。天然，薪资、股价和市值齐飞腾了。另一方面，这种变化也带来了一组私有的压力。

这篇博客是对于当代东谈主工智能的压力，它面向那些使命与东谈主工智能相关的东谈主（保守规画现在约占宇宙东谈主口的 87%），尤其是那些从事东谈主工智能连接的东谈主。

最终，我但愿筹办是什么让 AI 连接变得有压力，能让那些有幸从事这一边界使命的咱们生活愈加餍足。因为，尽管目下交加，它仍然是一项好意思好、充实的干事；一项有后劲贬责科学、玄学乃至东谈主类自身许多紧要问题的干事。

无法脱逃

几个月前，我在一个一又友的 40 岁诞辰约会上。咱们关系很好，是以我矫捷大部分宾客，有些还荒谬闇练。但并不是总共东谈主齐矫捷。

在那些我最不闇练的东谈主中，我宝贵到了一个奇特的步地。

尽管我身段不适（稍后胪陈），彰着也不肯意交谈，但围绕我酿成了一个小队列。只是因为东谈主们知谈我在 DeepMind 使命，是以想要和我交谈。

况兼聊的并非对于足球或 80 年代音乐等事物。这些东谈主想要考虑的是我尽量幸免念念考的一件事：东谈主工智能。

固然好多东谈主对我的使命感兴味让我感到侥幸，但也让我订立到以前两年发生了多大的变化。银行家、讼师、大夫和料理照管人齐想要了解我对 ChatGPT 的想法；尽管很少有东谈主宣称胜利在我方的使命中使用这么的大模子，但他们信赖东谈主工智能边界正在发生一些他们应该了解的事情。

当作又名连接东谈主员，我信赖您能融会在外交风景无法削弱的嗅觉。

但情况更糟。即使在自家的范围内，我也并不安全。

我仍是很久不再看新闻，局促激勉张惶。但即使在看足球、VH1 电视频谈、优秀电视剧改编，告白中也充满了对东谈主工智能的说起。

在这个时候，我经常想打理行李，穿越大陆，加入一个孤独的小团体。尽管在这个阶段，即使内不雅禅修在某种进程上被 AI 浸透，我也不会感到诧异。

隐含竞争

几家大型公司似乎在竞争开辟最大、最佳的大型说话模子，这一事实自己就有内在的压力；岂论你为谁使命。

目下从事东谈主工智能连接可能会嗅觉像是在参与一场干戈，人所共知，干戈可能导致严重的后果，包括精神浩大、离异和自裁。

天然，这并不是将参与东谈主工智能连接等同于"字面上的干戈"中的身段战斗。但根据我我方的资历，这种相似性是信得过的，尽管有些幽微。

关注底线

时常，工业界的连接东谈主员不习尚他们的使命胜利且立即影响老板的财务状态。

天然，许多连接东谈主员齐会盼望有契机产生这么的影响。只是之前这就像是十年一遇的事情。

在大多数情况下，今天对大模子的基础连摄取尾是小的，可能是模子性能的短期波动。关联词，由于公众估值与大模子的显露清雅衔接，这些波动反过来可能导致股价出现数十亿好意思元的波动。

这种动态天然荒谬垂危，这不是 AI 连接东谈主员在连接生院、博士后期间，以至 2022 年之前使命中准备好的事情。

钱、钱、钱

大多数东谈主工智能连接东谈主员，尤其是咱们这些年岁稍大的东谈主，并莫得为了收获而参预连接边界。

为嗜好的使命赚取大齐财富听起来像是一种全能药，但它也可能激勉热烈的张惶。尤其是如若鞭策你收入增多的外部成分不在你的死心范围内，或者有让你不再像以前那样嗜好使命的效果。

岂论 AI 是否与此相关，齐有充分的根据标明倏得积攒财富可能会导致各式问题；只需望望那些经过多年努力终于取得告捷的演员或歌手。上瘾、突破的关系、破灭的友谊以至自裁只是其中一些更常见的症状。这些天然是我能够仁至义尽的症状。

莫得科学家的位置

范畴、浮浅性和大模子的有用性使得进行相关"科学"连接变得艰辛，即在真理上它立即使大模子变得更好。

进步的连接员们仍是宣扬了 Rich Sutton 的《苦涩的教训》；事实是，在范畴以外实在不需要任何改进。

即使表面上可能已毕本质性改进（这天然可能），已毕它时常需要在大要 1001 个条目下进行反复考验。这以至不是最大的公司齐能承担得起的。对于一个"只是"是连接科学家的东谈主来说，这可能嗅觉是无法贬责的灾荒。

这些条目对于习尚于在小团队（5-10 东谈主）中使命的工业科学家来说很艰辛。但对于学术界的东谈主来说，这些条目无疑愈加严峻：博士生、博士后以及 AI/CS/ML 边界的西宾。

发表

尽管学术界的东谈主士不错（况兼应该）不绝发表从实验大模子中取得的见识，但对于工业界的科学家来说，是否发表的问题并不那么明确。

发表一直是科学经由的一个内在构成部分，况兼长期是东谈主工智能连接的一个中枢原则。我与大多数东谈主工智能连接东谈主员交谈过，尤其是连接科学家，他们齐欢喜我的不雅点，认为发表是咱们干事活命的一个要害方面。

关联词，在工业界至少，以前两年里，对于发表连接后果是否可行的问题变得越来越不解确。能够改善大模子的小妙技在大模子的竞争中可能成为至关伏击的火器。是否将这些奥秘公之世人对资助连接组织的利益老是个复杂的问题。

这总共的一切意味着连接东谈主员往往对我方的办法的运谈莫得订立，至少在我个东谈主的情况下，这可能导致深广的压力。

初创企业

天然，一种可能的开脱这些担忧的枢纽是制定一个科学愿景，筹集一些资金并配置一家初创公司。事实上，目下 AI 初创公司（岂论大小）的激增浮现了有些许科学家遴荐了这条谈路。

但成为首创东谈主并不行保证幸免与压力相关的问题。事实上，这人所共知是压力很大的；即使在现时投资者的眷注水平下，许多资金足够的 AI 初创公司也失败了。我从我方的经历中知谈，成为首创东谈主是一条荒谬孤独的旅程。毫无疑问，对于有抱负的科学家来说，这是一个可行的遴荐，但这并不是一个能让科学连接变得容易的遴荐，也不是一个能减轻压力的遴荐。

为什么我遴荐写对于压力的博客？

以前两年，东谈主工智能边界交加而放浪，但对我来说，这亦然一段荒谬震动的时期。

2023 年 4 月，我的母亲在与阿尔茨海默病经久斗争后死亡。那时我因急性精神浩大正在神经医院接受扶持，压力可能是伏击成分。

接下来的 12 个月里，表面上我在收复，但践诺上处于相配张惶和自裁抑郁的状态。在这段时候里，我很侥幸有融会我的情况（以及我对公司的价值）的老板，他们提供了抓续的扶持和精神支柱。

经过 6 个月的危及人命的抑郁症之后，我启动嗅觉好转，最近能够写对于我的经历。我了解到压力和张惶是相反相成的；践诺上，它们最终可能是并吞件事。天然，像任何符合性特征一样，张惶也可能带来公正（举例，进步分娩力），但当张惶变得恶性时，后果可能荒谬严重。

在反念念以前两年的东谈主工智能边界，同期尝试从头学习怎样成为又名东谈主工智能连接者时，我取得了在这篇博客均共享的见识。天然，共享这些见识并不行贬责一般性的问题，但在我最阴雨的时刻，让我感到但愿的少数事情之一是知谈我并不孤苦。如若你现在正在碰到灾荒，请信赖我——你并不孤苦。

外交张惶

我仍是涵盖了目下可能困扰那些从事东谈主工智能连接的东谈主们的许多压力或张惶的催化剂。但有一种压力我尚未说起，因为我很侥幸从未切身经历过。相悖，我是通过与一又友和共事的亲密交谈了解到的。

这种压力面孔是社会张惶。

根据一又友的说法，那些外交张惶的东谈主以为群体互动很艰辛。在目下东谈主工智能边界，大型名堂团队和大范畴（时常是跨大陆）的配合是必不可少的，这愈加艰辛。目下行业的高流动率只会使情况变得更糟，因为那些时常当作外交"安全网"的既定团队可能会在整夜之间被粉碎。流动率还可能导致信任问题，因为之前可靠的盟友可能会离开去加入"厌烦"的连接团队。

好音讯是，外交张惶，就像我迄今为止筹办的总共张惶或压力的显露一样，是不错克服的。这个经由始于培养家庭和"非 AI "一又友等天然支柱集聚。但对于咱们总共在 AI 边界使命的东谈主来说，一个要害的第二步是启动并抓续进行对于压力的坦诚对话。

是以请共享您的个东谈主经历，发文或驳倒，让咱们望望能否让 AI 连接不仅成为一个充满活力和才略挑战的场地，而且照旧一个充满恻隐和温情的场地。

参考纠合：

[ 1 ] https://docs.google.com/document/u/0/d/1aEdTE-B6CSPPeUWYD-IgNVQVZM25f7MF-u9qn5KJJvo/

[ 2 ] https://kyunghyuncho.me/bye-felix/世博体育