AI 科学家 Yi Tay 的回归之路：从创业挑战到回归谷歌

一、Yi Tay 是谁？

Yi Tay 是前谷歌大脑高级研究科学家，Reka 首席科学家兼联合创始人。在 AI 和 LLM 研究领域有着丰富的经验和卓越的贡献。

Yi Tay 在谷歌工作期间参与并推动了许多前沿研究工作，如 PaLM、UL2、Flan-{PaLM/UL2/T5}、LaMDA/Bard 和 MUM 等。他还在 ViT-22B 和 PaLI-X 等大型多模态模型的开发中发挥了重要作用，并担任新 PaLM-2 和 PaLM API 的建模联合负责人。在谷歌任职的 3.3 年时间里，Yi Tay 共撰写了约 45 篇论文，其中约 16 篇为第一作者或共同第一作者。

去年 3 月，Yi Tay 和 Meta 研究科学家 Mikel Artetxe 等人创立了 Reka 公司，担任 Reka AI 的联合创始人 / 首席科学家。Reka 成立于 2022 年，团队由谷歌和 Meta 的研究人员组成。截至 2023 年 6 月，该公司已成功筹集 5750 万美元，估值达到 3 亿美元。

在 Reka 工作期间，Yi Tay 学到了很多关于谷歌外部基础设施的知识，包括使用 PyTorch、GPU 等外部资源，还学会了如何应对不稳定的 GPU、供应商和计算资源。他和创始团队成员一起，以成本最优的方式构建了一些出色的模型。今年 5 月，Reka Core 的表现跻身 Lmsys 的前五名，模型本身排名第七，并成功超越了 GPT-4 的早期版本。在资源远少于其他实验室的情况下，这一成绩让 Yi Tay 感到十分骄傲。

此外，Yi Tay 在这段时间里参与了许多技术分享，包括在 WebConf 的 LLM 日做主题演讲、越南的 GenAI 峰会、swyx 的 Latent Space 播客节目，以及受 TechInAsia 邀请进行的一场炉边谈话。作为初创公司创始人，他还学到了许多关于创业、商业和从零开始建立公司的知识。

然而，创业对 Yi Tay 来说也是一段极为紧张的时期。就在他离开谷歌开始创业时，得知妻子怀上了他们的第一个孩子。为了同时处理工作和家庭事务，他的身心健康受到了严重影响，由于高强度的工作和不健康的生活方式，他的体重增加了 15 公斤。

经过创业的尝试后，Yi Tay 认为自己还是更像一名科学家 / 研究员，因此决定回归谷歌 DeepMind，继续从事人工智能和大语言模型研究。

二、Yi Tay 的创业历程

创立 Reka

Reka 成立于 2022 年，由谷歌和 Meta 的研究人员组成。在百模大战期间，Reka 发布了多模态语言模型 Reka Core（67B）、Flash (21B)、Edge (7B) 和 Spark (2B)，在文本、代码、图像、视频和音频数据上从头开始进行训练，效果都不错。Reka 也和英伟达、Oracle 和阿里云等公司有着不同程度的合作。
截至 2023 年 6 月，该公司已成功筹集 5750 万美元，估值达到 3 亿美元。然而，今年几乎没有什么重大进展，唯一值得注意的是，今年 5 月，Reka 与 Snowflake 的 10 亿美元收购谈判破裂，交易最终流产。

创业中的挑战与收获

学到了谷歌外部基础设施知识，掌握了新技能。在创立 Reka 过程中，Yi Tay 学到了很多关于 Google 之外的基础设施的知识，掌握了使用 PyTorch、GPU 以及其他外部资源的技能。
以成本最优方式构建模型，应对不稳定资源。Yi Tay 和 Reka 创始团队的其他成员一起，以成本最优的方式构建了高质量的模型，还学会了如何应对不可靠的 GPU、供应商和计算资源。
参与技术分享，积累创业、商业和建公司的知识。Yi Tay 基于自己的经验在 WebConf 的 LLM Day 发表主旨演讲以及在越南 GenAI 峰会上进行了技术性、内省性和面对面的分享。特别感谢 swyx 邀请他参加 Latent Space 播客分享冒险经历，也感谢 TechInAsia 邀请他参加有趣的炉边谈话。作为初创公司创始人，他学到了很多关于创业、商业以及从零开始建立公司的知识。
个人层面面临紧张时期，体重增加，兼顾家庭与工作。个人层面，这对 Yi Tay 来说是一个极为紧张的时期，尤其是在创业初期发现妻子怀上了他们的第一个孩子。为了同时处理这么多事情，他的身体和心理健康受到了巨大影响，由于高强度和不健康的生活方式，他的体重增加了 15 公斤。今年 5 月，Reka Core 的表现跻身 Lmsys 的前五名，模型本身排名第七，并成功超越了 GPT-4 早期版本。考虑到他们比其他实验室少得多的资源（资金、计算能力和人力），这是一个了不起的成就。虽然总共分批融资超过 1 亿美元，但与其他团队相比，仍是相对较少的资金。此外，这些成就是由不到 15 人的技术团队完成的。

三、Yi Tay 为何重回 Google DeepMind？

1. 更认同科学家 / 研究员身份经过创业尝试，认为自己更适合研究工作，决定回归初心。

Yi Tay 在创业过程中，虽然学到了很多关于谷歌外部基础设施的知识，掌握了新技能，还以成本最优方式构建了模型，参与了技术分享，积累了创业、商业和建公司的知识，但他仍然认为自己更像是一名科学家 / 研究员。在创业的这段时间里，他的生活极为紧张，不仅要应对工作上的各种挑战，还要兼顾家庭。尤其是在得知妻子怀上第一个孩子后，他的压力更大了。高强度的工作和不健康的生活方式让他的体重增加了 15 公斤，身心健康受到了严重影响。经过创业的尝试，Yi Tay 深刻认识到自己的兴趣和优势还是在研究工作上，因此决定回归初心，重新专注于研究。

2. 对谷歌的怀念与认可感谢谷歌朋友的支持，认为谷歌的研究环境更适合自己。

Yi Tay 在谷歌工作期间参与并推动了许多前沿研究工作，如 PaLM、UL2、Flan-{PaLM/UL2/T5}、LaMDA/Bard 和 MUM 等，还在 ViT-22B 和 PaLI-X 等大型多模态模型的开发中发挥了重要作用，并担任新 PaLM-2 和 PaLM API 的建模联合负责人。在谷歌任职的 3.3 年时间里，他共撰写了约 45 篇论文，其中约 16 篇为第一作者或共同第一作者。谷歌的研究环境为他提供了丰富的资源和支持，让他能够充分发挥自己的才能。在创业过程中，他虽然也取得了一些成绩，但面临着资金短缺、算力不足等问题。相比之下，谷歌的研究环境更加稳定，能够为他提供更好的研究条件。此外，Yi Tay 还感谢谷歌朋友的支持，即使在他离开谷歌创业后，仍有很多谷歌朋友与他保持联系，这让他感到很幸运。因此，他认为谷歌的研究环境更适合自己，决定重回谷歌 DeepMind，继续从事人工智能和大语言模型研究。

四、Yi Tay 的回归带来的思考

1. 人才流回大厂的趋势 AI 领域的 “卷” 让从业者心力憔悴，创业艰难促使人才回流。

在当前的 AI 领域，竞争异常激烈，就如同 Yi Tay 的经历一样，许多从业者都感受到了巨大的压力。AI 创业艰难，不仅面临资金短缺、算力不足等问题，还需要应对高强度的工作和不稳定的资源环境。以 Reka 公司为例，尽管成功融资 1 亿美元，但对于一个不到 15 人的团队来说，仍然显得捉襟见肘。这种情况在许多初创企业中普遍存在，使得创业者倍感压力。

同时，AI 领域的快速发展也使得技术更新换代极快，创业者需要不断投入大量的时间和精力来跟上行业的步伐。这就导致了从业者心力憔悴，创业的艰难使得人才纷纷回流大厂。正如月之暗面 Kimi 创始人杨植麟所说，AI 人才回流大厂是行业发展的必然阶段。市场从最初的热潮逐渐回归理性，人才流向较大的技术公司是合乎逻辑的选择，毕竟成熟的企业拥有更丰富的资源、更稳定的项目和更有保障的职业发展路径。