作为美国微软内部人士谈谈ChatGPT

ChatGPT 的算法, 包括自回归语言模型 (OpenAI 从 2017 年的 GPT-1 搞到现在, 迭代了 3.5 代了), 还有强化学习的 PPO 算法 (还记得 2018 年在 TI 表演赛上击败 OG 的 Dota2 AI 吗? 就是用这个算法训练的), 全都是已经十分成熟的公开算法, 本身没有任何秘密可言. 但是这种超大规模训练, 并不止依靠算法本身, 硬件和数据才是王道.只要 ChatGPT 仍然是最好用的语言 AI，这个雪球只会越滚越大，越来越难追上

还花了大价钱去找印度和肯尼亚的外包公司标记了大量的有害文本

再来简单聊聊微软…WebXT 组停了好多项目，开了好多人，把几乎所有机器都借给 OpenAI 了…CEO 想拨款买新机器给 OpenAI 用，遭到很多利益相关的反对，尤其是 CFO 不给批，于是只好绕过 CFO 抽调微软原本用于研发的机器

Satya Nadella 的访谈，他的大概意思是，ChatGPT 的技术，头部科技公司迟早都会掌握，包括 Google；但是 ChatGPT 的推断成本高昂，而且消耗的算力与用户体验高度正相关；而搜索引擎用户粘度小，用户永远会去用体验最好的那个；所以这会迫使所有科技公司搞军备竞赛，大幅推高搜索算法的成本，使得 Google赖以生存的搜索广告业务再也无法躺着赚钱；但是微软的营收却更加多元化，因此受到的冲击会更小