近日，SemiAnalysis 分析师带来了更多关于谷歌多模态和高效机器学习工具 Gemini 的爆料。

据透露，初代的 Gemini 应该是在 TPUv4 上训练的，并且这些 pod 并没有集成最大的芯片数 4096 个芯片，而是使用了较少的芯片数量，以保证芯片的可靠性和热插拔。

如果所有 14 个 pod 都在合理的掩模场利用率（MFU）下使用了约 100 天，那么训练 Gemini 的硬件 FLOPS 将超过 1e26。

Gemini 已开始在新的 TPUv5Pod 上进行训练，算力高达 1e26FLOPS，比训练 GPT-4 的算力还要大 5 倍。另外，Gemini 的训练数据库为 Youtube 上 93.6 亿分钟的视频字幕，总数据集大小约为 GPT-4 的两倍。

此前，谷歌希望 Gemini 大大提高软件开发人员的代码生成能力，以此追赶微软的 GitHub Copilot 代码助手。谷歌员工还讨论过利用 Gemini 来实现图表分析等功能，比如要求模型解释完成图表的含义，以及使用文本或语音指令来浏览网页浏览器或其他软件。

一位测试过 GPT-4 的人士表示，Gemini 至少在一个方面比 GPT-4 更具优势：除了网络上的公共信息外，Gemini 利用了谷歌从其消费产品中获取的大量专有数据。因此，该模型在理解用户对特定查询的意图时应该会特别准确，而且它似乎会产生较少的错误答案（即幻觉）。