近日，SemiAnalysis分析师带来了更多关于谷歌多模态和高效机器学习工具Gemini的爆料。
据透露，初代的Gemini应该是在TPUv4上训练的，并且这些pod并没有集成最大的芯片数4096个芯片，而是使用了较少的芯片数量，以保证芯片的可靠性和热插拔。
如果所有14个pod都在合理的掩模场利用率(MFU)下使用了约100天，那么训练Gemini的硬件FLOPS将超过1e26。
Gemini已开始在新的TPUv5Pod上进行训练，算力高达1e26FLOPS，比训练GPT-4的算力还要大5倍。另外，Gemini的训练数据库为Youtube上93.6亿分钟的视频字幕，总数据集大小约为GPT-4的两倍。
