小评评助手官网：OpenAI新模型GPT-4o与GPT-4o mini，更小参数更高性价比的未来发展趋势

在大家都在翘首以盼 OpenAI 发布 GPT-5 的时候，OpenAI 却只是先后发布了 GPT-4o和 GPT-4o mini，甚至推理能力智能程度还不如当初的 GPT-4，但是这两个新模型不仅支持了多模态，而且参数都要小于 GPT-4，生成速度很快，推理成本也低了很多倍。小评评助手官网了解到，这背后，应该是因为新的 GPT-4o 模型用了更少但是质量更好的训练数据。GPT-4 之所以效果好成本高，是因为它用了几乎整个互联网公开的文本数据训练，所以它记住了相当多的内容，而这其中很多内容其实是重复的甚至是质量不高的数据。但是有了 GPT-4 这样强大的模型后，就可以从中提炼出高质量的合成的训练数据，然后用这些高质量的合成数据，去训练更小的模型，就像现在大家看到的 GPT-4o 和 GPT-4o mini。

可以预见未来的模型发展也会类似于 GPT-4 -> GPT-4o -> GPT-4o mini 这样的模式，先有一个大的模型，然后再用大的模型生成高质量的合成数据，用合成数据去训练小参数的模型，这些模型虽然能力不如大的模型，但是性价比极高。小评评助手官网的观点是，这和规模化法则不冲突，未来模型还会越来越大，但也会进一步精炼。类似于 GPT-4 之后，GPT-4 mini只有GPT-3的大小但是有接近GPT-4的性能，等到GPT-5参数和性能大增了，然后GPT-5 mini只有GPT-4的大小，但是有接近GPT-5的性能。

来源：宝玉。