GPT-4 Archives - TechWhale

GPT-5模型訓練遇難題開放互聯網數據不足

如果要跟隨目前 GenAI 的高速成長步伐，GPT-5 的 LLM 需要多達 60 萬億至 100 萬億的詞元，唯目前利用所有於互聯網或其他可存取途徑內，能獲得的高品質語言與圖像數據後，GPT-5 依然欠缺多達 10 萬億至至 20 萬億的詞元缺口，才能訓練出有效的 LLM。