兒童學習僅需1億詞，而LLM需要15萬億tokens
mit tech review強調了數據效率差距，兒童用約1億個詞掌握語言，但llm需要數萬億個tokens。理解這種差異至關重要，因為該行業面臨在2030年代可能出現訓練數據短缺的問題。
MIT Tech Review 報導了「數據效率差距」（data efficiency gap），指出兒童學習流利語言大約需要 1 億個詞彙，而像 Meta 的 Llama 3.1 這樣的模型則需要預訓練 15 萬億個 token ── 大約是輸入數據的 10 萬倍。專家警告這種蠻力方法（brute-force approach）是不可持續的，隨著網路上容易取得的數據可能在 2030 年代被用盡，研究人員旨在逆向工程兒童的認知，以創造數據高效的 AI，這也將有助於少數語言和視頻學習。這項研究同時測試了語言學理論，探究語言習得究竟源於生物本能還是統計學習限制。