OpenAI開発者たちが「原始人」スタイルでAIトークンコストを65%削減
開発者の間では、LLM出力から会話的な無駄を取り除く「caveman」プラグインが採用されており、トークンを65%節約し、高騰するAPIコストの削減につながっている。
開発者は、モデル出力から丁寧な表現や冗長な文章を除去し、コードや技術的な詳細を残すことで、急増するAIコストに対抗するために「原始的な」プラグインを導入している。このツールは、トークン使用量を65〜75％削減し、OpenAIやレグラン（Legrand）などの企業巨人の従業員が、厳格な新しい予算割当内で収まるように採用している。OpenAIの上級エンジニアでさえ、このプロジェクトを支援するコードに貢献しており、この手法の内部的な妥当性が示されている。この傾向は、最先端モデルの高コストで冗長な性質と、企業がコスト効率が高く決定論的なツールを求めるニーズとの間の緊張関係の増大を浮き彫りにしている。