Goodfire、LLM解釈可能性ツール「Silico」を発表
Goodfireは、訓練中にモデルパラメータを検査・調整することでエンジニアがLLMをデバッグできる機械論的解釈ツール「Silico」をリリースした。エージェントを使ってワークフローを自動化し、すでにQwen 3におけるトロッコ問題などの特定の挙動に関連するニューロンを特定している。主にオープンソースモデルで動作する。
サンフランシスコのスタートアップ企業Goodfireは、モデルパラメータをトレーニング中に検査および調整できる機構的解釈可能性ツールであるSilicoをリリースした。このプラットフォームは、AIエージェントを使用してニューロンと経路のマッピングを自動化し、ユーザーが特定の動作、たとえば幻覚の削減や倫理的なジレンマへの応答の変更を識別および修正できるようにする。CEOのEric Hoは、このツールによってモデルの開発が「錬金術」から「精密工学」へと変わると主張しているが、Leonard Bereskaのような外部の専門家は、単に「錬金術に精度を加える」だけだと主張している。Silicoは、Qwen 3のようなオープンソースモデルをサポートするが、ChatGPTのようなクローズドソースシステムにはアクセスできない。