プロンプトインジェクション対策を実測｜社内LLMに実際に食らわせてみた
社内文書を要約するLLMツールにプロンプトインジェクションを実際に食らわせ、素の実装と防御実装の攻撃成功率を実測。秘密漏…
LLMの構造化出力はどこで壊れるか｜JSON強制のスキーマ違反を実測して防ぐ
JSONを強制しても構造化出力は壊れます。Claude Haiku 4.5で引っかけ入力30件を実測すると、構文違反は0…
Claudeのモデルの使い分けを実測｜同じ分類40件をOpus/Sonnet/Haikuでコスト対精度を比較
同じ日本語分類40件をOpus 4.8・Sonnet 5・Haiku 4.5にブラインドで解かせて実測。精度は97.5〜…