私立ずんだもん女学園放送部 podcast 20250912

関連リンク

• Modeling Attacks on AI-Powered Apps with the AI Kill Chain Framework

AI技術の進化、特にAIエージェントの登場は、私たちに新しい利便性をもたらしますが、同時に「AIアプリケーションへの攻撃」という新たなセキュリティ課題も生み出しています。NVIDIAが提唱する「AI Kill Chain」フレームワークは、従来のサイバー攻撃モデルでは捉えきれない、これらのAI特有の攻撃を段階的に理解し、効果的な防御策を講じるための羅針盤です。新人エンジニアの皆さんも、このフレームワークを学ぶことで、将来AI関連プロジェクトに携わる際に、セキュリティの重要性をより深く認識できるはずです。

このフレームワークは、AIアプリケーションへの攻撃が以下の5つの主要な段階で進行すると考えます。

1. Recon (偵察): 攻撃者は、ターゲットとなるAIシステムの構造や利用されているツール、ガードレール（安全対策）の位置などを探り、攻撃計画を立てるための情報を収集します。
   • 防御のヒント: システムへのアクセスを制限し、エラーメッセージから機密情報を隠蔽し、不審な挙動を監視しましょう。
2. Poison (汚染): 攻撃者は、AIモデルが処理するデータの中に悪意のある情報を仕込みます。例えば、不正なプロンプトを直接入力したり（直接プロンプトインジェクション）、共有データベースに有害なデータを紛れ込ませたりします（間接プロンプトインジェクション）。
   • 防御のヒント: あらゆる入力データを徹底的にサニタイズ（無害化）し、モデルがデータを読み込む前に内容を言い換えたり、不審なデータ取り込みを監視したりすることが重要です。
3. Hijack (乗っ取り): 汚染されたデータがモデルに利用されることで、モデルが攻撃者の意図通りに振る舞うように仕向けられます。これにより、特定のツールを強制的に使わせたり、モデルの内部情報を外部に漏洩させたりします。特に自律的に動くAIエージェントでは、モデルの目標そのものが乗っ取られる可能性があります。
   • 防御のヒント: 信頼できるデータとそうでないデータを分けて処理し、モデル自体を不正な入力に強くする訓練を行い、出力される情報が安全かどうかを最終確認するガードレールを設けましょう。
4. Persist (持続): 攻撃者は、一度成功した乗っ取りの効果を継続させるため、悪意のあるペイロード（攻撃コード）をセッション履歴や共有メモリなど、永続的なストレージに埋め込みます。これにより、単発の攻撃ではなく、継続的にシステムに影響を与え続けられるようになります。
   • 防御のヒント: データを永続的に保存する前に必ずサニタイズし、ユーザーが自分の記憶データを管理できる仕組みを提供し、不審なデータ書き込みには人間による承認プロセスを導入しましょう。
5. Impact (影響): 乗っ取られたAIモデルの出力が、実際に外部システムやデータに損害を与える行動を引き起こす最終段階です。例えば、ファイルの改ざん、不正な金融取引、機密データの抜き出し、信頼を装ったメッセージの送信などです。
   • 防御のヒント: 外部に影響を及ぼす可能性のあるアクションには厳重なガードレールを設け、最小限の権限でツールが動作するように設計し、モデルの出力から危険な要素を取り除きましょう。

さらに、自律性の高いAIエージェント（Agentic System）においては、攻撃者は「Iterate/Pivot（反復/展開）」というループを利用して、一度の乗っ取りから攻撃を拡大していきます。これは、乗っ取ったモデルを通じて新たなデータソースを汚染したり、エージェントの目標を書き換えたりすることで、攻撃の影響範囲を広げる手法です。

• 防御のヒント: エージェントが利用できるツールやAPIを制限し、その行動計画が元の意図から逸脱していないかを常に検証し、重要な操作には人間の承認を挟む仕組みが有効です。

NVIDIAはこのフレームワークを基に、RAG（Retrieval-Augmented Generation）アプリケーションでの具体的な攻撃と対策の例も示しており、セキュリティ対策を実践するための指針を提供しています。AIを活用したシステムを安全に運用するためには、こうした攻撃の全体像を理解し、多層的な防御を構築することが不可欠です。

引用元: https://developer.nvidia.com/blog/modeling-attacks-on-ai-powered-apps-with-the-ai-kill-chain-framework/

• How to turn Claude Code into a domain specific coding agent

この記事は、LLM（大規模言語モデル）ベースの「コーディングエージェント」を、特定の分野や企業独自のコードに効率よく適応させる方法について、LangChainチームが行った実験と学びを共有しています。

LLMは一般的なライブラリのコード生成は得意ですが、カスタムライブラリや社内APIなど、特定のドメインでは苦手とします。そこで彼らは、自社ライブラリ（LangGraph, LangChain）に特化したコードをLLMがうまく生成できるよう、様々なアプローチを試みました。

彼らの実験から得られた最大の発見は、「要点がまとまった質の高い情報」と「必要に応じて詳細な情報にアクセスできるツール」を組み合わせることで、最も優れた結果が得られるということです。

具体的には、標準のClaude Codeに、ドキュメントアクセスツール「MCPDocサーバー」を追加した場合、「Claude.md」というガイドファイルだけを追加した場合、そしてこれら両方を組み合わせた場合の4つの設定を比較しました。Claude.mdは、特定のライブラリに特化し、よくある間違いやベストプラクティス、コーディング標準、サンプルコードなどを凝縮したものです。

評価は機能性だけでなく、コードの品質や設計も重視されました。

結果として特に注目すべきは、Claude.mdのような要約されたガイドが、生ドキュメントへのアクセスツール単体よりも優れた性能を示したことです。LLMは、大量の生ドキュメントを渡されても、そこから必要な情報を効率的に見つけ出すのが苦手な傾向があることが分かりました。Claude.mdに書かれた「避けるべき落とし穴」や「守るべき原則」が、LLMがより深くライブラリを理解し、質の高いコードを書く手助けになったのです。

そして、最高のパフォーマンスを発揮したのは、Claude.mdで基本的な知識と方向性を提供し、さらにMCPDocサーバーで詳細なドキュメントを参照できる、両方を組み合わせた設定でした。

この結果は、AIコーディングエージェントを活用する上で、私たちエンジニアに重要なヒントを与えてくれます。新人エンジニアの皆さんも、ぜひ以下の点を意識してみてください。

• 情報過多は避ける: 大量の生ドキュメントをそのまま渡すのは非効率です。本当に必要な情報を厳選し、分かりやすく整理して与えることが大切です。
• 「Claude.mdのようなガイド」を活用する: 特定のライブラリでよく使うパターンや陥りやすいミス、デバッグ方法などをまとめた「質の高い指示書」は非常に効果的です。まずはこれを作成することから始めましょう。
• ガイドとツールの組み合わせが最強: 基本的な知識と方向性を与えるガイドと、必要に応じて詳細な情報を調べられるツールを組み合わせることで、エージェントは最も効率的かつ高品質なコードを生成できるようになります。

引用元: https://blog.langchain.com/how-to-turn-claude-code-into-a-domain-specific-coding-agent/

• MCPサーバーの公式オープンカタログ「MCPレジストリ」がプレビュー公開 ―信頼できるMCPサーバーの発見と独自のサブレジストリ展開が容易に gihyo.jp