私立ずんだもん女学園放送部 podcast 20250905

関連リンク

• Difyで実現するAIヘルプデスク：顧客体験を向上させた構築の裏側

kickflow社が、顧客体験を向上させるため、AIヘルプデスクを構築した事例について紹介されています。このプロジェクトはテクニカルサポートチームが中心となり、非エンジニアでもLLM（大規模言語モデル）を活用した開発に挑戦できることを示しています。

AIヘルプデスクの構築には、オープンソースのLLMアプリケーション開発プラットフォーム「Dify」が使用されました。DifyはGUIベースで直感的にワークフローを構築でき、特にRAG（Retrieval-Augmented Generation）の仕組みを簡単に作れる「ナレッジベース」機能が導入の決め手となりました。これにより、既存のヘルプ記事に加え、過去の問い合わせ履歴もAIの知識として学習させることができました。

AIヘルプデスクはDifyの「チャットフロー」機能で設計されており、以下のステップで動作します。

1. 検索キーワード抽出: ユーザーの質問からLLM（例: Gemini 2.0 Flash Lite）がキーワードを抽出し、検索精度を高めます。
2. 知識検索: 登録されたナレッジから、キーワードと意味の両方で関連性の高い情報を探し出します。
3. IF/ELSE分岐: 検索結果の有無に応じて、適切な回答生成フローに切り替えます。
4. 回答生成: 検索で得た情報をもとに、別のLLM（例: Claude 4.0 Sonnet）が回答を生成します。
5. 会話履歴の保持: 会話の流れを記憶し、自然な多段階のやり取りを可能にします。 このように、目的や状況に応じて異なるLLMを使い分け、処理を細かく分けることで、回答の精度と応答速度の両方を高めています。

回答精度をさらに向上させるため、主に三つの工夫が施されました。一つ目は、既存のヘルプ記事だけでなく、過去のZendesk問い合わせチケット約150件を個人情報を除去した上でナレッジとして活用した点です。二つ目は、「REST API / Webhook」のような複雑な専門分野の質問に対しては、質問分類器を使って専用のプロンプトで対応するノードに処理を振り分けた点です。三つ目は、実際の問い合わせデータを使って継続的に回答精度を評価し、ヘルプ記事がある質問への正答率を70%から80%以上に向上させた点です。

また、プロンプトエンジニアリングにより、「承認経路を変更してほしい」といった個別対応が必要な質問には回答しないようAIの振る舞いを制御したり、「kickflow」といった表記ゆれを統一したりするなど、細かな応答制御も行われています。

運用面では、ヘルプ記事の更新時や問い合わせ対応がクローズされた時にナレッジが自動で更新される仕組みを構築し、常に最新の情報に基づいた回答ができるようにしました。

リリース後には、ナレッジにない内容に対してハルシネーション（事実に基づかない回答生成）が発生するという課題に直面しましたが、LLMと対話しながらプロンプトを改善することで対応しました。今後は、回答数の増加やサポートへのシームレスな連携など、さらなる機能改善を目指しています。このAIヘルプデスク構築は、テクニカルサポートチームとエンジニアの協力があって初めて実現できた、実用的なAI活用の成功事例と言えるでしょう。

引用元: https://tech.kickflow.co.jp/entry/2025/09/03/123008

• gpt-oss-120b を試す！高火力 DOK で始めるコンテナ型GPUクラウド活用

OpenAIから新たに公開された大規模言語モデル（LLM）「gpt-oss-120b」と「gpt-oss-20b」を、さくらインターネットのコンテナ型GPUクラウドサービス「高火力 DOK」で動かす方法を紹介する記事です。新人エンジニアの方にも分かりやすく、その概要を解説します。

まず「gpt-oss」は、OpenAIが公開した「オープンウェイト」のLLMです。これは、モデルの重み（パラメーター）が公開されているため、外部のAPIサービスに頼らず、自分たちのサーバー環境で動かせるのが大きな特徴です。これにより、企業の機密情報を扱うようなクローズドな環境でも、安心してAIを活用できるようになります。記事によると、その性能はOpenAIの他のモデルにも匹敵するとされています。

このgpt-ossを動かすのに使うのが、「高火力 DOK」というサービスです。これは、Dockerイメージ（アプリケーションを動かすためのパッケージ）をクラウド上で簡単に実行できる、GPU（AIの計算に特化した高性能な部品）付きのクラウドサービスです。AI開発において、高性能なGPUを必要な時に使えるのは非常に便利ですね。

さらに、LLMをOpenAI互換のAPIとして提供する「vLLM」というツールと、それをWebブラウザで操作できるUI「Open WebUI」を組み合わせます。記事では、高火力 DOK上でvLLMを使ってgpt-ossモデルを起動し、そのAPIエンドポイントをOpen WebUIに設定することで、まるでChatGPTのようにgpt-ossと対話できる環境を構築する手順が解説されています。

具体的には、高火力 DOKのコントロールパネルから、vLLMのDockerイメージとgpt-ossモデル（mxFP4形式に対応するため、NVIDIA H100 GPUプランを選択）を指定してタスクを作成します。そして、ローカル環境でOpen WebUIをDockerで起動し、先ほど高火力 DOKで立ち上げたgpt-ossのURLを設定すれば、すぐにチャットを開始できるとのことです。

このように、高性能なオープンソースLLMを、セキュリティを確保しつつ自分たちの環境で動かせるようになるのは、AI活用の幅を大きく広げることにつながります。クラウドを活用したLLMの動かし方に興味がある新人エンジニアの方にとって、実践的な第一歩として非常に参考になる内容ですね。

引用元: https://knowledge.sakura.ad.jp/46179/

• Detecting Exposed LLM Servers: A Shodan Case Study on Ollama

皆さん、AI技術、特にLLM（大規模言語モデル）の活用が急速に進んでいますね。とても便利になった反面、その裏には「セキュリティ」という大切な課題があります。この記事は、私たちがLLMを安全に使うために知っておくべき、ある深刻な問題とその対策について教えてくれます。

記事の核心は、多くのLLMサーバーがインターネットに「鍵をかけずに」公開されているという衝撃的な事実です。特に、手軽にLLMをローカル環境で動かせる「Ollama」というフレームワークを使ったサーバーに焦点を当てて調査されました。

どんな問題が起きているの？ LLMサーバーが認証なしでインターネットに公開されていると、誰でも勝手にアクセスして、以下のような危険な行為が可能になってしまいます。

• 不正利用: 悪意のあるユーザーが自由にプロンプトを送り、LLMを悪用したり、情報を抜き取ったりする。
• リソースの浪費: サーバーの計算資源を勝手に使われ、意図しない高額な費用が発生する。
• システムの乗っ取り: 悪質なモデルをアップロードされたり、設定を改ざんされたりする。

この研究では、「Shodan（ショーダン）」というインターネット上のデバイスを検索するツールと、自作のPythonツールを使って、実際にどれくらいのLLMサーバーが公開されているかを調査しました。その結果、なんと1,100以上のOllamaサーバーが公開されており、そのうち約2割が、実際に認証なしでモデルを動かしていることが判明したのです。また、多くのLLMがOpenAI互換のAPIを使っているため、攻撃の手口が広がりやすい点も指摘されています。

新人エンジニアとしてどう対策するべき？ この結果から、私たちエンジニアがLLMをデプロイする際に絶対に守るべきセキュリティの基本は次の通りです。

1. 認証を必ず設定する: LLMサーバーには、APIキーやID・パスワードなどの認証機能を必ず導入し、許可された人だけがアクセスできるようにしましょう。これはセキュリティの「一番の鍵」です。
2. ネットワークで守る: 外部からのアクセスを制限するため、ファイアウォールやVPNを使って、LLMサーバーがインターネットから直接見えないよう