株式会社ずんだもん技術室AI放送局 podcast 20251209

youtube版(スライド付き)

関連リンク

• 音声AIの難しいところと音声AIエージェントフレームワーク「LiveKit Agents」の紹介

音声AIエージェントの開発は、一見すると「AIのAPIをつなぎ合わせるだけ」と思われがちですが、実際には多くの技術的な課題が伴います。この記事では、それらの難しさと、それを解決するオープンソースフレームワーク「LiveKit Agents」について、新人エンジニアの方にも分かりやすく解説します。

音声AI開発の主な難しさ 音声AIは、人間の音声をテキストに変換する「STT（Speech to Text）」、テキストを処理して応答を生成する「LLM（大規模言語モデル）」、そして応答テキストを音声に戻す「TTS（Text to Speech）」という3つの技術を組み合わせて作られます。これらをスムーズに連携させる「パイプライン」の構築が最初の大きな壁です。 さらに、以下のような課題があります。

• リアルタイム処理: ユーザーが話している最中に割り込んだり、スムーズな会話のために500ミリ秒以内に応答したりする高速性が求められます。
• 安定性: STTやLLM、TTSといった外部APIが一時的に利用できなくなった場合に、自動的に別のAPIに切り替える「フォールバック」の仕組みが必要です。
• 自然な会話: ユーザーの発話の区切り（ターン検出）を正確に判断したり、AIの音声が不自然にならないようにイントネーションや発音を調整したりすることも大切です。
• プロンプト設計とテスト: LLMに意図通りの振る舞いをさせるための指示文（プロンプト）の作成や、それが正しく機能するかどうかのテストも手間がかかります。
• セッション管理: 長時間の会話セッションを途切れさせずに維持するためのシステム設計も複雑です。

LiveKit Agentsによる課題解決 「LiveKit Agents」は、リアルタイムコミュニケーションのためのプラットフォーム「LiveKit」上でAIエージェントを効率的に開発するためのフレームワークです。これを利用することで、上記で挙げた多くの難しい課題を簡単に解決できます。

具体的には、数行のPythonコードを書くだけで、STT/LLM/TTSのパイプライン構築、ユーザーの割り込み制御、ターン検出、そしてAIエージェントの安全なシャットダウンなどが実現できます。また、複数のAPIを自動で切り替えるフォールバック機能や、LLMの応答を評価するテスト機能も提供されており、開発者はAIの核心部分である「どのような会話をするか」というロジックに集中できるようになります。

LLMのSpeech to Speech APIについて OpenAIなどが提供するSpeech to Speech APIは、STT/LLM/TTSを一括で処理してくれるため手軽に音声AIを構築できます。しかし、通常のAPIと比較して「コストが高い」「STT精度が限定される」「ユーザーの発話に柔軟なコンテキストを追加しにくい」といった課題があり、商用利用にはまだ慎重な検討が必要です。

まとめ LiveKit Agentsのようなフレームワークを活用することで、音声AI開発の技術的なハードルが大きく下がります。これにより、開発者はサービスの「本質的な価値」や「ユーザー体験」の向上に、より多くの時間を割けるようになるでしょう。音声AI開発に興味のある新人エンジニアの方は、ぜひ活用を検討してみてください。

引用元: https://tacoms-inc.hatenablog.com/entry/2025/12/08/113000

• 文字も図解も思いのまま！Nano Banana Pro の凄さと、今すぐ使える活用術

皆さん、こんにちは！今回は、GoogleのAI「Gemini」に搭載された、進化した画像生成モデル「Nano Banana Pro」の魅力と活用術についてご紹介します。AI技術に興味がある新人エンジニアの皆さんにとって、クリエイティブな発想を形にする強力なツールになるはずです。

Nano Banana Proは、これまでの画像生成AIの課題を克服し、表現の可能性を劇的に広げました。主な強化ポイントは以下の5つです。

1. 驚異の「文字描写力」: これまでの画像生成AIが苦手としていた「文字化け」がなくなり、日本語でもロゴやポスターの文字を正確に画像内に描けるようになりました。情報が詰まったスライドや複雑な数式も違和感なく生成可能です。
2. 最大2Kの高解像度と自由なアスペクト比: 印刷や大画面表示にも耐えうる高画質を実現し、映画のようなワイドスクリーンからスマホ壁紙用の縦長サイズまで、目的に応じた画角で画像を生成できます。
3. より広範囲な知識を強化: 日本の文化や専門的なシチュエーションなど、より幅広い「世界知識」を理解するようになったことで、プロンプトで指定したイメージを忠実に、かつ整合性を持って表現できるようになりました。
4. 洗練されたスタイル変換: 写真をアニメ調にしたり、スケッチを油絵風にしたりと、元の画像の構図やニュアンスを保ちながら画風だけを自在にコントロールできるようになりました。
5. 進化した「写真合成」: 最大6枚の画像をAIが文脈に合わせて高度に解析し、光の向きや質感まで自然になじませて、一枚の新しい画像として統合します。

Nano Banana Proは、Geminiアプリの「思考モード」から「🍌画像を生成」を選択するだけで簡単に使えます。無料プランでも1日数回試すことができるので、気軽に触れてみてください。

具体的な活用事例としては、以下のようなものがあります。

• 旅行プランニング: GeminiのDeep Researchで集めた情報を元に、イラストマップを作成して魅力的な旅のしおりを作れます。
• デザイン業務: キャッチコピー入りのバナー画像を簡単に生成し、商品の配置やロゴ、文字入れまでスムーズに行えます。
• 手順の図解化: 料理のレシピや業務手順などをフローチャート風の画像で分かりやすく表現できます。
• 漫画制作: キャラクターの一貫性を保ちつつ、コマ割りやセリフ入りの漫画を制作でき、ストーリー性のあるコンテンツ作成に役立ちます。
• 写真合成: 自分が撮った風景写真に生成したキャラクターを自然に合成し、まるでそこにいるかのようなリアルな表現が可能です。
• 日常の写真編集: 不要な背景を消したり、曇り空を青空に変えたりといった「ちょっと直したい」も自然な仕上がりで対応できます。

Nano Banana Proは、ビジネス資料作成から趣味の創作活動、日々の画像編集まで、皆さんの「作りたい」「伝えたい」という想いを、より具体的で魅力的なカタチに変える手助けをしてくれるでしょう。ぜひ一度、Geminiアプリでこの新しいクリエイティビティの扉を開いてみてください。

引用元: https://note.com/google_gemini/n/n064d03afe2c0

• Instacart and OpenAI partner on AI shopping experiences

皆さん、こんにちは！今回は、AIの進化が私たちの生活をどう便利にするかを示す、興味深いニュースをお届けします。AI開発の最前線を走るOpenAIと、食料品宅配サービスで有名なInstacartが提携を強化し、ChatGPTの中で食料品の買い物から決済までを完結できる、画期的な新機能を発表しました。

これまでは、例えば料理のレシピをAIに尋ねた後、材料を買いに別のアプリを開いたり、オンラインストアにアクセスしたり、時にはスーパーに出かける必要がありましたよね。しかし、この新機能を使えば、ChatGPTに「リンゴパイの材料をInstacartで買ってきて」のように話しかけるだけで、AIがユーザーの意図を正確に汲み取り、自動的にInstacartアプリを呼び出します。そして、必要な材料を地元の店舗から探し出し、カートに商品を追加。さらに驚くべきことに、ChatGPT内で直接、安全に決済まで完了できてしまうんです。複数のアプリやブラウザタブを切り替える手間は一切不要で、まるで専属の買い物アシスタントと会話しているかのように、シームレスな買い物体験が実現します。

この機能は