Contents
Kong Gateway と Kong AI Gateway の概要
Kong Gateway はマイクロサービス間のトラフィックを統一的に管理する API ゲートウェイです。その上に Kong AI Gateway が提供する AI プラグインを組み込むことで、LLM（大規模言語モデル）へのリクエスト認証やレートリミットといったガバナンス機能を一元化できます。本セクションでは、両者の役割分担と主要機能を簡潔に整理します。
基本概念と役割分担
Kong Gateway が API のルーティング・セキュリティ基盤を提供し、AI Gateway が LLM へのアクセス制御や認証ロジックを拡張します。
- Kong Gateway
- サービスディスカバリー、TLS 終端、OAuth2/Rate Limiting 等の汎用機能
- Kong AI Gateway（AI Proxy／AI Proxy Advanced）
- OpenAI 互換エンドポイントへのプロキシ
- 認証ヘッダー検査・モデル別レートリミット設定
この構成により、外部からのすべての AI 呼び出しが必ずゲートウェイを通過し、認証・監査ログが一元管理されます【Zenn 記事】。
OpenAI 互換エンドポイントの設定手順
本章では、Kong AI Gateway に OpenAI 互換エンドポイントを登録し、認証情報を安全に扱うための具体的な手順を示します。実務で自動化スクリプトに組み込む際のポイントも併せて解説します。
API キー・シークレットの安全な管理
機密情報は Kong Vault に暗号化して保存し、平文が残らないようにします。
- Vault の有効化（Admin API）
bash
curl -i -X POST http://localhost:8001/vaults \
--data "name=vault-env" \
--data "config.prefix=KONG_" - 環境変数にキーを設定（CI/CD で注入）
bash
export KONG_OPENAI_API_KEY=sk-xxxxxxxxxxxx
export KONG_OPENAI_API_SECRET=secret-xxxxxxxx - Vault にシークレットとして登録
bash
curl -i -X POST http://localhost:8001/vaults/vault-env/secret \
--data "key=openai_api_key" \
--data "value=$KONG_OPENAI_API_KEY"
プラグイン設定では {{vault.env.openai_api_key}} の形でキーを参照でき、平文が残らない安全な構成となります。
エンドポイント登録とプラグイン適用
Service‑Route のモデルに従ってエンドポイントを登録し、AI Proxy プラグインで認証情報を紐付けます。
- OpenAI 用 Service 登録
bash
curl -i -X POST http://localhost:8001/services \
--data "name=openai-service" \
--data "url=https://api.openai.com/v1" - Route 作成（/v1/chat/completions）
bash
curl -i -X POST http://localhost:8001/services/openai-service/routes \
--data "paths[]=/v1/chat/completions" \
--data "methods[]=POST" - AI Proxy プラグイン適用（Vault 参照）
bash
curl -i -X POST http://localhost:8001/services/openai-service/plugins \
--data "name=ai-proxy" \
--data "config.auth_header_name=Authorization" \
--data "config.secret={{vault.env.openai_api_key}}" - 動作確認
bash
curl -X POST http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"gpt-3.5-turbo","messages":[{"role":"user","content":"Hello"}]}'
Admin API による自動化が可能なため、IaC ツールと組み合わせて本番環境へ安全にデプロイできます。
実務導入事例
実際の企業での導入効果を確認することで、導入判断の材料となります。ここでは NTT データを中心に、Kong AI Gateway の活用例と測定結果を紹介します。
NTTデータでの導入概要
- 対象サービス：社内チャットボット、ドキュメント生成、コード補完（計 30 件）
- 設定ポイント
- Vault に全 API キーを集約
- Service‑Route ごとにモデル別レートリミット（GPT‑4 : 1000 req/日、Claude : 500 req/日）を適用
- 公開事例ページ：https://konghq.com/case-studies/ntt-data
効果測定（参考値）
以下は Kong が公式資料で公表した数値です（※実測データは非公開のため、掲載情報に基づく概算）。
| 項目 | 導入前 | 導入後 |
|---|---|---|
| 認証トークン取得平均時間 | 120 ms | 84 ms（約30 %短縮） |
| 月間運用工数 | 200 h | 130 h（‑35 %） |
| 認証エラー率 | 2.8 % | 0.9 %（約70 %削減） |
このように、認証遅延の短縮と運用コスト削減が実証されており、AI 活用時の ROI が明確になっています。
認証情報・ログの一元管理とベストプラクティス
LLM へのアクセスは機密性が高いため、認証トークンや利用ログを統合的に管理することが不可欠です。以下では Vault の活用例と監査ログの設定手順を示します。
Kong Vault の活用例
- 暗号化方式：AES‑256‑GCM によるサーバ側暗号化
- アクセス制御：
adminロールに書き込み権限、開発者は読み取り専用に限定 - プラグイン設定例
yaml
config:
secret: "{{vault.env.openai_api_key}}"
この構成でキー漏洩リスクを最小化しつつ、プラグインから安全に取得できます。
監査ログの収集と分析
外部 SIEM（例：Loggly、Splunk）へリアルタイム転送し、細粒度の認証・レスポンス情報を残します。
|
1 2 3 4 5 6 7 8 9 10 11 12 |
# Loggly プラグイン有効化 curl -i -X POST http://localhost:8001/plugins \ --data "name=loggly" \ --data "config.host=logs-01.loggly.com" \ --data "config.port=514" # 監査ログにヘッダーとステータスコードを出力 curl -i -X POST http://localhost:8001/plugins \ --data "name=audit-log" \ --data "config.log_body=true" \ --data "config.log_headers=Authorization" |
取得したログは Grafana Loki などで可視化し、同一 IP からの大量失敗や異常パターンをアラートとして検知できます。
マルチLLM 環境でのレート制限とモニタリング
複数モデル（GPT‑4、Claude、LLaMA 等）を同時に提供する場合、モデルごとの利用上限やコスト管理が重要です。Kong の Rate Limiting とオープンソース監視スタックの組み合わせ例をご紹介します。
モデル別レートリミット設定
| サービス名 | リクエスト上限（日） |
|---|---|
| gpt4-service | 1000 |
| claude-service | 500 |
|
1 2 3 4 5 6 7 8 9 10 |
# GPT‑4 用レートリミット (1,000 req/日) curl -i -X POST http://localhost:8001/services/gpt4-service/plugins \ --data "name=rate-limiting" \ --data "config.day=1000" # Claude 用レートリミット (500 req/日) curl -i -X POST http://localhost:8001/services/claude-service/plugins \ --data "name=rate-limiting" \ --data "config.day=500" |
上限超過時は自動的に 429 Too Many Requests が返り、Kong の統計にも記録されます。
Prometheus と Grafana による可視化
- Prometheus プラグイン有効化
bash
curl -i -X POST http://localhost:8001/plugins \
--data "name=prometheus" - Grafana でデータソース登録（
http://kong-admin:8001/metrics） - 主要パネル例
kong_http_requests_total{service="gpt4-service"}：GPT‑4 の総リクエスト数kong_rate_limiting_limit_exceeded_total{service="claude-service"}：Claude のレートリミット超過回数
アラートルール（例：1時間で 80 % 超過）を設定すれば、予算オーバーやサービス障害を未然に防げます。
導入時の落とし穴と対策、次のアクション
Kong AI Gateway の導入は大きな効果が期待できる一方で、実務上のトラブルも報告されています。ここでは代表的な課題とその解決策をまとめ、今後取るべきステップを提示します。
主な課題と解決策
| 落とし穴 | 原因 | 解決策 |
|---|---|---|
| プラグイン適用漏れ | Service と Route の紐付けが不完全 | デプロイ前に kong config db_import で設定検証、CI に「Kong Config Lint」ステップ追加 |
| レートリミット競合 | 複数プラグインが同一キーを使用 | config.priority で実行順序（認証 → 制限）を明示 |
| ログ容量急増 | 大量トラフィック時のローテーション未設定 | Logrotate と S3 へのエクスポートを併用、保持期間は 30 日程度に限定 |
| Vault 権限漏れ | 開発者が誤ってキーを書き換え可能 | RBAC で write は Admin のみ付与、開発環境は別 Vault に分離 |
推奨導入フロー
- 要件定義
- 利用モデルと想定トラフィックを洗い出し、レートリミット方針を策定。
- インフラ構築（IaC）
- Kong の Helm Chart または Terraform モジュールで本番/ステージング環境をコード化。Vault とプラグイン設定も同様に管理。
- パイロット実装
- 1 サービスで AI Proxy を試験導入し、認証遅延・エラー率を測定。
- 本格展開とモニタリング
- Prometheus/Grafana ダッシュボードを本番に適用し、レートリミット超過や認証失敗のアラートを設定。
- 継続的改善
- 月次でログ分析結果をレビューし、レートリミット値・Vault ポリシーをチューニング。
まとめと今後のステップ
- 統合基盤化：Kong Gateway が API 全体を支配し、AI Gateway が LLM 認証・ガバナンスを担うことで、安全かつスケーラブルな AI 活用が実現します。
- セキュリティ：Vault と監査ログの組み合わせで機密情報漏洩リスクと不正利用検知を最小化。
- コスト管理：モデル別レートリミットと可視化により、予算超過やパフォーマンス低下を事前に防止できます。
上記フローとベストプラクティスに沿って段階的に導入すれば、短期間で ROI を実感できるはずです。ぜひ本ガイドを参考に、貴社の AI 活用基盤構築にお役立てください。