OpenAI 互換 Chat

Ollama や vLLM のようなセルフホストモデルを含め、OpenAI 互換の chat API を公開している任意の LLM に AI agent を接続します。

概要

OpenAI Compatible connector を使用すると、OpenAI Chat Completions API 形式を実装している任意の LLM provider を利用できます。これには、Ollama や vLLM のようなセルフホストソリューションに加え、OpenAI 互換 endpoint を提供するクラウドサービスも含まれます。

この connector は以下をサポートします:

streaming を伴う chat completions
Function calling（tool use）

connector のセットアップ

OpenAI Compatible connector を追加するには、次の手順を完了してください:

Squid Console に移動し、アプリケーションを選択します。
Connectors タブをクリックします。
Available Connectors をクリックし、OpenAI Compatible Chat connector を見つけます。次に Add Connector をクリックします。
次の詳細を入力します:

Connector ID: 任意の一意な ID（例: my-ollama）。これはコード内で参照する integrationId です。
Base URL: 公開アクセス可能な OpenAI 互換 API の URL。Squid backend がこの URL に到達できる必要があるため、ローカル開発を行っている場合を除き localhost アドレスは使用できません。
API Key（任意）: 認証用の API key。ローカルの Ollama instance など、一部の provider では API key は不要です。
Models: この connector 経由で利用可能な model を定義する JSON array。各 model には次のフィールドが必要です:

Field	Type	Description
`modelName`	string	API 呼び出しで使用される model identifier
`displayName`	string	model の人間が読める名前
`maxOutputTokens`	number	model がレスポンスで生成できる最大 token 数
`contextWindowTokens`	number	token での総 context window サイズ

例:

[
  {
    "modelName": "llama3",
    "displayName": "Llama 3",
    "maxOutputTokens": 4096,
    "contextWindowTokens": 8192
  }
]

Add Connector をクリックします。

connector の使用

設定が完了したら、connector ID と model 名を指定して AI agent で connector を使用します:

Client code
await squid.ai().agent('my-agent').updateModel({
  integrationId: 'my-ollama',
  model: 'llama3',
});

リクエストごとに model を上書きすることもできます:

Client code
const response = await squid.ai().agent('my-agent').ask('Hello!', {
  model: {
    integrationId: 'my-ollama',
    model: 'llama3',
  },
});

よくある設定

Ollama

Ollama はオープンソースの model をローカルで実行します。

Base URL: 公開アクセス可能な Ollama instance の URL（例: https://ollama.your-domain.com）
API Key: 不要
Models: ローカルに pull 済みの model に依存（例: llama3、mistral、codellama）

vLLM

vLLM は OpenAI 互換 server を備えた高スループットの inference engine です。

Base URL: 公開アクセス可能な vLLM server の URL（例: https://vllm.your-domain.com）
API Key: vLLM の設定に依存
Models: vLLM を起動した際に指定した model（複数可）

Ollama や vLLM のようなセルフホストモデルを含め、OpenAI 互換の chat API を公開している任意の LLM に AI agent を接続します。​

概要​

connector のセットアップ​

connector の使用​

よくある設定​

Ollama​

vLLM​