メインコンテンツまでスキップ

OpenAI Compatible Chat

Ollama や vLLM などの self-hosted model を含む、OpenAI-compatible chat API を公開する任意の LLM に AI agent を接続します。​

概要​

OpenAI Compatible connector を使用すると、OpenAI Chat Completions API format を実装する任意の LLM provider を使用できます。これには、Ollama や vLLM などの self-hosted solution、および OpenAI-compatible endpoint を提供する cloud service が含まれます。

connector は以下をサポートします。

  • streaming を使用した chat completion
  • function calling（tool use）

Connector のセットアップ​

OpenAI Compatible connector を追加するには、次の step を実行します。

  1. Squid Console に移動し、application を選択します。
  2. Connectors tab をクリックします。
  3. Available Connectors をクリックし、OpenAI Compatible Chat connector を見つけます。次に Add Connector をクリックします。
  4. 次の detail を入力します。
  • Connector ID: 任意の unique ID（例: my-ollama）。code で参照する integrationId です。
  • Base URL: OpenAI-compatible API の publicly accessible URL。Squid backend がこの URL に到達できる必要があるため、local development 中でない限り localhost address は使用できません。
  • API Key（optional）: authentication 用の API key。local Ollama instance など、一部の provider では API key は必要ありません。
  • Models: この connector を通じて利用可能な model を定義する JSON array。各 model には以下の field が必要です。
FieldType説明
modelNamestringAPI call で使用する model identifier
displayNamestringmodel の human-readable name
maxOutputTokensnumbermodel が response で生成できる token の最大数
contextWindowTokensnumbertoken 単位の total context window size

例:

[
  {
    "modelName": "llama3",
    "displayName": "Llama 3",
    "maxOutputTokens": 4096,
    "contextWindowTokens": 8192
  }
]
  1. Add Connector をクリックします。

Connector の使用​

configuration 完了後、connector ID と model name を指定して AI agent とともに connector を使用します。

Client code
await squid.ai().agent('my-agent').updateModel({
  integrationId: 'my-ollama',
  model: 'llama3',
});

request ごとに model を override することもできます。

Client code
const response = await squid
  .ai()
  .agent('my-agent')
  .ask('Hello!', {
    model: {
      integrationId: 'my-ollama',
      model: 'llama3',
    },
  });

一般的な Configuration​

Ollama​

Ollama は open-source model をローカルで実行します。

  • Base URL: Ollama instance の publicly accessible URL（例: https://ollama.your-domain.com）
  • API Key: 不要
  • Models: ローカルで pull した model によって異なります（例: llama3、mistral、codellama）

vLLM​

vLLM は、OpenAI-compatible server を備えた high-throughput inference engine です。

  • Base URL: vLLM server の publicly accessible URL（例: https://vllm.your-domain.com）
  • API Key: vLLM configuration によって異なります
  • Models: vLLM を開始した model