Node.js / TypeScript SDK 接入指南

使用官方 openai npm 包,在 Next.js App Router、Express 或 NestJS 中实现全双工流式转发。

npm install openai

Next.js 15 App Router 服务端流式接口

// app/api/chat/route.ts
import OpenAI from 'openai';

const openai = new OpenAI({
  apiKey: process.env.CALLAI_API_KEY,
  baseURL: 'https://api.callaiapi.com/v1',
});

export async function POST(req: Request) {
  const { messages } = await req.json();

  const response = await openai.chat.completions.create({
    model: 'claude-3-7-sonnet',
    messages,
    stream: true,
  });

  const encoder = new TextEncoder();
  const readable = new ReadableStream({
    async start(controller) {
      for await (const chunk of response) {
        const text = chunk.choices[0]?.delta?.content || '';
        controller.enqueue(encoder.encode(text));
      }
      controller.close();
    },
  });

  return new Response(readable, {
    headers: { 'Content-Type': 'text/plain; charset=utf-8' },
  });
}
💡支持 AbortController 客户端终止信号

在前端请求时绑定 AbortSignal,当用户点击「停止生成」时触发 abort,服务端将立即切断与青柠网关的连接,防止无意义扣费。

测算 Node.js 生产环境大批量调用的 Token 预算?
使用站内 Token 计算器,直观对比各大模型在多轮会话中的成本。
打开成本计算器 →