Node.js / TypeScript SDK 接入指南
使用官方 openai npm 包,在 Next.js App Router、Express 或 NestJS 中实现全双工流式转发。
npm install openai
Next.js 15 App Router 服务端流式接口
// app/api/chat/route.ts
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: process.env.CALLAI_API_KEY,
baseURL: 'https://api.callaiapi.com/v1',
});
export async function POST(req: Request) {
const { messages } = await req.json();
const response = await openai.chat.completions.create({
model: 'claude-3-7-sonnet',
messages,
stream: true,
});
const encoder = new TextEncoder();
const readable = new ReadableStream({
async start(controller) {
for await (const chunk of response) {
const text = chunk.choices[0]?.delta?.content || '';
controller.enqueue(encoder.encode(text));
}
controller.close();
},
});
return new Response(readable, {
headers: { 'Content-Type': 'text/plain; charset=utf-8' },
});
}💡支持 AbortController 客户端终止信号
在前端请求时绑定 AbortSignal,当用户点击「停止生成」时触发 abort,服务端将立即切断与青柠网关的连接,防止无意义扣费。
测算 Node.js 生产环境大批量调用的 Token 预算?
使用站内 Token 计算器,直观对比各大模型在多轮会话中的成本。