Xây LLM gateway trên Cloudflare Workers

Cloudflare Worker là isolate, không phải process — khởi động theo request, xử lý xong rồi không giữ RAM hay connection giữa các lần gọi. Không server cần hâm nóng, không fleet cần scale, không region cần chọn; cùng một script chạy ở mọi edge Cloudflare. Với gateway mà việc chỉ là «nhận request, chọn upstream, stream response về», mô hình theo request rất hợp — nhưng mọi quyết định kiến trúc phải tôn trọng giới hạn isolate mà server thường không có.

Hai giới hạn định hình hầu hết phần còn lại: trần 128MB RAM mỗi isolate, và trần script nén 3MiB mỗi Worker.

Trần 128MB biến một pattern server phổ biến thành nguy hiểm: đọc hết response upstream vào RAM rồi mới forward. Completion LLM có thể dài vô hạn, và await response.text() trên stream không biên không có trần riêng — nó phình đến khi isolate hết bộ nhớ.

Thực tế, chat completions, Anthropic messages và Responses API đều trả Response gốc bọc SSE của upstream, dịch dialect từng chunk thay vì gom rồi phát lại:

export default (async (c) => {
  const upstream = await fetch(upstreamUrl, { method: "POST", body, headers })

  // Never buffer: pipe the upstream stream straight through,
  // translating SSE dialect chunk-by-chunk as it passes.
  return new Response(upstream.body.pipeThrough(dialectTranslator), {
    status: upstream.status,
    headers: { "Content-Type": "text/event-stream", "Cache-Control": "no-cache" },
  })
}) satisfies HonoHandler

Một Worker đơn vượt trần script nén 3MiB của Cloudflare khi engine routing, catalog, Durable Objects, MCP, OAuth và cả bề mặt Hono API nằm chung một script. Cách xử lý là hub-and-spoke: một web Worker giữ route toàn zone, rồi forward sang spoke qua service binding, hoặc tự serve trang.

Mỗi spoke proxy /api/* cùng origin sang anyrouter-api qua service binding, nên trình duyệt không bao giờ cross-origin — không cần CORS, cũng không mở thêm bề mặt public cho từng Worker.

Dispatch tới nhà cung cấp mô hình thật sự đi đúng một trong ba hình transport, tất cả đổ vào Cloudflare AI Gateway chứ không gọi API nhà cung cấp trực tiếp:

Tách này vô hình với người dùng cuối — mọi backend dùng cùng huy hiệu «Cloudflare AI Gateway» dù transport nào phục vụ. Quy tắc phía sau chặt hơn nghe: mọi upstream phải đi gateway.ai.cloudflare.com, đúng một ngoại lệ đã ghi: backend first-party không có HTTP origin để proxy (nó tới thiết bị của user qua WebSocket outbound).

Chạy trên Workers cũng nghĩa là primitive crypto của nền tảng là mặc định, không phải dependency thêm:

• crypto.getRandomValues() or crypto.randomUUID() — never Math.random() for tokens or ids
• crypto.subtle for all cryptographic operations, including per-row encryption at rest
• crypto.subtle.timingSafeEqual for secret comparison, so key checks aren't timing-attackable
• Secrets live in wrangler secret put, never hardcoded in source or committed config

Xử lý lỗi tường minh cũng quan trọng hơn framework có trang exception toàn cục — cố ý tránh passThroughOnException(), vì nó giấu bug thật sau fallback im lặng thay vì đưa lên error handler của Hono để log và sửa.

Không thứ nào miễn phí. Mọi giới hạn trên là ràng buộc kiến trúc phải vòng, không phải đã xóa — trần 3MiB nghĩa là tính năng mới phải nghĩ thuộc Worker nào, và quy tắc chỉ-stream nghĩa là không có lối tắt post-process cả response trước khi tới client. Đổi lại là script chạy giống nhau ở mọi edge, không có fleet server phía sau.