Hai cách gọi LLM
Có hai cách thẳng thắn để tới API mô hình: gọi nhà cung cấp trực tiếp với SDK và key của họ, hoặc route request qua gateway đứng trước nhiều nhà cung cấp sau một contract. Không cách nào sai — chúng đổi khác nhau tùy bạn thực sự dùng bao nhiêu nhà và bạn cần gì ngoài một request-response đơn.
Gọi trực tiếp đơn giản hơn khi bạn chỉ dùng một nhà. Gateway đáng công khi bạn đang juggling hơn một — SDK khác, key khác, dashboard khác cho cost và latency.
Trực tiếp vs. gateway, cạnh nhau
| Chiều | Trực tiếp từng nhà cung cấp | Qua một gateway |
|---|---|---|
| Auth | Một API key mỗi nhà, quản lý riêng | Một key (sk-ar-v1-…) cho mọi nhà |
| SDK | SDK và dialect request của từng nhà | Một endpoint tương thích OpenAI (cộng /messages và /responses) |
| Failover | Bạn tự viết retry/fallback, theo từng SDK | Failover tự động sang upstream khỏe nằm trong routing |
| Billing | Hóa đơn và số dư riêng mỗi tài khoản nhà cung cấp | Một số dư xuyên nhà — hoặc BYOK markup $0 trên key bạn đã trả |
| Audit log | Rải trên dashboard từng nhà, nếu có | Một log mỗi request — cost, latency, token — xuyên mọi nhà |
| Chi phí chuyển | Tích hợp lại SDK mới, scheme auth, và xử lý lỗi | Sửa chuỗi id provider/model; cùng key, cùng endpoint |
Thứ bạn giữ dù chọn cách nào
So sánh trên chỉ đứng nếu gateway không đổi một lock-in lấy lock-in khác. Contract của AnyRouter là bề mặt chuẩn tương thích OpenAI, nên client code bạn viết là cùng code bạn sẽ viết khi gọi nhà cung cấp trực tiếp — chỉ trỏ một URL thay vì nhiều:
from openai import OpenAI
client = OpenAI(
base_url="https://anyrouter.dev/api/v1",
api_key="sk-ar-v1-...",
)
resp = client.chat.completions.create(
model="openai/gpt-5.5", # or anthropic/claude-opus-4-8, google/gemini-2.5-pro
messages=[{"role": "user", "content": "Hello"}],
)Không gì trong call đó độc quyền AnyRouter — cùng thư viện client nói chuyện với mọi endpoint tương thích OpenAI, kể cả của nhà cung cấp.
Khi gọi trực tiếp vẫn hợp lý
Nếu dự án chỉ nói với đúng một nhà và không cần failover, audit log theo nhà, hay số dư chung xuyên mô hình, gọi nhà đó trực tiếp đơn giản hơn — ít một hop, ít một tài khoản phải nghĩ. Gateway lấy lại độ phức tạp ngay khi nhà thứ hai, đường fallback, hoặc một view cost xuyên mô hình xuất hiện.

Tiếp tục gọi nhà cung cấp trực tiếp, hoặc route chúng qua một key và một audit log.
Lấy key miễn phíGửi request đầu trong hai phút
Bắt đầu miễn phí với key của bạn, hoặc nạp rồi trả theo token. Go: $4 credit/tháng — $2/tháng, hoặc miễn phí khi góp một provider key.
Bắt đầu miễn phí