Chạy Hermes agent với AnyRouter

Hermes 3 405B là generalist open-weight của Nous Research — mạnh reasoning, chat nhiều lượt, tool calling, nên hợp làm não agent. AnyRouter phục vụ nó là nousresearch/hermes-3-llama-3.1-405b qua một endpoint tương thích OpenAI, nên mọi client hay framework agent nói API OpenAI đều điều khiển được.

Model chạy trên Hugging Face token miễn phí của bạn (BYOK), inference miễn phí với bạn, AnyRouter không cộng markup. Vẫn có một API, log, analytics, failover tự động. Setup khoảng ba phút.

Đăng nhập huggingface.co, mở Settings → Access Tokens. Tạo token quyền Inference Providers (free tier đủ bắt đầu). Copy — bắt đầu hf_.

Trong dashboard AnyRouter, mở BYOK & Key Balancing tại /byok, chọn Hugging Face, dán hf_, lưu. Key mã hóa lúc nghỉ, UI chỉ ghi — sau khi lưu bạn chỉ thấy identifier đã che.

Vào /keys tạo key AnyRouter (bắt đầu sk-ar-). Đây là key duy nhất agent dùng để xác thực — AnyRouter map request sang Hugging Face token phía sau, agent không đụng key nhà cung cấp.

Dùng https://anyrouter.dev/api/v1 làm base URL và nousresearch/hermes-3-llama-3.1-405b làm model. Một dòng curl để xác nhận:

curl https://anyrouter.dev/api/v1/chat/completions \
-H "Authorization: Bearer $ANYROUTER_API_KEY" \
-H "Content-Type: application/json" \
-d '{
  "model": "nousresearch/hermes-3-llama-3.1-405b",
  "messages": [{ "role": "user", "content": "You are a helpful agent. Say hi." }]
}'

Vì tương thích OpenAI, SDK chính thức không đổi — chỉ đổi base URL và key:

from openai import OpenAI

client = OpenAI(
    base_url="https://anyrouter.dev/api/v1",
    api_key="sk-ar-...",  # your AnyRouter key
)

resp = client.chat.completions.create(
    model="nousresearch/hermes-3-llama-3.1-405b",
    messages=[{"role": "user", "content": "You are a helpful agent. Say hi."}],
)
print(resp.choices[0].message.content)

Chỉ Claude Code, Codex, Cursor, hoặc loop của bạn vào cùng base URL và model id là Hermes agent đã chạy.

Quota Hugging Face thường để không. Bật donate trên key: mỗi request pool đi qua cộng tối đa 8% chi phí danh nghĩa vào số dư chờ (5% trên Go, 8% trên Pro/Max) — góp một key còn chạy cũng mở Go miễn phí khi key còn active. Bạn giữ quyền gọi trước; pool chỉ mượn dung lượng dư, tắt ngay được.