MODEL · LATENCY LAB
ტესტირების რეჟიმი

STREAMING BENCHMARK 01 / 01

პირველი token — რამდენ ხანში?

შეადარე Azure Foundry-ისა და OpenRouter-ის მოდელები ერთი და იმავე prompt-ით. TTFT და სრული პასუხის დრო ცალ-ცალკე იზომება.

კონფიგურაციის შემოწმება…

შემოწმება

01 — CONFIGURE

ტესტის პარამეტრები

SETUP

მოთხოვნა გაიგზავნება მხოლოდ არჩეულ პროვაიდერთან.

სახელები მოდის Azure GPT კონფიგურაციიდან; შეგიძლია შეცვალო.

GPT-6 მოდელებისთვის ავტომატურად გამოიყენება Responses API.

გამოიყენება ყველა ცდაში უცვლელად0 / 2000
ცდა / მოდელი
completion tokens

ეს ზღუდავს პასუხის token-ებს; მოდელის რეალურ context window-ს არ ცვლის.

გაშვება გამოიძახებს დაახლოებით 0 Azure Foundry request-ს

ყურადღება: Azure Foundry request-ები შეიძლება ფასიანი იყოს. მოთხოვნები არ გაიგზავნება, სანამ ტესტს არ დაიწყებ.

02 — RESULTS

შედეგები

TTFT · მედიანა — პირველ ხილულ ტექსტამდე
TTFT · P95 — ნელი ცდების საზომი
დასრულებული ცდა 0 / 0 წარმატება / დაგეგმილი
ჯერ ტესტი არ გაშვებულა

TTFT შედარება

მოდელების მედიანა · ნაკლები დრო უკეთესია

ms
შედეგების შემდეგ აქ გამოჩნდება შედარება

ცდების ჟურნალი

მონაცემები მხოლოდ ამ გვერდის მეხსიერებაში რჩება

0 ცდა
# MODEL ROUND TTFT TTLB STATUS
შედეგები ჯერ არ არის — ჯერ მიუთითე მოდელი და დაიწყე ტესტი.
?

რას ზომავს ეს გვერდი?

TTFT ითვლება სერვერიდან მოთხოვნის დაწყებიდან stream-ში პირველ არაცარიელ ტექსტურ delta-მდე. TTLB ცალკე ზომავს stream-ის დასრულებამდე დროს. ორივე კლიენტის მხრიდან დანახული მაჩვენებელია და მოიცავს ქსელს, რიგს და სერვისის დამუშავებას — არა მხოლოდ მოდელის სუფთა inference დროს.

SEQUENTIALNO AUTO-SAVE