◉

LLM BENCH

大模型接口基准测试台 · 首 Token 延迟 / 生成速度

IDLE --:--:--
01

连接配置

选择接口格式 · Base URL · API Key → 拉取模型
尚未获取模型列表
点击「拉取模型列表」加载可用模型,再点选一个作为测试对象…
02

测试任务

内置 3 道长输入题目 · 每题输出约束在 1000~5000 tokens,兼顾测速样本量与成本
自定义问题(勾选启用,建议足够详细并要求长输出)
4096
默认 4096 封顶 · 输出控制在 1000~5000 tokens(省钱)
0.7
1
默认每题 1 次(省钱);调大取平均可抑制网络抖动
自动
把思考/回答分开计速;“自定义”可精确传供应商参数
待命
03

测试结果

各题均值 · BAR CHART

运行测试后展示图表
— 尚无结果,请先运行测试 —
SPEEDTEST 01首字延迟

从发出请求到看到第一个 Token 的等待(含连接与排队)。交互类产品里越低越好。

SPEEDTEST 02输出吞吐量

开始输出后每秒生成的 Token 数量(t/s)。数值越高,长回答完成得越快。

SPEEDTEST 03完整响应耗时

每轮从请求到结束的总时长,同时包含启动等待与生成过程。

04

实时流与日志

流式回显 + 事件日志,直观观察首 Token 时刻
STREAM · 流式回显TTFT ---
等待运行…
EVENT LOG · 事件日志