{
 "manifestSha256": "a938cc2483a592dc84e0d5baac12594491bcaa5b4ceb6b7c3b0def71b36297bd",
 "logicalDigest": "4272a7a25ebcb324235696ad808544e157a31e3f9c04421da731a08dfb9d5768",
 "cases": 1190,
 "evaluationCases": 952,
 "decisions": 1240,
 "seed": 42,
 "datasetVersion": "2.0.0",
 "suites": [
  "agnews",
  "banking77_12",
  "emotion",
  "guardrails",
  "mnli",
  "moderation",
  "multilingual_intent",
  "sst5",
  "triage"
 ],
 "scopeTotal": 51,
 "runDirectoriesVerified": 46,
 "distinctMeasurements": 43,
 "referenceClosedApi": {
  "runner": "jev",
  "model": "Jev 1.13.0",
  "accuracy": 0.9065,
  "serving": "closed API at api.typesafe.ai",
  "inPanel": false
 },
 "measurements": [
  {
   "runner": "kev-4b",
   "runId": "kev-4b-t4-v1",
   "model": "jaredpalmer/kev-4b",
   "revision": "6cfce5c2fa4b4bd64026336ab649c5ca78857d52",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "vendor-managed",
   "serving": "loopback-subprocess",
   "accuracy": 0.8556451612903225,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.875,
    "banking77_12": 0.9375,
    "emotion": 0.828125,
    "guardrails": 0.9166666666666666,
    "mnli": 0.825,
    "moderation": 0.9097222222222222,
    "multilingual_intent": 0.9583333333333334,
    "sst5": 0.5083333333333333,
    "triage": 0.9270833333333334
   },
   "latencyP50": {
    "agnews": 0.5243200730001263,
    "banking77_12": 0.8922743924995302,
    "emotion": 0.6674965684997005,
    "guardrails": 0.5161225515003025,
    "mnli": 0.5153059174990631,
    "moderation": 0.6977255159999913,
    "multilingual_intent": 0.6732793470018805,
    "sst5": 0.4869046565017925,
    "triage": 1.2879705100003775
   }
  },
  {
   "runner": "jpt-9b",
   "runId": "jpt-9b-t4-c1",
   "model": "kirp/jpt-9b",
   "revision": "b447cc7ee105c0a76a22f8fde8ecf05074dc8be0",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "loopback-subprocess",
   "accuracy": 0.8548387096774194,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.9375,
    "banking77_12": 0.9270833333333334,
    "emotion": 0.8229166666666666,
    "guardrails": 0.9791666666666666,
    "mnli": 0.825,
    "moderation": 0.9375,
    "multilingual_intent": 0.8416666666666667,
    "sst5": 0.4666666666666667,
    "triage": 0.9270833333333334
   },
   "latencyP50": {
    "agnews": 3.1496809779998785,
    "banking77_12": 3.5776364524999735,
    "emotion": 3.1248137170005066,
    "guardrails": 5.771101338500102,
    "mnli": 3.115201576000345,
    "moderation": 8.41415157199981,
    "multilingual_intent": 3.121765261499604,
    "sst5": 3.0860089245006748,
    "triage": 11.49043778500004
   }
  },
  {
   "runner": "jet",
   "runId": "jet-t4-f0",
   "model": "michaljach/jet",
   "revision": "fbc3d2daa679e0d4bd9f99c9912b6496d5a41f0a",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "vendor-managed",
   "serving": "local",
   "accuracy": 0.8524193548387097,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.8875,
    "banking77_12": 0.9166666666666666,
    "emotion": 0.796875,
    "guardrails": 0.8333333333333334,
    "mnli": 0.8333333333333334,
    "moderation": 0.9305555555555556,
    "multilingual_intent": 0.9666666666666667,
    "sst5": 0.55,
    "triage": 0.9270833333333334
   },
   "latencyP50": {
    "agnews": 0.7577230379997673,
    "banking77_12": 1.0037848869997106,
    "emotion": 0.744775889000266,
    "guardrails": 0.972361306500261,
    "mnli": 0.7492287710001619,
    "moderation": 1.458004392499788,
    "multilingual_intent": 0.7520565014997374,
    "sst5": 0.7184889889999795,
    "triage": 2.100497089500095
   }
  },
  {
   "runner": "jevk5",
   "runId": "jevk5-t4-c0",
   "model": "alibiserikbay/JevK5",
   "revision": "c4f7fdb3aeab5582336406e78d3bef11bf98833d",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "vendor-calibrated",
   "serving": "local",
   "accuracy": 0.8508064516129032,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.91875,
    "banking77_12": 0.90625,
    "emotion": 0.8385416666666666,
    "guardrails": 0.8333333333333334,
    "mnli": 0.7916666666666666,
    "moderation": 0.9375,
    "multilingual_intent": 1.0,
    "sst5": 0.43333333333333335,
    "triage": 0.9270833333333334
   },
   "latencyP50": {
    "agnews": 0.2855627440000035,
    "banking77_12": 0.4306967905001784,
    "emotion": 0.284699261500009,
    "guardrails": 0.44480978399997184,
    "mnli": 0.23571476650010936,
    "moderation": 0.5428682924999748,
    "multilingual_intent": 0.28869745700001204,
    "sst5": 0.23135787299986532,
    "triage": 1.0427885789999891
   }
  },
  {
   "runner": "intern-decision-4b",
   "runId": "intern-decision-4b-t4-gpu0",
   "model": "internlm/Intern-Decision-4B",
   "revision": "0e5e6aa7d6d750e2b1504ba11a8136cb58aeb3cd",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.8459677419354839,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.95,
    "banking77_12": 0.9375,
    "emotion": 0.8177083333333334,
    "guardrails": 0.7916666666666666,
    "mnli": 0.775,
    "moderation": 0.8888888888888888,
    "multilingual_intent": 1.0,
    "sst5": 0.4166666666666667,
    "triage": 0.953125
   },
   "latencyP50": {
    "agnews": 1.0280545670002539,
    "banking77_12": 1.2410841009996147,
    "emotion": 0.8479000735005684,
    "guardrails": 1.0611523654997654,
    "mnli": 0.8506462580007792,
    "moderation": 1.2702350045010462,
    "multilingual_intent": 0.857409550999364,
    "sst5": 0.8332756839990907,
    "triage": 1.3890405570009534
   }
  },
  {
   "runner": "tev1-4b",
   "runId": "tev1-4b-t4-20261002",
   "model": "togethercomputer/Tev1-4B-experimental",
   "revision": "0b7becf017daa0e5eb222f8ce7483c8c8259c52f",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.8459677419354839,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.9375,
    "banking77_12": 0.9270833333333334,
    "emotion": 0.7916666666666666,
    "guardrails": 0.9479166666666666,
    "mnli": 0.8333333333333334,
    "moderation": 0.9375,
    "multilingual_intent": 0.8416666666666667,
    "sst5": 0.5333333333333333,
    "triage": 0.8697916666666666
   },
   "latencyP50": {
    "agnews": 0.15983389049983998,
    "banking77_12": 0.2355148774997815,
    "emotion": 0.1609817444998498,
    "guardrails": 0.20610334850016443,
    "mnli": 0.15712480349975522,
    "moderation": 0.31260489300007066,
    "multilingual_intent": 0.16154592949988,
    "sst5": 0.15660151399993083,
    "triage": 0.4401868735001244
   }
  },
  {
   "runner": "decider-4b",
   "runId": "decider-4b-t4-d0",
   "model": "Mapika/decider-4b",
   "revision": "eb5fbdfc9448473ec25e399882912863afbdb70e",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "vendor-managed",
   "serving": "local",
   "accuracy": 0.8411290322580646,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.90625,
    "banking77_12": 0.9479166666666666,
    "emotion": 0.7708333333333334,
    "guardrails": 0.8333333333333334,
    "mnli": 0.7666666666666667,
    "moderation": 0.9444444444444444,
    "multilingual_intent": 1.0,
    "sst5": 0.4166666666666667,
    "triage": 0.9427083333333334
   },
   "latencyP50": {
    "agnews": 0.7427258500001699,
    "banking77_12": 0.994762028499963,
    "emotion": 0.5127406280000741,
    "guardrails": 0.5142087414999423,
    "mnli": 0.5138332330000139,
    "moderation": 0.7518203715001164,
    "multilingual_intent": 0.5163362179996511,
    "sst5": 2.426239391000081,
    "triage": 1.932067107499961
   }
  },
  {
   "runner": "neohorse-4b",
   "runId": "neohorse-4b-t4-d1",
   "model": "TokenRhythm/NeoHorse-Jev-4B",
   "revision": "434cb21d3a994a953d3ae5788405fcb2c4970554",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "vendor-managed",
   "serving": "local",
   "accuracy": 0.8266129032258065,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.875,
    "banking77_12": 0.9479166666666666,
    "emotion": 0.8020833333333334,
    "guardrails": 0.9895833333333334,
    "mnli": 0.8166666666666667,
    "moderation": 0.9027777777777778,
    "multilingual_intent": 0.7166666666666667,
    "sst5": 0.4583333333333333,
    "triage": 0.9166666666666666
   },
   "latencyP50": {
    "agnews": 0.526981351500126,
    "banking77_12": 0.7769684660001985,
    "emotion": 0.5143942049999168,
    "guardrails": 0.5049532180000824,
    "mnli": 0.5218981234997955,
    "moderation": 0.5790509165003641,
    "multilingual_intent": 0.5187526125000659,
    "sst5": 0.3103035525004998,
    "triage": 1.5776303930001632
   }
  },
  {
   "runner": "decision-nox",
   "runId": "decision-nox-t4-gpu0",
   "model": "llm-semantic-router/Decision-1.0-Nox",
   "revision": "7f65e1db2c55a11ab8b558a8027c8883752f192d",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "vendor-managed",
   "serving": "local",
   "accuracy": 0.8048387096774193,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.89375,
    "banking77_12": 0.8854166666666666,
    "emotion": 0.7552083333333334,
    "guardrails": 0.84375,
    "mnli": 0.7333333333333333,
    "moderation": 0.9027777777777778,
    "multilingual_intent": 0.9333333333333333,
    "sst5": 0.36666666666666664,
    "triage": 0.8854166666666666
   },
   "latencyP50": {
    "agnews": 0.6577919915007442,
    "banking77_12": 1.290812199499669,
    "emotion": 0.83814727150002,
    "guardrails": 0.8496815399994375,
    "mnli": 0.6482026890007546,
    "moderation": 1.2769760285000302,
    "multilingual_intent": 0.8371178109991888,
    "sst5": 0.6395857739998974,
    "triage": 2.436223747999975
   }
  },
  {
   "runner": "this-that-12",
   "runId": "this-that-12-20261002",
   "model": "flock-io/this-that-model-1.2",
   "revision": "c4d1c30b8d512d278726de439b8cc81fccc70c8f",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.8008064516129032,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.8875,
    "banking77_12": 0.875,
    "emotion": 0.6614583333333334,
    "guardrails": 0.5833333333333334,
    "mnli": 0.7416666666666667,
    "moderation": 0.9097222222222222,
    "multilingual_intent": 0.9416666666666667,
    "sst5": 0.675,
    "triage": 0.8854166666666666
   },
   "latencyP50": {
    "agnews": 2.560831482987851,
    "banking77_12": 2.5153848892077804,
    "emotion": 2.4611352728679776,
    "guardrails": 2.6069359784014523,
    "mnli": 2.4869762365706265,
    "moderation": 2.606103476136923,
    "multilingual_intent": 2.4748050766065717,
    "sst5": 2.464682867284864,
    "triage": 2.900573627091944
   }
  },
  {
   "runner": "hopper-g",
   "runId": "hopper-g-t4-q0",
   "model": "HopitAI/hopper-g",
   "revision": "d60a1d6ca3f3fa25e5daddea16b8ba2b431ebcee",
   "baseModel": "Qwen/Qwen3.5-4B",
   "scoring": "option_letter_logits",
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.7911290322580645,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.925,
    "banking77_12": 0.8333333333333334,
    "emotion": 0.7708333333333334,
    "guardrails": 0.7708333333333334,
    "mnli": 0.7,
    "moderation": 0.8888888888888888,
    "multilingual_intent": 0.8916666666666667,
    "sst5": 0.31666666666666665,
    "triage": 0.90625
   },
   "latencyP50": {
    "agnews": 0.15831418499965366,
    "banking77_12": 0.15827339850056887,
    "emotion": 0.15780857949994243,
    "guardrails": 0.3117366270007551,
    "mnli": 0.15953428099965095,
    "moderation": 0.46134057649942406,
    "multilingual_intent": 0.15542040949912916,
    "sst5": 0.1561554520003483,
    "triage": 0.6231980264992671
   }
  },
  {
   "runner": "decider-2b",
   "runId": "decider-2b-t4-d0",
   "model": "Mapika/decider-2b",
   "revision": "533964dae8be954c5b5e19fa4948e48408094c1e",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "vendor-managed",
   "serving": "local",
   "accuracy": 0.7895161290322581,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.93125,
    "banking77_12": 0.9479166666666666,
    "emotion": 0.671875,
    "guardrails": 0.6354166666666666,
    "mnli": 0.7416666666666667,
    "moderation": 0.8819444444444444,
    "multilingual_intent": 0.9166666666666666,
    "sst5": 0.4083333333333333,
    "triage": 0.90625
   },
   "latencyP50": {
    "agnews": 0.6007711390000168,
    "banking77_12": 0.8351940200000172,
    "emotion": 0.4460101439999562,
    "guardrails": 0.45142600050007786,
    "mnli": 0.4474147605001235,
    "moderation": 0.6478200550002384,
    "multilingual_intent": 0.4467334835001111,
    "sst5": 2.0299935390000883,
    "triage": 1.642238724000208
   }
  },
  {
   "runner": "decision-sol",
   "runId": "decision-sol-20261002",
   "model": "llm-semantic-router/Decision-1.0-Sol",
   "revision": "fc210c8fcc7f1b86519aac34be810950b582e35e",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.7862903225806451,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.875,
    "banking77_12": 0.8645833333333334,
    "emotion": 0.6979166666666666,
    "guardrails": 0.7291666666666666,
    "mnli": 0.75,
    "moderation": 0.9097222222222222,
    "multilingual_intent": 0.8416666666666667,
    "sst5": 0.475,
    "triage": 0.8802083333333334
   },
   "latencyP50": {
    "agnews": 2.7628410002216697,
    "banking77_12": 5.361427289433777,
    "emotion": 3.15626460313797,
    "guardrails": 3.6993985986337066,
    "mnli": 2.734495161101222,
    "moderation": 5.675925354938954,
    "multilingual_intent": 3.222894246224314,
    "sst5": 2.3973170365206897,
    "triage": 10.953603389207274
   }
  },
  {
   "runner": "mini-jev",
   "runId": "mini-jev-t4-t0",
   "model": "Qwen/Qwen3-4B-Instruct-2507",
   "revision": "cdbee75f17c01a7cc42f958dc650907174af0554",
   "baseModel": "Qwen/Qwen3-4B-Instruct-2507",
   "scoring": "per_option_conditional_logprob",
   "techniqueReimplementation": true,
   "vendorCodeExecuted": false,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.7830645161290323,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.89375,
    "banking77_12": 0.7395833333333334,
    "emotion": 0.7135416666666666,
    "guardrails": 0.84375,
    "mnli": 0.6083333333333333,
    "moderation": 0.9444444444444444,
    "multilingual_intent": 0.8,
    "sst5": 0.6083333333333333,
    "triage": 0.8385416666666666
   },
   "latencyP50": {
    "agnews": 0.3242844795004203,
    "banking77_12": 0.9469259554998644,
    "emotion": 0.47523873950012785,
    "guardrails": 0.32196740200015483,
    "mnli": 0.2333021264994386,
    "moderation": 0.48326487400026963,
    "multilingual_intent": 0.45496646049923584,
    "sst5": 0.38854082099987863,
    "triage": 0.8915263594990392
   }
  },
  {
   "runner": "nimble-v2",
   "runId": "nimble-v2-t4-s1",
   "model": "bespokelabs/Bespoke-Nimble-9B-v2",
   "revision": "4b8c04d1ac2cea3e41e5e3c4d2130bcead2c0abe",
   "baseModel": "Qwen/Qwen3.5-9B",
   "scoring": "option_letter_logits",
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": "device_map=auto across all visible GPUs",
   "singleDevice": false,
   "device": "cpu",
   "dtype": "auto",
   "serving": "local",
   "accuracy": 0.782258064516129,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.9,
    "banking77_12": 0.46875,
    "emotion": 0.7447916666666666,
    "guardrails": 0.9791666666666666,
    "mnli": 0.6166666666666667,
    "moderation": 0.9305555555555556,
    "multilingual_intent": 0.925,
    "sst5": 0.38333333333333336,
    "triage": 0.9322916666666666
   },
   "latencyP50": {
    "agnews": 1.4676983685003506,
    "banking77_12": 1.4920215945003292,
    "emotion": 1.4305483274983999,
    "guardrails": 2.0283844919995317,
    "mnli": 1.4542266780008504,
    "moderation": 3.0299524609981745,
    "multilingual_intent": 1.4325625649998983,
    "sst5": 1.4315152644994669,
    "triage": 4.44633075800084
   }
  },
  {
   "runner": "intern-decision-2b",
   "runId": "intern-decision-2b-t4-20261002",
   "model": "internlm/Intern-Decision-2B",
   "revision": "8797836c65fc91a2435b1fb6850b5f0aabd75cc3",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.7790322580645161,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.93125,
    "banking77_12": 0.8541666666666666,
    "emotion": 0.7604166666666666,
    "guardrails": 0.7708333333333334,
    "mnli": 0.65,
    "moderation": 0.7986111111111112,
    "multilingual_intent": 0.975,
    "sst5": 0.30833333333333335,
    "triage": 0.875
   },
   "latencyP50": {
    "agnews": 0.4135194734999459,
    "banking77_12": 0.5063124069999958,
    "emotion": 0.35720091000007415,
    "guardrails": 0.38499806350000654,
    "mnli": 0.3578333969999221,
    "moderation": 0.4925762965001468,
    "multilingual_intent": 0.36239727200018024,
    "sst5": 0.34870468199983407,
    "triage": 0.5271919885001353
   }
  },
  {
   "runner": "tev1-08b",
   "runId": "tev1-08b-t4-g1",
   "model": "togethercomputer/Tev1-0.8B-experimental",
   "revision": "6bb2dff14b38fea90ddb14d870166ccaf77374e9",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.7733870967741936,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.86875,
    "banking77_12": 0.8645833333333334,
    "emotion": 0.6822916666666666,
    "guardrails": 0.6145833333333334,
    "mnli": 0.6666666666666666,
    "moderation": 0.875,
    "multilingual_intent": 1.0,
    "sst5": 0.5083333333333333,
    "triage": 0.8333333333333334
   },
   "latencyP50": {
    "agnews": 0.06613857549973545,
    "banking77_12": 0.08075444950009114,
    "emotion": 0.06648953449985129,
    "guardrails": 0.12838044599948262,
    "mnli": 0.067646255499767,
    "moderation": 0.19640077000076417,
    "multilingual_intent": 0.06674401749978642,
    "sst5": 0.06729772299968317,
    "triage": 0.26320916450004006
   }
  },
  {
   "runner": "kev-08b",
   "runId": "kev-08b-t4-c0",
   "model": "jaredpalmer/kev-0.8b",
   "revision": "bf75a6a8848ea6960ff2ed108d9ed44c2941174f",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "vendor-managed",
   "serving": "loopback-subprocess",
   "accuracy": 0.7725806451612903,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.9,
    "banking77_12": 0.8958333333333334,
    "emotion": 0.6875,
    "guardrails": 0.90625,
    "mnli": 0.48333333333333334,
    "moderation": 0.875,
    "multilingual_intent": 0.9,
    "sst5": 0.4166666666666667,
    "triage": 0.8697916666666666
   },
   "latencyP50": {
    "agnews": 0.0742077215001018,
    "banking77_12": 0.11744535449997784,
    "emotion": 0.08572593400003825,
    "guardrails": 0.07067980600004375,
    "mnli": 0.07551282999997966,
    "moderation": 0.09199253999997836,
    "multilingual_intent": 0.08707916300022589,
    "sst5": 0.0559353009998631,
    "triage": 0.18799735799996142
   }
  },
  {
   "runner": "metask",
   "runId": "metask-t4-m1",
   "model": "wayfind/metask-jev-4b-policy-mix",
   "revision": "ea20fe85b28733b1522721dec119bec50947a869",
   "baseModel": null,
   "scoring": "per_option_conditional_logprob",
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.7709677419354839,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.8875,
    "banking77_12": 0.8229166666666666,
    "emotion": 0.796875,
    "guardrails": 0.5104166666666666,
    "mnli": 0.6333333333333333,
    "moderation": 0.8888888888888888,
    "multilingual_intent": 0.7916666666666666,
    "sst5": 0.5666666666666667,
    "triage": 0.8645833333333334
   },
   "latencyP50": {
    "agnews": 0.5402487909996125,
    "banking77_12": 2.4265071039999384,
    "emotion": 0.7851080045002163,
    "guardrails": 0.4124208035000265,
    "mnli": 0.3948462959997414,
    "moderation": 0.6175726674991893,
    "multilingual_intent": 0.7885232250000627,
    "sst5": 0.6297107139998843,
    "triage": 1.254586979499436
   }
  },
  {
   "runner": "jpt-08b",
   "runId": "jpt-08b-t4-gpu1b",
   "model": "kirp/jpt-0.8b",
   "revision": "1431c0509bbc10772cd59964cc7af5835c8720d6",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "loopback-subprocess",
   "accuracy": 0.7701612903225806,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.93125,
    "banking77_12": 0.84375,
    "emotion": 0.7083333333333334,
    "guardrails": 0.9270833333333334,
    "mnli": 0.5833333333333334,
    "moderation": 0.875,
    "multilingual_intent": 0.7416666666666667,
    "sst5": 0.36666666666666664,
    "triage": 0.890625
   },
   "latencyP50": {
    "agnews": 0.16214820650020556,
    "banking77_12": 0.2087597879999521,
    "emotion": 0.16107791849935893,
    "guardrails": 0.2198936924996815,
    "mnli": 0.16200739200030512,
    "moderation": 0.3307241435004471,
    "multilingual_intent": 0.16245674499987217,
    "sst5": 0.15728392499931942,
    "triage": 0.4691060570003174
   }
  },
  {
   "runner": "decision-eos",
   "runId": "decision-eos-20261002",
   "model": "llm-semantic-router/Decision-1.0-Eos-0.8B",
   "revision": "bbdc2221d0ecb1a7929be9f5822bfc4394a4a1fb",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.7685483870967742,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.9,
    "banking77_12": 0.8541666666666666,
    "emotion": 0.6145833333333334,
    "guardrails": 0.8645833333333334,
    "mnli": 0.675,
    "moderation": 0.8611111111111112,
    "multilingual_intent": 0.9083333333333333,
    "sst5": 0.3416666666666667,
    "triage": 0.890625
   },
   "latencyP50": {
    "agnews": 1.344493960030377,
    "banking77_12": 2.5419689547270536,
    "emotion": 1.4614809416234493,
    "guardrails": 1.6953745405189693,
    "mnli": 1.266429157461971,
    "moderation": 2.589124030433595,
    "multilingual_intent": 1.467779581900686,
    "sst5": 1.1216103695333004,
    "triage": 5.092609973624349
   }
  },
  {
   "runner": "bosun-17b",
   "runId": "bosun-17b-t4-gpu1",
   "model": "Hanno-Labs/bosun-v3.1-1.7b",
   "revision": "1d8dc82a20e4a32ed60927a47272d6efff48eed2",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.7314516129032258,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.88125,
    "banking77_12": 0.9166666666666666,
    "emotion": 0.5104166666666666,
    "guardrails": 0.6979166666666666,
    "mnli": 0.5916666666666667,
    "moderation": 0.8611111111111112,
    "multilingual_intent": 0.9916666666666667,
    "sst5": 0.24166666666666667,
    "triage": 0.8854166666666666
   },
   "latencyP50": {
    "agnews": 0.08511612100028287,
    "banking77_12": 0.11768808099986927,
    "emotion": 0.08426589450027677,
    "guardrails": 0.16731879500002833,
    "mnli": 0.08613567749944195,
    "moderation": 0.2579475704997094,
    "multilingual_intent": 0.08784925749932881,
    "sst5": 0.08457774499947845,
    "triage": 0.40598527749989444
   }
  },
  {
   "runner": "intern-decision-08b",
   "runId": "intern-decision-08b-t4-gpu1",
   "model": "internlm/Intern-Decision-0.8B",
   "revision": "85a0cc5a99d67ea8d56dfe98115689212867171d",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.7112903225806452,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.88125,
    "banking77_12": 0.8541666666666666,
    "emotion": 0.6822916666666666,
    "guardrails": 0.34375,
    "mnli": 0.44166666666666665,
    "moderation": 0.8819444444444444,
    "multilingual_intent": 0.975,
    "sst5": 0.25,
    "triage": 0.875
   },
   "latencyP50": {
    "agnews": 0.1557423824997386,
    "banking77_12": 0.20429996849998133,
    "emotion": 0.1414002335004625,
    "guardrails": 0.16157575649958744,
    "mnli": 0.14804184550030186,
    "moderation": 0.19802570550018572,
    "multilingual_intent": 0.15461417049937154,
    "sst5": 0.14518850599961297,
    "triage": 0.22439240150015394
   }
  },
  {
   "runner": "decision-kai",
   "runId": "decision-kai-20261002",
   "model": "llm-semantic-router/Decision-1.0-Kai",
   "revision": "69aef4060cafad7e8bf812e0014da8097b30bf69",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.7104838709677419,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.81875,
    "banking77_12": 0.7708333333333334,
    "emotion": 0.640625,
    "guardrails": 0.8854166666666666,
    "mnli": 0.5833333333333334,
    "moderation": 0.8194444444444444,
    "multilingual_intent": 0.7833333333333333,
    "sst5": 0.13333333333333333,
    "triage": 0.8854166666666666
   },
   "latencyP50": {
    "agnews": 0.20184853207319975,
    "banking77_12": 0.28678497625514865,
    "emotion": 0.16557401046156883,
    "guardrails": 0.2080385792069137,
    "mnli": 0.17266205651685596,
    "moderation": 0.27183316741138697,
    "multilingual_intent": 0.19329836312681437,
    "sst5": 0.1485371384769678,
    "triage": 0.959862113930285
   }
  },
  {
   "runner": "gliner-decide",
   "runId": "probe-gliner-decide",
   "model": "fastino/GLiNER2.5-Decide",
   "revision": "5a7adf72a23b4d311abae6ce050d7f0012bb3416",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.7064516129032258,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.81875,
    "banking77_12": 0.84375,
    "emotion": 0.5989583333333334,
    "guardrails": 0.78125,
    "mnli": 0.39166666666666666,
    "moderation": 0.7430555555555556,
    "multilingual_intent": 0.6333333333333333,
    "sst5": 0.6333333333333333,
    "triage": 0.875
   },
   "latencyP50": {
    "agnews": 0.5832928670570254,
    "banking77_12": 0.6415173094719648,
    "emotion": 0.46078241476789117,
    "guardrails": 0.8391811060719192,
    "mnli": 0.5408642855472863,
    "moderation": 1.2597739533521235,
    "multilingual_intent": 0.4954256587661803,
    "sst5": 0.4668656634166837,
    "triage": 1.7083578300662339
   }
  },
  {
   "runner": "lavoir",
   "runId": "lavoir-t4-gpu0",
   "model": "moganai/lavoir",
   "revision": "4c5eaeb99b2368f1416b9893c7aacc58235aa09f",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "vendor-managed",
   "serving": "local",
   "accuracy": 0.7040322580645161,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.91875,
    "banking77_12": 0.8125,
    "emotion": 0.6979166666666666,
    "guardrails": 0.7291666666666666,
    "mnli": 0.5166666666666667,
    "moderation": 0.7916666666666666,
    "multilingual_intent": 0.5666666666666667,
    "sst5": 0.19166666666666668,
    "triage": 0.921875
   },
   "latencyP50": {
    "agnews": 0.06332648250008788,
    "banking77_12": 0.0829281419992185,
    "emotion": 0.061099436500626325,
    "guardrails": 0.11398844099949201,
    "mnli": 0.06341567250092339,
    "moderation": 0.1633905139997296,
    "multilingual_intent": 0.06585417799942661,
    "sst5": 0.061949122000442,
    "triage": 0.21889525749975292
   }
  },
  {
   "runner": "bosun-06b",
   "runId": "bosun-06b-20261002",
   "model": "Hanno-Labs/bosun-v3.1-0.6b",
   "revision": "1d8b6f9611f9b64b514ce8b57cd86398fbc31a3b",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.6975806451612904,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.875,
    "banking77_12": 0.8645833333333334,
    "emotion": 0.5208333333333334,
    "guardrails": 0.5104166666666666,
    "mnli": 0.525,
    "moderation": 0.8125,
    "multilingual_intent": 1.0,
    "sst5": 0.225,
    "triage": 0.8645833333333334
   },
   "latencyP50": {
    "agnews": 4.385493043810129,
    "banking77_12": 6.227610814850777,
    "emotion": 4.0636128364130855,
    "guardrails": 5.304835599381477,
    "mnli": 3.903826666995883,
    "moderation": 7.82967232959345,
    "multilingual_intent": 4.265827044378966,
    "sst5": 3.1437037852592766,
    "triage": 11.668583705555648
   }
  },
  {
   "runner": "laya",
   "runId": "laya-8cpu-smoke",
   "model": "convaiinnovations/laya",
   "revision": "55cf4c4ebb4ebe31b2550e8bdf3bd21b99753851",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.6862903225806452,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.85,
    "banking77_12": 0.8125,
    "emotion": 0.65625,
    "guardrails": 0.7604166666666666,
    "mnli": 0.5583333333333333,
    "moderation": 0.7569444444444444,
    "multilingual_intent": 0.45,
    "sst5": 0.3333333333333333,
    "triage": 0.875
   },
   "latencyP50": {
    "agnews": 0.5650898329913616,
    "banking77_12": 0.7569361696951091,
    "emotion": 0.4058979097753763,
    "guardrails": 0.6053035715594888,
    "mnli": 0.5243661743588746,
    "moderation": 0.7194651570171118,
    "multilingual_intent": 0.5571852135472,
    "sst5": 0.34553005592897534,
    "triage": 1.3629978806711733
   }
  },
  {
   "runner": "gliner-base",
   "runId": "gliner-base-20261002",
   "model": "fastino/gliner2.5-base-v1",
   "revision": "ca906247640776a07753514055be9726f9080ead",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.6362903225806451,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.84375,
    "banking77_12": 0.8229166666666666,
    "emotion": 0.671875,
    "guardrails": 0.59375,
    "mnli": 0.48333333333333334,
    "moderation": 0.6180555555555556,
    "multilingual_intent": 0.6166666666666667,
    "sst5": 0.375,
    "triage": 0.640625
   },
   "latencyP50": {
    "agnews": 0.1758062564767897,
    "banking77_12": 0.19236106285825372,
    "emotion": 0.14151901379227638,
    "guardrails": 0.2671657893806696,
    "mnli": 0.16075220610946417,
    "moderation": 0.38368184212595224,
    "multilingual_intent": 0.15341976890340447,
    "sst5": 0.14203476626425982,
    "triage": 0.5205726926214993
   }
  },
  {
   "runner": "gliner-multi",
   "runId": "gliner-multi-20261002",
   "model": "fastino/gliner2.5-multi-v1",
   "revision": "2ca71aafb3446d9014e1c55c7ff51c9bc7209c47",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.5862903225806452,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.85,
    "banking77_12": 0.875,
    "emotion": 0.5625,
    "guardrails": 0.6145833333333334,
    "mnli": 0.5,
    "moderation": 0.2222222222222222,
    "multilingual_intent": 0.8416666666666667,
    "sst5": 0.3333333333333333,
    "triage": 0.5572916666666666
   },
   "latencyP50": {
    "agnews": 0.20232304278761148,
    "banking77_12": 0.21399675216525793,
    "emotion": 0.1618248033337295,
    "guardrails": 0.2950698179192841,
    "mnli": 0.1795314010232687,
    "moderation": 0.4389920295216143,
    "multilingual_intent": 0.164664086420089,
    "sst5": 0.17321068095043302,
    "triage": 0.595372146461159
   }
  },
  {
   "runner": "jobe",
   "runId": "jobe-t4-t0",
   "model": "Qwen/Qwen3.5-4B-Base",
   "revision": "1001bb4d826a52d1f399e183466143f4da7b741b",
   "baseModel": "Qwen/Qwen3.5-4B-Base",
   "scoring": "per_option_conditional_logprob",
   "techniqueReimplementation": true,
   "vendorCodeExecuted": false,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.5854838709677419,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.9125,
    "banking77_12": 0.3854166666666667,
    "emotion": 0.7395833333333334,
    "guardrails": 0.9166666666666666,
    "mnli": 0.39166666666666666,
    "moderation": 0.4861111111111111,
    "multilingual_intent": 0.3333333333333333,
    "sst5": 0.55,
    "triage": 0.46875
   },
   "latencyP50": {
    "agnews": 0.510986902500008,
    "banking77_12": 1.5503294610007288,
    "emotion": 0.6657523480007512,
    "guardrails": 0.4265718390033726,
    "mnli": 0.376983307500268,
    "moderation": 0.6561471669992898,
    "multilingual_intent": 0.6400214565001079,
    "sst5": 0.6149267259988846,
    "triage": 1.2021247605007375
   }
  },
  {
   "runner": "decision-lex",
   "runId": "decision-lex-20261002",
   "model": "llm-semantic-router/decision-1.0-lex",
   "revision": "1f9750a75ae9d32825e7f29ae44c1e1406676884",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.582258064516129,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.70625,
    "banking77_12": 0.71875,
    "emotion": 0.5572916666666666,
    "guardrails": 0.3020833333333333,
    "mnli": 0.39166666666666666,
    "moderation": 0.7291666666666666,
    "multilingual_intent": 0.7416666666666667,
    "sst5": 0.11666666666666667,
    "triage": 0.7760416666666666
   },
   "latencyP50": {
    "agnews": 0.1945914952084422,
    "banking77_12": 0.2887669471092522,
    "emotion": 0.15740339923650026,
    "guardrails": 0.20525704929605126,
    "mnli": 0.17736502038314939,
    "moderation": 0.2682850123383105,
    "multilingual_intent": 0.19043852761387825,
    "sst5": 0.13748808670789003,
    "triage": 0.9601314743049443
   }
  },
  {
   "runner": "lev",
   "runId": "lev-t4-s1",
   "model": "interfaze-ai/lev",
   "revision": "7bdc748dffebd85b57ee0dbea8f994c6354fed31",
   "baseModel": "Qwen/Qwen3.5-4B",
   "scoring": "option_letter_logits",
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.5612903225806452,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.49375,
    "banking77_12": 0.7291666666666666,
    "emotion": 0.3072916666666667,
    "guardrails": 0.9375,
    "mnli": 0.39166666666666666,
    "moderation": 0.8055555555555556,
    "multilingual_intent": 0.225,
    "sst5": 0.5666666666666667,
    "triage": 0.7291666666666666
   },
   "latencyP50": {
    "agnews": 0.1451976749995083,
    "banking77_12": 0.14964621650051413,
    "emotion": 0.13915585299946542,
    "guardrails": 0.2719510964998335,
    "mnli": 0.14189403600084916,
    "moderation": 0.4011533345001226,
    "multilingual_intent": 0.13831731649952417,
    "sst5": 0.13888422199943307,
    "triage": 0.531170249499155
   }
  },
  {
   "runner": "verdict",
   "runId": "verdict-t4-j0",
   "model": "heman10x/rlcd-modernbert-151m",
   "revision": "8af2496eb63c7fa66d7d234e1f62629380030eb4",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float32",
   "serving": "local",
   "accuracy": 0.5532258064516129,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.69375,
    "banking77_12": 0.8229166666666666,
    "emotion": 0.484375,
    "guardrails": 0.4583333333333333,
    "mnli": 0.45,
    "moderation": 0.6111111111111112,
    "multilingual_intent": 0.5083333333333333,
    "sst5": 0.2,
    "triage": 0.6875
   },
   "latencyP50": {
    "agnews": 0.021300254999914614,
    "banking77_12": 0.02035801850070129,
    "emotion": 0.020517417999144527,
    "guardrails": 0.04088539900021715,
    "mnli": 0.02118991750103305,
    "moderation": 0.06171785300011834,
    "multilingual_intent": 0.02006075349981984,
    "sst5": 0.020319950000157405,
    "triage": 0.08191414499924576
   }
  },
  {
   "runner": "gliner-small",
   "runId": "gliner-small-20261002",
   "model": "fastino/gliner2.5-small-v1",
   "revision": "7132dc4561c3f94563c6147e75ffa8ef34c4964a",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.5419354838709678,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.8875,
    "banking77_12": 0.8020833333333334,
    "emotion": 0.5677083333333334,
    "guardrails": 0.5625,
    "mnli": 0.6,
    "moderation": 0.2847222222222222,
    "multilingual_intent": 0.5333333333333333,
    "sst5": 0.25,
    "triage": 0.4322916666666667
   },
   "latencyP50": {
    "agnews": 0.06921240547671914,
    "banking77_12": 0.07848348282277584,
    "emotion": 0.05594053538516164,
    "guardrails": 0.10009049344807863,
    "mnli": 0.06539627769961953,
    "moderation": 0.15953484922647476,
    "multilingual_intent": 0.06075983960181475,
    "sst5": 0.06124052405357361,
    "triage": 0.2287277840077877
   }
  },
  {
   "runner": "mojev",
   "runId": "mojev-20261002",
   "model": "MoLeMo-Lab/mojev",
   "revision": "0c8695b6252f4205907433d4e196a94f032e60c3",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.5395161290322581,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.70625,
    "banking77_12": 0.8125,
    "emotion": 0.34375,
    "guardrails": 0.2916666666666667,
    "mnli": 0.4166666666666667,
    "moderation": 0.7291666666666666,
    "multilingual_intent": 0.4583333333333333,
    "sst5": 0.2,
    "triage": 0.78125
   },
   "latencyP50": {
    "agnews": 4.323480703867972,
    "banking77_12": 4.916654753033072,
    "emotion": 3.689595472998917,
    "guardrails": 3.037145578302443,
    "mnli": 3.875194086227566,
    "moderation": 3.3143834229558706,
    "multilingual_intent": 3.9365898543037474,
    "sst5": 2.7338302079588175,
    "triage": 5.602745029143989
   }
  },
  {
   "runner": "julia-1",
   "runId": "julia-1-t4-gpu1",
   "model": "SupersonicLabs/Julia-1",
   "revision": "a85b127321d580d65176c89ced8273f305745d85",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.5016129032258064,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.46875,
    "banking77_12": 0.8958333333333334,
    "emotion": 0.5364583333333334,
    "guardrails": 0.3020833333333333,
    "mnli": 0.3416666666666667,
    "moderation": 0.3819444444444444,
    "multilingual_intent": 0.75,
    "sst5": 0.225,
    "triage": 0.6041666666666666
   },
   "latencyP50": {
    "agnews": 0.028983693499867513,
    "banking77_12": 0.029241713000374148,
    "emotion": 0.02954348600087542,
    "guardrails": 0.029919128000074124,
    "mnli": 0.0288702515008481,
    "moderation": 0.029096234999087756,
    "multilingual_intent": 0.028918370000610594,
    "sst5": 0.028603632999875117,
    "triage": 0.058433851499103184
   }
  },
  {
   "runner": "lumma-fev-06b",
   "runId": "lumma-fev-06b-20261002",
   "model": "FrontiersMind/Lumma-fev-0.6b",
   "revision": "59272e2c10506d99a464c999dcaa91b5108c3640",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.4814516129032258,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.86875,
    "banking77_12": 0.875,
    "emotion": 0.5520833333333334,
    "guardrails": 0.65625,
    "mnli": 0.25833333333333336,
    "moderation": 0.2777777777777778,
    "multilingual_intent": 0.06666666666666667,
    "sst5": 0.26666666666666666,
    "triage": 0.4895833333333333
   },
   "latencyP50": {
    "agnews": 3.076081534847617,
    "banking77_12": 4.506109265610576,
    "emotion": 2.4684823947027326,
    "guardrails": 2.2435793024487793,
    "mnli": 2.5798832844011486,
    "moderation": 3.24816234735772,
    "multilingual_intent": 2.939516917336732,
    "sst5": 1.4421747187152505,
    "triage": 10.099983653053641
   }
  },
  {
   "runner": "harsha",
   "runId": "harsha-t4-u1",
   "model": "Qwen/Qwen2.5-1.5B",
   "revision": "8faed761d45a263340a0528343f099c05c9a4323",
   "baseModel": "Qwen/Qwen2.5-1.5B",
   "scoring": "per_option_conditional_logprob",
   "techniqueReimplementation": true,
   "vendorCodeExecuted": false,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.4338709677419355,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.49375,
    "banking77_12": 0.2604166666666667,
    "emotion": 0.6041666666666666,
    "guardrails": 0.7083333333333334,
    "mnli": 0.39166666666666666,
    "moderation": 0.2638888888888889,
    "multilingual_intent": 0.2833333333333333,
    "sst5": 0.48333333333333334,
    "triage": 0.3802083333333333
   },
   "latencyP50": {
    "agnews": 0.20014845349942334,
    "banking77_12": 0.6137205810000523,
    "emotion": 0.30657142200016096,
    "guardrails": 0.20956163499977265,
    "mnli": 0.15337181799986865,
    "moderation": 0.3002555824996307,
    "multilingual_intent": 0.30560257350043685,
    "sst5": 0.25626633950014366,
    "triage": 0.5941905584995766
   }
  },
  {
   "runner": "lumma-fev-01b",
   "runId": "lumma-fev-01b-20261002",
   "model": "FrontiersMind/Lumma-fev-0.1b",
   "revision": "085f4705aa860a6404d6cc3ff17de8a2969ac0f4",
   "baseModel": null,
   "scoring": null,
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cpu",
   "dtype": null,
   "serving": "local",
   "accuracy": 0.41935483870967744,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.875,
    "banking77_12": 0.71875,
    "emotion": 0.5104166666666666,
    "guardrails": 0.2708333333333333,
    "mnli": 0.38333333333333336,
    "moderation": 0.2847222222222222,
    "multilingual_intent": 0.0,
    "sst5": 0.14166666666666666,
    "triage": 0.4322916666666667
   },
   "latencyP50": {
    "agnews": 1.4039024049416184,
    "banking77_12": 2.102947974577546,
    "emotion": 1.1527499686926603,
    "guardrails": 1.052085270639509,
    "mnli": 1.1979926973581314,
    "moderation": 1.519623456057161,
    "multilingual_intent": 1.3679182035848498,
    "sst5": 0.6888099289499223,
    "triage": 4.644265817012638
   }
  },
  {
   "runner": "lfm2600",
   "runId": "lfm2600-t4-n0",
   "model": "monotykamary/LFM2.5-2.6B-RLCD",
   "revision": "31455458983bdbdc41b69ebbcedabd0d5de299c9",
   "baseModel": null,
   "scoring": "per_option_conditional_logprob",
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.38548387096774195,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.175,
    "banking77_12": 0.3333333333333333,
    "emotion": 0.2604166666666667,
    "guardrails": 0.5416666666666666,
    "mnli": 0.30833333333333335,
    "moderation": 0.6875,
    "multilingual_intent": 0.16666666666666666,
    "sst5": 0.5083333333333333,
    "triage": 0.515625
   },
   "latencyP50": {
    "agnews": 0.18695499600016774,
    "banking77_12": 0.5657496214989806,
    "emotion": 0.2638227889992777,
    "guardrails": 0.17279347050043725,
    "mnli": 0.13833185250041424,
    "moderation": 0.2653692289995888,
    "multilingual_intent": 0.26560639050057944,
    "sst5": 0.22013443750074657,
    "triage": 0.47305762200085155
   }
  },
  {
   "runner": "lfm350",
   "runId": "lfm350-t4-m0",
   "model": "notnotsamuel/LFM2.5-350M-RLCD",
   "revision": "deb589d803d141cabd158ef55f6617b128529f36",
   "baseModel": null,
   "scoring": "per_option_conditional_logprob",
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.36693548387096775,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.53125,
    "banking77_12": 0.13541666666666666,
    "emotion": 0.5208333333333334,
    "guardrails": 0.7083333333333334,
    "mnli": 0.36666666666666664,
    "moderation": 0.2708333333333333,
    "multilingual_intent": 0.16666666666666666,
    "sst5": 0.325,
    "triage": 0.24479166666666666
   },
   "latencyP50": {
    "agnews": 0.11213615299948287,
    "banking77_12": 0.2967423654999948,
    "emotion": 0.15201465249901958,
    "guardrails": 0.09914911650048452,
    "mnli": 0.07364381400020648,
    "moderation": 0.14518688849966566,
    "multilingual_intent": 0.14799871450031787,
    "sst5": 0.12365115600005083,
    "triage": 0.28750075999960245
   }
  },
  {
   "runner": "pngwn",
   "runId": "pngwn-t4-x0",
   "model": "pngwn/system-one-qwen3.5-4b-scorer-v2b",
   "revision": "3ec7785bf6aa1e8b0ade992c85206d46711d86c2",
   "baseModel": "Qwen/Qwen3.5-4B-Base",
   "scoring": "per_option_scalar_head_softmax",
   "techniqueReimplementation": false,
   "vendorCodeExecuted": null,
   "sharding": null,
   "singleDevice": null,
   "device": "cuda",
   "dtype": "float16",
   "serving": "local",
   "accuracy": 0.27338709677419354,
   "cases": 952,
   "decisions": 1240,
   "suites": {
    "agnews": 0.3625,
    "banking77_12": 0.2604166666666667,
    "emotion": 0.09375,
    "guardrails": 0.7083333333333334,
    "mnli": 0.4,
    "moderation": 0.2708333333333333,
    "multilingual_intent": 0.16666666666666666,
    "sst5": 0.15833333333333333,
    "triage": 0.22916666666666666
   },
   "latencyP50": {
    "agnews": 0.5756073260017729,
    "banking77_12": 1.6744668170013028,
    "emotion": 0.8374364075007179,
    "guardrails": 0.5767845819991635,
    "mnli": 0.4226889210003719,
    "moderation": 0.8458714115004113,
    "multilingual_intent": 0.8413218340010644,
    "sst5": 0.7047449309993681,
    "triage": 1.5539991739988182
   }
  }
 ],
 "duplicates": {
  "repeatedRuns": {
   "decider-2b": [
    "decider-2b-t4-c0",
    "decider-2b-t4-d0"
   ],
   "tev1-08b": [
    "tev1-08b-20261002",
    "tev1-08b-t4-g1"
   ]
  },
  "identicalPredictions": {
   "952:544fc02392c51e9070d6f4945333125d": [
    "mini-jev",
    "openvons"
   ]
  },
  "runnersCountedOnce": [
   "openvons"
  ]
 }
}