OpenAI e bëri Decisions API të disponueshme për të gjithë klientët të enjten, pas prezantimit më 29 shtator. Produkti konkurron me Jev të TypeSafe në tregun e modeleve që zgjedhin shpejt mes disa alternativave dhe japin një vlerësim besueshmërie për vendimin, me kosto më të ulët se LLM-të në disa procese pune.
Në vend që të ndërtonte një model të posaçëm, OpenAI rikonfiguroi ChatGPT Luna për të përshpejtuar inferencën dhe ulur kostot. Sipas Nikunj Handa, drejtues i produkteve API, koha e përgjigjes ra nga 1–3 sekonda në 100–180 milisekonda. Versioni publik shton mbështetje për zërin dhe imazhet, si dhe shpërndarje gjeografike të burimeve për të ulur vonesat.
Mes klientëve që e testuan janë Box, Datadog, Ramp dhe Speak. Kjo e fundit, që zhvillon tutorë gjuhësh me AI, raportoi ulje të kohës mes veprimeve nga 1,4 në 0,13 sekonda. OpenAI e përdori produktin edhe për të përmirësuar reagimin e asistentit zanor Dots.
Megjithatë, rezultatet varen nga detyra dhe ekuilibri mes aftësive, kostos e shpejtësisë. Në AIM System One Index dhe Artificial Analysis Decision Index, modeli i OpenAI renditet përkatësisht i teti dhe i katërmbëdhjeti, ndërsa Jev i shtati dhe i treti. Modelet e TypeSafe mbeten aktualisht më të përdorurat për kërkesa në OpenRouter.
Burimi: TechCrunch – AI — lexoni artikullin e plotë në anglisht.
