Wofür wird Jev genutzt? Routing, Guardrails und Klassifikation

Modell-Routing: das günstigste Modell wählen, das die Aufgabe schafft

Lassen Sie Jev die Anfrage lesen und nach Ihren Kriterien ein Modell wählen: schnell und günstig für Lookups und Extraktion, leistungsfähiger für Architektur und Entscheidungen mit hohem Risiko. LangChain bietet dafür eine experimentelle ModelRouterMiddleware, und die Wahrscheinlichkeiten bleiben im Agent-Zustand verfügbar.

from langchain.agents import create_agent
from langchain_typesafe.experimental.middleware import (
    ModelChoice, ModelRouterMiddleware,
)

router = ModelRouterMiddleware(
    choices={
        "fast": ModelChoice(model="<cheap-model>",
                            criteria="Lookups, extraction, small edits."),
        "strong": ModelChoice(model="<strong-model>",
                              criteria="Architecture, high-stakes calls."),
    },
    instructions="Pick the cheapest model that can finish the task.",
)
agent = create_agent("<default-model>", middleware=[router])

LangChain-Leitfaden zu Jev

Agenten-Guardrail: riskante Tool-Aufrufe blockieren, bevor sie laufen

Ein Agent kann durch schlechte Anweisungen oder einen Angreifer in die Irre geführt werden. Coding-Tools klassifizieren gefährliche Aktionen bereits vor der Ausführung, und ein günstiger Klassifikator erlaubt dieselbe Prüfung für jeden Agenten. Die experimentelle AutoModeMiddleware von LangChain nutzt Jev, um Tool-Aufrufe zu prüfen und riskante zu blockieren, bevor das Tool ausgeführt wird.

from langchain.agents import create_agent
from langchain_typesafe.experimental.middleware import AutoModeMiddleware

guardrail = AutoModeMiddleware(tools=["bash"])
agent = create_agent("<your-model>", middleware=[guardrail])

LangChain-Leitfaden zu Jev

Ticket-Triage und Intent-Routing

Eine einzige Anfrage kann das zuständige Team (Choice), die Frustration (Score) und die Dringlichkeit der Nachricht (Noul) liefern. Ihr Code entscheidet danach: automatische Antwort, Eskalation oder Übergabe an einen Menschen. TypeSafe dokumentiert dafür Muster für Intent-Routing und Konfidenz-Routing.

res = client.system_one(
    state=ticket_text,
    questions={
        "team": Choice(instructions="Who should handle this",
                       criteria={"billing": "Payments", "technical": "Bugs"}),
        "urgent": Noul(instructions="Needs a reply today"),
    },
)
if res.answers["urgent"].noul > 0.9:
    escalate(ticket_text)

Muster Intent-Routing

LLM-Guardrails: jede ein- und ausgehende Nachricht prüfen

Beschreiben Sie die Gefahren, die Ihnen wichtig sind, etwa „Ist das ein Jailbreak-Versuch?“, und bewerten Sie, wie schädlich ein Befolgen wäre. Setzen Sie Schwellen auf die Wahrscheinlichkeiten: Ihr Code entscheidet, ob durchgelassen, geprüft, blockiert oder umgeleitet wird. Das Cookbook von TypeSafe prüft beide Richtungen einer LLM-App mit einer einzigen Anfrage.

Cookbook LLM-Guardrails

RAG-Passagen filtern

Bewerten Sie jede abgerufene Passage mit einer Anfrage und entscheiden Sie im Code, welche das antwortende Modell erreichen. Behalten und kennzeichnen Sie Passagen, die der Frage widersprechen, und verwerfen Sie solche mit versteckter Anweisung oder Prompt-Injection.

Cookbook RAG-Passagen

Re-Ranking und semantische Suche

Im Re-Ranking-Cookbook von TypeSafe hob eine Frage pro Paar aus Anfrage und Kandidat die Top-1-Genauigkeit von 5 % auf 18 % und die Top-10-Genauigkeit von 38 % auf 62 % bei 40 juristischen Anfragen, ausgehend von BM25-Vorauswahlen mit 30 Passagen. Ein weiteres Cookbook baut eine zeilenweise semantische Suche über Nutzungsbedingungen.

Cookbook Re-Ranking

Zitate prüfen

Erkennen Sie falsche oder erfundene Zitate, indem Sie sie mit ihrer Quelle abgleichen. Eine Choice-Frage entscheidet, ob der Kontext des Zitats die Aussage stützt, und ihre Konfidenz kann eine menschliche Prüfung auslösen.

Cookbook Zitatprüfung

Strukturierte Extraktion und Function Calling

Fragen Sie Jev nach den in einem Dokument benannten Bestandteilen und lösen und validieren Sie diese dann im Code mit konfidenzbasierter Prüfung. Dieselbe Idee wandelt Anfragen in natürlicher Sprache in Aufrufe typisierter Funktionen um: Funktionsnamen und Argumente mit geschlossenem Wertebereich werden zu konfidenzbewussten Fragen.

Cookbook Function Calling

Echtzeit-Anwendungen und Daten in großem Maßstab

Bei rund 100 ms pro Aufruf kann KI in Codepfaden arbeiten, in denen die Nutzererfahrung kritisch ist. Zu TypeSafes Demos gehören ein Doom-Bot mit etwa 10 Anfragen pro Sekunde, laut Unternehmen rund 7 $ pro Stunde, und ein Wikiracing-Agent. Bei großen Datenmengen lautet die Idee, riesige Korpora per Map-Reduce-Aufrufen in Merkmale und Erkenntnisse zu verwandeln.

Launch-Artikel von TypeSafe