Tracing
Zeigt, was passiert ist.
- Agent gestartet
- Retriever ausgeführt
- Tool aufgerufen
- Antwort generiert
- Response geliefert
Alles lief wie geplant.
KI fertig. Trotzdem gescheitert.
Tracing zeigt, was ausgeführt wurde. Witdem zeigt, ob der Lauf sein Produktziel erreicht hat, was er gekostet hat und warum.
Open Source · Apache 2.0 · Self-hosted
Witdem
Zeigt, ob das Ziel erreicht wurde.
Produktziel nicht erreicht.
Der Lauf hat das gewünschte Ergebnis nicht geliefert.
- Fügt sich in Ihren bestehenden AI-Stack ein.
- Analysiert Live-Traffic und historische Traces.
- Unterstützung von Integration bis zum produktiven Betrieb.
Ihr Trace ist grün. Ihr Kunde hat trotzdem nicht das richtige Ergebnis bekommen.
- LLM call
- 200 OK
- Kein Produktziel-Ergebnis
Definieren Sie, was Erfolg heißt.
Sie definieren, was Erfolg heißt. Witdem wertet den Lauf gegen diese Definition aus.
01 Erfolg definieren
Schreiben Sie das Produktziel auf.
Benennen Sie das gewünschte Ergebnis in .witdem/witdem.yaml.
02 System laufen lassen
Lassen Sie die Anwendung wie bisher laufen.
Witdem ersetzt die Pipeline nicht. Der Workflow läuft, wie er schon läuft.
03 Auswerten
Witdem wertet den Lauf aus.
Es prüft den Lauf gegen die Definition, die Sie geschrieben haben. Runtime-Erfolg ist nicht das Ziel.
Der Auftrag ist eine nicht leere Antwort. Artefaktgültigkeit ist das Ziel.
version: 1
service:
name: boolean-answer-agent
runtime: langgraph
telemetry:
capture_content: false
contracts:
answer:
artifact:
name: Agent answer
valid:
non_empty: $.answer
decision:
name: Answer validity
expected: true
observed: $.witdem.artifact_valid
product_goal:
name: Useful answer returned
achieved: $.witdem.artifact_validversion: 1
service:
name: classification-agent
runtime: langgraph
telemetry:
capture_content: false
contracts:
qualification:
artifact:
name: Company profile
valid:
non_empty: $.profile
decision:
name: Qualification decision
outcomes:
accepted: The company qualifies.
rejected: The company does not qualify.
escalated: Human review is required.
expected: $.expected_decision
observed: $.decision
product_goal:
name: Correct company qualification
achieved:
all:
- $.witdem.artifact_valid
- $.witdem.decision_correctversion: 1
service:
name: grounded-rag
runtime: haystack
telemetry:
capture_content: false
contracts:
grounded_answer:
artifact:
name: Grounded answer
valid:
non_empty: $.answer
decision:
name: Grounding decision
expected: true
observed: $.grounded
product_goal:
name: Successful grounded answer
achieved:
all:
- $.witdem.artifact_valid
- $.witdem.decision_correct
evidence_sufficient: $.grounded
evaluations:
- name: Groundedness
score: $.groundedness_score
target: 0.85
direction: higher_is_betterKein Raten
Zuordnungen sind deklariert. Das SDK erzeugt sie nicht, und es schließt aus einem grünen Span nicht auf geschäftlichen Erfolg.
Kein stiller Richter
Witdem wählt kein Modell, um Ihr Output zu bewerten. Wenn Sie einen Qualitätsscore haben, geben Sie ihn zurück. Der Vertrag liest ihn.
Keine versteckte Geschäftslogik
Die Datei ist explizit, versionierbar und gehört der Anwendung. Ändern Sie die Bedeutung von Erfolg in YAML, nicht in einem Dashboard-Schalter.
Jetzt können Sie beides zeigen. Den Lauf, und ob er den Auftrag erfüllt hat.
- LLM call
- 200 OK
- Execution completed
- Produktziel erreicht
Kosten
Wissen Sie, was Ihre KI kostet – und warum?
Witdem zeigt, was Ihre KI kostet, wo die Kosten entstehen und welches Ergebnis dabei herauskommt.
Beispieldaten zur Veranschaulichung.
Kosten ohne Kontext sind nur eine Zahl.
Ausführungsübersicht
-
Ausführungen
1,842,910 ↗ 12.4% vs. letzte 30 Tage -
Gesamtkosten
$1,843,210 ↗ 8.1% vs. letzte 30 Tage -
Tokens
18.4B ↗ 6.2% vs. letzte 30 Tage -
Kosten pro Ausführung
$1.00 ↗ 3.4% vs. letzte 30 Tage -
Durchschnittliche Laufzeit
4.8s ↗ 1.1% vs. letzte 30 Tage
Kosten im Zeitverlauf
$1,843,210 Gesamtkosten
Teuerste Workflows
- Support Agent 42%
- Recipe Assistant 28%
- Invoice Parser 18%
- Andere 12%
Teuerste Modelle
Ergebnisüberblick
Abgesichert
Erreicht87.4%Braucht Aufmerksamkeit
Erreicht6.3%Nicht erreicht
Ziel verfehlt6.3%
Zielerreichungsrate 93.7%
Kostentreiber
Wo sich die Kosten auf dem ausgeführten Pfad konzentrieren.
| Treiber | Ausführungen | Kosten | Anteil |
|---|---|---|---|
| Retry-Pfad | 38,416 | $642,180 | 35% |
| Langer Kontext | 82,200 | $479,235 | 26% |
| Tool-Schleifen | 41,800 | $239,617 | 13% |
| Teure Modellroute | 60,400 | $202,753 | 11% |
| Andere | 120,400 | $279,425 | 15% |
Illustration
Wo die Kosten sitzen
$1,121,415 auf Retries und langem Kontext
- Retries, die das Ziel trotzdem verfehlen
- Kontext, der länger ist als der Auftrag braucht
- Tool-Schleifen, die Kosten addieren, ohne das Ergebnis zu ändern
Kosten vs. Tempo
Support Agent. Dasselbe Produktziel. Unterschiedliche Kosten und Laufzeit.
| Modell | Ausführungen | Ø Kosten | Ø Laufzeit | Produktziel |
|---|---|---|---|---|
| openai · gpt-4.1 | 84,200 | $0.81 | 8.4s | Erreicht |
| anthropic · claude-sonnet | 61,100 | $0.54 | 6.2s | Erreicht |
| ollama · llama3.1 | 20,400 | Nicht gemessen | 11.1s | Erreicht |
Kosten nach Bereich
Sehen Sie, was Ihre KI tatsächlich getan hat.
Passt in Ihren bestehenden AI-Stack.
Witdem funktioniert mit den Frameworks, Modellen und Telemetrie-Standards, die Ihre KI bereits nutzt.
Ihr bestehender AI-Stack Witdem Bedeutung
Agent-Frameworks
Pipelines, Agenten und Retrieval.
Graphen, Knoten, Tools und Streaming.
Chains, Tools und Retriever.
Agenten, Tools und Handoffs.
Agent-Steps, Modelle und Tools.
Modelle, Provider und Telemetrie
Messages API und Claude Agent SDK.
Model-Routing, Nutzung und Kosten.
Routing über mehrere Provider.
Eigene Anwendungsschritte instrumentieren.
Standard-OTLP-Telemetrie.
Kein neuer Orchestrator. Keine neue Runtime.
Witdem ergänzt Ihren bestehenden Stack um die Bedeutung hinter Ihren Traces.
Das Prinzip
Gebaut auf Evidenz, nicht auf Annahmen.
Witdem zeigt, was Ihr System tatsächlich beobachtet hat. Fehlende Informationen werden nicht durch Annahmen ersetzt.
-
01
Der Vertrag
Ihre Anwendung definiert, was Erfolg bedeutet.
Witdem bewertet den Lauf anhand dieser Definition.
-
02
Was beobachtet wurde
Ausführungspfade stammen aus dem tatsächlichen Lauf.
Einschließlich Verzweigungen, Schleifen und Parallelität.
-
03
Fehlendes bleibt fehlend
Unbekannte Kosten, Tokens oder andere Messwerte bleiben unbekannt.
Fehlende Daten werden nicht stillschweigend zu null.
Sie haben schon einen Agenten. Ergänzen Sie drei Dinge.
Witdem ersetzt Ihre Pipeline nicht. Sie installieren eine Bibliothek, wrappen die Funktion, die Sie schon aufrufen, und schreiben eine Datei, die ein gutes Ergebnis benennt. Dann laufen Sie die Anwendung genau so wie heute.
-
01
SDK installieren
Ein Paket. Wählen Sie das Extra, das zu Ihrem Stack passt.
pip install "witdem-sdk[haystack]"Haystack-Extra. Stable.
-
02
Den Einstieg einmal wrappen
Bestehende
run- undinvoke-Aufrufe bleiben, wie sie sind.from witdem_sdk.integrations.haystack import instrument pipeline = instrument(build_pipeline()) result = pipeline.run(data) -
03
Aufschreiben, was Erfolg heißt
Legen Sie
.witdem/witdem.yamlan. Das ist der Vertrag. Ohne ihn kann Witdem den Trace zeigen. Es kann Ihnen nicht sagen, ob das Produktziel erreicht wurde.
Witdem in Aktion sehen.
Von einer Zeile Setup und zwei Zeilen Instrumentierung zu einem gemessenen Lauf, seinem Ausführungsgraphen, dem Geschäftsergebnis, den Kosten und der Vertragsevidenz.
Sie betreiben KI-Agenten bereits im Produktivbetrieb.
Wissen Sie, was sie tatsächlich liefern und kosten?
- Sie betreiben viele KI-Agenten und Workflows bereits produktiv. Witdem zeigt, ob sie tatsächlich das gewünschte Ergebnis liefern.
- Witdem fügt sich in Ihren bestehenden AI-Stack ein, analysiert Live-Traffic und wertet auch historische Traces aus.
- Unser Customer-Success-Team unterstützt Sie bei Integration, Inbetriebnahme und produktivem Betrieb.
Enterprise-Fähigkeiten
Für den Produktivbetrieb gebaut. Für große Volumen ausgelegt.
Analyse nahezu in Echtzeit
Sehr große Trace-Volumen mit Enterprise-Infrastruktur auswerten.
Enterprise-Funktion
Bestehende Traces nachträglich auswerten
Historische Telemetrie nachträglich in Witdem auswerten.
Enterprise-Funktion
Integration
Witdem in Ihre bestehende KI-Infrastruktur integrieren.
Enterprise-Funktion
Customer Success
Unterstützung von der Integration bis zum produktiven Betrieb.
Enterprise-Funktion