Nebeneinander

Witdem und Arize Phoenix

Unterschiedliche Jobs auf demselben agentischen Stack — Observability und Evals vs. Produktziele. Witdem ersetzt Arize Phoenix nicht.

Worin Arize Phoenix stark ist

Arize Phoenix ist offene Software zum Beobachten und Prüfen von Läufen. Teams greifen danach, wenn sie Traces, Einblicke in Embeddings und Eval-Abläufe für RAG und Agenten brauchen. Nicht für eine Scorecard zum Produkt-Job.

Prüfbare Stärken, die in der Praxis zählen:

• Offenes Beobachten und Prüfen unter dem Arize-Dach
• Traces mit OpenInference und OTEL für LLM- und Agent-Läufe
• Tooling für Embeddings und Evals bei RAG und Agenten
• Stark für Teams, die schon mit Arize oder Phoenix arbeiten

Diese Stärken bleiben wertvoll. Auch mit einer Outcomes-Schicht. Sie sagen: Wie lief der Lauf? Und wie war die Qualität?

Was Witdem ergänzt

Witdem stellt eine andere Frage. Hat dieser Lauf das Ziel erreicht, das du genannt hast? Das heißt: ein Ziel neben dem Code. Felder als Beleg auf derselben Lauf-ID. Wenn sinnvoll, auch Spend an diesem Job.

Ein sauberer Phoenix-Trace kann die Produktfrage offen lassen. Ein guter Eval-Score auch. Fertige Spans können stimmen. Checks an Embeddings können gut aussehen. Ein grüner Qualitäts-Check kann passen. Die Antwort kann trotzdem leer sein. Oder ohne Beleg. Oder außerhalb des Contracts. Witdem schließt diese Lücke. Es verlangt von Phoenix nicht, Product Analytics zu spielen.

Wenn du beides nutzt

Der Weg ist einfach. Phoenix für Traces, Einblicke in Embeddings und Eval-Abläufe. Witdem, wenn du klar wissen willst: War der Job erfolgreich? Beide an eine Ausführung anbinden. Nicht als Rivalen um einen Slot.

Das Diagramm ist eine Karte der Jobs. Kein Ranking. Andere Tools können auf beiden Bändern sitzen. Die Labels zeigen, wo jedes Produkt typisch stark ist.

Grenzen — wann eines allein nicht reicht

Witdem allein reicht nicht, wenn du einen schlechten Retrieval-Pfad suchst. Auch nicht bei Checks an Embeddings oder Qualitäts-Evals à la Phoenix. Du brauchst weiter diese Oberfläche zum Beobachten und Prüfen. Sind Traces oder Checks für RAG und Agenten der Hauptjob diese Woche, starte mit Phoenix.

Phoenix allein reicht nicht, wenn Product ein genanntes Job-Ergebnis braucht. Du brauchst Belege und Spend×Job auf einer ID. Traces und Eval-Scores zeigen, wie Lauf und Checks liefen. Sie sagen allein nicht, ob das Ziel gehalten hat, das du ausgeliefert hast. Nutze beides, wenn beide Fragen zählen.

Was das in der Praxis heißt

Stell dir einen RAG- oder Agent-Lauf von Start bis Ende vor. Du schaust denselben Lauf zweimal an. Einmal für Phoenix-Traces und Qualitäts-Checks. Einmal für den Produkt-Job, den du zugesagt hast.

Zuerst öffnest du Phoenix. Die Spans sehen gut aus. Embeddings und Evals sehen gut aus. Das sagt nur: Der gemessene Pfad ist durchgelaufen und hat diese Checks bestanden.

Dann kommt die Witdem-Frage. War das genannte Ziel erreicht? Stützen die Beleg-Felder Pass oder Fail? Ein sauberer Trace mit leerer Antwort ist trotzdem ein Produkt-Fail.

Halte beides auf einer Lauf-ID. Trace und Eval in Phoenix. Werte den Job in Witdem. Das ist Ergänzung, kein Tausch.

FAQ

Ersetzt Witdem Arize Phoenix? Nein. Witdem ersetzt Arize Phoenix nicht. Behalte Beobachten und Prüfen. Ergänze Outcomes für den Produkt-Job auf demselben Lauf.

Wann nutze ich beides? Wenn du Trace-Detail und ein klares Job-Ergebnis brauchst. Binde beide an dieselbe Lauf-ID.

Was ergänzt Witdem? Ein genanntes Produktziel. Belege, die du prüfen kannst. Und Spend an diesem Job, wenn das hilft.

Reichen Qualitäts-Evals? Nein. Eval-Scores zeigen Qualität vs. Kriterien. Sie sagen allein nicht, ob das Ziel gehalten hat, das du ausgeliefert hast.

Weiterführend

Tracing, Evaluation und Product Analytics · Witdem und Langfuse · Witdem und LangSmith · Observability für agentische Workflows

Framework-Leitfäden: Haystack · LangGraph · LangChain · OpenAI Agents