Loading...
Loading...
共找到 36 个 Skills
全面的LLM审计，涵盖模型时效性、提示词质量、评估、可观测性与CI/CD集成。 确保所有基于LLM的功能遵循最佳实践并正确配置监控。 自动触发场景：提及模型名称/版本、AI提供商配置变更、提示词修改、包含AI密钥的.env文件改动、aiProviders.ts或prompts.ts文件修改、AI相关PR提交。 重要提示：训练数据滞后数月。在做出LLM相关决策前务必进行网络搜索。
一站式管理所有PostHog资源的CLI工具——支持离线搜索、Agent原生输出以及跨资源分析……触发短语：`check my PostHog feature flags`、`query PostHog events`、`show experiment results in PostHog`、`what errors are spiking in PostHog`、`LLM costs in PostHog`、`is it safe to ramp this flag`、`use posthog`。
审计现有Arize追踪（traces）的埋点健康状况。对限定范围的跨度（span）样本执行确定性检查（包括孤立/未分类/重复跨度、扁平化结构、根节点I/O为空、状态未设置、缺失令牌计数或子节点等问题），并返回按优先级排序的报告。适用于用户询问追踪为何显示为空/扁平化/损坏、想要验证埋点是否健康、查找埋点问题，或评估/令牌/成本仪表盘显示n/a或零值的场景。如需调试应用行为或错误，请使用arize-trace工具。
获取、整理并分析LangSmith追踪数据，用于调试与评估。适用于以下场景：按项目、元数据、状态或时间窗口查询追踪记录/运行实例；将追踪数据下载为JSON格式；将结果分类为通过/失败/错误组别；分析令牌/消息/工具调用模式；对比通过与失败的运行行为；或排查基准测试与生产环境故障。
监控LLM与智能代理应用：性能、Token/成本、响应质量及工作流编排。适用于用户询问LLM监控、生成式AI可观测性或AI成本/质量相关问题时。
为现有代码库添加Opik链路追踪能力。可自动检测编程语言（Python/TypeScript）、识别所用的LLM框架、添加合适的装饰器与集成配置、标记入口点、并完成环境配置接入。可用于「为我的代码埋点」、「添加Opik追踪」、「添加可观测性」或「追踪我的Agent」等场景。
使用PostHog的MCP工具调试和检查LLM/AI Agent追踪数据的必备指南。适用于用户粘贴追踪URL（例如/llm-observability/traces/<id>）、请求调试追踪数据、排查问题原因、检查Agent是否正确使用工具、验证上下文/文件是否已呈现、检查子Agent行为、调查LLM决策过程或分析Token使用情况及成本的场景。
从无标签ml_app追踪数据到引导式评估器套件的端到端流程。按顺序运行追踪分类→根本原因分析→评估引导流程，期间设置用户检查点。当用户说“运行评估流程”、“从追踪数据到评估器”、“端到端引导评估器”、“先分类再进行根本原因分析最后引导评估”、“从头构建评估集”，或者需要从生产数据到评估器代码的分步引导时使用。
基于生产Trace引导生成评估器——生成SDK代码、框架无关的JSON规范，或直接将在线LLM-judge评估器发布到Datadog。当用户提及“bootstrap evaluators”、“generate evaluators”、“create evals from traces”、“eval bootstrap”、“write evaluators”、“build eval suite”、“publish evaluators”，或希望从生产LLM Trace数据生成BaseEvaluator/LLMJudge代码或在线Judge配置时使用。适用于ml_app，可选搭配RCA报告或失败假设。
针对生产环境LLM跟踪数据的根因分析。根据现有信号（评估判定结果、运行时错误或结构异常）诊断LLM应用故障原因，从症状出发遍历Span树定位根因。适用于用户询问“我的应用出了什么问题”“为什么我的评估失败了”“分析错误”“根因分析”“诊断故障”，或想要了解生产环境故障模式的场景。
涵盖AI引入策略、Build vs Buy选型、优先级设定、治理/安全以及6个月扩展路线图的模块。
生成一个独立的Python实验客户端，该客户端使用ddtrace.llmobs SDK。可输出可运行的.py脚本或符合DataDog标准参考笔记本风格的Jupyter .ipynb笔记本。当用户提出“生成Python实验”“编写SDK实验”“创建ddtrace实验”“Python笔记本实验”“使用LLM Obs SDK”等需求，或者已安装`ddtrace`并需要符合规范的SDK代码时，可使用本工具。