Loading...
Loading...
共找到 11 个 Skills
为应用接入Sentry——检测平台，按需安装并初始化SDK，连接各类信号：错误监控、追踪/性能监控、日志、指标、性能分析、会话重放、用户反馈、定时任务检查，以及AI/LLM监控（包括OpenAI、Anthropic、Vercel AI、LangChain、Google GenAI、Pydantic AI和Laravel AI的Agent运行、令牌成本和对话监控）。可用于为项目添加Sentry，或捕获除错误之外的更多信号。
将Flowlines可观测性SDK集成到Python LLM应用中。适用于添加Flowlines遥测、对LLM提供商进行插桩，或搭建基于OpenTelemetry的LLM监控场景。
监控LLM与智能代理应用：性能、Token/成本、响应质量及工作流编排。适用于用户询问LLM监控、生成式AI可观测性或AI成本/质量相关问题时。
为PM管理员仪表盘自动生成LLM使用监控页面。基于Tokuin CLI实现令牌/成本/延迟追踪、用户排名系统、非活跃用户追踪、数据驱动的PM洞察自动生成、Cmd+K全局搜索、按用户下钻链接导航功能，支持OpenAI/Anthropic/Gemini/OpenRouter。
在PM管理后台中自动生成LLM用量监控页面。基于Tokuin CLI的token/成本/延迟追踪 + 用户排名系统 + 不活跃用户追踪 + 数据驱动的PM洞察 + Cmd+K全局搜索 + 单用户下钻导航。支持OpenAI/Anthropic/Gemini/OpenRouter。
为现有AI代码添加Olakai监控——封装你的LLM客户端、配置自定义KPI，并端到端验证集成效果
用于LLM链路追踪、评估和监控的开源AI可观测平台，适用于通过详细链路调试LLM应用、对数据集执行评估，或是通过实时洞察监控生产环境AI系统的场景。
适用于已有的Agent在未使用Prefactor的情况下可正常运行，且你需要在尽可能少修改原有行为的前提下，为运行、LLM调用、工具调用及失败情况添加追踪功能的场景。
配置基础SDK设置之外的特定Sentry功能。适用于需要监控AI/LLM调用、搭建OpenTelemetry管道或创建告警与通知的场景。
使用DQL分析客户GenAI应用的可观测性信号。读取OpenTelemetry GenAI spans和LLM评估bizevents。 适用场景：黄金信号（流量、错误、延迟、饱和度）；LLM信号（模型、提供商、令牌）；成本/令牌分析、使用归因、提示缓存；Agent信号（工具调用、步骤、失败、循环检测、Smartscape拓扑）；对话/会话分析；防护机制（被拦截/截断的响应）；评估信号（质量、通过/失败）。 触发词："LLM延迟"、"按模型统计令牌使用量"、"按模型和提供商统计成本"、"每次对话的成本"、"谁在驱动令牌消耗"、"我是否启用了提示缓存"、"失败的Agent工具调用"、"查找失控Agent"、"响应被截断或拦截"、"失败的评估"、"我是否达到速率限制"、"令牌吞吐量/TPM"、"提供商限流或429错误"。 不适用场景：Davis CoPilot/MCP遥测（dt-platform）、通用服务指标（dt-obs-services）、日志（dt-obs-logs）、非GenAI追踪（dt-obs-tracing）。
面向PostHog项目的聚焦型Signals侦察工具，基于AI可观测性实现。它会循环通过多类观测视角——成本、延迟、错误、流量、评估性能、评估/增强配置、集群以及工具使用情况——持续监测各视角下随时间发现的维度所呈现的趋势与峰值。实际查询依赖沙箱中内置的`exploring-llm-*`深度分析技能。仅当发现结果达到置信度阈值时才会输出；否则会写入持久化内存并无结果结束。它是signals-scout-*工具集群中独立的组件，不依赖其他侦察工具。