Loading...
Loading...
共找到 36 个 Skills
与Langfuse进行交互并访问其文档。适用于以下场景:(1) 通过CLI以编程方式查询或修改Langfuse数据——包括追踪数据、提示词、数据集、评分、会话及其他API资源;(2) 查阅Langfuse文档、概念、集成指南或SDK使用方法;(3) 了解Langfuse各项功能的工作原理。本技能涵盖基于CLI的API访问(通过npx)以及多种文档检索方式。
使用MLflow Tracing为Python和TypeScript代码添加可观测性插桩。当用户询问关于添加追踪、插桩Agent/LLM应用、MLflow Tracing入门,或是特定框架(LangGraph、LangChain、OpenAI、DSPy、CrewAI、AutoGen)的追踪相关问题时触发。示例 - “如何添加追踪?”、“如何为我的Agent插桩?”、“如何追踪我的LangChain应用?”、“MLflow Tracing入门”、“追踪我的TypeScript应用”
将Flowlines可观测性SDK集成到Python LLM应用中。适用于添加Flowlines遥测、对LLM提供商进行插桩,或搭建基于OpenTelemetry的LLM监控场景。
基于LangGraph的多智能体系统 - 涵盖监督者/集群/移交/路由模式、状态协调、Deep Agents、防护机制、测试、可观测性与部署。适用于构建多智能体工作流、协调智能体,或需要成本优化编排的场景。使用Claude、DeepSeek、Gemini(不支持OpenAI)。
使用LangSmith对LLM应用和AI Agent进行插桩、链路追踪、评估和监控。适用于为LLM流水线设置可观测性、运行离线或在线评估、在Prompt Hub中管理提示词、创建回归测试数据集,或是部署Agent服务器等场景。触发关键词:langsmith, langchain tracing, llm tracing, llm observability, llm evaluation, trace llm calls, @traceable, wrap_openai, langsmith evaluate, langsmith dataset, langsmith feedback, langsmith prompt hub, langsmith project, llm monitoring, llm debugging, llm quality, openevals, langsmith cli, langsmith experiment, annotate llm, llm judge。
读取生产追踪数据,识别故障点,并使用开放编码(open coding)和轴心编码(axial coding)方法构建故障分类法。适用于调试Agent或管道质量、调查“我的输出为什么不好?”,或在构建任何评估器(evaluator)之前——错误分析必须先行。当你已经确定故障模式并需要评估器(请使用build-evaluator)或数据集(请使用generate-synthetic-dataset)时,请勿使用此方法。
列出Langfuse会话。适用于查看用户会话、分析对话流程或监控会话活动场景。
面向LLM Agent的Opik可观测性工具——包含Agent配置、本地运行器(opik connect)、评估套件、对话线程、集成能力。可用于「配置我的Agent」、「连接我的Agent」、「评估我的Agent」或「与Opik集成」场景。
为LLM应用搭建orq.ai可观测性体系。适用于搭建追踪系统、添加AI Router代理、集成OpenTelemetry、审计现有埋点,或为追踪数据添加元信息等场景。
将Portkey AI Gateway集成到TypeScript/JavaScript应用中。适用于构建具备可观测性、缓存、降级、负载均衡功能,或可在200+大语言模型提供商间路由请求的LLM应用场景。
使用Langfuse追踪为LLM应用程序添加观测能力。适用于Langfuse搭建、为LLM调用添加可观测性或审计现有观测实现的场景。
使用Future AGI的专业技能——这是一个开源的端到端平台,用于通过追踪、评估、模拟、数据集、网关和防护机制来评估、监控和改进LLM及AI Agent应用。