Loading...
Loading...
共找到 45 个 Skills
无需登录Instagram,也无需Meta开发者账户即可抓取公开的Instagram数据——包括个人主页、帖子、Reels、快拍、评论、话题标签、地点和提及内容。适用于以下场景:获取Instagram主页的粉丝数、简介或帖子数,提取主页的近期帖子或Reels,查看帖子评论,查找特定话题标签或地点下的帖子,按关键词搜索账号,跟踪竞争对手的Instagram内容,审核或发现网红,导出互动指标,监控品牌提及情况,或构建Instagram数据管道。基于Apify的Instagram Scraper运行;需要免费的Apify账户(API令牌),首次使用时本技能将帮助完成设置。
适用于任何OpenWeb Ninja API的通用爬虫。可抓取职位信息、商业列表、产品、评论、新闻、社交资料、金融数据等。可用于线索生成、市场调研、竞品分析、内容监控、价格追踪或任何结构化数据提取任务。
让网站可被AI Agent访问。支持导航、点击、输入、提取、等待操作——使用带有现有登录会话的Chrome,无需LLM API密钥。
使用Playwright从多个网页提取结构化数据,内置符合伦理的爬虫实践,包括速率限制、robots.txt合规校验和错误监控。当接到“从xx抓取数据”、“从页面提取信息”、“从站点收集数据”、“爬取多个页面”类需求,或是需要从网站采集结构化数据时可使用本工具。支持分页、多页面提取、数据聚合,可导出为CSV/JSON/Markdown格式,可与browser_navigate、browser_evaluate、browser_wait_for、browser_snapshot工具配合使用。
当用户需要爬取或采集小红书(RedNote)数据时触发,包括:搜索笔记/内容、话题发现、搜索用户/博主、发现 KOL/达人、研究账号信息、抓取用户笔记、采集笔记评论/回复(舆情、情感、社区监控)等场景。通过 JustOneAPI 调用小红书接口获取数据。
获取并展示GitHub热门仓库和开发者信息。适用于构建展示热门仓库的仪表盘、发现热门项目或追踪GitHub趋势的场景。触发场景包括GitHub trending、热门仓库、流行仓库、GitHub发现。
抓取微信公众号文章内容,使用 Playwright headless 模式无弹窗后台抓取,支持动态加载内容,自动提取标题和正文并保存为 Markdown 文件。本技能应在用户需要抓取微信公众号文章内容时使用。
通过HTML抓取Investing.com数据:报价、OHLCV历史数据、基本面数据(利润表/资产负债表/现金流量表/财务比率)、股息、收益、公司概况。覆盖81000+股票、344种大宗商品、10000+指数、2400种货币对、10000+ETF、4100种加密货币,全球覆盖。
当用户需要从网站抓取内容、提取网页文本、爬取并跟随链接,或从在线来源下载文档时,可使用此技能。它具备并发URL处理、自动去重、内容过滤、域名限制以及基于URL结构的合理目录层级等特性,适用于文档收集、内容提取、网页存档或研究数据采集场景。
Playwright 浏览器自动化。用于自动化爬虫、数据采集、表单填写、UI 测试等需要浏览器自动化的场景。无需人工干预,适合 cron 定时任务。
从任意来源获取、爬取或下载足球数据,同时支持API密钥设置和凭证管理。当用户想要从StatsBomb、Opta、FBref、Understat、SportMonks、Wyscout、Kaggle或任意足球数据源获取数据时使用。当用户询问API密钥、身份验证、数据源访问配置,或者免费/付费数据范围时也可使用。
本指南介绍如何在安全测试和侦察工作流中使用ProjectDiscovery Katana进行网页爬取与蜘蛛抓取。内容涵盖安装、标准模式与无头模式对比、范围与速率限制、JSONL输出,以及从httpx或URL列表通过管道输入的方法。当用户提及Katana、projectdiscovery/katana、网页爬取、蜘蛛抓取、端点发现、攻击面映射或在自动化流水线中串联爬虫时,可参考本指南。