更强大的网页抓取Skill - XCrawl,可在Openclaw(龙虾)下丝滑使用!! 感觉养龙虾的同学都会在装完龙虾后给自己搞一个自动信息抓取任务,尤其是像我们这种做自媒体的人都需要这类功能来帮忙抓取优质的信息源。 我也折腾了不少抓取工具,从最早的tavily search、Brave Search到Kimi Search,用完之后我发现它们或多或少都有些缺点。 或是太慢、或是太贵、或是太差 直到一周前我才用上XCrawl,它的速度和功能远超我之前折腾的工具,整个功能分为如下四大Skill功能: • xcrawl-search: 支持任意语言的网页关键词搜索 • xcrawl-scrape: 单网页抓取,支持输出 markdown/网页/链接/json/截图/总结 • xcrawl-map: 快速发现网站所有链接 • xcrawl-crawl: 全站批量爬取,可设置深度、页面数限制、包含/排除规则 无论是单个Skill使用还是多个Skill配合使用,都非常方便,我这边已经把自己抓取信息的定时任务都切换成了XCrawl,整体体验非常丝滑! 还有如下几个亮点值得大家关注: - 自定义结构化提取:自定义字段/表格/列表自动转 schema,支持编辑 JSON 输出选项。 - 灵活参数调优:几乎所有模式支持 JS 渲染开关、仅主要内容、移动视图、语言/位置、数量/深度限制。 - 开箱即用:一键获取 API 代码(Python/Node 等)、支持 n8n/Zapier/Make 无代码自动化;输出 Markdown/JSON 直接喂 LLM/RAG/数据库,无需二次清洗。 直达链接: 现在官方在搞活动,注册即可享受1000个credits的免费额度! Openclaw一键配置文档: