最近在「写你不知道的大模型训练」的这篇文章，刚好需要批量去下载一批大模型训练的论文以及厂商的模型发布的博客以及各种资料来分析，之前做法是搜索然后手工处理，刚好碰到了 XCrawl 这个工具，给到关键词就可以帮你搜索下载到结构化的文章内容数据，支持 Scrape 单页抓取、Crawl 全站递归、Search/SERP 搜索结果采集几类接口，输出 Markdown 或 JSON 直接可用，相比自己手工

#大模型训练 #论文下载 #工具使用 #XCrawl #自动化 #Scrape #Crawl #Search/SERP #Markdown #JSON

相关新闻

Will Yang

1天前

测试了下最近爆火的XCrawl，效果确实炸裂。功能上XCrawl = Scrape单页 + Crawl全站 + Search搜索 + Map结构梳理四合一实操的话，我有一个非常刚需的场景，最近我没空盯链上，但是不想错过周期叙事，我就用Claude Code配合XCrawl Skills搞了一套自动化方案，2分钟给我出一份meme日报。教程如下: 1. 安装XCrawl：直接跟你的ag

i5ting

1天前

拿claude code执行md，是不是有点奢侈？这真的是高效吗？还是败家？

向阳乔木

2天前

身边很多朋友都做了信息卡生成Skill。我也多贡献一个，给任意URL，自动抓取Markdown，生成HTML摘要总结，再自动截图生成类似下面的图片。 Skill安装指令：npx skills add joeseesun/info-card-designer 注意：用了仓耳今楷字体，请勿商用，个人用没问题。开源仓库地址：

Mr Panda

3天前

我现在几乎把所有的工作流程全部 skill 化了。只有发推还没有实现。

歸藏(guizang.ai)

3天前

Claude Code 也能使用前几天 Anthropic 发布的 Computer Use 了你可以用它这个能力来自己去验证一些 UI 上的问题：验证编码中的一些 UI 走查，模拟人工点击的链路测试它也可以操作：已经编译的 SwiftUI 应用本地的、跨平台的应用完全没有 CLI 的一些其他应用 Pro 和 Max 账号能用，三方的 API 不行，使用/MCP 启用里面的 com