#Crawl

22小时前

最近在「写你不知道的大模型训练」的这篇文章，刚好需要批量去下载一批大模型训练的论文以及厂商的模型发布的博客以及各种资料来分析，之前做法是搜索然后手工处理，刚好碰到了 XCrawl 这个工具，给到关键词就可以帮你搜索下载到结构化的文章内容数据，支持 Scrape 单页抓取、Crawl 全站递归、Search/SERP 搜索结果采集几类接口，输出 Markdown 或 JSON 直接可用，相比自己手工或者转 Render 链接要方便不少。它支持 MCP 和 curl 多种形式使用，我直接用 CLAUDEmd 告诉他用 curl 方式来获取内容，给了他一个批量的任务先搜索论文线索，然后把厂商的最新博客给弄下来，试了试挺一气呵成，免费注册的1000积分完全够用了，文档也挺清晰，有需要小伙伴可以去这里注册试试看

#大模型训练 #论文下载 #工具使用 #XCrawl #自动化 #Scrape #Crawl #Search/SERP #Markdown #JSON