#并发下载

Gantrol

4个月前

如果一个页面，有很多自己想下载的东西，又不想一个个点，怎么办？一个方案是，让大模型写爬虫比方说，要下载上的所有PDF跟pptx，保存到references目录。其他要求: 1️⃣并发下载 2️⃣如果链接对应PDF格式文件，而HTML链接元素文本（link.text）是pdf，那么不要下载；否则用`${原pdf名称}${link.text}`作为文件标题；注意替换掉不适合作为标题的字符 3️⃣对pptx格式文件，不用改动标题网页可以作为附件上传，作为上下文。但有时不必要有的浏览器插件也可以做，优势是足够简单，劣势是没有爬虫脚本灵活

#爬虫 #并发下载 #PDF #文件命名 #自动化