高端工作机会：米哈游 招 通用网页爬虫负责人【P7-P8】 ----- 通用网页爬虫负责人 米哈游 · 上海 > 职位描述 主导设计统一的通用网页爬取框架，构建高并发分布式爬取系统，覆盖网页、论坛、社交媒体、文档、视频/音频转写等多模态数据源； 负责抓取后的数据落地、分片存储、内容解析（HTML/JSON/多语言文本/字幕/评论流等）与去重，与数据清洗、内容质量、采样与训练团队协作，实现端到端