#数据抽取

2周前

说一下遇到的问题，以及分享一点自己的经验，如果有更好的处理方法或者经验，欢迎大家补充。目前我通过不同数据源的API采集到JSON数据后保存到json文件中，然后进入数据抽取子代理，为这个子代理写了个专门处理数据的skill，主要用来将采集到的数据提取成统一的结构化JSON数据。设定了11个必须的字段。最初的skill目录下包含SKILL\.md、examples\.md、schema.json三个文件，除了介绍skill的工作内容和规则外，给出了输出例子和格式约束。但是最终输出时候发现总是会缺少几个必要字段。后来追加了scripts，写了个Python脚本来要求skill调用验证数据，如果数据不符合规范，则重新处理数据，这样才试了几轮问题消失，但是依然不能确定会完全没有问题。不知道大家们还有没有什么技巧来解决输出规范的问题。

#JSON数据处理 #数据抽取 #数据规范 #Python脚本验证 #数据结构化