Spiderman2里面,任务分为:Download、Extract、Result,每个任务入队列前都会检查重复性,检查的条件默认是url地址,此外,若在 <model 配置了key属性,则会根据key属性的值来判断是否重复。详细可以参考这个:#IBC98:提过问题:我配置了一个抽取模板,抽取页面上的一个小说页面列表数据,要保存书名,作者等等信息。问题是,你这框架怎么做的循环解析页面上的每本书籍信息的。
Sign in to comment