609 Star 2.1K Fork 750

自风 / Spiderman2

 / 详情

关于元素重复问题的集中回复

Backlog
owner
Opened this issue  
2017-10-10 10:57

Spiderman2里面,任务分为:Download、Extract、Result,每个任务入队列前都会检查重复性,检查的条件默认是url地址,此外,若在 <model 配置了key属性,则会根据key属性的值来判断是否重复。详细可以参考这个:#IBC98:提过问题:我配置了一个抽取模板,抽取页面上的一个小说页面列表数据,要保存书名,作者等等信息。问题是,你这框架怎么做的循环解析页面上的每本书籍信息的。

Comments (0)

自风 created 任务
自风 updated Top Level: High
自风 assigned 任务to 自风
自风 added label question
自风 updated 任务
自风 updated 任务

Sign in to comment

Status
Assignees
Milestones
Pull Requests
Successfully merging a pull request will close this issue.
Branches
Planed to start   -   Planed to end
-
Top level
Priority
参与者(1)
117 l weiwei 1578913730
Java
1
https://gitee.com/l-weiwei/Spiderman2.git
git@gitee.com:l-weiwei/Spiderman2.git
l-weiwei
Spiderman2
Spiderman2

Search