登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
开源许可
MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense WTFPL Zlib
全部语言
Java JavaScript HTML CSS Python Shell C C++ PHP C# TypeScript Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Lua Dart Matlab 其他 Rust PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Docker Pascal CoffeeScript FORTRAN Erlang ActionScript Emacs Lisp Smalltalk SQL Delphi TeX/LaTeX VHDL ASP Visual Basic M Clojure Common Lisp Haskell Awk LiveScript Elixir Scheme Julia 易语言 OCaml Puppet AutoHotkey YAML Ada Pawn Standard ML D XML Arduino Logos VimL Prolog 汇编 Haxe ColdFusion Vala Crystal Scilab Coq Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
最近更新
Stars 最新推荐 最近更新

Andrew/Egg

31
一个通用的爬虫
Java
Web爬虫
|
8年多前
108639 satrong 1578917874

禾惠/node-webcrawler

8
网页版nodejs爬虫工具
NodeJS
Web爬虫
|
8年多前
120791 yanjingtu 1578918454

叮当他爸/Look52PojieMono

7
使用Linux下的MONO框架（C#+Gtk#）重写的Look52pojie工具，实现吾爱破解论坛帖子的抓取和开放注册信息的获取
C#
Web爬虫
|
8年多前
11630 1992mrwang 1578914785

mrwang1992/doubangroupspider

19
一个scrapy爬虫项目，用来进行学习爬虫，提交到开源中国 是为了顺便学习git。
Python
Web爬虫
|
8年多前
1408 sevkme 1578914012

sevk/kk-irc-bot

42
分不出是真人还是ROBOT的IRCBOT。 当时刚学RUBY，写着玩的机器人。 项目分类应该是聊天工具,不是Web爬虫.
Ruby
Web爬虫
|
8年多前

hzaupj/SeparateBill

27
外卖拼单（目前仅美团外卖、饿了么） 抓取外卖网站的餐厅和菜品信息，然后提供拼单、自动拆单、手工调整功能，方便同事们点外卖，以及费用计算
Java
Web爬虫
|
8年多前

durban.zhang/node-rss-spider

2
Nodejs Rss Spider
JavaScript
RSS/Atom工具 Web爬虫
|
接近9年前

戚飞飞f/Slit

20
扩展性高，轻的开源爬虫框架Slit
Java
Web爬虫
|
接近9年前
353194 hexleowang 1578921125

大海月升/WebFetch

87
无依赖极简网页爬取组件，能在移动设备上运行的微型爬虫。
Java
Web爬虫
|
接近9年前

calvinwilliams/simspider-redis

25
c网络爬虫simspider的请求队列和完成队列的redis实现，用于大规模分布式爬虫架构。
C
Web爬虫
|
接近9年前

胡户主/go_spider

14
[爬虫框架 (golang)] An awesome Go concurrent Crawler(spider) framework. The crawler is flexible and modular. It can be expanded to a Individualized crawler easily or can only use the default crawl components.
Go
Web爬虫
|
9年前
59466 lizhengxian 1578915844

李争献/SpiderByScala

12
用Scala写的小爬虫，用到Java里的HttpClient，Jsoup等包，由于Scala基于Java，且作为Spark的源语言，以后可以考虑用集群来跑
Scala
Web爬虫
|
9年前
15003 xautlx 1578915005

xautlx/nutch-htmlunit

30
基于Apache Nutch和Htmlunit的扩展实现AJAX页面爬虫抓取解析插件，镜像自：https://github.com/xautlx/nutch-htmlunit
Java
Web爬虫
|
9年前

佐天泪子亲卫队/TiebaSpider

14
使用NodeJs/Io.Js编写的简单的对贴吧进行遍历并存入Mysql的网络爬虫，仅供参考
NodeJS
Web爬虫
|
9年多前
22570 chenrh 1652061357

红杉/node-joke

2
偿试使用node做一些事情，本项目主要有抓取互联网笑话网站内容
Nodejs
JavaScript
Web爬虫
|
9年多前
今日热门
本周热门
AJay13/ECommerceCrawlers
4.3K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
taishan/微信文章爬虫 Reptile
123
爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统
Vanishi/DS
298
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
zorlan/蓝天采集器
806
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
tikazyq/crawlab
777
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
AJay13/ECommerceCrawlers
4.3K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
ssssssss-team/spider-flow
7.6K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
kanasimi/work_crawler
42
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
Vanishi/DS
298
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
ecitlm/Node-SpliderApi
539
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
tikazyq/crawlab
777
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
zorlan/蓝天采集器
806
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部