登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
LGPL-3.0
全部项目 MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LPPL-1.3c MIT MIT-0 MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib
全部语言
Java JavaScript HTML CSS Python C Shell C++ PHP TypeScript C# Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab Rust 其他 PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Pascal Docker CoffeeScript FORTRAN Erlang Emacs Lisp ActionScript SQL Smalltalk Delphi VHDL M TeX/LaTeX ASP Visual Basic Clojure Common Lisp Awk LiveScript Haskell Scheme Elixir Julia 易语言 OCaml YAML AutoHotkey Pawn Puppet Ada D Standard ML XML Arduino Logos Prolog VimL 汇编 Coq Haxe Vala ColdFusion Crystal Scilab Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新

代码神童/YayCrawler

1.3K
分布式爬虫系统，简单使用，高级配置。可扩展，减轻开发量，能docker化，适应各种急切需求核心框架：WebMagic, Spring Boot ，MongoDB, ActiveMQ ,Spring + Quartz，Spring Jpa ， Druid，Redis， Ehcache ，SLF4J、Log4j2， Bootstrap + Jquery 等，不详细列举了
Java
Web爬虫
|
接近6年前
1970137 zhupingqi 1597657704

朱平齐/RuiJi.Net

134
RuiJi.Net是一个.net分布式抓取、提取框架。支持分布式下载，分布式提取及cookie自管理。RuiJi.Net可以通过轮询使用服务器上IP地址和代理服务器的形式进行抓取操作
Spider
C#
Web爬虫
|
11个月前

itlabers/CrawlerDemon

134
分布式爬虫 Crawler
Java
Web爬虫
|
接近8年前
今日热门
本周热门
AJay13/ECommerceCrawlers
4.8K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
鬼画符/templatespider
3.2K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
千异社区/J-crawler
29
🔥 官方推荐 🔥 java爬虫工具，4.0重构版本，让你使用Java也能小巧而优雅的编写爬虫软件。多线程异步爬取网页也能那么简简单单；内置持久化接口，轻松定义爬取记录。
zorlan/蓝天采集器
845
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
ecitlm/Node-SpliderApi
548
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
烈冰/go_sexy
140
Go语言版本妹子图抓取爬虫，项目里用到很多go的语言特性。正所谓寄学习于娱乐，欣赏妹子的同时还可以学到东西，欢迎大家评鉴
AJay13/ECommerceCrawlers
4.8K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
鬼画符/templatespider
3.2K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
千异社区/J-crawler
29
🔥 官方推荐 🔥 java爬虫工具，4.0重构版本，让你使用Java也能小巧而优雅的编写爬虫软件。多线程异步爬取网页也能那么简简单单；内置持久化接口，轻松定义爬取记录。
zorlan/蓝天采集器
845
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
达达软件/AndroidCrawler
54
Android上的一款采集框架, 采用Retrofit + OkHttp + Rxjava + Eventbus + Greendao + Jsoup + Meterial Design, 参考webmagic爬虫框架并用rxjava制作了自定义的采集框架。
luosl/webmagicx
186
webmagicx一款基于webmagic的可配置化的爬虫框架
Vanishi/DS
316
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
ecitlm/Node-SpliderApi
548
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
tikazyq/crawlab
790
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部