登录 注册
开源 企业版 高校版 私有云 Gitee AI NEW
WEB应用开发
/
Web爬虫
开源许可
MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MIT-0 MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib
Java
全部语言 JavaScript HTML CSS Python C Shell C++ PHP TypeScript C# Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Matlab Rust 其他 PowerShell HTML/CSS 微信 Scala Groovy C/C++ XSLT Verilog R QML Pascal Docker CoffeeScript FORTRAN Erlang Emacs Lisp ActionScript SQL Smalltalk Delphi VHDL M TeX/LaTeX ASP Visual Basic Clojure Common Lisp Awk LiveScript Haskell Scheme Elixir Julia 易语言 OCaml YAML AutoHotkey Pawn Puppet Ada D Standard ML XML Arduino Logos Prolog VimL 汇编 Coq Haxe Vala ColdFusion Crystal Scilab Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新
2040377 code4everything 1578991454

code4everything/visual-spider

220
欢迎体验我们全新的桌面端效率工具RunFlow，https://myrest.top/myflow
Java
Web爬虫
|
9个月前

CrawlScript/WebCollector

214
A java crawler for infomation collection.
Java
Web爬虫
|
6年多前

MountFuji/easycrawl

192
基于webmagic的通用爬虫抓取应用，核心在于简单易用，搭建好后轻松抓取数据
Java
Web爬虫
|
2年多前
23781 poet 1578915509

最爱吃小鱼/WechatSpider

177
抓取微信公众号全部文章，采用AnyProxy+Javascript+Java实现
Java
Web爬虫
|
6年多前

Ticsmyc/2019nCoV-Crawler

176
定时爬取丁香园冠状病毒新型肺炎疫情实时数据，并持久化到MySQL数据库做 数据比对，当数据发生变化时向用户推送邮件通知
Java
Web爬虫 新冠病毒相关开源
|
2年多前

乾坤盒子/MongooCrawler

174
一款低入侵分布式爬虫框架，仅仅依赖少量第三方包，具有多进程多线程，集成反爬、验证码破解方案，自由定制，cookie自动管理，多数据源支持（database，nosql，es），客户端-服务端分离（充分利用ip）集群支持等特性）
Java
Web爬虫
|
接近4年前
1981977 taisan 1591943162

taishan/微信文章爬虫 Reptile

150
爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统
微信公众号爬虫
Java
Web爬虫
|
10个月前
2052445 cv team 1578991467

CVTeam_CN/FaceSpider

144
目标识别爬虫
Java
Web爬虫
|
5年多前

itlabers/CrawlerDemon

134
分布式爬虫 Crawler
Java
Web爬虫
|
接近8年前

jimmy_JYue/jy-spider

129
惊讶网站的垂直爬取网页程序，提供UI来管理爬取的网站和爬取文章内容的规则。 通过jsoup来获取标题和内容，主要是通过选着器获取。
Java
Web爬虫
|
5年多前

樊勇/jvppeteer

117
Java Headless 浏览器 抓取页面
Java
Web爬虫
|
3年多前
336215 yoqu 1578920490

yoqu/小说爬虫

115
基于webmagic的一个小说爬虫项目
Java
Web爬虫
|
7年多前
572993 wgs123 1578928034

Gwenson/Gwenson-robot

101
这是一个使用JAVA语言开发的应用级的分布式爬虫搜索引擎机器人
Java
Web爬虫
|
接近6年前
15003 xautlx 1578915005

xautlx/nutch-ajax

101
基于Apache Nutch和Solr以及Htmlunit, Selenium WebDriver等组件扩展，实现对于AJAX加载类型页面的完整页面内容爬取、解析、清洗、持久化、全文检索等处理
Java
搜索引擎 Web爬虫
|
6年多前
1426388 ironzheng 1610521753

西门吹雪/pikachu

88
去吧皮卡丘，为什么取个名字叫皮卡丘，大概是这样萌一些。小哥哥是很可爱的。然后本项目是个爬虫项目，使用时候就像派出小精灵一样，派出皮卡丘，就会为你抓回对应的数据。
Java
Web爬虫
|
4年多前
今日热门
本周热门
ssssssss-team/spider-flow
7.9K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
irisroyalty/zeus
1
zeus采集器是一款免费的数据采集发布爬虫软件
鬼画符/templatespider
3.2K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
黄亿华/webmagic
4.9K
webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
樊勇/jvppeteer
117
Java Headless 浏览器 抓取页面
taishan/微信文章爬虫 Reptile
150
爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统
javacoo/CowSwing
310
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站
自风/Spiderman2
2.1K
二代蜘蛛侠，此版本完全重新开发，比上一代更加强大（性能，易用，架构，分布式，简洁，成熟）
Andrew/Egg
33
一个通用的爬虫
许雪里/xxl-crawler
470
一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；
鬼画符/templatespider
3.2K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
ssssssss-team/spider-flow
7.9K
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。
taishan/微信文章爬虫 Reptile
150
爬虫项目，微信公众号文章爬虫，网站文章爬虫，群发邮件系统
黄亿华/webmagic
4.9K
webmagic 是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
javacoo/CowSwing
310
丑牛迷你采集器是一款基于Java Swing开发的专业的网络数据采集/信息挖掘处理软件，通过灵活的配置，可以很轻松迅速地从 网页上抓取结构化的文本、图片、文件等资源信息，可编辑筛选处理后选择发布到网站
buaaqingyuan/CasperMagic
17
CasperMagic是基于PlantomJS&CasperJS和WebMagic的一个整合。CasperJS可以很方便对动态网页进行测试，但Javascript不太容易执行数据持久化和数据分析，而一般的爬虫很难抓取动态网页的内容或对页面进行操作并爬取。
许雪里/xxl-crawler
470
一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；
樊勇/jvppeteer
117
Java Headless 浏览器 抓取页面
自风/Spiderman
3.5K
强力 Java 爬虫，列表分页、详细页分页、ajax、微内核高扩展、配置灵活
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部