Repositories
No public repositories found!
阿修罗监控AsuraMonitor是运维工作中自己开发的监控系统,功能强大灵活系统安装简单,配置简单,相比zabbix, nagios,cacti,小米监控等都使用相当简单。只需要会写脚本,语言不限就可以实现任意监控需求,请关注github.com将首先更新
Last updated: over 6 years ago分布式微博爬虫。抓取内容包括微博用户资料、微博信息、评论信息和转发信息。目前专注于微博数据抓取本身,正在快速迭代。如果觉得有帮助,不妨到github上给我点个star,osc上可能不会再继续更新了
Last updated: over 7 years ago牛咖-neocrawler nodejs 的爬虫系统。 特点: 支持web界面方式的摘取规则配置(css selector & regex); 包含无界面的浏览器引擎(phantomjs),支持js产生内容的抓取; 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽; nodejs none-block 异步环境下的抓取性能比较高; 中央调度器负责网址的调度(同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量; 支持多种抓取实例并存,定制摘取引擎和存储方式。
Last updated: over 7 years ago