该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

spark-realtime

介绍

saprkStreaming实时处理项目, 实现了5s以内的实时处理,适合简单的业务处理。 主要使用的技术栈为kafka、SparkStreaming、redis、ES、Kibana、springboot; 使用scala进行编程

软件架构

该项目分为四层 ODS层:分别将log服务器数据和业务服务器数据直发到kafka; DWD: 1) 日志数据:分流; 2) 业务数据:按表进行分层 输入图片说明 DWS 输入图片说明

项目实现

  1. 数据采集
  2. 分层处理
  3. 可视化(BI及数据接口)

空文件

简介

saprkStreaming实时处理项目 展开 收起
取消

发行版

暂无发行版

贡献者

全部

近期动态

不能加载更多了
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化