仓库
sparkCore==》rdd==>sparkcontext sparkSql==>dateframe、dateset==>sparksession sparkstreaming==>dstream==>streamingcontext 自定义接受器接收数据,updatestatebykey实时更新数据不断的累加数据,sparkstreaming与flume的整合,sparkstreaming与kafka的整合
最近更新: 3年多前全套大数据基础学习教程,包含最基础的centos、maven。大数据主要包含hdfs、mr、yarn、hbase、kafka、scala、sparkcore、sparkstreaming、sparksql。教程包含所有的源代码演示以及在线文档说明。
最近更新: 3年多前基于SparkSQL的电影分析项目实战
最近更新: 3年多前1.spark sql 进行数据清洗 2.把清洗的数据保存至parquet 结构 3.需求top功能 1.计算每天最受欢迎的课程 top 2.计算每个地区最收欢迎的课程 top3、 4.把数据保存至mysql 数据库 先建立表
最近更新: 3年多前Using Spark SQLContext, HiveContext & Spark DataFrames API with ElasticSearch, Cassandra & MongoDB
最近更新: 3年多前