仓库
💯大数据开发笔记(包括:Hadoop,Hive,HBase,Phoenix,Scala,Spark,Flink,Kafka,Azkaban,Flume,Sqoop,DataX 等)。 Java开发笔记 (Java基础,Spring Boot,Spring Cloud,Spring Security,MyBatis-plus,Swagger-UI,Druid,JWT,Lombok)
最近更新: 3年多前此项目是自己在学习Hadoop知识练习的一些小案例的汇总。 主要涉及HDFS的JAVA API操作和MapReduce重要知识点的小练习,包括利用HDFS JAVA API实现读取HDFS中文件、写入数据到HDFS中、删除HDFS中数据、查询HSFS中文件元数据、列出HDFS中文件详细信息等相关的操作,MapReduce程序实现的汇总、求平均数、Jion操作、TopK算法、二次排序、以及自定义InputFormat、OutputFormat和shuflle阶段的一些应用如(自定义Partitioner、合并小文件、MutilpleOutPuts自定义输出等等)。 每个案例都以不同的包区分。 详细说明见Readme.md文件
最近更新: 9年多前