文件名称：java8源码-treasurebox:嘿！这是宝箱！好好享受！
文件大小：34KB
文件格式：ZIP
更新时间：2024-06-24 12:34:39
系统开源
java8 源码 TreasureBox 大数据百宝箱 大纲 这个框架封装了日常大数据工作的数据集处理，监控，评估等任务，并将大数据工作流程化，以此提高开发时间 因为数据体量的原因，大数据集的开发调试工作较其他开发而言很不一样，在总结多次开发实践之后，将调试工作单独抽出来，以方便调试 在大数据工作没有任何规范，约束的日子里，调试和开发的代码可读性很差，这个框架的目的也有提供一个可行的规范，使得代码可读性更强 快速开始 1 安装 java8 在本地 2 安装 scala 在本地 3 下载并打包本程序 4 执行example中的示例main方法 处理流程 本框架的总体流程如下图所示 1 DataLoader负责原始数据集的载入工作，因为这部分工作很多重复性劳动，所以可以抽离出来。目前共封装了3个数据源：hbase,hive,redis 2 DataCleaner负责数据清洗，目前是以组件的形式封装在DataLoader中，主要以BigDataVO的数据传输类进行约束 3 DataCutter负责数据集切分，这一块主要是评估任务用到，将训练集和测试集分离 4 DataConverter负责多
【文件预览】：
treasurebox-master
----treasurebox.iml(39KB)
----README.md(2KB)
----pom.xml(11KB)
----src()
--------main()
----.idea()
--------vcs.xml(167B)