实现基于CDH大数据平台的数仓构建、任务配置执行、日志检察、搜索引擎等前端一站式开发工具。构建数仓治理、任务治理、体系治理、调理治理、搜索引擎等底盘数据处理工具DataIDM,快速实现大数据输入输出、模型盘算、指标标签体系盘算、搜索引擎的可配置。
大数据剖析盘算:通过配置快速实现数据抽取、模型盘算、大数据剖析模型集成,为大数据项目提供完整的解决计划,提升项目开发、实施效率;
客户标签体系盘算:自动实现客户标签盘算,并输出结果信息,为客户标签治理提供支撑;
展示剖析类项目:通过配置快速实现指标数据抽取、数据货仓盘算、数据盘算,为展示剖析项目提供支持,提升项目开发、实施效率;
快速盘问与报表:通过搜索引擎的功效,提升数据盘问效率,实现快速实时盘问及报表统计。
通过任务完成情况、任务运行情况、任务执行时长、任务类型漫衍、近一月蜕化排行、调理数量趋势等指标展示,运维及开发人员可全局上了解任务总体运行情况以及发明执行问题,并进行整改或优化。
(1)通过数据源配置功效,可配置数据输入、输出任务使用数据源,并测试其连通性,作为数仓治理前置任务项;
(2)数仓配置用于构建数仓,指定命仓源库地点及库名;
(3)大数据表治理功效支持前端治理基于大数据平台的通例表、分区表、外部表;提供参照源表、源视图建表,简化大数据表治理操作,并支持自界说修改表、字段信息等。
可视化流程任务设计工具,支持数据接入、MR盘算任务、Spark盘算任务、事情流任务、数据输出等多任务任意组合配置,串行、并行执行的同时提供了日志检察功效。
指标盘算、标签盘算,基于事情流任务实现指标、标签盘算配置及执行。
实现了基于Quartz的任务调理功效,事情流任务支持准时调理执行,通过配置完成差别业务需求,提供了任务调理执行日志检察功效,开发、实施人员可通过此功效监控任务运行情况以及剖析定位问题。
实现了基于HBase、Key Value Store Indexer、Solr的搜索引擎效劳。通过搜索配置功效,可快速完成搜索引擎配置、整合安排,并检察索引状态;构建完成后,通过数据接入、盘算任务爆发的数据将会准实时自动构建索引。
任务配置及执行均使用流程图可视化形式,直观便当的监控任务执行全周期
许多大数据统计剖析,使用交互式SQL盘算任务完成,制止MR、Spark等开发周期较长方法实现;数仓构建、大数据建表、数据抽取、输出等均通过可视化向导模式完成,制止使用种种命令以及后续治理杂乱,从而效率
实现要害业务结果沉淀,结果复用度高