职业经历
工作经历
2014年06月 — 2023年08月
技术,数据,数据开发工程师
总体为数据抽取、hive数仓处理、数据中台,springboot微服务,数据分析、数据建模、数据开发。 涉及使用到的组件如下: 1.熟悉使用spark、hdfs、Hive、clickhouse、kudu、presto、sqoop、loader、datax、azkaban、hue、docker、Zabbix等;
教育经历
2011年09月 — 2015年06月
项目经历
2015年06月 — 2017年07月
平台操作手册 http://filescdn.proginn.com/frontend/1009475/6c4b815bcda1788e21d6ba43ab034072.doc 有意向可私聊,可二次改造,可优化页面 主要是在做报表的时候,由于源系统中数据缺失了一部分,导致在做报表统计的时候,这部分数据无法从数据仓库中捕获到。因此,就需要进行数据补录,将缺失的数据补录到数据仓库中,这样就可以对数据进行统计。对于业务来说,需要分为多个部门并有多个补录员,每个部门的补录员只能操作自己部门的数据,实现动态补录。 本系统数据补录平台主要有以下几个目标: 目标1:权限管理 系统管理员创建补录管理员,并赋予补录管理员具有数据补录、补录管理模块的所有权限;补录管理员根据业务需要,创建普通补录操作员,赋予其相应的具体权限。 目标2:自动生成菜单 进行补录时,对于数据库不存在的表,需要创建补录菜单并导入补录模板(创建菜单的同时数据库自动创建一个与之对应的表,并根据导入的模板创建相应的字段)。 目标3:数据维护及导入导出 根据实际业务需要,对相应的表数据进行新增、查询、修改、删除及导入、导出。
TA 的技能服务
该人才共 1 项技能服务,可在 技能服务 中搜索「钟炎炎」查看。