职业经历
工作经历
2018年05月 — 2021年05月
技术,数据,数据开发工程师
1.协调完成数据 ETL 开发 , 数据采集、清洗、集成 2.负责数据模型的建设, 数据质量的管理. 3.负责离线和实时大屏指标开发, 根据需求进行开发 4.hive/mysql 等常用组件的优化 5.进行业务的分析,项目维护
2021年06月 — 3000年01月
技术,数据,数据开发工程师
1.协调完成数据 ETL 开发 , 数据采集、清洗、集成 2. 负责数据收集,日志采集 3. 进行编写 mapreduce,spark(streaming,sql,core) 4. 负责数据模型的建设,负责离线和实时大屏指标开发, 根据需求进行开发 5. Kylin/hive/mysql 等常用组件的优化
教育经历
计算机
2014年09月 — 2018年07月
项目经历
2018年05月 — 2021年05月
项目描述: 为企业和开发者提供结构化数据，支持数据分析处理等功能。为公司提供数据的储存和统 计,全流程可视化方式帮助企业客户提升效率，降低开发门槛，快速构建 AI 应用。 开 发 框 架 ： mysql+kettle+odps+gabse+hive+kylin+datax+solr+dolphinscheduler+sparkSql/hiveSql 项目职责： 1. 基于业务的流程,数据仓库采取建立为四层，ODS 数据贴源层,DW 数据汇集层,DWD 数据分 析 层,ADS 数据服务层。 2. 将 mysql 数据通过 kettle 清洗软件,通过转换,作业的操作进行对数据的(去重,字段删 除,新增 列等) 传到到 ODS 层 3. 进行数据及业务分析,生成结果(使用 Hive 的 hql 语句进行数据开发)。 4. 通过使用HQL 进行相关指标的开发,进行指标的不同角度分析(sql重构等) 5. Kylin 数据分析 dw 层的一个主题(保单表,客户表等)与多个维度(保单类型,支付类型,联系方式, 被保 人等),进行表的业务分析 6. 进行项目优化,hive,kylin 等组件以及数据倾斜的问题
2021年06月 — 2023年05月
项目描述: 为铁建集团和开发者提供结构化数据，分析成本管理主题,和营销预警主题。为公司提供数 据的储存和统计,全流程可视化方式帮助企业客户提升效率 。 开 发 框 架 ： mysql/orcale/sqlserver+flinkx+hive +Taier+sparkSql + finereport 项目职责： 1.基于 bachwork 业务的流程,数据仓库采取建立为四层，ODS 数据贴源层,DW 数据汇集层,DWD 数据分析层,ADS 数据服务层。 2.将 mysql 数据通过 flinkx清 数据入湖到 ODS层 3.进行数据及业务分析,生成结果(使用 Hive的 hql 语句进行数据开发)成本概览(目标成本、动态成 本、偏差额/率、不可预见费)费用管理等。 4.通过使用 HQL 进行相关指标的开发,进行指标的不同角度分析 5.进行项目优化,hive 等组件以及数据倾斜的问题 6. finereport 数据大屏开发.以及填报开发等
2022年04月 — 2023年05月
项目描述:基于大数据客户业务分析，提供业务人员 页面数据, 及时与业务对接数据的技术抽数系统 为公司及个人与业务 达到好的连接系统 开发框架: python +requests+selenium/scrapy+ mysql 项目职责： 1. 负责从 客户需求页面 通过 python 爬虫 采集到服务器上 2. 参与项目的日常维护,优化
TA 的技能服务
该人才共 1 项技能服务，可在 技能服务 中搜索「weihua」查看。