刘聪聪

计算机科学与技术

2020年01月 — 2022年01月

2023年05月 — 2025年03月

内容: 该项目是将不同部门的数据抽取过来,进行数据质检,数据开发,完成各个部分提供的数据指标,最终将开发的指标数据发 送的大数据大屏上,完成领导校验考核 技术要点 1 根据需求进行数据的建模 2 通过 datax 进行数据抽取到 hive的 ods层(贴源层) 3 数据开发有离线数据开发和实时数据开发, 离线:是用的 flink_sql 进行数据加工处理 实时:使用 flinkstreaming 进行数据加工处理 4数据加工完成后到 clickhouse 进行数据展示 业绩: 航天三院的大数据系统从0到1都是我个人搭建,能为系统提供数据支持。除去源头数据的抽取,其他分层的数据处理的 jar 包,都是我个人编写,并且完成特殊功能的设置,比如数据质检。最终实现大数据的每一层的清理汇总分离。根据客户需求 提炼宽表,得到所需要的主题数据,实现业务系统对数据的直接分发,最终将数据从数据仓库抽出,为客户提供数据决策支 撑

2022年06月 — 2023年05月

内容: 该项目是对电信大数据平台中精品模型进行维护与开发,主要从不同平台的数据采集到数仓中,进行 ETL清洗,之后根据项 目的需求进行开发,最终将数据提供给电信集团进行使用 技术要点: 1 运维人员将数据采集到 dws层 2 通过 spark-sql 进行 ETL 数据清洗 3 根据需求提供的方案,通过 spark_sql 进行自主开发 业绩: 本系统是基于 hadoop-spark 的数据处理系统,完成数据仓库分层的任务,提炼数据在 dwm 层形成宽表,用于后期的数据 开发,开发完成指标数据帮助进行客户业务决策

2021年05月 — 2022年06月

内容: 该项目主要对电信公司数据迁移到 hadoop 大数据环境中,根据各个部门提出需求进行数据开发,将开发的数据提供给集团 公司进行参考使用 技术要点: 离线技术描述: 1通过 datax 收集源端(pg 数据库)数据,将数据直接保存到 HDFS 中 2 spark_sql 对数据进行预处理清洗 3使用 Hive 进行数仓的建模 4通过 spark_sql 对数据进行指标分析统计 5将指标数据利用 datax 发送到 MySQL 服务器用于可视化的指标存储 实时技术描述:: 1通过 canal 处理 binlog 日志数据发送到 kafka中 (这一步一般是运维处理,开发是直接对接 kafka) 2 spark streaming 对接 kafka 对数据的实时处理 3 根据业务逻辑的判断将数据放入 hbase ,作为历史数据进行判断 4 将处理结果通过接口发送给局方 业绩: 该项目是 hadoop-spark 大数据计算系统,来自不同部门的需求,完成数据仓库不同的分层任务,将最终开发的指标数 据,提供给客户完成业务决策(该项目与上面电信项目类似)

2020年09月 — 2021年05月

围绕大藤峡水利枢纽工程的功能定位和全生命周期管理需求,构建“智慧大藤峡”平台,加强大藤峡信息化基础设施、数据 资源整合建设。 本项目的数据源是来自大藤峡的各个业务系统的数据,经过汇总放到我们的数据仓库中,在数据汇总过程中的数据要经过 ETL 抽取、转换、加载进行大量的数据处理。数据入库后进行分层管理。 技术要点 离线技术描述: 1 负责使用 sqoop 进行结构化数据抽取并完成数仓各层 ETL 流程处理工作和设计 ETL 流程。 2 使用 Hive ,进行各个系统的指标开发 3 将开发的指标通过 sqoop 发送到 mysql 指标数据库 实时技术描述: 1.通过 sparkStreaming 对接 kafka 数据,并根据业务逻辑进行处理 2. sparkStreaming 完成数据处理,放入 HDFS中(放入建好的模型中), 3. 通过 sqoop 传输到 mysql 指标库中