曹军

2022年12月 — 3000年01月

其他职位,其他职位,其他职位

数据库信创实践： 1、在MYSQL、TIDB、Postgresql最佳实践项目中，负责了基于长城EF860服务器、长城FT2000+服务器、华为鲲鹏920服务器的MYSQL最佳实践部分案例场景测试优化，得到了基于EF860，DF729、鲲鹏920的TPC-C值。输出了《MYSQL最佳实践》、《TIDB最佳实践》、《PG最佳实践》材料。 2、建设了MYSQL数据的主从架构、主主架构模式，TIDB集群、Postgresql集群模式的建设，达到了性能、安全和稳定性的要求。 2、参与了TWT社区的金融数据库PG专栏，并发布博文。 大数据组件信创实践： 1、CDH5.11.1的版本的编译、适配以及优化，并成功在EF860，DF729、鲲鹏920服务器上面稳定运行； 2、Ambari2.7.6版本以及对应的大数据组件在EF860，DF729、鲲鹏920、FR6260 V5（长城5000C）服务器上面的适配、编译优化，并且成功运行。

2021年06月 — 2022年12月

技术,数据,数据治理工程师

职责： 1、负责大数据组件基于 kk、pk、pu、ku 的架构适配大数据平台各组件(hdfs、yarn、 hive、hbase、ranger、ambari 等)的建设、维护以及优化； 2、参与元数据采集计划能力建设。负责的大数据集群元数据 ETL 实现的全过程； 3、建设基于各组件的可视化能力，实现了各个组件的监控、告警能力； 4、基于一站式大数据信创治理平台，开发实现自动化工具以及可视化能力脚本工具； 5、负责大数据集群的语句优化，基于 TEZ-WEBUI 的能力实现。 业绩： 1、基于 PK 的大数据集群能承载多个业务系统，实现了基本无故障能力； 2、元数据采集由半自动到全自动，提升了任务执行效率，降低了错误率； 3、基于可视化能力，打通了实现了告警从无到有的实现； 4、一站式信创治理平台总共 13 个微服务，完全实现了一键式自动化的部署

2018年03月 — 2022年05月

技术,数据,数据仓库工程师

职责： 1、负责 3 套（2 套 CDH 集群，1 套 HDP 集群）大数据平台环境（Hadoop，HBASE， HIVE，Spark、Zookeeper，Yarn、MR、TEZ 等组件）的建设、维护以及优化； 2、参与大数据平台数据仓库（HIVE，HBASE）建设、使用、维护及优化； 3、负责数据集市中 GP 数据库环境建设、维护以及使用； 4、参与离线数据、实时数据流处理； 5、负责系统的监控、运维以及部分工具的开发； 6、负责数据倾斜优化，JVM 的 GC 调优等优化等。 业绩： 1、平台故障率由一个月两次，提升到一季度一次； 2、数据仓库模型数据存储由优化前的 6.3P 左右，优化到 5.4P 左右； 3、监控点由建设之前不到十条，扩展到短信监控 60 多条，API 监控 100 多个；监控 方式由之前的靠人去后台 SQL 统计到移动端 APP 监控，报表监控、自动 SQL 以及 语音自动提醒等；负责监控运维由之前的每月投入 30-31 人到现在每月投入 4-5 人； 4、结果大宽表表任务生成时间由之前的下午 15-17 点，提升到早上 6-8 点。

2013年06月 — 2018年03月

技术,运维/技术支持,DBA (数据库管理）

职责： 1、负责交通银行香港分行、子行的账单系统 DB2 数据库维护； 2、负责交通银行香港分行、子行账单系统的强积金等账单的数据开发； 3、参与交通银行还外行如法兰克福等的账单报表的数据开发； 4、参与交通银行香港分行、子行的账单样版开发与维护； 5、负责交通银行分行、子行测试环境、正式环境的上线、压测等； 6、负责交通银行分行、子行的调度以及优化提升。 业绩: 1、用 shell 开发出来的脚本任务嵌套 SQL 的公共脚本开发与 SQL 开发； 2、通过查看 DB2 的执行计划、结合业务场景等分析具体情况进行优化提升； 3、经过测试环境等成功上线的任务，均一次性上线成功且运行较稳定；