职业经历
工作经历
2017年05月 — 2024年08月
技术,数据,数据开发工程师
1、负责公司日常的数据分析、数据开发等工作。 2、协助和参与数据仓库和 ETL 过程的设计与开发及维护。 3、负责对业务数据进行数据准确性完整性验证。 4、负责数据仓库的维护、优化、性能调优、故障排除、运维，为业务提供稳定的服务。 5、使用任务调度工具 Airflow 控制数仓工作流。
2016年01月 — 2017年04月
技术,后端开发,全栈开发
1、负责公司后台系统开发维护。 2、将原系统整体调整为微服务架构 3、负责公司活动系统迁移到新架构 4、负责公司新架构维护工作 5、负责公司不同小组之间对接、沟通等工作 6、培训设计、产品等部门使用 Git 版本控制工具
2013年06月 — 2016年01月
其他职位,其他职位,其他职位
1.主要负责公司的网站服务器7*24小时正常运行,保证业务不中断。 2.检查并监控系统的日常运行情况,处理突发事件。 3.负责内网和线上IDC服务正常运行。 4.负责线上IDC服务器的上线、备份、恢复等。 5.负责线上Fastdfs存储和前端nginx及varnish缓存的正常。 6.负责大数据方面更新、维护,并保证日常的问题及时修复。 7.出现问题时及时给予解决方案,并能和研发一起给出方案,并快速实施。 8.良好的沟通能力,解决问题能力。
2012年07月 — 2013年05月
其他职位,其他职位,其他职位
1.主要负责公司的网站服务器7*24小时正常运行,保证业务不中断。 2.检查并监控系统的日常运行情况,处理突发事件。 3.负责CDN服务器,数据库,监控的备份及部署,更新、维护、安全等。 4.负责SDN网络服务器,数据库,监控的备份及部署,更新,维护等 5.优化在线系统,并能提出架构建议,不断提高系统运行和管理效率。 6.nagios+cacti日常监控管理,出问题时有短信报警,现已替换为zabbix。 7.熟悉heartbeat、drbd数据备份。 8.自动化管理软件saltstack配置修改等。 9.运用Shell,Python编写运维自动化常用脚本。 10.mysql数据库主从同步,协助开发实现读写分离测试。 11.有良好的工作流程和文档制定撰写习惯,可自己编写技术文档,架构部署方案等。
教育经历
通信工程
2008年09月 — 2012年06月
项目经历
2017年10月 — 2021年08月
随着业务系统越来越庞大，为了缓解业务数据库压力，需要一套相应的离线系统负责提供数据分析。 1、根据业务情况设计数据模型及表结构。 2、生成表结构并规划、实施、测试 ETL。 3、使用任务调度工具 Airflow 控制数仓 ETL 工作流。 4、根据运行情况，优化慢查询 SQL。 5、将系统整体培训并开放给同事使用。
2015年03月 — 2015年06月
需求：现阶段服务器资源有限的情况下如何提高利用率，将很多闲置机器使用起来，在昼夜直接找到对应平衡。 涉及到服务：现阶段所有正在运行的服务，排除存储。 1. 在内网测试环境测试，搭建必须的环境，并选择适合的工具。 2. Docker是当时好的解决方案，闲置机器利用起来，并且服务的可移植性要求比较高，高峰期服务可以自动添加，低峰期服务自动缩减，也只有docker可以实现，目前只有这一个解决方案。 3. 管理工具选型：mesos。当时使用了google的kubernetes以及apache的mesos，最终选择mesos作为管理平台。 4. Mesos结合Marathon，以及自动发现服务。可以很好的管理docker并能及时发现服务，扩容等。
2014年11月 — 2015年03月
需求：由于目前大数据方面资源严重不足导致，集群利用率非常低，需要综合利用所用资源并避免以前出现hbase存储挂掉的问题，并整合资源，让维护更加简单。 涉及到服务：三个业务系统的hdfs，hbase等数据需要迁移，flume，solr，等程序需要重新部署，并且cloudera版本也要相应更新。 1.将空余机器挑选出来并搭建程最小系统，将基本稳定的系统先迁移到数据中心 2.系统安装初始化等操作完成后，使用cloudera将必要服务安装上。 3.将系统程序迁移到数据中心，测试程序是否有错误。 4.迁移hbase数据到数据中心。 5.测试solr内数据中心和原来系统是否相同。 6.将该业务后端系统迁移到数据中心。 7.将业务下线机器加入到数据中心。 8.再次执行上面操作 9.直到所有问题解决之后，集群稳定
TA 的技能服务
该人才共 1 项技能服务，可在 技能服务 中搜索「leon」查看。