职业经历
1、熟练python,五年以上python开发经验。
2、熟练scrapy、django、flask、pyspark,kafka等进行相应开发。
3、主导开发facebook、twitter数据离线,日均数据采集1T左右。实时数据采用django+kafka+asyncio+spark+vertica,善于运用多进程、多线程、多协程提高效率。
工作经历
技术经理
·
飞书深诺数字科技(上海)股份有限公司
2017年06月 — 3000年01月
技术,高端职位,技术经理
负责公司各广告渠道数据采集和爬取,开发离线数据采集crontab任务及实时数据采集系统, 实时数据采集系统针对实时数据要求较高的客户开发,采用技术:django+kafka+asyncio+spark+vertica, 很好的满足了客户广告成效数据的跟踪,检测广告质量及转化效果。
TA 的技能服务
该人才共 1 项技能服务,可在 技能服务 中搜索「sky」查看。