职业经历
工作经历
2018年01月 — 3000年01月
技术,后端开发,Python
开发环境： Linux + PyCharm + Python3.9 + Requests + XPath + MongoDB + MySQL + PyExceJS 项目描述： 根据公司需求，获取各省、市招投标官方网站标书数据，定时采集，并更新到数据库。 项目责任： 1、解决采集过程中碰到的字符、文字点选、物体点选、空间推理、滑动拼图验证码； 2、解决采集过程中碰到的MD5加密、AES加密、DES加密等js逆向问题； 3、进行标书关键信息提取，对数据做唯一性处理，更新数据库数据； 4、编写shell脚本，结合Crontab实现定时任务；
2018年01月 — 3000年01月
技术,后端开发,Python
对四千多万招、中标标书以项目为纬度进行去重 开发环境： Linux + PyCharm + Python3.9 + Requests + Tornado + ElasticSearch 项目描述： 根据公司需求，使用es数据库的打分机制和数据解析后关键字段的特定组合，对近千个招投标网 站采集的四千多万数据以项目为纬度进行标书去重，同一项目不同流程状态进行关联。搭建tornado 服务端，提供对外接口，供其他流程调用。 项目责任： 1、设计去重方案及评估可行性和准确率； 2、对去重逻辑进行迭代； 3、维护tornado接口； 4、编写shell脚本，实现定时检测接口和es数据库运行状态，必要时自动重启；
2018年01月 — 3000年01月
技术,后端开发,Python
获取BINANCE、OKX、 HUOBI等几百交易所交易数据 开发环境： Windows + PyCharm + Python3.6 + MySQL + WebSocket + Selenium + Tornado 项目介绍： 根据公司需求获取各交易所的所有现货交易对，实时订单簿的接口和数据。 项目责任： 1、 抓取并维护各交易所现货交易对接口，实时订单簿接口，保存到MySQL数据库； 2、 抓取各交易所现货交易对，更新到MySQL数据库； 3、 对于需要特殊处理的订单簿数据，使用Tornado搭建服务端进行数据清洗，并提供接口供公司调用。 4、 使用 WebSocket，Selenium等解决一些 base64 + gzip 加密，js逆向等反爬问题； 5、 编写Shell 脚本，结合 Crontab 实现定时任务。
教育经历
计算机管理
2015年04月 — 2018年04月
项目经历
2022年03月 — 2022年03月
1.分析网站的加解密（对网站进行基础的分析，记录获取到目标数据前期都需要哪些验证，都有哪些接口可以获取数据。） 2.根据网站的加解密模拟爬虫需要的环境（部分加解密，需要模拟环境操作，搭建足量的模拟数据提供软件爬取数据使用。） 3.梳理爬虫框架：爬虫从采集（从网路读取数据），到储存（数据库设计），到用户提取（api接口）。
TA 的技能服务
该人才共 6 项技能服务，可在 技能服务 中搜索「zhangpengqiang」查看。