shimy

软件工程

2015年07月 — 2019年06月

2022年03月 — 2022年03月

项目简介：该系统为了财务更加方便、迅速的的拉取银行余额和流水数据。 项目职责： ◎破解登录，完成爬虫通过账号密码登录银行拉取数据 ◎指定爬取信息(每张银行卡的今日余额、历史余额、历史交易记录信息) ◎破解网站的破解网站的登录密码加密，创建 IP 代理池、ua 池并维护爬虫 项目技术： ◎通过浏览器断点调试，定位密码加密过程，扣取相应 js 代码，在本地测试 js 加密的正确，完成密码加密破解，实现 JavaScript 逆向(md5+hash)。 ◎使用 requests 模拟登录爬虫，成功登录 ◎通过 xpath 提取网页中需要的内容，存取到 MySQL 数据库 ◎历史流水因可能较大，采取下载文件方式获取，文件采用 IO 流转变为 csv， 再解析文件，通过日期分类，查询当前数据库是否有这样日期，有则删除数据 库数据，执行批量插入操作，实现数据的更新。 ◎对余额信息，因为不会特别大，采用每一个卡号一次回调全部余额数据，给相 应开发，流水数据采用每一天回调一次 ◎页面抓取到的数据入库数据库，前端采用 Django 框架展示数据。

2022年04月 — 2022年04月

项目简介：受东南亚疫情影响，现金贷业务线坏账率有所提高，因人员失业没有现金偿还， 故查询用户税务信息，分析是否有还款能力。 项目职责: ◎爬虫模拟登录网站，突破验证码反爬，获取用户数据。 ◎分析页面源码，解析页面，取数据，存入 MongoDB，完成抓取 ◎在抓取成功后，清洗数据，提供给风控开发。 项目技术： ◎抓包发现没有加密参数，但是存在验证码反爬，先爬取验证码图片 10000 张， 调用打码平台识别验证码做标记，后使用这 10000 张图片为样本训练验证码模 型。 ◎验证码降噪，验证码噪点不是特别多，采用 8 临近发取出图片噪点 ◎采用 cnn 训练图片，对图片进行 3 层卷积操作，训练模型，保存模型，最后准 确率为 96%，线上对验证码识别失败进行多次重试提高成功率。 ◎使用 xpath 提取页面数据，对于 json 数据直接转为字典快速处理。