职业经历
1. App 逆向:Nox / Appium
2. 抓包工具:Fiddler / mitmproxy / Packet Capture
3. 请求工具:requests / urllib / selenium
4. 数据解析:xpath / beautifulsoup / CSS / 中文分词 / 正则表达式
5. 爬虫工程:Scrapy / Docker / 并发编程 / 爬虫礼仪
6. 文本处理:Python 各类科学计算库 / 中文分词 / 基础的机器学习和深度学习算法
7. 爬虫经验:
a. App 或 网页的页面详情抓取,数据清理、入库和分析
b. 了解 HTTP/HTTPS 及上层网络协议栈,以及 RESTful 接口
c. 熟悉 Python 开发,掌握 Django Web 开发框架
d. 了解 Cookie、验证码破解、IP池等安全手段,能研发反爬策略
工作经历
爬虫工程师
·
Coinness
2020年07月 — 3000年01月
技术,数据,爬虫工程师
中文新闻网页爬虫系统:建立针对新闻门户网页的爬虫系统,建立了从数据获取、访问去重到文本分析的中文舆情监控爬虫系统。 分布式对象存储系统:基于文件冗余编码的均衡分布式对象存储,MVC 架构带元数据引擎。 分布式缓存系统:HTTP/TCP+RocksDB 实现的持久化 K-V 缓存系统。 轻量关系型数据库:自行实现非并发类 SqLite 数据库引擎。 基于 WebRTC 的多人在线会议系统:兼容 Web/Android/iOS 的视频会议应用,支持多人多房间同时稳定通话,并提供共享桌面、共享文档等辅助功能。 兼容 Latex 的搜索引擎:解析 Latex 文本并建立搜索引擎。
教育经历
加州伯克利大学
软件工程
2016年09月 — 2020年06月
项目经历
中文新闻网页爬虫系统
—
建立针对新闻门户网页的爬虫系统,建立了从数据获取、访问去重到文本分析的中文舆情监控 爬虫系统。 https://github.com/JamieOw119/ChineseNewsWebpageScrapy
TA 的技能服务
该人才共 1 项技能服务,可在 技能服务 中搜索「浪味仙」查看。