浪味仙

浪味仙

爬虫

发送消息
0 · 0条评价 回复率 25% 2年经验 ¥50/时
后端开发
技术

职业经历

1. App 逆向:Nox / Appium 2. 抓包工具:Fiddler / mitmproxy / Packet Capture 3. 请求工具:requests / urllib / selenium 4. 数据解析:xpath / beautifulsoup / CSS / 中文分词 / 正则表达式 5. 爬虫工程:Scrapy / Docker / 并发编程 / 爬虫礼仪 6. 文本处理:Python 各类科学计算库 / 中文分词 / 基础的机器学习和深度学习算法 7. 爬虫经验: a. App 或 网页的页面详情抓取,数据清理、入库和分析 b. 了解 HTTP/HTTPS 及上层网络协议栈,以及 RESTful 接口 c. 熟悉 Python 开发,掌握 Django Web 开发框架 d. 了解 Cookie、验证码破解、IP池等安全手段,能研发反爬策略

工作经历

爬虫工程师 · Coinness

2020年07月 — 3000年01月

技术,数据,爬虫工程师

中文新闻网页爬虫系统:建立针对新闻门户网页的爬虫系统,建立了从数据获取、访问去重到文本分析的中文舆情监控爬虫系统。 分布式对象存储系统:基于文件冗余编码的均衡分布式对象存储,MVC 架构带元数据引擎。 分布式缓存系统:HTTP/TCP+RocksDB 实现的持久化 K-V 缓存系统。 轻量关系型数据库:自行实现非并发类 SqLite 数据库引擎。 基于 WebRTC 的多人在线会议系统:兼容 Web/Android/iOS 的视频会议应用,支持多人多房间同时稳定通话,并提供共享桌面、共享文档等辅助功能。 兼容 Latex 的搜索引擎:解析 Latex 文本并建立搜索引擎。

教育经历

加州伯克利大学

软件工程

2016年09月 — 2020年06月

项目经历

中文新闻网页爬虫系统

建立针对新闻门户网页的爬虫系统,建立了从数据获取、访问去重到文本分析的中文舆情监控 爬虫系统。 https://github.com/JamieOw119/ChineseNewsWebpageScrapy

TA 的技能服务

该人才共 1 项技能服务,可在 技能服务 中搜索「浪味仙」查看。