戴文天

1. 工作认真负责，具备强烈的学习意愿与探索精神，持续精进专业技能，快速适应技术迭代与项目需求变化

0 · 0条评价回复率 50% 2年经验 ¥300/时

后端开发测试数据分析

技术商业支持

职业经历

1. 工作认真负责，具备强烈的学习意愿与探索精神，持续精进专业技能，快速适应技术迭代与项目需求变化 2. 性格外向，善于沟通协作，具备良好的团队合作意识与跨部门协调能力，推动项目高效落地 3. 熟练掌握Python语言，具备Java编程基础，能够高效完成自动化脚本开发、系统维护及功能实现任务 4. 擅长数据采集与清洗，精通多源异构数据处理，有效保障数据质量与可用性，支持业务决策分析 5. 熟悉JavaScript逆向技术，能够解析加密逻辑，突破反爬机制，提升数据获取效率与覆盖率

工作经历

爬虫工程师 · 北京聚源锐思数据科技有限公司

2023年10月 — 2025年10月

技术,数据,爬虫工程师

1、利用Python和Selenium构建自动化测试框架,确保系统的高效性和稳定性,提升测试效率。 2、运用Python进行数据采集,设计并搭建数据库,优化数据存储和查询性能。 3、维护后端FastAPI系统,确保系统的响应速度和可靠性,支持业务需求。 4、参与项目文档的编写,提供准确的技术支持和指导,确保项目顺利推进。 5、对现有爬虫系统进行维护和优化,提升数据抓取的效率和准确性。

Java · 天津基点科技有限公司

2022年11月 — 2023年04月

技术,后端开发,Java

内容: 项目后端开发实习使用语言为:java 项目框架为:SpringBoot+Mybatis-plus+MySQL 实习成果: 2022.11-2023.2 Web开发团队开发项目介绍项目介绍:公司内部论坛系统主要负责:实现发帖时的违禁词识别功能,实现根据生成职位用户树项目环境:SpringBoot+Mybatis-plus+Vue+MySQL

教育经历

上海电力大学

软件工程

2019年09月 — 2023年07月

项目经历

报刊数据采集系统

2024年12月 — 2025年10月

内容: 主导报刊采集项目,成功采集了162种报刊的内容及PDF。负责数据处理,采用Scrapy和BS4技术栈,设计并实施了三通道架构以优化分布式数据采集。有效应对反爬机制,通过登录验证和cookie验证确保数据的准确性和完整性。利用pandas进行数据分析, 结合正则表达式、机器学习(数据标注)和AI大模型进行深入解析,提升了数据处理的效率和准确性。业绩: 主导报刊采集系统的项目,成功实现总数据量突破一千七百万,数据处理量达到三百万。通过优化数据处理流程和提升系统性能, 显著提高了数据采集效率和准确性,为项目的顺利执行提供了有力支持。

金融数据库fastapi项目

2024年09月 — 2025年10月

内容: 负责维护和优化金融数据库FastAPI接口项目,确保系统的高效性和稳定性。通过定期更新和优化代码,提高数据处理速度和可靠性,支持数千个表和多数据库的金融数据整合与分析。业绩: 负责上千个表的金融数据库的FastAPI接口链接测试,成功识别并修复多个关键问题,确保系统稳定性和高效性。主导FastAPI项目的自动化接口生成,优化接口性能,并进行持续维护,保障项目的长期稳定运行。

nsfc数据采集

2023年11月 — 2025年10月

内容: 1. 项目简介:负责全网公开数据采集项目,确保数据的准确性和完整性,为后续分析提供可靠的数据基础。 2. 职责描述:承担需求分析、数据采集实现、数据库搭建及数据清洗等关键任务,确保项目按时交付。 3. 技能应用:熟练应用JavaScript逆向解密技术、BeautifulSoup库及正则表达式,成功实现数据采集和清洗,提升数据处理效率。业绩: 主导nsfc数据采集项目,成功收集全网近百万公开项目数据,涵盖项目成果及信息,总量近千万。通过优化数据抓取技术和提高数据处理效率,确保数据的准确性和完整性,为相关研究提供可靠的数据支持。

一个基于目标检测的课堂人数识别与分析系统

2022年11月 — 2023年05月

结合opencv和yolov5与Python进行机器学习,实现对指定时间指定教室中的人头数进行识别,并对比分析实际出勤人数与课程应到人数,得出考勤率。这些项目不仅提升了技术能力,还培养了团队协作能力和项目管理能力。

TA 的技能服务

该人才共 1 项技能服务，可在技能服务中搜索「戴文天」查看。