职业经历
工作经历
2022年02月 — 3000年01月
产品,产品经理,数据产品经理
1、数据服务每秒数据吞吐量400Qps以上，RabbitMQ 高效消费无数据积压，系统运行稳定，关键词命中准确。2、 取证服务解决了老系统部分网页无法取证或取证数据不完整等疑难问题，并且实现了低资源占用高并发处理提高了取证效率。
2020年10月 — 2022年06月
技术,高端职位,架构师
1、主导中台服务技术选型，参与整体架构设计，中台服务从0到1实现，中台核心代码模板化 。 2、数据库设计, Redis 缓存设计, Apisix 网关服务开发。 3、镜像制作，Docker 部署，K8s+Prometheus 服务监控和资源监控。 4、模板优化，对象存储优化，异步优化等；在线接口文档系统开发，接口文档输出，设计文档输出。 5、Golang+Gin 开发自动化训练模型模块。
2019年03月 — 2020年10月
技术,后端开发,Python
1、负责Python相关服务的框架设计，数据库设计， 技术选型等核心工作。 2、Facebook 智能广告投放系统的开发，Facebook 养号软件开发。 3、手机壳定制平台“百鱼定制”后台开发，百鱼定制客户端开发。 4、百鱼定制平台手机壳自定义图片P图功能。
2017年12月 — 2019年03月
技术,高端职位,技术合伙人
1、 小型创业公司，全面负责“省心月嫂”平台前后端开发， 架构设计和技术选型。 2、 独立完成 “省心月嫂”平台 web 项目的开发，技术文档输出。 3、 独立完成小程序和公众号后端开发， 对接小程序开发人员完成微信产品的开发和上线运行。 4、 对所需数据和信息全网采集并存储，前后端项目代码上线部署和运营维护。
教育经历
计算机科学与技术
2014年09月 — 2017年07月
项目经历
2022年06月 — 2022年10月
1、项目为分布式爬虫系统，目的为业务提供海量数据支撑和数据的过滤，包括论坛、企业门户网站等平台的文本内容、图 片、视频的采集和存储。定义多种模板，针对不同的反爬措施进行数据采集。 2、项目采用 Scrapy-redis + Scrapyd+Minio+RabbitMQ+Docker 进行开发和部署。 3、企业信息，自媒体账号，自媒体文本，图片视频的采集和存储。 4、负责整个采集系统的架构设计和框架主体搭建，文档流程图输出等核心工作。
2022年09月 — 2023年01月
1、数据清洗和过滤是将采集的海量数据从 RabbitMQ 中消费，通过关键字字典树Trie精准匹配和模型算法得到最终数据批量存入ElasticSearch中。 2、取证服务的目的 对目标网站页面的内容进行取证留档，数据分别存储到文件服务器和 Minio中，能够对H5，Iframe ，跳转，挂链等网页进行精准取证。 3、Fasttext 模型训练，使用 Sklearn + Fasttext 对语料库数据进行训练。 业绩: 1、数据服务每秒数据吞吐量400Qps以上，RabbitMQ 高效消费无数据积压，系统运行稳定，关键词命中准确。 2、 取证服务解决了老系统部分网页无法取证或取证数据不完整等疑难问题，并且实现了低资源占用高并发处理提高了取证效 率。
2020年10月 — 2022年05月
1、项目为人工智能科研平台，包含人工智能课程所需的资源和环境，如数据集，镜像，模型等，基于 torando+mysql+docker+apisix架构开发。 2、基于 Gin+redis+mysql 框架实现模型自动化训练服务；Docker 镜像同步服务，根据 harbor 的日志，进行镜像的同步（pull 和 rmi），根据 gossh 和 go-tail 定制化开发。 3、Docker 多节点部署, K8s+Prometheus+loki 服务和资源以及日志的监控。 业绩: 1、主导中台服务技术选型和整体架构设计，实现中台服务从0到1，构建数据集，模型等中台模板，开发效率提高40%，获得公司最佳新人奖。 2、实现了 Tornado + Tornado-swagger 的在线接口文档系统，解决的整个项目接口文档混乱无标准的问题； 整合平台下各个中台服务完成 Tornado + Apisix的中台网关服务。 3、基于K8s+Prometheus+Loki 的服务监控和资源监控服务，对平台产品提供丰富的资源管理和日志管理可视化工具。
TA 的技能服务
该人才共 1 项技能服务，可在 技能服务 中搜索「石德斌」查看。