线下
全职
发布于 2025-09-12
数据工程师
data engineer
2500~3500
remote
MAPS.ME
交易所 · 50-200 人
PythonSQLPandasSparkHiv
职位描述
1、负责结构化数据的ETL 到大数据平台;
2、实时数据在线数据采集,数据在线计算
3、精通业务建模、数据仓库建模、精通ETL设计开发,具备体系化的数据质量与数据治理相关经验;
4、熟练掌握一种Java/Scala ,对JVM有深入理解,能对 JVM 层面进行问题排查以及性能调优,参与过算法项目尤佳;
职位要求
工作职责
- 数据驱动的策略优化:挖掘用户行为、内容特征与业务场景数据,构建多维度指标体系,制定并迭代推荐策略。
- A/B测试全流程管理:主导实验设计、样本量计算与效果归因,通过统计方法(功效分析、方差缩减、置信区间、MDE等)确保结论可靠性,输出业务改进建议。
- 数据观测:搭建实时/离线数据监控体系,定位异常波动并推动修复。
- 用户行为分析与场景解决方案:分析长短期兴趣匹配、兴趣演化路径,设计用户分群、冷启动等场景的个性化解决方案。
-数据建设:对现有大数据框架 spark/hadoop 进行基本的维护
任职要求
- 硕士及以上学历,7年以上数据科学或数仓相关经验。
- 精通Python/SQL,熟练使用Pandas/Spark/Hive等工具处理海量数据,具备扎实的统计学基础。
- 掌握A/B测试原理及统计分析方法,能独立完成实验设计与效果归因。
- 熟悉了解机器学习算法(LR、GBDT、Deep Learning等)。
- 有大规模数据的分析经验,熟悉分布式计算框架(Flink/Spark),具备大规模分析能力。
- 卓越的沟通能力,能高效的与算法、研发、产品等多角色协调。