远程
全职
发布于 2024-12-22
大数据架构师/Leader
5000-8000U/月
remote
LBank
DeFi · 500-1000 人
FlinkClinkHousehudi实时计算架构等项目实战经验。
职位描述
要求:Flink、ClinkHouse、hudi、实时计算架构
工作职责
1、负责数据中心、离线或者实时业务指标体系建设规划,并规划设计数据服务工具,提升数据研发工作效率,搭建数据服务工具/产品,赋能业务同学及支撑业务创新。
2、负责基于大数据平台的离线、实时数据仓库搭建,数据仓库架构设计、ETL设计、流程优化、元数据系统设计,整体管理数据的生产、建模、应用及质量体系建设。
3、负责离线或者实时业务指标体系建设,对海量数据整合分析,挖掘用户,产品及潜在数据信息,为销售、风控,运营决策支撑体系提供完善的数据平台支持。
4、负责大数据数据仓库(离线,实时)方向技术团队管理,业务技能和技术能力培养。
职位要求
岗位要求:
1、8年以上大数据/算法工作经验,5年以上大数据平台架构经验,5年以上数据开发经验。
2、具有扎实的编程功底,熟悉常用的算法和数据结构,精通Java/Python/Scala/Shell语言(至少两种),并具备丰富的实战经验,精通底层原理。
3、对大数据基础架构和平台有深刻理解和丰富编码经验,熟练使用Hadoop、Hive、Presto、Kafka、Flume、Spark、kudu、Redis、Clickhouse、doris 、RocketMQ、Dataworks等中间件使用经验,熟悉olap引擎底层原理等。
4、有数据仓库建设/建模能力,对数据仓库建模和库表的设计有自己独到的见解,对实时数据湖产品有实战经验,如hudi、iceberg, 有高性能跨源查询等方面实战经验优先。
5、有PB级别大数据处理实战经验,包括数据的采集、清洗、预处理、存储、分析挖掘和数据可视化,以及架构设计、开发、部署和自动化运维等工作。
6、熟悉机器学习相关技术,熟悉yarn,可利用spark或相关组件设计机器学习的模型训练架构、能使用Flink或相关技术做数据指标维度统计等。
7、具备创新精神,逻辑思维能力强者、熟悉算法使用并理解其原理者。
8、具备较好沟通协调能力,主动建立与业务的紧密合作,推动业务升级;
9、熟悉大数据调度、调优,具备源码阅读修改能力者优先。
10、要求较强项目管理经验和研发管理经验,有金融行业经验者优先。
福利待遇
另议