岗位职责 • 数据管线开发： 负责多源数据批量导入、真机回流数据处理及训练数据构建，开发可复用的数据处理模块，保障管线稳定性与处理效率。 • 数据湖仓与元数据管理： 参与数据湖仓设计与建设，负责数据元信息的存储、更新、索引与查询，实现数据版本、血缘及处理状态的可追溯管理。 • 批处理与算法工程化： 将数据清洗、筛选、标注等算法接入批处理框架，实现任务编排、分布式执行、资源调度与失败恢复。 • 性能与可靠性优化： 优化数据存储、计算及 IO 链路，完善测试、监控和告警，定位并解决生产环境中的性能与稳定性问题。
任职要求 • 本科及以上学历，计算机或相关专业，5 年及以上数据工程、数据平台或分布式计算开发经验，能够独立负责核心模块的设计与交付。 • 熟练使用 Python、SQL 和 Linux，具备良好的代码质量意识、系统设计及问题定位能力。 • 深入掌握 Spark、Ray、Dask、Beam 等至少一种分布式数据处理框架，有大规模批量数据处理经验，熟悉任务调度、幂等重试及故障恢复机制。 • 有数据湖或湖仓一体项目经验，熟悉 Iceberg、Delta Lake、Hudi 等至少一种湖仓表格式或同类技术，能够设计面向数据元信息的表结构、分区及查询方案。 • 熟悉对象存储、关系型数据库及 Parquet 等数据格式，有数据建模、schema 演进、增量处理和查询优化经验。 • 具备生产系统维护经验，能够通过监控、日志和性能分析定位问题，并与算法及上下游工程团队协同交付。
相关岗位