主要信息

时间类型：全职

工作类型：员工

主要职责：

• 设计、开发和优化Azure Databricks中的数据管道和工作流程，使用Python进行数据处理和自动化。
• 与平台团队协作，以确保基础设施支持Databricks工作负载的可扩展性、性能和安全性要求。
• 维护和增强ETL管道，确保其高效、可靠，并符合业务需求。
• 排查和解决与数据处理、管道故障和Databricks中性能瓶颈相关的问题。
• 开发和实施优化数据管道的策略，以提高速度、成本效率和性能，确保与业务目标一致。
• 为Azure生态系统中的数据架构、数据模型和整体基础设施的改善做出贡献。
• 领导监控、维护和扩展Azure Databricks中的数据工作流程和数据存储解决方案的工作。
• 与其他数据工程师、数据科学家和分析师合作，确保数据完整性和系统间流畅流动。
• 跟踪最新行业趋势、工具和数据工程及云技术的最佳实践。

要求：

• 3年以上数据工程师经验，在基于云的环境中具备构建和优化数据管道的专业知识，特别是Azure。
• 精通Azure Databricks和Python，用于开发数据处理脚本和优化工作流程。
• 具备ETL过程、数据管道设计、自动化和故障排除的经验。
• 在Databricks中具备使用Apache Spark的实际经验，包括性能调优和优化。
• 了解Azure Data Lake、Azure SQL及其他基于Azure的数据存储和处理服务。
• 对云数据平台有深入理解，包括网络、存储、安全性和Azure中的性能考虑。
• 能够有效地在跨职能团队中协作，以协调和交付高质量的数据解决方案。
• 出色的问题解决和分析能力，能够识别和解决与数据工作流程相关的问题。
• 拥有出色的沟通技能，具备技术和非技术沟通能力，能够与不同团队有效合作。

优先资格：

• 具备使用Azure Synapse Analytics、Azure Data Factory或类似数据集成工具的经验。
• 熟悉CI/CD实践和版本控制系统如Git。
• 具备敏捷方法和项目管理工具（例如Jira，Trello）的经验。
• 熟悉数据治理原则和确保数据质量和安全的最佳实践。

技能：

适应能力,敏捷应用开发,沟通,批判性思维,客户服务,GitLab CI/CD,有意合作,绩效管理,流程改进,风险管理,可扩展性测试,软件开发,软件开发生命周期(SDLC)方法论,利益相关者管理,团队管理

申请方式：

要提交您的申请，请点击"申请"并按照逐步流程进行。

平等就业机会：

QBE是一个平等机会雇主，必须遵守其运营所在每个司法管辖区的平等就业机会法规。

请参见职位描述。