分享这份工作
AP软件工程师,数据工程
应用现在»日期:2021年7月6日
地点:上海上海,中国,200031
公司:康宁
请求数:46943
康宁是全球材料科学领域领先的创新者之一。160多年来,康宁将其无与伦比的专业技术应用于特种玻璃、陶瓷和光学物理,开发创造了新产业并改变了人们的生活的产品。
康宁成功通过研发的持续投资,物料和流程创新的独特组合,以及与客户密切合作,解决艰难的技术挑战。
职责
作为我们高级分析平台的数据工程师,您的主要职责将是:
- 使用Apache Spark、Deltalake、Delta Engine,为产品化、可移植、模块化、仪表化、CI/CD自动化和高性能数据输入管道设计和实现实践模式,利用结构化流技术,以非结构化、半结构化和结构化形式处理批处理和流数据。蜂巢和其他相关的技术栈
- 确保使用这些模式构建的数据输入管道能够可靠地验证和分析入站数据,识别异常或其他意外的数据条件,并能够在需要时触发操作人员采取适当的补救措施
- 与公司内部和外部的数据源领域专家合作,了解他们的数据的价值交付潜力,并协作以大规模收获、整理和准备数据
- 确保使用这些模式构建的管道在架构上和操作上与核心平台开发同行设计的数据上下文化、特性工程、出站数据工程和生产推断管道集成在一起
- 交付并呈现概念实现的证明,说明为您的设计选择的关键技术,以及为正在进行的开发和生命周期管理推荐的实践模式。这些工作的目标受众遍及整个公司,包括项目涉众、数据科学家、过程专家、其他核心软件工程团队成员,以及对利用您的代码为他们自己的项目提供服务感兴趣的相关实践技术社区
- 与您的开发伙伴一起使用敏捷开发实践,并不断改进开发方法,目标是自动化构建、集成、部署和对摄入、富集和ML管道的监控
- 利用您的专业知识和影响力,帮助建立上述实践模式,并鼓励整个公司的软件和数据工程团队采用这些模式
- 在组件路线图上与相关的实践团体一起工作,并作为可信任的代码提交者,与公司的其他开发团队一起进行内部源代码开发工作
教育和经验
- 计算机科学高级学位优先,但至少要有计算机科学、工程、数学或相关技术学科的学士学位。
- 5年的编程熟练程度,至少是一种现代化的JVM语言(例如Java,Kotlin,Scala)以及至少一种其他高级编程语言,如Python
- 5年以上的全堆栈经验开发大规模分布式系统和多层应用程序
- 专家水平熟练与敏捷软件开发和连续集成+连续部署方法以及支持工具,如Git(Gitlab),JIRA,Terraform,新遗物
- 熟练使用传统的关系和多语言持久性技术
- 5年以上的大数据工程角色经验,开发和维护ETL和ELT管道,用于数据仓库,内部部署和云数据质环境
- 使用SQL和DDL 5多年的生产经验
- 3年以上Apache Spark高级api (Scala, PySpark, SparkSQL)经验,并对Apache Spark架构有很强的技术熟悉。
- 3年以上在Apache Spark平台上开发批处理、微处理和流导入管道,利用低级RDD api和高级api (SparkContext, DataFrames, dataset, GraphFrames, Spark SQL)。
- 展示了Spark核心架构的深度技术熟练,包括物理计划,UDF,工作管理,资源管理,S3,镶木地板和三角洲湖架构,结构化流媒体实践
- 3年以上AWS平台服务DevOps经验,包括AWS S3和EC2,数据迁移服务(DMS), RDS, EMR, RedShift, Lambda, DynamoDB, CloudWatch, CloudTrail
- 展示了与内部采购举措合作的经验,作为可信任的宣布和贡献者服务
- 强大的技术合作和沟通技巧
- 坚定不移地致力于编码最佳实践,并强烈支持代码审查
- 在持续学习的文化偏见,分享最佳实践,鼓励和提升更不经验丰富的同事,因为他们学习
- 在与用户、其他技术团队和高级管理人员沟通以收集需求、描述数据建模决策和数据工程策略方面取得了成功
额外的技术资格
- 熟练掌握函数式编程方法及其在分布式系统中的应用
- 专家熟练数据管理基础和数据存储原则
- 熟练使用AWS基础计算服务,包括S3和EC2, ECS和EKS, IAM和CloudWatch
- 以前的全堆叠应用程序开发经验(前端,后端,微服务
- 熟练使用Ceph, Kubernetes和Docker
- 熟悉以下工具和技术实践:
- Oracle,Microsoft SQL Server,SSIS,SSRS
- 建立企业ETL和集成工具,包括Informatica,Mulesoft
- 建立开源数据集成和DAG工具,包括NiFi, Streamsets,风流
- 制造企业常用的数据源和集成解决方案,包括Pi Integrator、Maximo
- 报告和分析工具包括PowerBi,Tableau,SAS JMP
其他条件
- 强大的关系建筑技巧
- 在高矩阵环境下工作的成功证明。
- 尽管有复杂和流畅的环境,但行动的强烈偏见和提供结果的能力。
- 出色的分析和决策能力。
- 必须有成功的激情。
- 必须展示一份证明愿意加倍努力,承担需要做的事情并保持能够适应变革的积极态度。
- 有很强的领导能力和良好的口头和书面沟通技巧,具有开发和销售想法的能力。