高级分析平台高级数据工程师(远程)

申请编号:52646

康宁是世界材料科学领域领先的创新者之一。160多年来，康宁将其在特种玻璃、陶瓷和光学物理领域无与伦比的专业知识应用于产品开发，创造了新的行业，改变了人们的生活。

康宁的成功是通过持续的研发投资、独特的材料和工艺创新结合以及与客户密切合作来解决棘手的技术挑战。

全球信息技术(IT)功能领导协调IT和业务战略、利用IT投资、优化端到端业务流程和相关的信息集成技术的工作。通过这些努力，IT通过IT支持的流程帮助提高康宁业务的竞争地位。IT还以具有成本效益的方式向康宁全球提供信息技术应用、基础设施和项目服务。

地点:纽约州康宁;夏洛特，NC或Remote

数据、自动化和高级分析技术正在彻底改变工业制造商从点过程自动化到系统的、高度情境化的和数据驱动的系统。康宁正在为这些全公司范围内的努力建设基础数字基础设施，并正在寻找富有激情、努力工作和有才华的员工级软件工程师，他们将开发和增强对这些努力至关重要的数据摄取管道。

概述

数据工程师、高级分析平台将与我们的核心平台开发团队以及领域专家、应用开发人员、控制工程师和数据科学家一起工作。他们的主要职责是开发可靠的、仪器化的数据摄入管道，将来自整个公司多个流程和运营数据存储的入站数据导入到内部和基于云的数据湖。这些管道将需要数据验证和数据分析自动化，以及版本控制和CI/CD，以确保支持我们高级分析项目的入站数据流的持续弹性和可维护性。

责任

作为我们高级分析平台的数据工程师，你的主要职责是:

• 使用已建立的框架、实践模式、敏捷软件开发和CI/CD实践设计、测试、部署和维护生产大数据摄取管道，与首席软件工程师(数据摄取)密切合作
• 与跨组织的数据源团队合作，定义结构化、非结构化和半结构化数据的数据摄入需求，试验它们的实现，确保数据源团队接受有效的着陆结果数据
• 使用敏捷软件开发和CI/CD实践，定义和实现自动化验证和分析功能，以确保可靠的数据交付
• 与数据源团队、领域专家和数据科学家合作，为登陆数据定义数据清理和数据丰富需求
• 使用已建立的实践模式实现数据清理和丰富代码
• 与数据源团队、领域专家和数据科学家合作，使用敏捷软件开发和CI/CD实践，验证登陆、清理和丰富的数据，同时确保最终的数据集可以直接使用，而不需要额外的处理工作
• 积极参与代码评审，与您的团队成员和康宁更广泛的软件工程社区共享技术信息
• 紧跟行业标准和技术进步，这将提高你工作的质量、生产力和绩效。
• 在DevOps环境中提供支持，以监视令牌、作业和整体系统性能。

资格

• 计算机科学，工程，数学或相关技术学科学士学位
• 5年以上大数据工程经验，开发和维护数据仓库、内部和云数据环境的ETL和ELT管道
• 至少5年以上的现代JVM语言(如Java、Scala或Kotlin)的产品编程能力，以及解释性声明式编程语言(如Python)

• 3年以上使用高级Apache Spark api (pySpark, SparkR, SparkSQL和Scala)开发批处理，微批处理和流输入管道的经验
• 3年以上使用SQL和DDL的生产经验
• 2年以上AWS平台服务的DevOps经验，包括AWS S3和EC2，数据迁移服务(DMS, RDS, EMR, RedShift, Lambda, DynamoDB, CloudWatch, CloudTrail
• 熟悉Apache Spark体系结构、S3、拼花和Delta Lake体系结构、技术和工具
• 熟练掌握传统关系持久性技术和多语言持久性技术

• 熟练掌握敏捷软件开发和持续集成+持续部署方法，以及支持工具，如Git (Gitlab)， Jira, Terraform, New Relic
• 熟悉包括JupyterHub在内的笔记本环境
• 成功地与用户、其他技术团队和高级管理人员进行沟通，以收集需求，描述数据建模决策和数据工程策略

首选的资格

• 具备全栈应用开发经验(前端、后端、微服务)
• 熟悉以下工具和技术实践:
  • Oracle, Microsoft SQL Server, SSIS, SSRS
  • 建立了企业ETL和集成工具，包括Informatica, Mulesoft
  • 建立了开源数据集成和DAG工具，包括NiFi, Streamsets，风流
  • 制造企业常用的数据源和集成解决方案，包括Pi积分器、Maximo
  • 报告和分析工具包括PowerBI, Tableau, SAS JMP

我们禁止基于种族、肤色、性别、年龄、宗教、国籍、性取向、性别认同或表达、残疾、退伍军人身份或任何其他受法律保护身份的歧视。

我们会确保为残疾人士提供合理的便利，以便他们参与求职或面试过程，履行重要的工作职能，以及获得其他就业福利和特权。请联系我们要求住宿。