软件工程师，数据工程

申请号:49761

康宁是世界领先的材料科学创新者之一。160多年来，康宁一直运用其在特种玻璃、陶瓷和光学物理领域无与伦比的专业知识开发产品，创造了新的行业，改变了人们的生活。

康宁的成功源于对研发的持续投资、材料和工艺创新的独特结合，以及与客户的密切合作，以解决严峻的技术挑战。

全球信息技术(IT)功能正在领导协调IT和业务战略、利用IT投资以及优化端到端业务流程和相关信息集成技术的工作。通过这些努力，IT通过IT支持的流程帮助提高康宁业务的竞争地位。IT部门还以具有成本效益的方式向康宁全球提供信息技术应用、基础设施和项目服务。

数据、自动化和先进的分析技术正在彻底改变工业制造商，使其超越点流程自动化，成为系统化、高度情境化和数据驱动的系统。康宁正在为这些全公司范围内的努力建立基础的数字基础设施，并正在寻找充满激情、勤奋、有才华的员工级软件工程架构师，他们将为重用、速度和规模设计基础。

位置:夏洛特，北卡罗来纳州-康宁，北卡罗来纳州-远程选项可用

概述平台数据工程师将是与领域专家、应用程序开发人员、控制工程师、数据工程师和数据科学家合作的数据开发活动的关键。他们的主要职责是开发产品化、可靠和仪表化的数据摄取管道，将来自整个公司多个流程和操作数据存储的入站数据导入到内部部署和基于云的数据湖。这些管道将需要数据验证和数据分析自动化，以及版本控制和CI/CD，以确保支持我们高级分析项目的入站数据流的持续弹性和可维护性。这些系统需要是可靠的、与环境无关的，并且可以在内部部署和云计算环境中移植。

职责:作为我们高级分析平台的数据工程师，您的主要职责是:

• 为产品化、可移植、模块化、仪器化、CI/CD自动化和高性能数据摄取管道设计和实现实践模式，利用结构化流技术，使用Apache Spark、Deltalake、Delta Engine、Hive和其他相关技术堆栈，以非结构化、半结构化和结构化的形式处理批处理和流数据
• 确保使用这些模式构建的数据摄取管道可靠地验证和分析入站数据，识别异常或其他意外的数据条件，并能够在需要时触发操作人员的适当补救操作
• 与公司内外的数据源领域专家合作，了解其数据的价值交付潜力，并协作以大规模地收集、获取和准备数据
• 确保使用这些模式构建的管道在体系结构和操作上与数据上下文化、特征工程、出站数据工程和由核心平台开发同行设计的生产推断管道集成
• 交付并呈现概念实现的证明，解释您为设计选择的关键技术，以及为正在进行的开发和生命周期管理推荐的实践模式。这些努力的目标受众遍及整个公司，包括项目涉众、数据科学家、过程专家、其他核心软件工程团队成员，以及对利用您的代码为他们自己的项目感兴趣的相关技术社区
• 与其他开发人员一起使用敏捷开发实践，并不断改进开发方法，以实现自动化构建、集成、部署和监控摄取、充实和ML管道的目标
• 利用您的专业知识和影响力，帮助建立上述实践模式，并鼓励整个公司的软件和数据工程团队采用它们
• 在组件路线图上与相关的实践社区合作，并与公司中的其他开发团队一起为内部采购工作提供值得信赖的代码提交者

教育及经历：

• 计算机科学高等学位优先考虑，但至少具有计算机科学，工程，数学或相关技术学科的学士学位。
• 至少熟练掌握一种现代JVM语言(如Java, Kotlin, Scala)和至少一种其他高级编程语言(如Python) 5年编程经验
• 5年以上开发大型分布式系统和多层应用程序的全栈经验
• 熟练掌握敏捷软件开发和持续集成+持续部署方法以及支持工具，如Git (Gitlab)， Jira, Terraform, New Relic
• 熟练掌握传统关系持久化技术和多语言持久化技术
• 5年以上大数据工程工作经验，为数据仓库、本地和云数据湖环境开发和维护ETL和ELT管道
• 5年以上使用SQL和DDL的生产经验
• 3年以上高级Apache Spark api (Scala, PySpark, SparkSQL)经验，对Apache Spark架构有较强的动手技术熟悉度;
• 3年以上在Apache Spark平台上开发批处理、微批处理和流摄取管道，利用低级RDD api和高级api (SparkContext、DataFrames、DataSets、GraphFrames、Spark SQL)。
• 熟练掌握Spark核心架构，包括物理规划、udf、作业管理、资源管理、S3、拼花和Delta Lake架构、结构化流实践
• 3年以上AWS平台服务的DevOps经验，包括AWS S3和EC2、数据迁移服务(DMS)、RDS、EMR、RedShift、Lambda、DynamoDB、CloudWatch、CloudTrail
• 具有内部采购计划的工作经验，作为一个值得信赖的提交者和贡献者
• 较强的技术协作和沟通能力
• 对编码最佳实践的坚定承诺和代码审查的坚定支持者
• 文化倾向于持续学习，分享最佳实践，鼓励和提升经验不足的同事
• 能够成功地与用户、其他技术团队和高级管理人员进行沟通，以收集需求、描述数据建模决策和数据工程策略

附加技术资格:

• 熟练掌握函数式编程方法及其在分布式系统中的适当应用
• 熟练掌握数据管理基础知识和数据存储原理
• 精通AWS基础计算服务，包括S3和EC2、ECS和EKS、IAM和CloudWatch
• 有全栈应用开发经验(前端、后端、微服务)
• 熟练使用Ceph, Kubernetes和Docker
• 熟悉以下工具和技术:o Oracle, Microsoft SQL Server, SSIS, SSRS
  • 建立企业ETL和集成工具，包括Informatica, Mulesoft
  • 建立了开源数据集成和DAG工具，包括NiFi, Streamsets, Airflow
  • 制造企业常用的数据源和集成解决方案，包括Pi Integrator、Maximo
  • 报告和分析工具包括PowerBI, Tableau, SAS JMP

其他条件:

• 良好的人际关系建立技巧
• 在高矩阵环境下工作的成功经验。
• 强烈的行动倾向和在复杂多变的环境下交付结果的能力。
• 优秀的分析和决策能力。
• 必须有成功的激情。
• 必须表现出愿意付出额外的努力，承担需要做的事情，并保持积极的态度，以适应变化。
• 有较强的领导能力和良好的口头和书面沟通能力，具有开发和推销想法的能力。

这个立场不支持移民担保。

我们禁止基于种族、肤色、性别、年龄、宗教、国籍、性取向、性别认同或表达、残疾、退伍军人身份或任何其他受法律保护身份的歧视。

我们将确保为残疾人士提供合理的便利，以参与求职或面试过程，履行重要的工作职能，并获得其他就业福利和特权。请联系我们要求住宿。