主体软件工程师，平台数据工程

征用号码：42179

康宁是全球材料科学领域领先的创新者之一。160多年来，康宁应用其在特种玻璃、陶瓷和光学物理领域无与伦比的专业知识，开发了创造了新的行业并改变了人们的生活。

康宁的成功源于对研发的持续投资，材料和工艺创新的独特结合，以及与客户紧密合作解决棘手的技术挑战。

全球信息技术(IT)职能部门致力于协调IT和业务战略，利用IT投资，优化端到端业务流程和相关的信息集成技术。通过这些努力，IT通过IT支持的流程帮助提高康宁业务的竞争地位。IT还以低成本的方式向康宁全球提供信息技术应用、基础设施和项目服务。

数据，自动化和高级分析技术在大幅转换为超越Point Process Automation的工业制造商，以系统，高度上下文化和数据驱动系统。康宁正在为这些公司的努力构建基础数字基础设施，正在寻找热情，勤奋和才华横溢的员工级软件工程建筑师，这些软件工程建筑师将设计重用，速度和规模的基础。

概述

Principal软件工程师，平台数据工程将成为核心平台开发团队的一部分，使用域专家，应用程序开发人员，控制工程师，数据工程师和数据科学家。他们的主要责任将是开发生产化，可靠和仪器的数据摄取管道，该数据摄取管道从整个公司的多个进程和运营数据商店纳入地上的内部数据和基于云的数据湖泊。这些管道需要数据验证和数据分析自动化以及版本控制和CI / CD，以确保支持我们高级分析项目的入站数据流的持续和可维护性。这些系统需要是可靠的，环境不可知论和跨越内地和云计算环境的便携式。

责任

作为主要的软件工程师，平台数据工程为我们的高级分析平台，您的主要职责将是：

• 设计和实施实践模式，用于生产，便携式，模块化，仪表，CI / CD自动和高度性能数据摄取管道，可利用结构化流技术，以非结构化，半结构化和结构形式处理批量和流式数据，使用Apache Spark，deltalake，delta发动机，蜂巢和其他相关的技术堆栈
• 确保使用这些模式构建的数据输入管道能够可靠地验证和分析入站数据，识别异常或其他意外的数据条件，并能够在需要时触发操作人员采取适当的补救措施
• 与公司内外的数据源域专家合作，了解有价值交付的潜在数据，并合作收获，土地并按比例准备数据
• 确保使用这些模式构建的管道在架构和操作上与数据上下文化，功能工程，出站数据工程和由您的核心平台开发同行设计的推理管道集成
• 提供和呈现概念实施证明，解释您为您的设计选择的关键技术以及正在进行的开发和生命周期管理的推荐实践模式。这些努力的目标受众跨越公司，包括项目利益相关者，数据科学家，流程专家，其他核心软件工程团队成员以及有兴趣利用您自己项目的代码的善意技术社区
• 使用敏捷开发实践和持续改进开发方法的员工致力于实现自动化，集成，部署和监测摄取，富集和ML管道的目标
• 使用您的专业知识和影响力，帮助建立上述实践模式，并鼓励他们通过整个公司的软件和数据工程团队采用
• 在组件路线图上与相关的实践团体一起工作，并作为可信任的代码提交者，与公司的其他开发团队一起进行内部源代码开发工作

教育和经验

• 计算机科学的高级学位强烈优先，但在计算机科学，工程，数学或相关技术学科的最低学士学位。
• 10年以上的编程经验，至少精通一种现代JVM语言(如Java、Kotlin、Scala)和至少一种其他高级编程语言，如Python
• 5年以上开发大规模分布式系统和多层应用的全栈经验
• 熟练掌握敏捷软件开发和持续集成+持续部署方法，以及支持工具，如Git (Gitlab)， Jira, Terraform, New Relic
• 专家水平熟练掌握传统关系和多胶持久技术
• 5年以上大数据工程工作经验，开发和维护数据仓库、内部和云数据湖环境的ETL和ELT管道
• 5年以上使用SQL和DDL的生产经验
• 3年以上经验高级Apache Spark Apis（Scala，Pyspark，Sparksql），并展示强大的动手技术熟悉Apache Spark架构，
• 在Apache Spark平台上开发批次，微批次和流入口管道的3年以上，利用低级RDD API和更高级别的API（SparkContext，DataFrames，DataSets，GraphFrames，Spark SQL）。
• 熟练掌握Spark核心架构，包括物理计划，udf，作业管理，资源管理，S3，拼花和Delta Lake架构，结构化流实践
• 3年以上AWS平台服务DevOps经验，包括AWS S3和EC2，数据迁移服务(DMS)， RDS, EMR, RedShift, Lambda, DynamoDB, CloudWatch, CloudTrail
• 具有内部采购计划的工作经验，作为可信任的提交者和贡献者
• 较强的技术协作和沟通能力
• 坚定不移的致力于编码最佳实践和强有力的代码审查
• 在不断学习、分享最佳实践、鼓励和提升经验不足的同事的文化偏见
• 验证成功与用户，其他技术团队和高级管理层沟通，以收集要求，描述数据建模决策和数据工程战略

额外的技术资格

• 熟练掌握函数式编程方法及其在分布式系统中的应用
• 专家熟练数据管理基础和数据存储原则
• 熟练使用AWS基础计算服务，包括S3和EC2, ECS和EKS, IAM和CloudWatch
• 有全栈应用开发经验(前端，后端，微服务)
• 熟练掌握与ceph，kubernetes和docker一起使用

• 熟悉以下工具和技术实践:
  • Oracle, Microsoft SQL Server, SSIS, SSRS
  • 建立企业ETL和集成工具，包括Informatica, Mulesoft
  • 建立开源数据集成和DAG工具，包括NiFi, Streamsets，风流
  • 制造企业常用的数据源和集成解决方案，包括Pi Integrator、Maximo
  • 报告和分析工具包括PowerBI, Tableau, SAS JMP

其他资格

• 良好的人际关系建立技巧
• 经过验证的成功在高度矩阵环境中工作。
• 尽管有复杂和流畅的环境，但行动的强烈偏见和提供结果的能力。
• 优秀的分析和决策能力。
• 一定是对成功的热情。
• 必须表现出愿意付出额外的努力，承担需要完成的事情，并保持积极的态度以适应变化。
• 有很强的领导能力和良好的口头和书面沟通技巧，具有开发和销售想法的能力。

本职位不支持移民担保。

我们禁止基于种族，颜色，性别，年龄，宗教，国籍，性取向，性别认同或表达，残疾或退伍军人身份或任何其他法律保护地位的歧视。

为残疾人参与工作申请、面试、履行基本工作职责和其他就业福利待遇提供合理便利。请联系我们申请住宿。