软件工程师，数据工程

征用号码：44108

康宁是世界领先的材料科学创新者之一。超过160年，康宁已在特种玻璃，陶瓷和光学物理学中应用其无与伦比的专业知识，以开发创造新兴产业并转变人们生活的产品。

康宁成功通过研发的持续投资，物料和流程创新的独特组合，以及与客户密切合作，解决艰难的技术挑战。

全球信息技术（IT）函数是一项努力使IT和业务战略协调，利用IT投资，并优化结束于结束业务流程和相关信息集成技术。通过这些努力，它有助于通过它实现流程来改善康宁企业的竞争地位。它还以成本有效的方式提供信息技术应用，基础设施和项目服务，以实现全球康宁。

数据，自动化和高级分析技术在大幅转换为超越Point Process Automation的工业制造商，以系统，高度上下文化和数据驱动系统。康宁正在为这些公司的努力构建基础数字基础设施，正在寻找热情，勤奋和才华横溢的员工级软件工程建筑师，这些软件工程建筑师将设计重用，速度和规模的基础。

概述：平台数据工程师将是数据开发活动的关键与域专家，应用程序开发人员，控制工程师，数据工程师和数据科学家合作。他们的主要责任将是开发生产化，可靠和仪器的数据摄取管道，该数据摄取管道从整个公司的多个进程和运营数据商店纳入地上的内部数据和基于云的数据湖泊。这些管道需要数据验证和数据分析自动化以及版本控制和CI / CD，以确保支持我们高级分析项目的入站数据流的持续和可维护性。这些系统需要是可靠的，环境不可知论和跨越内地和云计算环境的便携式。

职责：作为我们高级分析平台的数据工程师，您的主要职责将是：

• 设计和实施实践模式，用于生产，便携式，模块化，仪表，CI / CD自动和高度性能数据摄取管道，可利用结构化流技术，以非结构化，半结构化和结构形式处理批量和流式数据，使用Apache Spark，deltalake，delta发动机，蜂巢和其他相关的技术堆栈
• 确保使用这些模式构建的数据摄取管道可靠地验证和配置入站数据，识别异常或其他意外的数据条件，并且能够在需要时通过运营人员触发适当的修复操作
• 与公司内外的数据源域专家合作，了解有价值交付的潜在数据，并合作收获，土地并按比例准备数据
• 确保使用这些模式构建的管道在架构和操作上与数据上下文化，功能工程，出站数据工程和由您的核心平台开发同行设计的推理管道集成
• 提供和呈现概念实施证明，解释您为您的设计选择的关键技术以及正在进行的开发和生命周期管理的推荐实践模式。这些努力的目标受众跨越公司，包括项目利益相关者，数据科学家，流程专家，其他核心软件工程团队成员以及有兴趣利用您自己项目的代码的善意技术社区
• 使用敏捷开发实践和持续改进开发方法的员工致力于实现自动化，集成，部署和监测摄取，富集和ML管道的目标
• 使用您的专业知识和影响力，帮助建立上述实践模式，并鼓励他们通过整个公司的软件和数据工程团队采用
• 与Component RoadMaps的相关惯例合作，并作为可信赖的宣布，为您的公司与公司其他开发团队的内部采购工作努力

教育与经验：

• 计算机科学的高级学位强烈优先，但在计算机科学，工程，数学或相关技术学科的最低学士学位。
• 5年的编程熟练程度，至少是一种现代化的JVM语言（例如Java，Kotlin，Scala）以及至少一种其他高级编程语言，如Python
• 5年以上的全堆栈经验开发大规模分布式系统和多层应用程序
• 专家水平熟练与敏捷软件开发和连续集成+连续部署方法以及支持工具，如Git（Gitlab），JIRA，Terraform，新遗物
• 专家水平熟练掌握传统关系和多胶持久技术
• 5年以上的大数据工程角色经验，开发和维护ETL和ELT管道，用于数据仓库，内部部署和云数据质环境
• 使用SQL和DDL 5多年的生产经验
• 3年以上经验高级Apache Spark Apis（Scala，Pyspark，Sparksql），并展示强大的动手技术熟悉Apache Spark架构，
• 在Apache Spark平台上开发批次，微批次和流入口管道的3年以上，利用低级RDD API和更高级别的API（SparkContext，DataFrames，DataSets，GraphFrames，Spark SQL）。
• 展示了Spark核心架构的深度技术熟练，包括物理计划，UDF，工作管理，资源管理，S3，镶木地板和三角洲湖架构，结构化流媒体实践
• 3年以上多年来用AWS平台服务的经验，包括AWS S3和EC2，数据迁移服务（DMS），RDS，EMR，Redshift，Lambda，DynamoDB，CloudWatch，CloudTrail
• 展示了与内部采购举措合作的经验，作为可信任的宣布和贡献者服务
• 强大的技术合作和沟通技巧
• 坚定不移的致力于编码最佳实践和强有力的代码审查
• 在持续学习的文化偏见，分享最佳实践，鼓励和提升更不经验丰富的同事，因为他们学习
• 验证成功与用户，其他技术团队和高级管理层沟通，以收集要求，描述数据建模决策和数据工程战略

额外的技术资格：

• 熟练掌握功能性编程方法及其适当使用分布式系统
• 专家熟练数据管理基础和数据存储原则
• 专家熟练掌握AWS基础计算服务，包括S3和EC2，ECS和EEK，IAM和CloudWatch
• 以前的全堆叠应用开发经验（前端，后端，微服务）
• 熟练掌握与ceph，kubernetes和docker一起使用
• 熟悉以下工具和技术实践：O Oracle，Microsoft SQL Server，SSIS，SSRS
  • 建立企业ETL和集成工具，包括Informatica，Mulesoft
  • 建立了OpenSource数据集成和DAG工具，包括NiFi，Streamsets，Airflow
  • 制造企业常用的数据源和集成解决方案，包括PI Integrator，Maximo
  • 报告和分析工具包括PowerBi，Tableau，SAS JMP

其他资格：

• 强大的关系建筑技巧
• 经过验证的成功在高度矩阵环境中工作。
• 尽管有复杂和流畅的环境，但行动的强烈偏见和提供结果的能力。
• 出色的分析和决策能力。
• 一定是对成功的热情。
• 必须展示一份证明愿意加倍努力，承担需要做的事情并保持能够适应变革的积极态度。
• 强大的领导和优秀的口头和书面沟通技巧，具有发展和销售理念的能力。

这个职位不支持移民赞助。

我们禁止基于种族，颜色，性别，年龄，宗教，国籍，性取向，性别认同或表达，残疾或退伍军人身份或任何其他法律保护地位的歧视。

我们将确保残疾人提供合理的住宿，以参加就业申请或访谈过程，以执行必要的工作职能，并获得其他福利和雇佣权限。请联系我们才能要求住宿。