它数据架构师

请求数:49931

康宁是全球材料科学领域领先的创新者之一。160多年来，康宁应用其在特种玻璃、陶瓷和光学物理领域无与伦比的专业知识，开发了创造了新的行业并改变了人们的生活。

康宁的成功源于对研发的持续投资，材料和工艺创新的独特结合，以及与客户紧密合作解决棘手的技术挑战。

全球信息技术(IT)职能部门致力于协调IT和业务战略，利用IT投资，优化端到端业务流程和相关的信息集成技术。通过这些努力，IT通过IT支持的流程帮助提高康宁业务的竞争地位。IT还以低成本的方式向康宁全球提供信息技术应用、基础设施和项目服务。

地点:夏洛特，NC -康宁，纽约-远程选项

角色简介:数据和技术已经彻底改变了工业制造商的生产过程，从依赖人力到高效的自动化和系统驱动。康宁正在为业务部门和职能部门创造创新的数字解决方案，并正在寻找热情、勤奋和有才华的员工级数据工程师，以帮助构建我们的数据驱动投资产品，以实现重用、速度和规模。

数据架构师将与应用程序开发和IT运营一起工作，为在企业中成功部署大规模数据解决方案提供深入的技术主题专业知识，使用现代数据/分析技术。他们的主要职责是开发产品化、可靠和仪器化的数据输入管道，将来自公司多个流程和运营数据存储的数据输入到本地和基于云的数据湖。这些管道将需要数据验证和数据分析自动化，以及版本控制和CI/CD，以确保支持我们的数据和分析项目的入站数据流的持续弹性和可维护性。该职位将涉及实际操作数据管道，工程开发和测试，以及设计数据基础设施，组织数据供授权个人访问。

基本职责:

• 使用批量和复制功能(如Qlik data Integration、Informatica或AWS DMS)，设计和实现来自结构化和非结构化数据源的高性能数据吸收管道，并使用S3、Apache Spark、Deltalake、MPP、OLAP和其他相关技术栈处理数据
• 为产品化的、CI/CD自动化的、高性能的数据转换和聚合设计和实现实践模式，重点关注支持广泛的kpi的集成数据模型
• 构建变更数据捕获、历史负载和数据恢复设计模式
• 向项目干系人提供关键技术组件的概念证明。
• 为指定的sla提供操作支持文档和操作程序，并解决数据管道操作问题。
• 集成端到端数据管道，将数据从源系统提取到目标数据存储库，确保始终保持数据的质量和一致性
• 使用基于事件/流技术来获取和处理数据
• 与项目团队的其他成员合作，支持额外项目组件的交付
• 根据客户需求评估多种数据摄入方法的性能和适用性
• 采用敏捷交付/ DevOps方法，在迭代的sprint中交付概念验证和产品实现。
• 基于内聚体系结构的当前与未来状态，分析、设计和开发路线图、设计模式和实现计划。
• 在产品组合或团队中，回顾和/或分析和开发数据域级别的架构需求。
• 领导对新兴数据技术、行业和市场趋势的研究和评估，以协助项目开发和/或运营支持活动。

资格证书/要求:

• 学士学位。信息系统、信息技术(IT)、计算机科学或工程专业优先
• 7-10年相关IT经验
• 5年以上大数据工程工作经验，开发和维护数据仓库、内部和云数据湖环境的ETL和ELT管道
• 4年以上数据架构师或类似职位工作经验
• 4年以上编程经验，至少精通一种现代脚本或编程语言，如Python、NodeJS、Java或Scala。
• 至少3年以上ETL工具(Talend, Pentaho, SSIS)和开源数据移动工具(包括Spark, AWS Kinesis或Apache Kafka/Storm)经验
• 2年以上Apache Spark高级api (Scala, PySpark, SparkSQL)经验，并对Apache Spark架构有很强的技术熟悉。
• 熟练掌握Spark核心架构，包括物理计划，udf，作业管理，资源管理，S3，拼花和Delta Lake架构，结构化流实践
• 2年以上数据复制工具工作经验，如Qlik Attunity, HVR，或GoldenGate
• 有SQL和NoSQL经验
• 精通AWS数据平台，包括AWS数据迁移服务(DMS)， AWS数据管道，数据管道和EMR/EC2。
• 熟练掌握敏捷软件开发和持续集成+持续部署方法以及支持工具，如Git (Gitlab)， Jira, Terraform, New Relic

一般条件:数据架构师将是一个全面有效的沟通者。该个人将能够概念化，计划，文件和有效沟通。正确的候选人将拥有能量，开发增值服务定义，并帮助领导变革。该职位的成功候选人将具有以下一般经验和专业知识:

• 在与用户、其他技术团队和高级管理人员沟通以收集需求、描述数据建模决策和数据工程策略方面取得了成功
• 在数据工程的最佳实践方面提供技术领导和指导其他工程师的经验
• 在开发生命周期中掌握软件工程最佳实践的知识，包括敏捷方法、编码标准、代码审查、源代码管理、构建过程、测试和操作
• 理解各种业务数据域(例如制造、工程、销售和供应链)
• 致力于满足内部和外部客户的期望和要求
• 与不同层次的同事合作，开发有效的创新解决方案
• 能应付变化，在不了解全局的情况下做出好的决定
• 运用严谨的逻辑和方法，有效地解决难题
• 了解当前和可能的未来IT趋势和技术
• 向他人提供直接的、完整的、“可操作的”积极的和纠正的反馈
• 轻松处理概念和复杂性
• 在正式和非正式场合的有效沟通者和演讲者
• 传达一种令人信服的、有灵感的愿景或核心目标感
• 高度自我激励和指导
• 具有团队合作的领导能力
• 具有有效的领导、组织和计划能力，并能处理不断变化的优先事项
• 优秀的沟通、人际关系和影响能力
• 能够领导跨业务线、地理边界、时区和文化的多个项目的国际团队
• 必须积极主动，能够在团队中工作并激励他人

旅行:有限的出差

我们禁止基于种族、肤色、性别、年龄、宗教、国籍、性取向、性别认同或表达、残疾、退伍军人身份或任何其他受法律保护的身份的歧视。

为残疾人参与工作申请、面试、履行基本工作职责和其他就业福利待遇提供合理便利。请联系我们申请住宿。