欧特克(欧特克)全在现代数据堆栈上

2020年7月30日
与新巴黎人官方, 雪花和印度生物技术部, 欧特克 Construction 服务为其许多收购建立了统一的数据架构.

关键

有一个现代的数据栈, 欧特克建筑服务公司(欧特克 Construction 服务)通过多次收购将财富500强企业的数据架构统一起来. 在其堆栈中添加了新巴黎人官方、雪花和印度生物技术部,从而消除了管道维护. 数据加载不再需要手动回填或数千行Python代码和运行时间,以前可能需要几个小时,现在女子360和BuildingConnected只需几分钟, 最近四笔建筑产品收购中的两笔.

数据堆栈

欧特克 提供服务于制造需求的软件组合, 体系结构, 建筑, 建设, 媒体, 和娱乐行业. 欧特克建筑服务(ACS), 欧特克的一个部门, 工具是否能够使施工客户交付更好的施工生命周期, 从设计阶段开始, 计划(分段装配), 建筑(建设)和运营. 然而,通过多次收购,包括 BuildingConnected女子360, 出现了不同应用程序的混合, 数据库, 客户数据平台, 以及需要集中的分析工具.

调整应用程序,数据库 & 工具在收购

欧特克 Construction 服务数据团队面临的主要业务挑战包括数据提取, 存储和转换. 数据工程经理Evin Anderson解释了BuildingConnected的情况:

新巴黎人官方一直在使用Alooma,每当列有不同的格式或出现意想不到的值时, 这个团队必须一个接一个地解决每个问题. 通常重置表更容易,但排除故障很麻烦. 估计有3-5%的分析师时间花在故障排除Alooma上,以适应列格式的变化.

该团队还在其存储解决方案中遇到了并发问题. 过多的数据库调用和并行运行的查询会减慢查询速度, 最长的记录是1小时40分钟. 存储限制是有限的,计算的扩展速度需要计划升级. / 3,需要000行Python代码来解包JSON和格式化数据,以获得用于分析的可用形式.数据分析师Raul Maldonado解释道,女子360也存在同样的问题:

提取需要每日监测, 分析人员进入系统,以确保没有数据丢失,上游的模式更改不会影响下游的工作流. 有超过20个下游模型,业务必须确保是健全的. 参数和回填功能的限制意味着可能会有几天的数据缺失,需要手动回填, 而转化可能需要23个小时.

构建数据体系结构

该公司意识到,有必要将这些收购合并起来,为客户提供更具凝聚力的产品和体验. 他们还希望为组织提供见解,以鼓励数据素养和明智的决策. 包括Anderson和Maldonado在内的一个小组开始定义他们理想的数据架构, 哪些涉及到将数据源放到仓库中并执行转换. 改进体系结构有几个关键的需求, 通过由新巴黎人官方组成的现代数据栈,欧特克能够轻松实现哪些功能, 雪花和印度生物技术部:

  • 为源标准化创建高度非规范化的表
  • 仓库的大小调整
  • 提高并发性
  • 在仓库中实现JSON和列表转换的处理.

Anderson解释了欧特克栈的每个部分的好处:

新巴黎人官方: “使用新巴黎人官方新巴黎人官方可以进行自动模式迁移,这样数据流就不会中断. 新巴黎人官方有测试来排除可能出现的特定区域, 但这并不妨碍新巴黎人官方的最终用户使用新巴黎人官方的报告工具. 设计直观、简单, 连接器覆盖范围满足了新巴黎人官方大多数的模具需求,客户服务也很好.”

雪花: “使用雪花,新巴黎人官方拥有无限的伸缩性和弹性并发性. 以前,如果新巴黎人官方有太多的查询运行,它会减慢新巴黎人官方的体验. 现在,新巴黎人官方可以轻松地管理交通,而且不会影响运行时间. 独立的计算资源允许新巴黎人官方在需要提高查询速度时对仓库进行评估. 在一般情况下, 新巴黎人官方将在实际的数据仓库中实现所有与JSON提取相关的过程. 安全的数据共享和成本高效的存储对于与业务共享数据非常重要.”

印度生物技术部: 印度生物技术部允许新巴黎人官方建立可重复的数据转换. 新巴黎人官方可以对作业进行调度,以便在下游的表中为新巴黎人官方创建数据表. 有了这个设置,新巴黎人官方应该能够对新巴黎人官方使用的特定工具保持不可知,”安德森说.

女子360和Building Connected的结果

新巴黎人官方, 雪花和印度生物技术部, 这两笔收购都为欧特克节省了大量的时间和维护费用,业务也在朝着为欧特克及其多笔收购创造单一真相来源的方向发展. 其架构就位, 欧特克现在可以致力于整合其BI仪表盘, 确定机器学习基础设施和增强DBT测试和文档. 以下是两种产品的结果总结:  

BuildingConnected:

  • 管道维护已经从分析师时间的3%到5%减少到不到1%(简单地添加新的连接器)
  • 不再需要任何Python代码行来解包JSON
  • 所有转换都是在仓库内完成的
  • 具有弹性并发和创建更大表的能力, 转换运行时间减少了68%

360年女子:

  • 提取过程不再需要日常监控——如果连接器延迟或同步失败,新巴黎人官方会自动提供电子邮件警报
  • 数据会自动回填,因为新巴黎人官方会根据上一次成功的同步来提取数据
  • 转换在几分钟内就会发生,这真的很有影响力,并帮助分析师更快地提供洞见

亲身体验新巴黎人官方如何通过将数据无缝集成到云数据仓库中来节省您的时间和资源, 报名参加 个性化的演示 或者开始你的 免费试用 今天.

关于新巴黎人官方: 由数据分析师的实际需求塑造, 新巴黎人官方技术是最聪明的, 复制应用程序的最快方式, 数据库, 事件和文件到一个高性能的云仓库. 新巴黎人官方连接器的部署只需几分钟, 需要零维护, 并且自动调整源变更——这样您的数据团队就可以不再担心工程问题,而将精力集中在驱动洞察力上.

雪花: 雪花是为云构建的领先数据仓库. 其独特的架构在性能、并发性和简单性方面提供了已被证实的突破. 第一次, 多个组可以同时访问pb级的数据, 与非云解决方案相比,速度快200倍,成本低10倍. 雪花是一个完全管理的服务,它具有按需付费的模式,可以处理结构化和半结构化数据.

关于印度生物技术部: 印度生物技术部是由Fishtown Analytics构建和维护的开发环境,它使用的是数据分析师最喜欢的语言——sql. 与印度生物技术部, 分析师拥有整个分析工程工作流程的所有权, 从编写数据转换代码到部署和文档.

开始免费

加入成千上万使用新巴黎人官方来集中和转换数据的公司吧.

谢谢你!! 你的意见书已收到!
哦! 在提交表单时出现了错误.