企业必须考虑的关于大数据架构的6大问题
大数据在业务价值方面承诺了很多,但企业可能难以确定如何部署需要利用的架构和工具。从描述性统计,到预测建模,到人工智能的一切都是由大数据提供支持。而组织希望通过大数据来实现这一目标,并将决定其需要推出的工具。
在5月8日召开的2017年戴尔EMC世界会议上,戴尔EMC数据分析的主要系统工程师Cory Minton发表了演示文稿,解释了组织在部署大数据时必须做出的最大决定。在做出决定开始之前,每个企业都要问这六个问题:
1.购买与构建?
要问的第一个问题是组织是否要购买大型数据系统或从头开始构建。Teradata,SAS,SAP和Splunk的热门产品可以买到并简单实现,而Hortonworks,Cloudera,Databricks,Apache Flink可用于构建大型数据系统。
Minton表示,购买提供更短的时间,以及商品使用的简单性和良好的价值。然而,这种简单性通常会带来更高的成本,而这些工具通常在低多样性数据方面效果最佳。如果组织与供应商存在现有的关系,则可以更容易地分析新产品并尝试使用大型数据工具。
许多用于构建大数据系统的流行工具价格低廉或可以免费使用,并且它们可以更容易地利用独特的价值流。其建设路径为大规模和多样化提供了机会,但这些工具可能非常复杂。互操作性往往是管理员面临的最大问题之一。
2.批量与流数据?
Minton说,由Oracle,Hadoop MapReduce和Apache Spark等产品提供的批量数据是描述性的,可以处理大量的数据。他们也可以安排,并经常被用来建立一个数据科学家进行实验的产品平台。
像Apache Kafka,Splunk和Flink这样的产品可以提供能够捕获的流数据功能,以创建潜在的预测模型。Minton表示,使用流式传输数据,其速度胜过数据保真度,但也提供了巨大的规模和多样性。这对于认同DevOps文化的组织更为有用。
3.Kappa vs. lambda架构?