理想数据湖框架

些能力应能够独立扩展计算和存储，从而满足当前和未来的需求。它不应干扰任何正在进行的工作负载，降低性能或由于后台运行备份进程而导致服务不可用。而且它应该便宜，可以通过巧妙的方式来保存我们的数据，而不必将其复制和移动到其他地方。

现代数据湖是现代企业的基础。如果设置正确，则数据湖将吸引人们自然而然地将想法吸引到那里，并在确保系统的耐用性，灵活性和可用性方面获得有用的见解。

技术是任何现代数据湖的最基本需求-如今，如今，诸如Databricks，Microsoft Azure，AWS云之类的许多技术正在提供许多服务来支持大数据，这既是实现强大洞察力的特定方法，也是一种思想。更快，更好的决策，甚至跨多个行业的业务转型。

数据湖的支柱包括可扩展和持久的数据存储，收集和组织数据的机制以及处理和分析数据以及共享发现的工具。因此，我们专注于任何现代数据湖中应包含的关键技术，以支持大数据意味着任何类型的数据。

• 云具有无限的资源-基于云的服务特别适合数据湖，因为它为我们提供了无限的资源，这意味着云基础架构可在几分钟或几秒钟内按需提供几乎无限的资源，而无需担心任何事情。组织只需为使用的资源付费，从而可以在不影响性能的情况下动态支持任何规模的用户和工作负载。

• 节省资金，专注于数据的云技术—基于云的服务可为任何组织提供云构建的解决方案，从而避免了硬件，软件和其他基础架构的昂贵，前期投资以及维护，更新和保护的成本本地系统。

• 云技术附带了自然集成点：据估计，您要分析的数据中有多达80%来自业务应用程序数据，运营数据存储，点击流数据，社交媒体平台，物联网事物和实时流数据。与构建内部数据中心相比，将这些数据集成到云中要容易得多，而且成本更低。

• 使用noSQL内置-它描述了一种技术，该技术可以存储和分析更新形式的数据，例如从计算机和社交媒体生成的数据，以丰富和扩展组织的数据分析。众所周知，传统的数据仓库无法很好地容纳这些数据类型。因此，近年来出现了更新的系统来处理这些半结构化和非结构化数据形式，例如JSON，Avro和XML。

• 支持现有技能和专业知识-Data Lake支持有效存储和处理任何类型的数据，数据管理，数据转换，集成，可视化，商业智能和分析工具所需的功能，可以轻松地与SQL数据仓库进行通信。标准SQL根深蒂固的角色也意味着大量人具有SQL技能。它使其他编程语言能够提取和分析数据。

应该清楚地认识到云在成本，规模，性能，易用性和安全性方面的内在优势，因为它们对整体数据湖计划和成果的影响。弹性云数据湖具有两个主要优势：

• 容量规划和管理的复杂性和成本–系统的规模，平衡和调整系统应内置于系统中，并由其自动化，并由我们的订购成本承担。
• 快速动态配置存储和计算资源以满足高峰和稳定使用期间不断变化的工作负载的需求也是如此。容量是我们在需要时所需的一切。

选择最佳的基于云的数据湖生态系统-理想的云数据湖解决方案兼具两全其美的能力-灵活地集成关系和非关系数据以及识别服务，从而为企业和企业用户提供所需的架构方法并切实可行，数据科学家也是如此。最好的基于云的数据湖生态系统产品完美地说明了这些要点。这些包括：

• 存储— Data Lake存储必须能够容纳大量结构化，半结构化和非结构化数据。尽管Hadoop的HDFS可以支持，但基于云的对象存储可能是更好的选择，不仅可以在节点之间分布数据冗余。AWS提供了用于可靠，安全且可
• 

（编辑：云计算网_泰州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!