常见的大数据存储工具
大数据需要大存储
大数据是一个包罗万象的术语，是传统数据处理软件无法处理的大量复杂的非结构化、半结构化和结构化数据集。这些数据集是从大量资源中生成的，例如大型电子商务、医疗记录、图像和视频档案以及购买交易记录。
大数据分析可以揭示关联、趋势和模式，尤其是与人类互动和行为相关的。当前有许多专业设计的硬件和软件工具可用于大数据分析。
从大数据中提取有意义的洞察，有助于做出关键的业务增长决策。因此，大量IT投资用于维护和管理大数据。预计到2023年，大数据行业的价值将达到770亿美元。不过，要理解大数据，第一步需要了解的是主流的大数据存储工具。
为什么需要大数据存储工具
到2025年，将需要分析超过150ZB的数据。只有拥有能够大规模扩展以应对大数据挑战的安全存储解决方案，组织才能利用大数据的力量。大数据存储工具收集和管理大数据并实现实时数据分析。
一般来说，大数据存储架构分为以下几类：
地理分布的服务器节点，例如ApacheHadoop模型
数据库框架，例如SQL(NoSQL)
横向扩展网络附加存储(NAS)
存储区域网络(SAN)
固态硬盘(SSD)阵列
对象存储
数据湖（以原始格式存储数据的存储库或系统）
数据仓库
常见的大数据存储工具
ApacheHadoop
ApacheHadoop是一个开源软件库，可以使用简单的编程模型跨计算机集群（称为节点）对大型复杂数据集进行分布式处理。该框架旨在扩展到数千个节点，每个节点都提供本地计算和存储。ApacheHadoop旨在检测和处理应用层的故障，从而在计算机集群之上提供高度可用的服务，每个集群都可能容易出现故障。
ApacheHadoop包括以下模块：HadoopCommon、Hadoop分布式文件系统(HDFS)、HadoopYetAnotherResourceNegotiator(YARN)和HadoopMapReduce。HadoopCommon是指支持其他Hadoop模块的通用实用程序和库。
HDFS提供对在商用硬件上运行的大型复杂数据集的高吞吐量访问。HDFS用于将单个节点扩展到数千个节点。HDFS的目标包括从硬件故障中快速恢复、访问流数据、容纳大型复杂数据集以及可移植性。
HadoopYARN是一个用于作业调度/监控和集群资源管理的并行处理框架。
HadoopMapReduce是基于YARN的系统，用于并行处理大型复杂数据集。
Apache的Hadoop相关项目包括ZooKeeper、Tez、Submarine、Spark、Pig、Ozone、Mahout、Hive、HBase、Chukwa、Cassandra、Avro和Ambari。
ApacheHBase?
ApacheHBase是一个开源、分布式、版本化的NoSQL数据库，它以Google的Bigtable为模型。它在ApacheHadoop和HDFS之上提供类似于Bigtable的功能。
ApacheHBase的目标是在商用硬件集群上托管大型复杂表（数十亿行和数百万列）。HBase提供模块化和线性可扩展性，提供严格统一的读写。
NetApp横向扩展NAS?
NetApp是NAS行业的先驱。NetApp横向扩展NAS可简化数据管理，在降低成本的同时跟上增长的步伐。大数据工具在统一架构内为组织提供无缝的可扩展性、效率提升和无中断操作。
NetApp横向扩展NAS由NetAppONTAP企业数据管理软件提供支持。用户可以使用StorageGrid自动将冷数据分层到私有云或公共云，以最大限度地提高性能层的容量。云层和性能可以合并到一个数据池中，从而降低总拥有成本(TCO)。
数据可以在边缘访问，并且可以跨多个数据中心和所有具有集成缓存功能的主要公共云访问。
ActiveIQ使用人工智能进行IT运营(AIOps)来自动执行NetApp环境的主动优化和维护。用户可以在不影响性能的情况下对存储进行重复数据删除和压缩。借助内置的数据安全性，用户可以保护敏感的客户和公司信息，可以在卷级别加密传输中的数据和数据，以及安全地清除文件。
用于数据湖分析的Snowflake
Snowflake的跨云平台提供对所有数据的快速、可靠和安全的访问。SnowflakeforDataLakeAnalytics结合了任何格式的非结构化、半结构化和结构化数据；提供快速可靠的处理和查询；并实现安全协作。
大型和复杂的数据集可以存储在Snowflake管理的存储中，并具有静态和传输中的加密、自动微分区和高效压缩。可以在单个平台上使用所选择的语言（Scala、Python或Java）支持非结构化、半结构化和结构化数据上的大量工作负载。借助Snowflake的弹性处理引擎，可以运行管道以实现低维护、节省成本和可靠的性能。
可以使用选择的语言（SQL、Scala、Python或Java）和Snowpark来简化管道开发——无需管理数据、服务或集群的额外副本。几乎无限的专用计算资源可以支持无限数量的并发查询和用户。使用内置的访问历史记录，可以知道谁在访问哪些数据。Snowflake支持利益相关者之间的协作，并通过安全、实时的数据共享丰富企业的数据湖。借助可扩展的基于行的访问策略，企业可以跨云实施行和列级别的安全性。
DatabricksLakehouse平台?
DatabricksLakehousePlatform结合了最佳的数据湖和数据仓库。大数据存储工具提供数据仓库的性能、强大的治理和可靠性，以及数据湖的机器学习(ML)支持、灵活性和开放性。
DatabricksLakehousePlatform来自Koalas、MLflow、DeltaLake和ApacheSpark的原始创建者。企业可以在一个平台上统一数据仓库和AI用例。统一的方法消除了传统上将ML、数据科学、商业智能(BI)和分析分开的孤岛。大数据工具建立在开源和开放标准之上，以最大限度地提高灵活性。DatabricksLakehousePlatform的通用数据治理、安全性和管理方法可帮助企业更快地进行创新并提高运营效率。
对于大数据存储工具的选择
大数据行业不断发展，并为众多面向业务的应用程序提供动力。例如，谷歌和Facebook等科技巨头利用大数据的潜力为用户提供有针对性的广告和内容。分析大数据的第一步是安全存储。文中仅作为参考，企业需找到针对自身业务，能满足自身需求的大数据存储解决方案。
来源：DOIT传媒