分布式文件系统关于GPFS文件系统？

分布式文件系统时间:2021-06-10 阅读:()

关于GPFS文件系统？

IBM GPFS可以替代HDFS作为Hadoop架构的底层文件系统/数据存储。

Hadoop主要是能够做DAS直连存储，（位于各个节点上的）硬盘是分布式的，数据会拷贝 3-4份进行保护。

Hadoop不需要高端的产品，不用共享存储，而是用分布式存储，它的成本相比共享存储（比如DS8000）要低。

GPFS的可扩展性上还是最好的，要把二者的优点结合起来，在基础上还是用直连的方式。

GPFS与Hadoop的结合是一种分布式文件系统的形式，专门针对大数据分析的应用。

作为集群NAS产品的IBM SONAS则具备更多的适应性，主要面向高性能计算、海量媒体（音/视频）数据的存储。

GPFS-SNC是IBM为Hadoop分析计算环境扩展研发的产品。

A key difference between GPFS-SNC and HDFS is that GPFS-SNC is a kernel-level （内核级）file system, whereas HDFS runs of the operating system. This means that GPFS-SNC offers several advantages over HDFS, including:Better performance，Storage flexibility，Concurrent read/write，Improved security。

GFPS-SNC 提供了 HDFS所不具备的许多优点，其中一个优点解决了上述 NameNode 问题。

在 GPFSSNC内实施的32313133353236313431303231363533e58685e5aeb931333332643333 Hadoop 运行时，不一定要与这个特别的 SPOF 问题进行竞争。

GPFS-SNC 使您能够建立一个更加可靠的 Hadoop 集群（其中还包括其他好处，如易于管理和性能）。

除了所提出的有关单一 NameNode 的问题之外，一些客户还指出，HDFS不是 Portable Operating System Interface for UNIX (POSIX) 兼容的文件系统。

这意味着，几乎所有您在与文件进行交互时可能使用的熟悉命令（复制文件、删除文件、写入文件、移动文件等）都以不同形式在 HDFS 中可用（有语法差异，在某些情况下有功能限制）。

为了解决这个问题，您必须编写自己的 Java 应用程序执行某些功能，或培训您的 IT 员工，学习不同HDFS 命令来管理和操作文件系统的文件。

展开全文