gluster和hadoop的区别

基于对象的存储模型

支持不同版本之间的互操作性。

用户可以同时操作同一文件的不同部分

Hadoop:

流式数据访问

支持大文件和数千万数据集。

一种“一写多读”的文件访问模型

安全模式

管道复制

浏览器和JAVA界面

在特定时间段之前删除的文件可以恢复。

格鲁斯特:

线延伸

用在每个节点运行的动态算法代替MDS。

支持多种存储和文件协议

基于保险丝

Hadoop和Lustre的层次比较

Hadoop分为四个层次:mapper输入，mapper输出，reducer输入，reducer输出。

1.映射输入:读/写

(1)文件块的位置信息可用。

Hadoop:以流的形式执行每一个读写任务，几乎没有远程网络I/O..

Lustre:通过每个客户端并行执行每个读写任务。

(2)没有文件块的位置信息。

Hadoop:以流的形式执行每一个读写任务，几乎没有远程网络I/O..

Lustre:每个读写任务由每个客户端并行执行，这比Hadoop的远程网络I/O要少..

添加文件块的位置信息，可以使读写操作尽可能的本地化，从而最小化网络流量，提高读写速度。

2.映射输出:读/写

HDFS:写在本地Linux文件系统上，而不是HDFS本身。

Lustre:写在Lustre上。

3.Recude输入完成阶段(洗牌阶段)读写。

HDFS:使用HTTP从远程地图节点获取地图输出。

Lustre:将恢复与地图输出的硬连接。

4.减少输出:写入

HDFS:reduce任务将把结果写到HDFS，每个Reducer都是有序列号的。

Lustre:reduce任务会将结果写入Lustre，每个Reducer都是并行的。