更新時間:2019-02-13 11:04 來源:動力節(jié)點 瀏覽11384次
分布式文件系統(tǒng) (Distributed File System) 是一個軟件/服務(wù)器,這個軟件可以用來管理文件;
但這個軟件所管理的文件通常不是在一個服務(wù)器節(jié)點上,而是在多個服務(wù)器節(jié)點上,這些服務(wù)器節(jié)點通過網(wǎng)絡(luò)相連構(gòu)成一個龐大的文件存儲服務(wù)器集群,這些服務(wù)器都用于存儲文件資源,通過分布式文件系統(tǒng)來管理這些服務(wù)器上的文件;
常見的分布式文件系統(tǒng)有:FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等;
GFS(Google File System)
Google公司為了滿足本公司需求而開發(fā)的基于Linux的專有分布式文件系統(tǒng);
HDFS
Hadoop 實現(xiàn)的一個分布式文件系統(tǒng)(Hadoop Distributed File System),簡稱HDFS;
Lustre
是一個大規(guī)模的、安全可靠的,具備高可用性的集群文件系統(tǒng),它是由SUN公司開發(fā)和維護的;
Ceph
是加州大學(xué)圣克魯茲分校的Sage weil攻讀博士時開發(fā)的分布式文件系統(tǒng);
GridFS
GridFS是MongoDB之上的分布式文件系統(tǒng),其利用了MongoDB的分布式存儲機制并通過MongoDB來存儲文件數(shù)據(jù)和文件元數(shù)據(jù);
MogileFS
由memcahed的開發(fā)公司danga,開發(fā)的一款采用perl開發(fā)的產(chǎn)品,目前國內(nèi)使用mogielFS的有圖片托管網(wǎng)站yupoo等;
mooseFS
相對比較輕量級,對master服務(wù)器有單點依賴,用perl編寫,性能相對較差;
分布式文件系統(tǒng)與傳統(tǒng)文件系統(tǒng)對比:
FastDFS是一個開源的輕量級分布式文件系統(tǒng),為互聯(lián)網(wǎng)應(yīng)用量身定做,簡單、靈活、高效,采用C語言開發(fā),由阿里巴巴開發(fā)并開源;
FastDFS對文件進行管理,功能包括:文件存儲、文件同步、文件訪問(文件上傳、文件下載、文件刪除)等,解決了大容量文件存儲和負(fù)載均衡的問題,特別適合以文件為載體的在線服務(wù),如相冊網(wǎng)站、文檔網(wǎng)站、圖片網(wǎng)站、視頻網(wǎng)站等等;
FastDFS充分考慮了冗余備份、負(fù)載均衡、線性擴容等機制,并注重高可用、高性能等指標(biāo),使用FastDFS很容易搭建一套高性能的文件服務(wù)器集群提供文件上傳、下載等服務(wù);
2008年4月項目啟動,7月發(fā)布第一個版本V1.00,兩年時間內(nèi)持續(xù)升級到V1.29;
2010年8月推出V2.00;
2011年6月推出V3.00;
2012年10月推出V4.0.0;
2013年12月推出V5.0.0;
截止目前最新版是V5.11;(2017年6月發(fā)布)
FastDFS系統(tǒng)架構(gòu)從第一個版本發(fā)布后一直沒有大的調(diào)整,高版本完全兼容低版本的數(shù)據(jù),可以做到平滑升級,推薦更新升級到最新版本;
FastDFS文件系統(tǒng)由兩大部分構(gòu)成,一個是客戶端,一個是服務(wù)端;
客戶端通常指我們的程序,比如我們的Java程序去連接FastDFS、操作FastDFS,那我們的Java程序就是一個客戶端;
FastDFS提供專有API訪問,目前提供了 C、Java 和 PHP 幾種編程語言的API,用來訪問FastDFS文件系統(tǒng);
服務(wù)端由兩個部分構(gòu)成:一個是跟蹤器(tracker),一個是存儲節(jié)點(storage);
跟蹤器(tracker)主要做調(diào)度工作,在訪問上起負(fù)載均衡的作用,在內(nèi)存中記錄集群中g(shù)roup和storage server的狀態(tài)信息,是前端Client和后端Storage server的樞紐。 因為相關(guān)信息全部在內(nèi)存中,Tracker server的性能非常高,一個較大的集群(比如上百個group)中有3臺就足夠了。
存儲節(jié)點(storage)用于存儲文件,文件和文件屬性(meta data)都保存到存儲服務(wù)器上,完成文件管理的所有功能:文件存儲、文件同步和提供文件存取接口等;
相關(guān)閱讀