千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)
關(guān)注千鋒學(xué)習(xí)站小程序
隨時(shí)隨地免費(fèi)學(xué)習(xí)課程
互聯(lián)網(wǎng)的快速發(fā)展帶來(lái)了數(shù)據(jù)快速增加,海量數(shù)據(jù)的存儲(chǔ)已經(jīng)不是一臺(tái)機(jī)器所能處理的問(wèn)題了。Hadoop的技術(shù)就應(yīng)運(yùn)而生。在千鋒大數(shù)據(jù)培訓(xùn)講師的講解之后,對(duì)這個(gè)概念有了一個(gè)比較系統(tǒng)的了解。可以講Hadoop的核心內(nèi)容看作是兩個(gè)部分,一個(gè)是分布式存儲(chǔ),一個(gè)是分布式計(jì)算。
對(duì)于分布式存儲(chǔ),Hadoop有自己的一套系統(tǒng)來(lái)處理叫Hadoop distribution file system。為什么分布式存儲(chǔ)需要一個(gè)額外的系統(tǒng)來(lái)處理,而不是就把1TB以上的文件分開(kāi)存放就好了。如果不采用新的系統(tǒng),我們存放的東西沒(méi)辦進(jìn)行一個(gè)統(tǒng)一的管理。存放在A電腦的東西只能在連接到A去找,存在B的又得單獨(dú)去B找。繁瑣且不便于管理。而這個(gè)分布式存儲(chǔ)文件系統(tǒng)能把這些文件分開(kāi)存儲(chǔ)的過(guò)程透明化,用戶(hù)看不到文件是怎么存儲(chǔ)在不同電腦上,看到的只是一個(gè)統(tǒng)一的管理界面?,F(xiàn)在的云盤(pán)就是很好的給用戶(hù)這種體驗(yàn)。
對(duì)于分布式計(jì)算。在對(duì)海量數(shù)據(jù)進(jìn)行處理的時(shí)候,一臺(tái)機(jī)器肯定也是不夠用的。所以也需要考慮將將數(shù)據(jù)分在不同的機(jī)器上并行的進(jìn)行計(jì)算,這樣不經(jīng)可以節(jié)省大量的硬件的I/O開(kāi)銷(xiāo)。也能夠?qū)⒓涌煊?jì)算的速度。Hadoop對(duì)分布式計(jì)算的系統(tǒng)為MapReduce。Map即將數(shù)據(jù)分開(kāi)存放進(jìn)行計(jì)算,Reduce將分布計(jì)算的得到的結(jié)果進(jìn)行整合,最后匯總得到一個(gè)最終的結(jié)果。這樣對(duì)Hadoop的技術(shù)有一個(gè)清晰框架思路。
相關(guān)文章
了解千鋒動(dòng)態(tài)
關(guān)注千鋒教育服務(wù)號(hào)
掃一掃快速進(jìn)入
千鋒移動(dòng)端頁(yè)面
掃碼匿名提建議
直達(dá)CEO信箱