Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。
用戶可以在不了解分布式底層細(xì)節(jié)的情況下,,開(kāi)發(fā)分布式程序,。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ),。
[1] Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System),,簡(jiǎn)稱HDFS,。HDFS有高容錯(cuò)性的特點(diǎn),,并且設(shè)計(jì)用來(lái)部署在低廉的(low-cost)硬件上,;而且它提供高吞吐量(high throughput)來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù),,適合那些有著超大數(shù)據(jù)集(large data set)的應(yīng)用程序,。HDFS放寬了(relax)POSIX的要求,可以以流的形式訪問(wèn)(streaming access)文件系統(tǒng)中的數(shù)據(jù),。
本課程培養(yǎng)學(xué)生基本的大數(shù)據(jù)理論和實(shí)踐知識(shí),,能夠通過(guò)大數(shù)據(jù)基礎(chǔ)理論和實(shí)踐課完成對(duì)大數(shù)據(jù)體系的學(xué)習(xí),達(dá)到大數(shù)據(jù)工程師的目的,。
要求根據(jù)項(xiàng)目的需求,,重點(diǎn)掌握以下的技能:
1、掌握大數(shù)據(jù)理論基礎(chǔ)
2,、掌握各個(gè)框架之間的關(guān)系及用途,。
3、掌握Hadoop和其他框架之間調(diào)用,。
4,、會(huì)用Hive進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)的操作
5、會(huì)用Hbase進(jìn)行Nosql數(shù)據(jù)庫(kù)的操作