HBase分布式存儲系統應用(第二版)
-
【作 者】主編 林徐 陳恒 孫帥
【I S B N 】978-7-5226-1112-9
【責任編輯】魏淵源
【適用讀者群】本專(zhuān)通用
【出版時(shí)間】2023-02-08
【開(kāi) 本】16開(kāi)
【裝幀信息】平裝(光膜)
【版 次】第2版第1次印刷
【頁(yè) 數】192
【千字數】300
【印 張】12
【定 價(jià)】¥42
【叢 書(shū)】普通高等教育數據科學(xué)與大數據技術(shù)專(zhuān)業(yè)教材
【備注信息】
簡(jiǎn)介
本書(shū)特色
前言
章節列表
精彩閱讀
下載資源
相關(guān)圖書(shū)
內 容 提 要
本書(shū)通過(guò)原理加案例的方式系統講解了HBase分布式存儲系統應用,精心安排了HBase原理和架構分析、環(huán)境搭建、案例開(kāi)發(fā)、優(yōu)化策略等環(huán)節,使讀者對解決相關(guān)問(wèn)題有清晰的思路。
全書(shū)共8章:前7章系統講解HBase模型和系統架構、數據讀寫(xiě)流程、環(huán)境搭建、HBase Shell、程序開(kāi)發(fā)、高級特性;第8章是HBase MapReduce實(shí)例,通過(guò)實(shí)例幫助讀者進(jìn)一步理解HBase應用和MapReduce編程。全書(shū)脈絡(luò )清晰,實(shí)例新穎實(shí)用,內容詳實(shí)。
本書(shū)可作為普通高校大數據相關(guān)專(zhuān)業(yè)的HBase教材,可供深入了解HBase編程的讀者參考,還可作為相關(guān)培訓班的培訓教材。
內容實(shí)用——理論與實(shí)踐結合,重點(diǎn)突出應用
體系完善——構建完整的大數據專(zhuān)業(yè)解決方案
產(chǎn)教融合——高校企業(yè)共參與,對標行業(yè)標準
資源豐富——微課、課件、教案、源碼、答案
再版前言
大數據帶來(lái)了各種各樣繁雜的數據,我們不僅要呈現世界,更重要的是通過(guò)呈現來(lái)處理更龐大的數據,理解各種各樣的數據集合,表現多維數據之間的關(guān)聯(lián)。換句話(huà)說(shuō),就是歸納數據內在的模式、關(guān)聯(lián)和結構。
由于大數據的存儲量極大,因此其存儲設備需要具有高擴展性、高可用性、自動(dòng)容錯和低成本等特點(diǎn)。常見(jiàn)的存儲形式有分布式文件系統和分布式數據庫,分布式文件系統采用大規模的分布式存儲節點(diǎn)來(lái)滿(mǎn)足存儲大量文件的需求,而分布式的非關(guān)系型數據庫則為大規模非結構化數據的處理和分析提供支持。
目前常見(jiàn)的非關(guān)系型數據庫主要有Redis、Tokyo Cabinet、MongoDB、CouchDB、Cassandra、Voldemort和HBase等。本書(shū)將對HBase進(jìn)行深入研究和探討,其他非關(guān)系型數據庫可以參考相關(guān)書(shū)籍。
本書(shū)共8章,具體內容如下。
第1章介紹關(guān)系型數據庫和非關(guān)系型數據庫的區別、HBase的使用場(chǎng)景。
第2章介紹HBase的邏輯模型、物理模型和系統架構。
第3章詳細講解HRegionServer、HRegion和HBase數據讀寫(xiě)流程。
第4章介紹HBase的分布式環(huán)境搭建。
第5章介紹如何通過(guò)HBase Shell完成表的管理、數據的增刪改查和數據遷移。
第6章介紹創(chuàng )建表、數據插入、數據查詢(xún)等基本操作,然后對Scan查詢(xún)、Filter過(guò)濾、行數統計、NameSpace開(kāi)發(fā)、計數器、協(xié)處理器和HBase快照等高級應用進(jìn)行介紹。
第7章介紹HBase表設計、列族設計優(yōu)化、讀寫(xiě)性能優(yōu)化策略、HBase集群規劃。
第8章講解HBase MapReduce編程實(shí)例。
本書(shū)第一版出版以來(lái)得到了上百所院校的使用,收到很多老師的意見(jiàn)反饋,在此表示衷心感謝。本次改版除了對部分內容修訂外,對軟件版本也進(jìn)行了升級,并增加了課后習題和微課資源。
本書(shū)由林徐、陳恒、孫帥擔任主編,馬憲敏、卓雪雪、李紫薇擔任副主編,參與編寫(xiě)的還有李偉。本書(shū)的編寫(xiě)得到北京百知教育科技有限公司和中國水利水電出版社的大力支持,在此表示感謝。
由于時(shí)間倉促及編者水平有限,書(shū)中難免有疏漏甚至錯誤之處,懇請廣大讀者批評指正。
編 者
2022年9月
第1章 HBase介紹 1
1.1 面向行和面向列存儲對比 1
1.1.1 面向行存儲的數據庫 1
1.1.2 面向列存儲的數據庫 2
1.1.3 兩種存儲方式的對比 2
1.2 HDFS分布式存儲的特點(diǎn) 3
1.3 HBase的使用場(chǎng)景 4
本章小結 6
習題1 6
第2章 HBase模型和系統架構 7
2.1 HBase的相關(guān)概念 7
2.2 HBase的邏輯模型 8
2.3 HBase的物理模型 10
2.4 HBase的特點(diǎn) 10
2.5 HBase的系統架構 11
2.5.1 Client 11
2.5.2 ZooKeeper 11
2.5.3 HMaster 12
2.5.4 HRegionServer 13
2.5.5 HRegion 13
本章小結 13
習題2 13
第3章 HBase數據讀寫(xiě)流程 15
3.1 HRegionServer詳解 15
3.1.1 WAL 16
3.1.2 MemStore 17
3.1.3 BlockCache 18
3.1.4 HFile 18
3.1.5 HRegionServer的恢復 23
3.1.6 HRegionServer的上線(xiàn)下線(xiàn) 23
3.2 HRegion 24
3.2.1 HRegion分配 24
3.2.2 HRegion Split 24
3.2.3 HRegion Compact 25
3.3 HMaster上線(xiàn) 25
3.4 數據讀流程 26
3.4.1 傳統的數據讀流程 26
3.4.2 數據讀流程的改進(jìn) 27
3.5 數據寫(xiě)流程 28
3.6 刪除數據流程 28
本章小結 28
習題3 29
第4章 HBase環(huán)境搭建 30
4.1 ZooKeeper的安裝 30
4.2 HBase的安裝 31
本章小結 34
習題4 35
第5章 HBase Shell 36
5.1 HBase Shell啟動(dòng) 36
5.2 表的管理 37
5.3 表數據的增刪改查 44
5.4 HBase數據遷移的importtsv的使用 48
本章小結 49
習題5 49
第6章 HBase程序開(kāi)發(fā) 53
6.1 表的相關(guān)操作 53
6.2 創(chuàng )建Configuration對象 57
6.3 創(chuàng )建表 57
6.3.1 開(kāi)發(fā)環(huán)境配置 58
6.3.2 創(chuàng )建表 61
6.4 數據插入 63
6.5 數據查詢(xún) 69
6.6 數據刪除 73
6.7 Scan查詢(xún) 76
6.8 Filter過(guò)濾 85
6.9 行數統計 105
6.10 NameSpace開(kāi)發(fā) 107
6.11 計數器 110
6.12 協(xié)處理器 114
6.13 HBase快照 124
本章小結 129
習題6 129
第7章 HBase高級特性 132
7.1 HBase表設計 132
7.2 列族設計優(yōu)化 136
7.3 寫(xiě)性能優(yōu)化策略 138
7.4 讀性能優(yōu)化策略 139
7.4.1 HBase客戶(hù)端優(yōu)化 139
7.4.2 HBase服務(wù)器端優(yōu)化 140
7.4.3 HDFS相關(guān)優(yōu)化 141
7.5 HBase集群規劃 142
7.5.1 集群業(yè)務(wù)規劃 142
7.5.2 集群容量規劃 143
7.5.3 Region規劃 144
7.5.4 內存規劃 145
本章小結 149
習題7 149
第8章 MapReduce On HBase 151
8.1 HBase MapReduce 151
8.2 編程實(shí)例 152
8.2.1 使用MapReduce操作HBase 152
8.2.2 從HBase獲取數據上傳至HDFS 155
8.2.3 MapReduce生成HFile入庫到HBase 157
8.2.4 同時(shí)寫(xiě)入多張表 161
8.2.5 從多個(gè)表讀取數據 164
8.2.6 通過(guò)讀取HBase表刪除HBase數據 166
8.2.7 通過(guò)讀取HBase表數據復制到另外一張表 168
8.2.8 建立HBase表索引 170
8.2.9 將MapReduce輸出結果到MySQL 173
8.2.10 利用MapReduce完成MySQL數據讀寫(xiě) 178
本章小結 181
習題8 181
附錄1 MySQL安裝 183
附錄2 Python連接HBase 185
- 輸水管線(xiàn)工程風(fēng)險管理 [張勇 黨亥生 著(zhù)]
- 民用航空飛機標準線(xiàn)路施工 [主編 王志敏 陳明]
- 不息的水脈—大運河講談錄 [趙珩 著(zhù)]
- 實(shí)用運籌學(xué) [主編 邢育紅 于晉臣]
- 三峽梯級電站水資源決策支持系統研究與開(kāi)發(fā) [姚華明 潘紅忠 湯正]
- 海南黎族民俗文化鑒賞 [龐國華 著(zhù)]
- 石墨烯在太赫茲及中紅外頻段電磁器件設計中的應用 [李艷秀 莊華偉 著(zhù)]
- 電子技術(shù)(第二版) [主編 覃愛(ài)娜 李飛]
- 辦公自動(dòng)化高級應用 [陳萍 朱曉玉]
- 信息處理技術(shù)員考試32小時(shí)通關(guān) [薛大龍]
- 電子產(chǎn)品設計案例教程(微課版)—基于嘉立創(chuàng )EDA(專(zhuān)業(yè)版) [王靜 莫志宏 陳學(xué)昌 丁紅]
- C程序設計實(shí)踐教程 [劉衛國]
- C程序設計(慕課版) [劉衛國]
- Web技術(shù)開(kāi)發(fā)教程(基于.NET開(kāi)源MVC框架) [王合闖 韓紅玲 王青正 陳海蕊]
- 商務(wù)英語(yǔ)翻譯教程(筆譯)(第四版) [主編 王軍平]
- 智慧零售技術(shù)與應用 [洪旭 著(zhù)]
- 建設工程法規實(shí)務(wù) [主編 余瀅]
- 商務(wù)秘書(shū)理論與實(shí)務(wù)(第三版) [主編 張同欽]
- 程序設計基礎實(shí)踐教程(C/C++語(yǔ)言版) [張桂芬 葛麗娜]
- C++案例項目精講 [主編 楊國興]
- 勞動(dòng)爭議處理實(shí)務(wù) [主編 王秀卿 羅靜]
- 工程數學(xué) [主編 郭立娟 王海]
- 語(yǔ)音識別理論與實(shí)踐 [主編 莫宏偉]
- 信息系統項目管理師章節習題與考點(diǎn)特訓(第二版) [主編 薛大龍]
- 武術(shù)基礎教程 [主編 李代勇 謝志民]
- 計算機網(wǎng)絡(luò )實(shí)訓教程 [主編 張浩軍 趙玉娟]
- 畫(huà)法幾何與機械制圖習題集(多學(xué)時(shí)) [主編 趙軍]
- HCIA-Datacom認證題庫分類(lèi)精講 [主 編 韓立剛]
- SwiftUI完全開(kāi)發(fā) [李智威 著(zhù)]
- 網(wǎng)絡(luò )規劃設計師備考一本通 [夏杰 編著(zhù)]