內容實(shí)用——理論與實(shí)踐結合，重點(diǎn)突出應用

體系完善——構建完整的大數據專(zhuān)業(yè)解決方案

產(chǎn)教融合——高校企業(yè)共參與，對標行業(yè)標準

資源豐富——微課、課件、教案、源碼、答案

隨著(zhù)物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的興起，全球數據呈爆炸式增長(cháng)，各行各業(yè)都在經(jīng)歷大數據帶來(lái)的革命，大數據時(shí)代已經(jīng)到來(lái)。大數據具有體量巨大、速度極快、類(lèi)型眾多、價(jià)值巨大的特點(diǎn)，對數據從產(chǎn)生、存儲、分析到利用提出了前所未有的新要求。為了響應社會(huì )發(fā)展需要，教育部于2016年開(kāi)始在高等院校正式開(kāi)設“數據科學(xué)與大數據技術(shù)”專(zhuān)業(yè)，本書(shū)正是為數據科學(xué)與大數據技術(shù)專(zhuān)業(yè)的“大數據導論”課程編寫(xiě)的教材。

本書(shū)旨在讓大學(xué)新生對該專(zhuān)業(yè)相關(guān)的基本知識、典型技術(shù)、具體應用等有一個(gè)相對全面而直觀(guān)的了解，在入門(mén)性的學(xué)習過(guò)程中提高對專(zhuān)業(yè)的認識，激發(fā)學(xué)生的專(zhuān)業(yè)學(xué)習興趣。本書(shū)注重知識結構的基礎性與完整性，確保技術(shù)內容的通用性、普適性與先進(jìn)性，遵循教育規律，加強能力培養，同時(shí)精選行業(yè)應用案例，開(kāi)闊學(xué)生視野，啟發(fā)創(chuàng )新思維。本書(shū)在寫(xiě)作思路和內容編排上具有以下幾個(gè)方面的特色。

（1）知識體系完整。本書(shū)包括大數據采集、預處理、存儲管理、挖掘分析以及可視化等處理流程中的基本理論、方法和關(guān)鍵技術(shù)，涵蓋數據科學(xué)與大數據技術(shù)專(zhuān)業(yè)比較完整的理論體系，脈絡(luò )清晰，知識完整。

（2）理論與案例結合。本書(shū)在各部分知識的講解中，融入了大量入門(mén)性的教學(xué)案例，做到深入淺出、圖文并茂，幫助讀者對大數據知識和技術(shù)進(jìn)行深入理解，體現專(zhuān)業(yè)認知的引導性。

（3）注重實(shí)踐應用。本書(shū)在各章節中配置了運用大數據工具解決問(wèn)題的綜合實(shí)踐案例，通過(guò)實(shí)踐內容的細致講解和輔助的視頻，能夠幫助讀者完成動(dòng)手實(shí)踐的環(huán)節，加深讀者對專(zhuān)業(yè)知識的理解。

（4）適用范圍廣。本書(shū)是為高等院校數據科學(xué)與大數據技術(shù)專(zhuān)業(yè)的“大數據導論”課程編寫(xiě)的教材，可作為高職高專(zhuān)大數據技術(shù)與應用專(zhuān)業(yè)的教材，也可作為大學(xué)非計算機專(zhuān)業(yè)的本科生或研究生的通識課程教學(xué)用書(shū)以及大數據愛(ài)好者的科普讀物。

本書(shū)共7章：數據與大數據時(shí)代、大數據獲取和預處理、大數據存儲與管理、大數據挖掘分析、大數據可視化、大數據處理技術(shù)和行業(yè)大數據應用。第1章介紹大數據的發(fā)展歷程、大數據思維、數據科學(xué)的內涵以及大數據處理流程等；第2章至第6章以數據獲取和預處理、數據存儲管理、數據挖掘分析、數據可視化的大數據處理流程為主線(xiàn)，對大數據的關(guān)鍵技術(shù)進(jìn)行講解，進(jìn)一步闡述當前典型大數據處理平臺中的技術(shù)和方法；第7章介紹行業(yè)大數據的典型應用案例，讓讀者了解大數據在農業(yè)、教育、社交、旅游、交通、金融等多個(gè)行業(yè)中應用帶來(lái)的巨大價(jià)值。

本書(shū)由苑迎春任主編，徐靜、路小英、王超、董素芬任副主編，其中第1章由苑迎春、宋宇斐編寫(xiě)，第2章由程芳、王超編寫(xiě)，第3章由王超編寫(xiě)，第4章由路小英編寫(xiě)，第5章由董素芬、徐靜編寫(xiě)，第6章由沈紅巖、苑迎春編寫(xiě)，第7章由徐靜、宋宇斐、孫潔麗、賀平編寫(xiě)，全書(shū)統稿工作由苑迎春完成。

本書(shū)參考了大量圖書(shū)資料，也參考了大量網(wǎng)絡(luò )資源，在編寫(xiě)過(guò)程中，河北農業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院的研究生潘飛、何晨等做了大量輔助性工作，在此一并向他們表示衷心感謝。由于編者水平有限，加之時(shí)間倉促，書(shū)中難免存在錯誤和不妥之處，懇請讀者批評指正。

編　者

2020年10月

第1章　數據與大數據時(shí)代 1
1.1　從數據到大數據 2
1.1.1　數據及其作用 2
1.1.2　大數據時(shí)代的到來(lái) 3
1.2　大數據概念 3
1.2.1　大數據定義 3
1.2.2　大數據結構 4
1.2.3　大數據特征 5
1.3　大數據思維 6
1.3.1　全樣思維 6
1.3.2　容錯思維 7
1.3.3　相關(guān)思維 8
1.4　數據科學(xué)的內涵 9
1.4.1　科學(xué)研究的第四范式 9
1.4.2　數據科學(xué)的內涵 10
1.4.3　數據科學(xué)對其他學(xué)科的影響 11
1.5　大數據處理技術(shù) 12
1.5.1　大數據處理流程 12
1.5.2　大數據計算模式 14
1.6　大數據應用 16
1.6.1　大數據的行業(yè)應用 16
1.6.2　大數據的商用途徑 20
習題與思考 22
第2章　大數據獲取和預處理 23
2.1　概述 24
2.1.1　數據的來(lái)源 24
2.1.2　數據的質(zhì)量 25
2.1.3　數據預處理 26
2.2　大數據獲取方法 27
2.2.1　分布式日志采集 27
2.2.2　網(wǎng)絡(luò )爬蟲(chóng) 34
2.2.3　其他獲取方法 44
2.3　大數據預處理技術(shù) 46
2.3.1　數據清洗 46
2.3.2　數據集成 49
2.3.3　數據歸約 51
2.3.4　數據變換 55
2.3.5　Kettle數據轉換實(shí)例 58
習題與思考 66
第3章　大數據存儲與管理 68
3.1　概述 69
3.1.1　數據庫管理技術(shù) 69
3.1.2　數據倉庫管理技術(shù) 70
3.1.3　大數據存儲管理技術(shù) 72
3.2　關(guān)系數據庫存儲與查詢(xún) 74
3.2.1　關(guān)系數據模型 74
3.2.2　關(guān)系數據庫管理系統 76
3.2.3　SQL結構化查詢(xún)語(yǔ)言 77
3.3　大數據存儲與查詢(xún) 80
3.3.1　分布式文件系統 80
3.3.2　NoSQL數據庫 81
3.3.3　NewSQL數據庫 90
3.3.4　云數據庫 91
3.3.5　大數據SQL查詢(xún)引擎 93
習題與思考 96
第4章　大數據挖掘分析 98
4.1　概述 99
4.1.1　數據挖掘的概念 99
4.1.2　數據挖掘的流程 99
4.1.3　數據挖掘常用方法 100
4.1.4　數據挖掘常用工具 100
4.2　數據統計分析 101
4.2.1　數據的集中趨勢 101
4.2.2　數據的離散程度 102
4.2.3　數據的相關(guān)性度量 103
4.3　數據挖掘方法 106
4.3.1　聚類(lèi)分析 106
4.3.2　關(guān)聯(lián)分析 107
4.3.3　分類(lèi)分析 111
4.3.4　回歸分析 116
4.4　數據分析應用舉例 118
4.4.1　描述分析案例 118
4.4.2　相關(guān)分析案例 120
4.4.3　回歸分析案例 120
習題與思考 123
第5章　大數據可視化 125
5.1　概述 126
5.1.1　數據可視化的目標 126
5.1.2　數據與可視化的關(guān)系 128
5.2　大數據可視化方法 129
5.2.1　統計數據可視化 130
5.2.2　關(guān)系數據可視化 132
5.2.3　時(shí)空數據可視化 133
5.2.4　文本數據可視化 134
5.3　可視化技術(shù)和工具 136
5.3.1　數據可視化工具 136
5.3.2　可視化編程語(yǔ)言 138
5.3.3　Web可視化技術(shù) 139
5.4　Excel數據可視化示例 140
5.4.1　對比—直方圖 140
5.4.2　趨勢—折線(xiàn)圖 142
5.4.3　占比—餅狀圖 144
5.4.4　分布—散點(diǎn)圖 147
5.4.5　多維數據—雷達圖 148
5.4.6　綜合應用—動(dòng)態(tài)看板 149
5.5　Tableau數據可視化示例 150
5.5.1　氣泡圖 150
5.5.2　文字云 152
5.5.3　盒須圖 153
5.5.4　地圖 155
習題與思考 155
第6章　大數據處理技術(shù) 158
6.1 概述 159
6.1.1　集中式與分布式計算架構 159
6.1.2　大數據處理平臺架構 161
6.1.3　典型的大數據計算平臺 162
6.2　Hadoop分布式計算平臺 164
6.2.1　Hadoop概述 164
6.2.2　Hadoop生態(tài)體系 166
6.2.3　Hadoop核心技術(shù) 171
6.3　Spark內存計算架構 178
6.3.1　Spark概述 178
6.3.2　Spark技術(shù)架構 179
6.3.3　Spark核心技術(shù) 181
習題與思考 185
第7章　行業(yè)大數據應用 187
7.1　農業(yè)大數據應用 188
7.1.1　概述 188
7.1.2　農業(yè)大數據在智慧棉花系統中的應用 189
7.1.3　農業(yè)大數據助力奶牛數字化精細養殖 190
7.1.4　農業(yè)大數據應用于農作物蟲(chóng)害預測分析 192
7.1.5　農業(yè)大數據支撐渤海糧倉增產(chǎn)增效 194
7.2　教育大數據應用 195
7.2.1　概述 195
7.2.2　教育大數據助力教學(xué)改革案例 196
7.2.3　教育大數據支持MOOC中學(xué)生
活躍度分析 197
7.2.4　教育大數據助力個(gè)性化學(xué)習 198
7.2.5　教育大數據支持貧困生精準管理 200
7.3　社交大數據應用 201
7.3.1　概述 202
7.3.2　社交大數據支撐個(gè)性化推薦 203
7.3.3　社交大數據服務(wù)識別風(fēng)險客戶(hù) 204
7.3.4　社交大數據應用于城市規劃 205
7.4　旅游大數據應用 206
7.4.1　概述 206
7.4.2　旅游大數據助力精準營(yíng)銷(xiāo) 207
7.4.3　旅游大數據支撐智慧旅游 210
7.5　交通大數據應用 213
7.5.1　概述 213
7.5.2　城市交通大數據應用案例 214
7.5.3　鐵路交通大數據應用案例 217
7.6　金融大數據應用 219
7.6.1　概述 219
7.6.2　金融大數據服務(wù)精準營(yíng)銷(xiāo) 220
7.6.3　金融大數據服務(wù)銀行資源配置規劃 223
7.6.4　金融大數據增強風(fēng)險防控 226
7.6.5　金融大數據支撐普惠服務(wù) 227
習題與思考 229
參考文獻 230
參考資料 232

1. 輸水管線(xiàn)工程風(fēng)險管理 [張勇 黨亥生 著(zhù)]
2. 民用航空飛機標準線(xiàn)路施工 [主編　王志敏　陳明]
3. 不息的水脈—大運河講談錄 [趙珩　著(zhù)]
4. 實(shí)用運籌學(xué) [主編　邢育紅　于晉臣]
5. 三峽梯級電站水資源決策支持系統研究與開(kāi)發(fā) [姚華明 潘紅忠 湯正]
6. 海南黎族民俗文化鑒賞 [龐國華　著(zhù)]
7. 石墨烯在太赫茲及中紅外頻段電磁器件設計中的應用 [李艷秀 莊華偉 著(zhù)]
8. 電子技術(shù)（第二版） [主編 覃愛(ài)娜 李飛]
9. 辦公自動(dòng)化高級應用 [陳萍 朱曉玉]
10. 信息處理技術(shù)員考試32小時(shí)通關(guān) [薛大龍]
11. 電子產(chǎn)品設計案例教程（微課版）—基于嘉立創(chuàng )EDA（專(zhuān)業(yè)版） [王靜 莫志宏 陳學(xué)昌 丁紅]
12. C程序設計實(shí)踐教程 [劉衛國]
13. C程序設計（慕課版） [劉衛國]
14. Web技術(shù)開(kāi)發(fā)教程（基于.NET開(kāi)源MVC框架） [王合闖 韓紅玲 王青正 陳海蕊]
15. 商務(wù)英語(yǔ)翻譯教程（筆譯）（第四版） [主編 王軍平]
16. 智慧零售技術(shù)與應用 [洪旭 著(zhù)]
17. 建設工程法規實(shí)務(wù) [主編 余瀅]
18. 商務(wù)秘書(shū)理論與實(shí)務(wù)（第三版） [主編 張同欽]
19. 程序設計基礎實(shí)踐教程（C/C++語(yǔ)言版） [張桂芬 葛麗娜]
20. C++案例項目精講 [主編 楊國興]
21. 勞動(dòng)爭議處理實(shí)務(wù) [主編 王秀卿 羅靜]
22. 工程數學(xué) [主編 郭立娟 王海]
23. 語(yǔ)音識別理論與實(shí)踐 [主編　莫宏偉]
24. 信息系統項目管理師章節習題與考點(diǎn)特訓（第二版） [主編 薛大龍]
25. 武術(shù)基礎教程 [主編 李代勇 謝志民]
26. 計算機網(wǎng)絡(luò )實(shí)訓教程 [主編 張浩軍 趙玉娟]
27. 畫(huà)法幾何與機械制圖習題集（多學(xué)時(shí)） [主編 趙軍]
28. HCIA-Datacom認證題庫分類(lèi)精講 [主 編 韓立剛]
29. SwiftUI完全開(kāi)發(fā) [李智威 著(zhù)]
30. 網(wǎng)絡(luò )規劃設計師備考一本通 [夏杰 編著(zhù)]