大数据概论【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

大数据概论PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据概述1

1.1 问题的提出2

1.1.1 电子数据迅速增加2

1.1.2 数据孕育巨大的经济价值3

1.1.3 数据是国家的核心资产4

1.2 大数据的产生源泉4

1.2.1 互联网世界5

1.2.2 物理世界6

1.3 大数据的概念7

1.3.1 数据容量巨大7

1.3.2 数据类型多8

1.3.3 价值密度低8

1.3.4 数据传播迅速9

1.3.5 真实性9

1.4 大数据的特性9

1.4.1 价值9

1.4.2 非结构性9

1.4.3 不完备性10

1.4.4 时效性10

1.4.5 安全性10

1.4.6 可靠性10

1.5 大数据技术概述10

1.5.1 大数据技术的主要内容11

1.5.2 大数据的处理过程12

1.5.3 大数据技术的特征13

1.5.4 大数据的关键问题与关键技术14

1.6 大数据应用趋势16

1.6.1 大数据细分市场17

1.6.2 大数据推动企业发展17

1.6.3 大数据分析的新方法出现17

1.6.4 大数据与云计算高度融合17

1.6.5 大数据一体设备陆续出现17

1.6.6 大数据安全日益重视18

1.7 大数据应用18

1.7.1 判断大数据应用成功的指标18

1.7.2 大数据技术的应用19

1.8 大数据的展望22

1.8.1 资源与投入23

1.8.2 工程技术23

1.8.3 复杂网络分析23

1.8.4 涉及众多领域23

1.8.5 构建大数据生态环境23

本章小结23

第2章 科学研究四种范式24

2.1 科学研究第一范式25

2.1.1 科学实验特点25

2.1.2 科学实验步骤26

2.1.3 科学实验分类26

2.1.4 科学实验构成27

2.1.5 科学实验程序28

2.1.6 科学研究第一范式使用原则29

2.2 科学研究第二范式30

2.2.1 科学理论的特征30

2.2.2 科学理论的结构31

2.2.3 科学理论的价值31

2.2.4 建立科学理论体系的一般方法32

2.3 科学研究第三范式33

2.3.1 概述33

2.3.2 离散模型的模拟34

2.3.3 连续系统的模拟35

2.3.4 模拟语言35

2.4 科学研究第四范式36

2.4.1 数据密集型计算36

2.4.2 格雷法则38

2.4.3 第四范式的核心内容40

本章小结41

第3章 分布系统设计的CAP理论42

3.1 分布式系统的伸缩性42

3.1.1 可伸缩性的概念43

3.1.2 影响横向扩展的主要因素44

3.2 横向扩展方案47

3.2.1 可伸缩共享数据库47

3.2.2 对等复制的横向扩展方案48

3.2.3 链接服务器和分布式查询49

3.2.4 分布式分区视图50

3.2.5 数据依赖型路由的横向扩展50

3.3 CAP理论51

3.3.1 分布系统设计的核心系统需求51

3.3.2 CAP定理53

3.4 BASE模型56

3.4.1 三个核心需求分析56

3.4.2 ACID、BASE与CAP的关系57

3.4.3 CAP与延迟58

3.4.4 CAP理论的进一步研究58

3.5 Web分布式系统设计60

3.5.1 系统核心需求60

3.5.2 系统服务61

3.5.3 冗余62

3.5.4 分区62

本章小结64

第4章 NoSQL数据库65

4.1 NoSQL概述65

4.1.1 非结构化问题65

4.1.2 NoSQL的产生66

4.2 NoSQL的特点与问题67

4.2.1 NoSQL的特点67

4.2.2 NoSQL问题68

4.3 NoSQL的主要存储方式69

4.3.1 键值存储方式69

4.3.2 文档存储方式72

4.3.3 列存储方式73

4.3.4 图形存储方式76

4.3.5 各种典型的存储方式所对应的NoSQL数据库77

4.4 常用的NoSQL数据库78

4.4.1 Cassandra78

4.4.2 Lucene/Solr78

4.4.3 Riak79

4.4.4 CouchDB79

4.4.5 Neo4J79

4.4.6 Oracle的NoSQL79

4.4.7 Hadoop的HBase79

4.4.8 Bigtable/Accumulo/Hypertable80

4.4.9 DynamoDB80

4.4.10 MongoDB80

本章小结82

第5章 复杂网络83

5.1 概述83

5.1.1 复杂网络概念84

5.1.2 社会网络概述84

5.1.3 社会计算86

5.2 社会网络应用87

5.2.1 知识获取分析87

5.2.2 知识类型与传递88

5.2.3 知识创新89

5.3 社会网络分析89

5.3.1 社会网络分析概述89

5.3.2 社会网络分析的原理90

5.3.3 社会网络分析的特征90

5.3.4 社会网络分析的常用方法90

5.4 社会网络中的隐私保护91

5.4.1 用户隐私面临的威胁92

5.4.2 身份隐私攻击与保护93

5.4.3 面向用户关系的攻击及保护93

5.4.4 万维网用户隐私保护规范93

5.5 社会感知计算94

5.5.1 社会感知计算概念94

5.5.2 社会感知计算的主要内容94

5.6 人类通信方式95

5.6.1 通信方式的演化95

5.6.2 六度分隔理论96

5.6.3 150法则98

5.6.4 唯象理论与唯象方法98

5.7 社交网站99

5.7.1 社交网站概述99

5.7.2 社交网站的作用99

5.7.3 移动社交网络100

5.7.4 Web 2.0网站101

5.7.5 Web 2.0开发平台与必备要素104

5.7.6 Web 3.0网站105

本章小结105

第6章 MapReduce分布编程模型106

6.1 函数式编程范式106

6.1.1 函数型语言106

6.1.2 函数式编程107

6.2 映射函数与化简函数108

6.2.1 映射与映射函数108

6.2.2 化简与化简函数109

6.3 MapReduce计算110

6.4 基于Hadoop平台的分布式计算111

6.4.1 Hadoop概述111

6.4.2 分布式系统与Hadoop112

6.4.3 SQL数据库和Hadoop113

6.4.4 基于Hadoop的分布式计算114

本章小结119

第7章 大数据存储120

7.1 大数据存储概述120

7.1.1 大数据存储模型121

7.1.2 大数据存储问题121

7.2 存储方式122

7.2.1 存储介质122

7.2.2 直接连接存储122

7.2.3 网络连接存储124

7.2.4 存储域网络存储125

7.2.5 IP-SAN126

7.2.6 三种存储方式的比较126

7.3 大数据的存储127

7.3.1 数据容量问题127

7.3.2 大图数据127

7.3.3 分布式存储的架构129

7.3.4 数据存储管理130

7.4 数据云存储132

7.4.1 云存储的意义与问题133

7.4.2 技术措施133

7.5 数据存储的可靠性135

7.5.1 磁盘与磁盘阵列的可靠性136

7.5.2 文件系统的可靠性138

本章小结138

第8章 大数据分析139

8.1 数据分析概述140

8.1.1 数据分析的概念140

8.1.2 数据分析的目的与意义140

8.1.3 数据分析的基本方法141

8.1.4 数据分析的类型146

8.1.5 数据分析的步骤147

8.2 大数据分析基础147

8.2.1 可视化分析148

8.2.2 数据挖掘148

8.2.3 大数据预测分析148

8.2.4 语义引擎148

8.2.5 数据质量和数据管理148

8.2.6 大数据的离线与在线分析148

8.3 大数据预测分析149

8.3.1 大数据预测分析关键因素150

8.3.2 大数据预测分析演进方向150

8.3.3 大数据预测分析相关问题151

8.3.4 舆情监测与分析152

8.3.5 舆情报告图表制作153

8.4 大数据分析应用154

8.4.1 为客户提供服务154

8.4.2 优化业务流程154

8.4.3 改善生活155

8.4.4 提高医疗条件155

8.4.5 提高体育成绩155

8.4.6 优化机器和设备性能155

8.4.7 改善安全和执法155

8.4.8 改进和优化城市155

8.4.9 金融交易156

8.4.10 电信业务156

8.4.11 销售156

8.5 大数据分析平台与工具156

8.5.1 大数据分析基础平台156

8.5.2 大数据分析的工具158

本章小结160

第9章 大数据挖掘161

9.1 数据挖掘概述162

9.1.1 数据挖掘的定义162

9.1.2 数据挖掘的分类163

9.1.3 数据挖掘的技术163

9.2 数据挖掘对象与过程164

9.2.1 数据挖掘对象164

9.2.2 数据挖掘过程164

9.2.3 数据挖掘过程工作量165

9.3 数据挖掘的常用方法166

9.3.1 神经网络方法166

9.3.2 遗传算法166

9.3.3 决策树方法166

9.3.4 粗集方法166

9.3.5 覆盖正例排斥反例方法167

9.3.6 统计分析方法167

9.3.7 模糊集方法167

9.4 数据挖掘的几个问题167

9.4.1 数据挖掘与数据分析的区别167

9.4.2 数据挖掘与数据仓库167

9.4.3 数据挖掘和OLAP的比较168

9.4.4 数据挖掘与人工智能169

9.4.5 软硬件发展对数据挖掘的影响169

9.4.6 数据挖掘和统计分析的区别169

9.4.7 Web挖掘和数据挖掘的区别170

9.5 关联规则170

9.5.1 关联规则定义170

9.5.2 关联规则分类171

9.5.3 关联规则的挖掘过程171

9.5.4 关联规则应用172

9.6 数据挖掘的经典算法172

9.6.1 Apriori算法集173

9.6.2 划分算法173

9.6.3 FP-树频集算法173

9.7 大数据挖掘技术173

9.7.1 大数据挖掘关键技术174

9.7.2 大数据挖掘策略176

9.8 大数据挖掘应用176

9.8.1 市场营销177

9.8.2 销售矿泉水178

9.8.3 物流178

9.8.4 CRM179

本章小结181

第10章 大数据可视化182

10.1 数据可视化技术概述182

10.1.1 数据可视化技术的产生史183

10.1.2 数据可视化技术适用范围183

10.1.3 信息展现方式183

10.1.4 数据、信息及知识185

10.1.5 交互式处理185

10.2 科学可视化185

10.2.1 科学可视化的概念与过程186

10.2.2 大数据科学可视化的技术186

10.3 信息可视化189

10.3.1 信息可视化概念189

10.3.2 知识发现190

10.3.3 知识发现工具191

10.3.4 信息可视化技术的应用191

10.4 数据可视化应用192

10.4.1 数据可视化的概念192

10.4.2 数据可视化技术的特点192

10.4.3 数据可视化技术的相关概念193

10.4.4 数据可视化技术的应用193

10.5 大数据可视分析194

10.5.1 大数据可视分析的概念195

10.5.2 大数据可视分析的方法195

本章小结198

第11章 大数据安全199

11.1 数据安全概述199

11.1.1 数据安全的定义200

11.1.2 数据处理与存储的安全200

11.1.3 数据安全的基本特点200

11.1.4 威胁数据安全的主要因素201

11.1.5 安全制度与防护技术202

11.1.6 典型应用203

11.2 安全措施实现208

11.2.1 网络分段208

11.2.2 数据链路层的物理分段208

11.2.3 VLAN的划分208

11.3 电子商务安全209

11.3.1 计算机网络安全的内容209

11.3.2 计算机商务交易安全的内容210

11.4 大数据安全211

11.4.1 大数据的不安全因素211

11.4.2 大数据安全的关键问题212

11.4.3 大数据安全措施213

11.5 云安全214

11.5.1 云计算中用户的安全需求214

11.5.2 威胁模型215

11.5.3 云安全的支撑技术问题215

11.5.4 用户数据隐私保护216

11.5.5 云计算执行环境的可信性216

11.5.6 资源共享问题217

本章小结217

第12章 大数据机器学习218

12.1 机器学习概述219

12.1.1 机器学习的产生与发展219

12.1.2 机器学习的概念219

12.1.3 机器学习理论及研究220

12.1.4 机器学习系统的结构221

12.2 机器学习类型222

12.2.1 基于学习策略的学习分类222

12.2.2 基于应用领域的学习分类223

12.2.3 基于综合因素的学习分类223

12.3 知识表示形式224

12.4 大数据机器学习225

12.4.1 大数据机器学习的特点226

12.4.2 大数据机器学习的评测指标227

12.5 大数据机器学习的应用228

12.5.1 基于大数据的空气质量推断228

12.5.2 人与建筑的关系分析228

12.5.3 针对全球问题的预测模型229

12.5.4 全球地表覆盖制图可视化与数据分析229

本章小结229

第13章 大数据推荐技术230

13.1 概述231

13.1.1 推荐系统的产生与发展231

13.1.2 推荐系统的概念231

13.2 推荐系统架构232

13.2.1 用户特征提取模块232

13.2.2 相关物品检索模块232

13.2.3 推荐结果排序模块232

13.3 推荐系统类型232

13.3.1 基于用户行为数据推荐232

13.3.2 基于用户标签数据推荐233

13.3.3 基于上下文信息推荐233

13.3.4 基于社交网络数据推荐233

13.4 推荐系统的评判标准234

13.5 推荐算法235

13.5.1 基于人口统计学的推荐算法235

13.5.2 基于内容的推荐算法235

13.5.3 协同过滤推荐算法236

13.5.4 混合推荐算法238

13.6 推荐模式与系统238

13.6.1 推荐模式238

13.6.2 下一代推荐系统239

13.7 大数据推荐技术240

13.7.1 数据稀疏性241

13.7.2 大数据推荐系统冷启动241

13.7.3 多样性与精确性的两难命题241

13.7.4 增量计算242

13.7.5 推荐系统的鲁棒性242

13.7.6 推荐系统效果评估242

13.7.7 用户行为模式的挖掘和利用242

13.7.8 用户界面与用户体验243

13.7.9 多维数据的交叉利用243

13.7.10 社会推荐244

13.8 大数据人才推荐系统244

本章小结245

第14章 数据科学与数据思维246

14.1 数据科学概述246

14.1.1 数据科学定义与信息化过程246

14.1.2 数据科学研究内容247

14.1.3 数据科学的研究过程与体系框架248

14.2 大数据研究方式249

14.2.1 大数据分析的是全面的数据249

14.2.2 重视数据的复杂性与弱化精确性251

14.2.3 关注数据的相关性而非因果关系251

14.3 数据专家252

14.3.1 数据科学家252

14.3.2 数据工程师254

14.4 数据思维254

14.4.1 思维的概念与特征254

14.4.2 思维的形成256

14.4.3 计算思维258

14.4.4 网络思维260

14.4.5 系统思维263

14.4.6 大数据思维264

本章小结264

参考文献265