大数据简论
10.1 动机
10.1.1 大数据的来源和使用
自 21 世纪初以来,人类产生的数据量呈指数级增长。数据来源不再局限于事务处理系统(OLTP),还包括:
- Web 与移动:点击流、页面访问、搜索日志、社交动态。
- 物联网:传感器读数、GPS 轨迹、监控视频、可穿戴设备。
- 企业内部:应用日志、审计流水、协作平台、邮件。
- 第三方:地图、气象、征信、开放数据。
「大数据(Big Data)」通常用 4V 概括其挑战:
| 维度 | 含义 |
|---|---|
| Volume | 体量巨大,PB~EB 级 |
| Velocity | 流入速度快,毫秒~秒级新鲜度 |
| Variety | 类型多样,结构化、半结构化、非结构化并存 |
| Veracity | 质量不一,需要清洗与治理 |
大数据的用途覆盖商业智能、个性化推荐、欺诈检测、精准营销、智能制造、疾病预测等,几乎所有行业都在被数据重塑。
10.1.2 大数据查询
传统集中式关系数据库在 TB 级尚可胜任,但到 PB 级时就受制于单机的存储与计算能力。面对大数据,查询需求也发生了变化:
- 批处理:对全量历史数据做扫描与聚合,一次几分钟到几小时。
- 交互式分析:在数亿到千亿行数据上执行 ad-hoc SQL,秒到十几秒。
- 流处理:对不断流入的事件做实时聚合与告警。
- 机器学习:数据规模驱动模型训练。
这些需求推动了分布式文件系统、并行数据库、MapReduce、Spark、流计算引擎、图计算等一系列系统的出现。