数据分析简析
11.1 分析概述
分析(analytics) 是指从大量历史数据中提取洞察、支持决策的一系列技术与流程。与在线事务处理(OLTP)关注「记录发生了什么」不同,分析强调「理解已经发生的、预测将要发生的、指导应当采取的行动」。学术界与工业界把分析大致分为四类:
| 类型 | 问题 | 典型方法 |
|---|---|---|
| 描述性(Descriptive) | 发生了什么? | 报表、Dashboard、聚合统计 |
| 诊断性(Diagnostic) | 为什么发生? | 下钻、维度分析、A/B 检验 |
| 预测性(Predictive) | 将来会发生什么? | 回归、分类、时间序列 |
| 规约性(Prescriptive) | 该做什么? | 优化、模拟、强化学习 |
对应的技术栈由三大组件构成:数据仓库/数据湖(存储与组织)、OLAP(交互式多维分析)、数据挖掘/机器学习(自动发现模式)。
11.2 数据仓库
11.2.1 数据仓库成分
数据仓库(Data Warehouse, DW) 是面向主题、集成、非易失、随时间变化的数据集合,为决策支持而生。其组成通常包括:
- 数据源:业务系统(ERP、CRM)、日志、外部数据。
- ETL/ELT 层:抽取(Extract)、清洗与转换(Transform)、加载(Load)。
- 仓库存储:分区、物化视图、列存、索引。
- 元数据管理:血缘、字段字典、数据质量指标。
- 访问层:BI 工具、报表、Ad-hoc SQL、OLAP。