第01章 数据工程概述¶
📚 章节概述¶
本章将深入讲解数据工程的核心概念、职责、技术栈，为后续学习打下坚实基础。
🎯 学习目标¶
完成本章后，你将能够：
- 理解数据工程的核心概念和价值
- 掌握数据工程师的职责和技能要求
- 了解数据工程的技术栈
- 理解数据工程的发展趋势
- 为后续学习做好准备
1.1 数据工程概述¶
1.1.1 什么是数据工程¶
数据工程是设计、构建和维护数据系统的工程学科，确保数据可靠、可用、高效。
数据工程的核心价值¶
- 数据可靠性
- 数据质量保证
- 数据一致性
-
数据完整性
-
数据可用性
- 高可用架构
- 快速查询
-
实时访问
-
数据高效性
- 性能优化
- 成本控制
- 资源利用
1.1.2 数据工程师的职责¶
- 数据管道设计
- ETL/ELT流程
- 数据集成
-
数据转换
-
数据仓库建设
- 数据建模
- 数据分层
-
性能优化
-
数据质量保证
- 数据验证
- 数据清洗
-
数据监控
-
数据平台运维
- 系统监控
- 故障排查
- 性能调优
1.2 数据工程技术栈¶
1.2.1 核心技术¶
- 数据集成
- Apache Kafka
- Apache Pulsar
-
RabbitMQ
-
数据处理
- Apache Spark
- Apache Flink
-
Hadoop MapReduce
-
数据存储
- Hadoop HDFS
- Apache Parquet
-
Apache ORC
-
数据仓库
- Snowflake
- Google BigQuery
-
Amazon Redshift
-
数据湖
- Delta Lake
- Apache Iceberg
-
Apache Hudi
-
调度系统
- Apache Airflow
- dbt
- Dagster
1.2.2 工具对比¶
| 类别 | 工具 | 特点 |
|---|---|---|
| 消息队列 | Kafka | 高吞吐、持久化 |
| Pulsar | 多租户、分层存储 | |
| RabbitMQ | 轻量级、易用 | |
| 批处理 | Spark | 内存计算、易用 |
| Flink | 流批一体 | |
| MapReduce | 稳定、生态丰富 | |
| 数据仓库 | Snowflake | 云原生、易用 |
| BigQuery | Serverless、快速 | |
| Redshift | AWS集成、成本低 | |
| 数据湖 | Delta Lake | ACID、时间旅行 |
| Iceberg | 表格式、兼容性 | |
| Hudi | 增量处理、CDC |
1.3 数据工程发展趋势¶
1.3.1 当前趋势¶
- 湖仓一体
- 数据湖和数据仓库融合
- 降低数据移动成本
-
统一数据平台
-
实时化
- 实时数据处理
- 实时数据分析
-
实时决策支持
-
云原生
- Serverless架构
- 自动扩缩容
-
按需付费
-
AI集成
- 自动化数据工程
- 智能数据治理
- 自动化数据质量
1.3.2 未来展望¶
- 自动化
- 自动化数据管道
- 自动化数据治理
-
自动化数据质量
-
智能化
- AI驱动的优化
- 智能数据发现
-
智能数据血缘
-
民主化
- 低代码/无代码
- 自助数据平台
- 数据即产品
1.4 练习题¶
基础题¶
- 选择题
-
数据工程的核心价值不包括什么？
- A. 数据可靠性
- B. 数据可用性
- C. 数据美观性
- D. 数据高效性
-
简答题
- 解释数据工程的核心概念。
- 说明数据工程师的职责。
进阶题¶
- 实践题
- 搭建本地数据工程环境。
-
使用Spark处理简单数据。
-
设计题
- 设计一个数据管道架构。
- 设计一个数据仓库架构。
答案¶
1. 选择题答案¶
- C（数据工程的核心价值不包括数据美观性）
2. 简答题答案¶
数据工程的核心概念： - 数据可靠性 - 数据可用性 - 数据高效性
数据工程师的职责： - 数据管道设计 - 数据仓库建设 - 数据质量保证 - 数据平台运维
3. 实践题答案¶
参见后续章节的示例。
4. 设计题答案¶
参见后续章节的架构设计。
1.5 面试准备¶
大厂面试题¶
字节跳动¶
- 解释数据工程的核心概念。
- 数据工程师的技能要求是什么？
- 数据工程的发展趋势是什么？
- 如何设计数据管道？
腾讯¶
- 数据工程技术栈有哪些？
- 如何选择合适的数据处理框架？
- 数据仓库和数据湖的区别是什么？
- 如何设计数据质量体系？
阿里云¶
- 数据工程的挑战是什么？
- 如何设计可扩展的数据平台？
- 如何处理数据安全？
- 如何设计数据治理体系？
📚 参考资料¶
- 《Data Engineering with Python》
- 《Designing Data-Intensive Applications》
- 《The Data Warehouse Toolkit》
- Apache Spark官方文档：https://spark.apache.org/docs/
- Apache Flink官方文档：https://flink.apache.org/
🎯 本章小结¶
本章深入讲解了数据工程的核心概念、职责和技术栈，为后续学习打下了坚实基础。下一章将深入学习数据建模技术。