最全的大数据面试文章指南
从入门到架构!
| 功能说明 | 主要组件 | 了解 |
|---|---|---|
| 数据采集 | Flume、Logstash、Canal | Maxwell、Databus、NIFI |
| 数据同步 | DataX、Sqoop、Kettle | FlinkX |
| 数据存储 | HDFS、HBase、Kudu、MongoDB、Elasticsearch、MySql | TiDB、IotDB、 |
| 数据计算 | MapReduce、Hive、Spark、 Flink | Pig、Storm、Tez |
| 数据中间件 | Kafka、RabbitMQ、Redis、Apache RocketMQ | Alluxio、ActiveMQ、、Memcached |
| OLAP | ClickHouse、Kylin、Druid、Presto | Impala、Hawq、Greenplum、Doris |
| 任务调度 | Azkaban、Dolphinscheduler | Airflow、Oozie |
| 集群监控 | Grafana、Cloudera Manager | Zabbix、Ganglia、Ambari |
| 元数据管理 | Atlas | |
| 权限管理 | Ranger、Apache Sentry | |
| 数据质量管理 | Griffin | |
| 集群管理 | k8s、docker | |
| 数据湖 | Hudi、Iceberg | |
| 数据可视化、BI | Echarts、Tableau、DataV | Superset、QuickBI、Kibana、Metabase、Davinci |
- JavaHttp爬虫
- JavaSE
- Hive函数、Spark算子等速查表
- HDFS_API
- MapReduce_API
- Hive常用API
- Zookeeper常用API
- Hbase常用API
- Flume常用API如拦截器
- Sqoop常用API
- Spark代码Demo
- Redis常用API
- kafka常用API
- 常用shell脚本
- Flink代码Demo
- Flume入门及安装教程
- Flume的运行机制与采集系统结构
- Flume的多种采集方式
- Flume实现两个agent级联采集
- Flume配置高可用Flum-NG配置failover
- Flume的负载均衡load balancer
- Flume面试题
