HDFS

HDFS

趣头条大数据平台如何有效降低 HDFS 集群负载

老马 发表了文章 • 0 个评论 • 1253 次浏览 • 2021-05-07 21:54 • 来自相关话题


背景

趣头条大数据平台目前有一个近千节点的 HDFS 集群,承载着存储最近几个月热数据的功能,每日新增数据达到了百 TB 规模。日常的 ETL 和 ad-hoc 任务都会依赖这个 HDFS 集群,导致集群负载持续攀升。特别是 ad-hoc 任务,因为...
查看更多

趣头条大数据平台如何有效降低 HDFS 集群负载

老马 发表了文章 • 0 个评论 • 1253 次浏览 • 2021-05-07 21:54 • 来自相关话题


背景

趣头条大数据平台目前有一个近千节点的 HDFS 集群,承载着存储最近几个月热数据的功能,每日新增数据达到了百 TB 规模。日常的 ETL 和 ad-hoc 任务都会依赖这个 HDFS 集群,导致集群负载持续攀升。特别是 ad-hoc 任务,因为...
查看更多

趣头条大数据平台如何有效降低 HDFS 集群负载

老马 发表了文章 • 0 个评论 • 1253 次浏览 • 2021-05-07 21:54 • 来自相关话题


背景

趣头条大数据平台目前有一个近千节点的 HDFS 集群,承载着存储最近几个月热数据的功能,每日新增数据达到了百 TB 规模。日常的 ETL 和 ad-hoc 任务都会依赖这个 HDFS 集群,导致集群负载持续攀升。特别是 ad-hoc 任务,因为...
查看更多