生成日期：2026-06-27
检索平台：Semantic Scholar, arXiv, USENIX, ACM DL, IEEE, VLDB, MLSys
覆盖维度：AI/ML 优化 HDFS/YARN + HDFS/YARN 支撑 AI 负载
一、AI/ML 优化 HDFS 存储
核心主题：用机器学习/强化学习/深度学习来优化 HDFS 的存储性能、数据放置、参数调优、安全加密
🥇 顶会/顶级期刊
| # | 论文 | 年份 | Venue | 核心贡献 |
|---|
| 1 | A Bring-Your-Own-Model Approach for ML-Driven Storage Placement in Warehouse-Scale Computers | 2025 | MLSys | Google 实践：每个 workload 自带轻量 ML 模型，指导存储层的 data placement 调度。跨层架构（应用层训练 → 存储层推理），TCO 节省 3.47× |
| 2 | Origami: Efficient ML-Driven Metadata Load Balancing for Distributed File Systems | 2025 | ICPP [CCF-B] | ML 驱动元数据负载均衡，Meta-OPT 算法找迁移策略最优折中，吞吐提升 1.12-2.51× |
| 3 | Improving Storage Systems Using Machine Learning (KML) | 2023 | ACM TOS | 通用 ML 框架 KML，轻量 ML 作为 OS/存储的一等公民，动态适配 readahead（2.3×提升）和 NFS rsize（15×提升），CPU 开销 <0.2% |
| 4 | Magpie: Automatically Tuning Static Parameters for DFS using DRL | 2022 | arXiv (ICAC'21) | DRL 调优分布式文件系统静态参数，Lustre 吞吐提升 91.8% |
🥈 高质量期刊/会议
| # | 论文 | 年份 | Venue | 核心贡献 |
|---|
| 5 | DeepCAT+: Low-Cost Online Configuration Auto-Tuning for Big Data Frameworks | 2024 | IEEE TPDS [CCF-A] | TD3 + 优先经验回放 + Twin-Q Optimizer + 渐进式神经网络迁移学习，自动调优 Spark/YARN/HDFS 参数 |
| 6 | Autonomous Hierarchical Storage Management via Reinforcement Learning | 2024 | VLDB PhD Workshop | 将 HSM 建模为 MDP，RL 驱动 HDFS 分层数据迁移策略，比 LRU/LFU 自适应性强 |
| 7 | Intelligent Automatic Configuration Parameter Tuning for Big Data Platforms using ML/DL/RL | 2023 | Sryahwa Publications | SVD + CNN + RL 自动优化 Hadoop/Spark 配置，性能提升 24.2%，推荐时间降低 88.3% |
| 8 | SI-CL-SDEO: Swarm Intelligence for HDFS Performance and Data Reliability | 2025 | Results in Engineering | 樽海鞘群+差分进化混合优化 HDFS 副本放置与负载均衡，数据可用性提升 40%，执行时间降低 20% |
| 9 | A Distributed Cache Mechanism of HDFS to Improve Learning Performance for DRL | 2022 | ISPA | 针对 DRL 训练小文件场景的 HDFS 分布式缓存架构，优于无缓存和集中缓存方案 |
| 10 | Efficient Data Encryption for Securing HDFS Using DQN-Enhanced DRL | 2025 | JCSSP | DQN-DDPG 架构动态优化 HDFS 加密参数，安全性与效率平衡 |
| 11 | Optimization of Small File Access in HDFS by Integrating VFS Layer | 2022 | IJACSA | 集成学习分类器（Ensemble Classifier）合并小文件到 Bucket，优化小文件访问 |
| 12 | Constraint-Aware Structured Data Storage Optimization for Hadoop | 2025 | Int. J. Information Technology (Springer) | 多目标进化搜索 + schema profiling，优化 Hadoop 结构化数据存储布局 |
| 13 | RL Hadoop MapReduce Parameters Optimization | 2025 | IJISAE | Q-Learning 动态调优 Hadoop 配置参数，110% 速度提升 |
二、AI/ML 优化 YARN 调度
核心主题：用 DRL/ML 优化 YARN 集群的任务调度、资源分配、参数调优
🥇 顶会/顶刊
| # | 论文 | 年份 | Venue | 核心贡献 |
|---|
| 14 | Sia: Heterogeneity-aware, Goodput-optimized ML-cluster Scheduling | 2023 | ACM SOSP [CCF-A] | 异构 DL 集群调度，44-64 GPU 集群 JCT 降低 30-93%，扩展到 2000 GPU |
| 15 | Hadar: Heterogeneity-Aware Optimization-Based Online Scheduling for DL Cluster | 2024 | IEEE IPDPS [CCF-B] | 原始-对偶优化框架，比 YARN-CS JCT 降低 3×，比 Gavel 降低 2.5× |
| 16 | Rubick: Exploiting Job Reconfigurability for DL Cluster Scheduling | 2025 | MLSys | 运行时执行计划重配置，64-GPU JCT 降低 3.2× |
| 17 | Deep Learning Workload Scheduling in GPU Datacenters: A Survey | 2024 | ACM Computing Surveys [SCI 1区] | DL 调度全景综述，含 YARN-CS 等系统对比 |
🥈 高质量期刊/会议
| # | 论文 | 年份 | Venue | 核心贡献 |
|---|
| 18 | DeepHCM: DRL for Job Scheduling on Load-aware Heterogeneous Cluster | 2025 | Journal of Big Data | DRL 扩展至异构负载感知集群，考虑运行时不确定性 |
| 19 | Towards Efficient Workflow Scheduling over YARN using DRL | 2023 | IEEE GLOBECOM | DRL 驱动 YARN workflow 调度，跨队列空闲资源窗口利用 |
| 20 | Q-scheduler: Optimize Job Scheduling in Hadoop with RL | 2024 | CSCWD | Q-Table + 相似度分类 + Fair Scheduler 改进，总完成时间降低 |
| 21 | Hugo: Cluster Scheduler that Learns to Select Complementary Jobs | 2021 | SoCC [CCF-B] | 离线聚类 + 在线 RL 学习 YARN 上作业共置互补性 |
| 22 | TopDRL: Topology-aware GPU Job Scheduling with DRL | 2025 | JPDC [CCF-B] | CNN + 启发式 GPU 调度，吞吐量提升 47% |
| 23 | RLTune: RL+MILP for DL Scheduling on Heterogeneous GPU Clusters | 2025 | arXiv | 队列延迟降低 81%，JCT 缩短 70% |
| 24 | Energy-Aware Resource Management on Spark and YARN | 2024 | IEEE TGCN | PPW 排序 + 局部性感知 + 启发式调度，能耗与 SLA 双优化 |
| 25 | YARN Schedulers for Hadoop MapReduce: Design Goals, Issues and Taxonomy | 2023 | Recent Advances in CS | YARN 调度器综述与分类 |
三、HDFS/YARN 支撑 AI 负载
核心主题：HDFS 和 YARN 作为基础设施，为 AI/DL 训练和推理提供存储与计算支撑
| # | 论文 | 年份 | Venue | 核心贡献 |
|---|
| 26 | AITURBO: Fast Cloud Storage for AI Jobs via Grouped I/O API | 2026 | FAST [CCF-A] | AI 负载的云存储加速：利用计算高速网络做 staging buffer + grouped I/O API，华为云生产部署 |
| 27 | MeLoN: Distributed Deep Learning meets the Big Data Platform | 2021 | ACSOS-C | 在 YARN 上运行分布式 DL，GPU 超分提高资源利用率 |
| 28 | Xorbits: Decentralized Actor Model for Distributed ML Pipelines | 2025 | VLDB [CCF-A] | 去中心化 actor 模型 + 引用式分布式存储，ML pipeline 加速 3.22× |
| 29 | Performance of DFS on Cloud: Small-File Problem with ML Algorithms | 2023 | arXiv | 对比 Lustre vs HDFS 在 ML 小文件场景下的性能 |
四、交叉方向归类总览
| 研究方向 | 代表论文 | 论文数 | 热度 |
|---|
| A. ML/RL 优化 HDFS 存储 | Origami, KML, Magpie, DeepCAT+, SI-CL-SDEO, DQN-Encryption | 13 | ⭐⭐⭐⭐⭐ |
| B. DRL 优化 YARN 调度 | Hadar, Rubick, Sia, Q-scheduler, Hugo, DeepHCM, TopDRL | 12 | ⭐⭐⭐⭐⭐ |
| C. HDFS+YARN 支撑 AI | AITURBO, MeLoN, Xorbits | 4 | ⭐⭐⭐ |
| D. 综述/分类 | DL Scheduling Survey, YARN Schedulers Taxo, AI Job Scheduling Review | 3 | ⭐⭐ |
五、🏆 Top 10 精读推荐
| 排名 | 论文 | 方向 | 推荐理由 |
|---|
| 🥇 | BYO-Model (MLSys 2025) | A → HDFS | Google 跨层架构，生产验证，TCO 3.47× |
| 🥇 | DeepCAT+ (TPDS 2024) | A→HDFS/YARN | DRL 全栈自动调优，HDFS+Spark+YARN 全覆盖 |
| 🥇 | Sia (SOSP 2023) | B → YARN | SOSP 顶会，异构 DL 调度标杆 |
| 🥇 | AITURBO (FAST 2026) | C → AI | AI 存储最新顶会，华为生产验证 |
| 🥈 | Hadar (IPDPS 2024) | B → YARN | YARN 对比基线 3× JCT 降低 |
| 🥈 | Origami (ICPP 2025) | A → HDFS | ML 驱动元数据负载均衡 |
| 🥈 | KML (ACM TOS 2023) | A → HDFS | 通用存储 ML 框架，低开销高收益 |
| 🥉 | Rubick (MLSys 2025) | B → YARN | 执行计划重配置创新 |
| 🥉 | Magpie (2022) | A → HDFS | DRL 调优 DFS 参数 |
| 📖 | DL Scheduling Survey (ACM CS 2024) | B → YARN | 全景综述 |
六、检索元信息
| 项目 | 内容 |
|---|
| 检索时间 | 2026-06-27 |
| 检索平台 | Semantic Scholar, arXiv, Web Search |
| 关键词 | HDFS + machine learning, YARN + deep reinforcement learning, AI + Hadoop, storage + ML + optimization, cluster + scheduling + DRL |
| 时间范围 | 2021–2026 |
| 收录论文数 | 29 篇（HDFS+AI: 13, YARN+AI: 12, Infra for AI: 4） |