100个存储基础知识

论坛搬运工

一、存储基本概念‌

• 存储的定义：数据保存的物理媒介和方式‌
• 存储架构演进：主机+硬盘 → DAS → SAN → NAS‌
• 存储核心功能：数据持久化、共享、保护及快速访问‌
• 存储性能参数：IOPS、吞吐量、延迟、容量‌
• 存储系统的组成：控制器、缓存、存储介质、接口‌
• 存储网络的三种形态：DAS、SAN、NAS‌
• 存储虚拟化：将物理资源抽象为逻辑资源‌
• 存储控制器功能：数据转发、RAID管理、指令处理‌
• 存储缓存作用：加速数据读写，减少磁盘访问‌
• 存储介质分类：机械硬盘（HDD）、固态硬盘（SSD）、磁带‌
  

二、存储架构技术‌

• DAS‌：通过SCSI/光纤直连服务器，无法共享‌‌
• SAN‌：支持块数据传输，含FC SAN和IP SAN‌‌
• NAS‌：基于文件级协议（NFS/CIFS），支持共享‌‌
• 统一存储‌：同时支持块、文件、对象存储‌‌
• 分布式存储‌：横向扩展（Scale-out）架构，支持海量数据‌‌
• 全闪存阵列‌：基于SSD的高性能存储系统‌‌
• 超融合架构‌：计算与存储资源融合部署‌‌
• 对象存储‌：基于元数据管理，适合非结构化数据‌‌
• 云存储‌：通过互联网提供存储服务（如S3）‌‌
• 存储双活‌：跨站点数据同步，保障业务连续性‌
  

三、存储介质‌

• HDD结构‌：盘片、磁头、主轴电机、控制器‌‌
• HDD性能指标‌：转速（RPM）、寻道时间、传输速率‌‌
• SSD组成‌：控制单元、闪存芯片（NAND Flash）‌‌
• SSD优势‌：低延迟、高IOPS、抗震动‌‌
• NVMe协议‌：专为SSD设计的高性能接口协议‌
• SATA/SAS接口‌：HDD常用接口类型‌‌
• 磁带存储‌：低成本、高容量，适合冷数据备份‌‌
• 3D NAND技术‌：通过堆叠提升SSD容量‌‌
• 存储介质寿命‌：SSD受写入次数限制，HDD受机械损耗影响‌‌
• 混合存储‌：SSD+HDD组合，平衡性能与成本‌
  

四、RAID技术‌

• RAID定义‌：通过磁盘冗余提升性能与可靠性‌‌
• RAID 0‌：条带化，提升性能但无冗余‌‌
• RAID 1‌：镜像，100%冗余，容量利用率低‌‌
• RAID 5‌：分布式校验，兼顾性能与冗余‌‌
• RAID 6‌：双校验，允许两块磁盘故障‌‌
• RAID 10‌：镜像+条带化，高性能高可靠‌‌
• RAID 2.0‌：虚拟化块管理，支持快速重构‌‌
• RAID写惩罚‌：不同RAID级别的写入放大效应‌‌
• 热备盘‌：自动替换故障盘的冗余磁盘‌‌
• JBOD‌：简单磁盘捆绑，无冗余‌
  

五、存储网络协议‌

• SCSI协议‌：块存储标准协议，用于DAS/SAN‌‌
• FC协议‌：高速低延迟的光纤通道协议‌‌
• iSCSI‌：基于TCP/IP的SCSI协议，成本低‌‌
• FCoE‌：融合以太网承载FC协议‌‌
• NFS‌：UNIX/Linux系统文件共享协议‌‌
• CIFS/SMB‌：Windows系统文件共享协议‌‌
• FTP/HTTP‌：非结构化数据传输协议‌‌NVMe over Fabrics‌：扩展
• NVMe到远程存储‌‌
• 存储网络拓扑‌：点对点、交换式、网状‌‌
• MPIO（多路径IO）‌：提升链路冗余与负载均衡‌
  

六、存储性能优化‌‌

• IOPS计算‌：磁盘转速、寻道时间、队列深度‌‌
• 吞吐量计算‌：带宽 = IOPS × 数据块大小‌‌
• 延迟组成‌：寻道时间 + 旋转延迟 + 传输时间‌‌
• 缓存策略‌：读写缓存比例、预取算法‌‌
• QoS机制‌：限制带宽/IOPS，保障关键业务‌‌
• 数据压缩‌：减少存储空间占用，提升传输效率‌‌
• 重复数据删除‌：消除冗余数据，节省容量‌‌
• 快照技术‌：瞬时数据副本，支持快速恢复‌‌
• 分层存储‌：热数据存SSD，冷数据存HDD/磁带‌‌
• 缓存镜像‌：防止缓存数据丢失‌
  

七、数据保护与容灾‌‌

• RTO（恢复时间目标）‌：业务中断允许的最大恢复时间‌‌
• RPO（恢复点目标）‌：数据丢失允许的最大时间窗口‌‌
• 备份类型‌：全量、增量、差异备份‌‌
• CDP（持续数据保护）‌：实时记录数据变化‌‌
• 复制技术‌：同步复制（零RPO）、异步复制‌‌
• 双活数据中心‌：跨站点负载均衡与故障切换‌‌
• 快照与克隆‌：快速创建数据副本‌‌
• 纠删码‌：分布式存储中的数据冗余技术‌‌
• 磁带库‌：低成本长期归档方案‌‌
• 虚拟磁带库（VTL）‌：模拟磁带库的磁盘备份系统‌
  

八、存储管理‌

• LUN（逻辑单元号）‌：SAN中逻辑磁盘划分‌‌
• 卷管理‌：动态扩展、收缩、迁移存储空间‌‌
• 存储资源池化‌：整合物理设备为逻辑资源池‌‌
• 自动精简配置‌：按需分配存储空间‌‌
• 存储监控指标‌：带宽、IOPS、延迟、缓存命中率‌‌
• 存储迁移工具‌：在线数据迁移技术‌‌
• 存储加密‌：静态数据加密（如AES）‌‌
• 存储多租户‌：隔离不同用户的数据与性能‌‌
• 存储审计‌：记录访问日志，满足合规要求‌‌
• 存储自动化‌：通过API/SDK实现运维自动化‌
  

九、新兴存储技术‌‌

• 软件定义存储（SDS）‌：解耦硬件与软件功能‌‌
• NVMe协议‌：替代AHCI，提升SSD性能‌‌
• 持久内存（PMEM）‌：接近内存速度的非易失存储‌‌
• 存储类内存（SCM）‌：如Intel Optane‌‌
• 边缘存储‌：分布式架构下的边缘节点存储‌‌
• AI驱动的存储‌：智能预测负载与故障‌‌
• 量子存储‌：基于量子态的数据存储（理论阶段）‌‌
• DNA存储‌：利用生物分子存储数据（实验阶段）‌‌
• 存储即代码（Storage as Code）‌：IaC理念在存储中的应用‌‌
• 绿色存储‌：低功耗设计与环保材料‌
  

十、典型应用场景‌

• 数据库存储‌：低延迟、高IOPS需求（如OLTP）‌‌
• 大数据分析‌：高吞吐、横向扩展（如HDFS）‌‌
• 虚拟化平台‌：支持多虚拟机并发访问‌‌
• 视频监控‌：高吞吐、大容量归档‌‌
• 云计算‌：弹性扩展、多租户隔离‌‌
• AI训练‌：高带宽、低延迟存储‌‌
• 容灾备份‌：跨地域数据复制与恢复‌‌
• 边缘计算‌：本地化存储减少延迟‌‌
• 归档存储‌：低成本、高密度介质（如磁带）‌‌
• 超算中心‌：并行文件系统（如Lustre、GPFS）‌
  

来自：公众号“ICT系统集成阿祥”
          https://mp.weixin.qq.com/s/ziOV6xI71QViRg87qPANjQ