销售热线:010-56180373

联系我们
华为代理商
销售代表微信
华为代理商 二维码
  • 北京天地华瑞网络科技有限公司
  • 手机:13911686400
  • 直拨:010-56180373
  • 地址:北京市海淀区海淀大街44号楼二层
资源中心-相关分类

应用场景存储系统支持与多种操作系统的应用服务器相连,包括Windows应用服务器、Linux应用服务器、UNIX应用服务器(例如AIX应用服务器、HP-U


服务器配置文档 (6) 数通技术文档 (2) 产品彩页 (22) 资质文档 (11) 相关工具 (2) 问答 (39)

OceanStor 2200 V3, 2600 V3, 2600F V3 配置文档 2020-08-03 19:37:37   1

应用场景

存储系统支持与多种操作系统的应用服务器相连,包括Windows应用服务器、Linux应用服务器、UNIX应用服务器(例如AIX应用服务器、HP-UX应用服务器和Solaris应用服务器)和VMware应用服务器等。

基础存储业务的应用场景。

 
基础存储业务的应用场景

规划可用容量

存储系统用于存储业务数据和系统数据,为了保证有足够的容量用于存储业务数据,需要对系统数据所占用的容量进行合理规划。

 说明:

可用容量规划以及购买容量计算,请联系华为当地办事处或华为认证的经销商进行评估。

以下考虑因素仅供参考,实际请以华为当地办事处或华为认证的经销商评估的结果为准。

存储系统中,系统数据的容量主要被热备空间、保险箱盘和文件系统所占用。由于存储系统本身的容量开销,用户能使用的实际容量会小于存储系统提供的容量。

存储系统的容量开销由下面几个部分组成:
  • 不同RAID级别中校验数据或镜像数据带来的容量开销。 不同RAID级别的硬盘利用率。

    RAID级别

    硬盘利用率

    RAID 0

    硬盘利用率为100%。

    RAID 1

    • 2Da:硬盘利用率约为50%。
    • 4D:硬盘利用率约为25%。

    RAID 3

    RAID 3支持灵活配置,即支持2D+1P~13D+1P配置,下面列举RAID 3几种通用配置的硬盘利用率:
    • 4Da+1Pb:硬盘利用率约为80%。
    • 2D+1P:硬盘利用率约为66.67%。
    • 8D+1P:硬盘利用率约为88.89%。
    说明:

    对于灵活配置xD+yP的RAID策略,硬盘利用率=[x/(x+y)] ×100%。

    RAID 5

    RAID 5支持灵活配置,即支持2D+1P~13D+1P配置,下面列举RAID 5几种通用配置的硬盘利用率:
    • 2D+1P:硬盘利用率约为66.67%。
    • 4D+1P:硬盘利用率约为80%。
    • 8D+1P:硬盘利用率约为88.89%。
    说明:

    对于灵活配置xD+yP的RAID策略,硬盘利用率=[x/(x+y)] ×100%。

    RAID 6

    RAID 6支持灵活配置,即支持2D+2P~26D+2P配置,下面列举RAID 6几种通用配置的硬盘利用率:
    • 2D+2P:硬盘利用率约为50%。
    • 4D+2P:硬盘利用率约为66.67%。
    • 8D+2P:硬盘利用率约为80%。
    • 16D+2P:硬盘利用率约为88.89%。
    说明:

    对于灵活配置xD+yP的RAID策略,硬盘利用率=[x/(x+y)] ×100%。

    RAID 10

    硬盘利用率为50%。

    RAID 50

    • (2D+1P)x2:硬盘利用率约为66.67%。
    • (4D+1P)x2:硬盘利用率约为80%。
    • (8D+1P)x2:硬盘利用率约为88.89%。

    a:“D”指数据块。

    b:“P”指校验块。

  • 热备空间占用的容量。 为防止硬盘域成员盘失效造成数据丢失或性能降低,存储系统支持热备空间,用于承载失效成员盘中的数据。存储系统支持如下热备策略:
    • 存储层硬盘数小于等于12块时使用一块硬盘的容量作为热备空间。随着硬盘数量的增加,热备空间的容量呈非线性增加。当硬盘数量增加到175块以后,存储层每100块硬盘使用一块硬盘的容量作为热备空间。

    • 存储层硬盘数小于等于25块时使用一块硬盘的容量作为热备空间。随着硬盘数量的增加,热备空间的容量呈非线性增加。当硬盘数量增加到175块以后,存储层每200块硬盘使用一块硬盘的容量作为热备空间。

    • 系统不提供热备空间。

    热备空间的容量随硬盘数增加的变化情况。此处以一个存储层的变化情况为例,不同类型存储层的热备空间容量变化情况相同。

    硬盘数(块)

    高热备策略下热备空间占用的硬盘数量(块)a

    低热备策略下热备空间占用的硬盘数量(块)a

    (1, 12]

    1

    1

    (12, 25]

    2

    (25, 50]

    3

    2

    (50, 75]

    4

    (75, 125]

    5

    3

    (125, 175]

    6

    (175, 275]

    7

    4

    (275, 375]

    8

    ……

    a:由于存储系统采用RAID 2.0+底层虚拟化技术,热备空间的容量分散在硬盘域同一层级的各成员盘上,为便于理解,此处将热备空间容量转换为硬盘块数。

    例如,若某硬盘域由12块SSD盘组成,采用高热备策略,则其热备空间占用的容量为1块SSD盘的容量,并且该容量分散在各成员盘上。若该硬盘域由13块SSD盘组成,采用高热备策略,则其热备空间占用的容量为2块SSD盘的容量。其它情况请以此类推。

    说明:
    • 创建硬盘域时,请保证有足够的硬盘提供热备空间。
    • 热备空间只能用于当前硬盘域中,不能用于其它硬盘域。
    • 表2中列举了常见的热备空间容量变化情况,存储系统所支持的硬盘数以及相应的热备空间容量请以实际为准。
  • 保险箱盘占用的容量。

    保险箱盘的一部分容量用于存放系统重要数据,包括配置数据和运行日志。保险箱盘上的其他容量可以用来存储业务数据。保险箱盘占用的容量具体请参见对应型号和版本《产品描述》的“保险箱盘”章节。

  • 应用服务器侧文件系统和卷管理软件带来的容量开销。

    应用服务器侧的文件系统和卷管理软件有多种类型,这些文件系统和卷管理软件可能会占用存储系统侧的部分空间。关于占用空间的大小,需根据实际场景中应用服务器上的应用部署情况而定。

  • WriteHole占用的空间。

    WriteHole是为了解决在I/O下发到硬盘过程中,由于某些操作导致数据分条校验不一致的问题。每块盘会预留256MB用作WriteHole空间。

  • 系统信息占用的空间。

    该空间会占用每块硬盘577MB的容量。

  • 元数据空间。

    存储系统会将每块盘容量的0.6%留作元数据空间,随着业务配置增加,存储系统会动态地为元数据分配空间,请以实际业务配置为准。2%留作元数据备份空间。

  • 为提高系统性能和硬盘均衡性预留空间。

    每块盘还要预留1%的容量用于提高系统性能和硬盘均衡性。当该容量小于2GB时,取值为2GB。

  • 一体化容量。

    对硬盘进行格式化时,当单个扇区大小为520字节时,其中8字节存放校验数据;当单个扇区大小为4160字节时,其中64字节存放校验数据。此时一体化利用率约为98.46%(512/520或4096/4160)。

在不考虑热备容量消耗的情况下,从上可以得出:RAID2.0+硬盘容量利用率 = (1–元数据空间-(1–元数据空间) × 元数据备份空间)×(1–硬盘均衡性预留空间) × 一体化容量 = (1–0.6%-(1–0.6%) × 2%)×(1–1%) × 98.46% ≈ 94.95%

此外,硬盘厂商和操作系统对硬盘容量定义的算法是存在偏差的。因此,硬盘的标称容量和操作系统中显示的实际容量也存在着偏差。

  • 硬盘厂商的算法:1GB = 1,000MB、1MB = 1,000KB、1KB = 1,000Byte。
  • 操作系统的算法:1GB = 1,024MB、1MB = 1,024KB、1KB = 1,024Byte。
 说明:

本计算方法仅供参考,硬盘实际容量请以DeviceManager管理界面显示为准。

可用容量计算方法示例

假设存储系统有48块600GB SAS硬盘,包含4块保险箱盘,热备策略设置为“低”,RAID策略配置为RAID 6 8D+2P。则存储可用容量计算方式如下:
  1. 600GB为硬盘厂商标称容量,因此,换算到操作系统的识别容量为:

    600GB × 1000 × 1000 × 1000 / 1024 / 1024 = 572204.590MB

  2. 单块盘除去WriteHole占用的空间:

    572204.590MB - 256MB = 571948.590MB

  3. 单块盘除去生产预留空间:

    571948.590MB - 577MB = 571371.590MB

  4. 单块盘除去元数据占用的空间:

    571371.590MB × (1 - 0.6%) = 567943.361MB

    说明: 由于存储系统会预先将每块盘容量的0.6%留作元数据空间。而随着业务配置增加,存储系统会动态地为元数据分配存储空间,请以实际业务配置为准。此处以0.6%为例进行说明。
  5. 单块盘除去元数据备份占用的存储空间:

    567943.361MB × (1 - 2%) = 556584.494MB

  6. 单块盘除去为提高系统性能和硬盘均衡性预留的空间:

    556584.494MB × (1 - 1%) = 551018.649MB

  7. 单块盘除去一体化容量占用的存储空间:

    551018.649MB × 98.46%= 542532.962MB

  8. 整个存储系统由于采用的是“低”的热备策略,需要占用2块硬盘的容量。因此,存储系统的除去热备空间的可用容量为:

    542532.962MB × (48 - 2) = 24956516.250MB

    换算成TB:24956516.250MB / 1024 / 1024 = 23.800TB

  9. 除去保险箱数据占用的存储空间:

    23.800TB - 4 × 5GB = 23.781TB

    说明: 此处单个保险箱盘占用的容量以5GB为例计算。保险箱盘占用的容量具体请参见对应型号和版本《产品描述》的“保险箱盘”章节。
  10. 由于采用的是RAID 6 8D+2P,硬盘利用率为80%,因此得到存储系统最后的可用容量为:

    23.781TB × 80% = 19.025TB

最后算出存储系统的可用容量约为“19.025TB”。

 说明: 此处算出的可用容量为估算值,精确值请以DeviceManager管理界面显示为准。

以上考虑因素仅供参考,实际请以华为当地办事处或华为认证的经销商评估的结果为准。

 

规划硬盘域

硬盘域为存储池提供了存储空间,硬盘域的硬盘类型、容量和热备策略直接影响了存储池的存储层和可用容量。

硬盘域硬盘类型规划

硬盘可以按如下两个维度进行分类:
  • 按照是否加密进行分类,可分为加密类型和非加密类型,加密硬盘和非加密硬盘不能存在于同一个硬盘域中。加密硬盘不在中国大陆地区销售。
    • 加密硬盘:加密硬盘指通过硬盘自身的硬件电路和内部的加密密钥完成数据写入时加密和读取时解密的功能,是一种特殊的硬盘。

      在使用加密硬盘创建加密硬盘域前,请先安装和配置密管服务器,并完成与存储系统的对接。具体请参见《硬盘加密用户指南》。

    • 未加密硬盘:不支持加密功能的普通硬盘。
  • 按照介质进行分类,可分为SSD盘、SAS硬盘以及NL-SAS硬盘。 组成硬盘域的硬盘类型决定了该硬盘域中存储池的存储层级,即硬盘域中没有相应的硬盘类型,则其中的存储池就不能创建相应的存储层。各硬盘类型对应的存储层。

    硬盘类型

    存储层

    SSD盘

    高性能层

    SAS硬盘

    性能层

    NL-SAS硬盘

    容量层

硬盘域热备策略规划

为防止硬盘域成员盘失效造成数据丢失或性能降低,存储系统支持热备空间,用于承载失效成员盘中的数据。存储系统支持如下热备策略:
  • 存储层硬盘数小于等于12块时使用一块硬盘的容量作为热备空间。随着硬盘数量的增加,热备空间的容量呈非线性增加。当硬盘数量增加到175块以后,存储层每100块硬盘使用一块硬盘的容量作为热备空间。

  • 存储层硬盘数小于等于25块时使用一块硬盘的容量作为热备空间。随着硬盘数量的增加,热备空间的容量呈非线性增加。当硬盘数量增加到175块以后,存储层每200块硬盘使用一块硬盘的容量作为热备空间。

  • 系统不提供热备空间。

热备空间的容量随硬盘数增加的变化情况。此处以一个存储层的变化情况为例,不同类型存储层的热备空间容量变化情况相同。

硬盘数(块)

高热备策略下热备空间占用的硬盘数量(块)a

低热备策略下热备空间占用的硬盘数量(块)a

(1, 12]

1

1

(12, 25]

2

(25, 50]

3

2

(50, 75]

4

(75, 125]

5

3

(125, 175]

6

(175, 275]

7

4

(275, 375]

8

……

a:由于存储系统采用RAID 2.0+底层虚拟化技术,热备空间的容量分散在硬盘域同一层级的各成员盘上,为便于理解,此处将热备空间容量转换为硬盘块数。

例如,若某硬盘域由12块SSD盘组成,采用高热备策略,则其热备空间占用的容量为1块SSD盘的容量,并且该容量分散在各成员盘上。若该硬盘域由13块SSD盘组成,采用高热备策略,则其热备空间占用的容量为2块SSD盘的容量。其它情况请以此类推。

 说明:
  • 创建硬盘域时,请保证有足够的硬盘提供热备空间。
  • 热备空间只能用于当前硬盘域中,不能用于其它硬盘域。
  • 表2中列举了常见的热备空间容量变化情况,存储系统所支持的硬盘数以及相应的热备空间容量请以实际为准。

硬盘域硬盘数推荐配置

建议硬盘域中每个层级配置的硬盘数不超过100块。假设某一层级硬盘总数为D(D/100取整得到N,余数为M),此时建议参考以下规则:
  • 当D≤100时,该层级所有硬盘创建在一个硬盘域即可。
  • 当D>100时,总共创建N+1个硬盘域,所有硬盘均分到这N+1个硬盘域,即每个硬盘域的硬盘数=D/(N+1)。同时,建议硬盘框尽量保证满框配置。
  • 针对SmartTier特性,建议硬盘域中每个层级配置的硬盘数不超过100块,每个层级的硬盘数的具体配置同上述原则。

示例1:存储系统SSD盘总数D=328(328/100取整得到N=3,余数M=28),则建议配置4个硬盘域,每个硬盘域的硬盘数=328/4=82块盘。

示例2:存储系统SSD盘总数D=223(223/100取整得到N=2,余数M=23),则建议配置3个硬盘域,每个硬盘域的硬盘数=223/3=74.3块盘,那么2个硬盘域分别配置74块盘,另1个硬盘域配置75块盘即可。

示例3:某硬盘域由SSD、SAS和NL-SAS硬盘组成,针对SmartTier特性,建议该硬盘域中SSD硬盘个数≤100,SAS硬盘个数≤100,NL-SAS硬盘个数≤100。

 说明:

若项目中基于容量和业务的规划需要配置超过100块硬盘的硬盘域时,请联系华为技术支持工程师评估。

硬盘域容量规划

由于存储池的存储空间来自于硬盘域,因此,硬盘域的容量直接决定了存储池的可用容量,需要对硬盘域的容量进行合理规划,保证存储空间的充分利用。为了保证硬盘域能够满足存储池和热备空间的容量需求,在规划硬盘域所需的最小容量时,涉及的相关参数有热备策略、RAID策略和存储介质。规划硬盘域所需的最小硬盘数(单个引擎),。

RAID策略

硬盘域的最小硬盘数

RAID策略

硬盘域的最小硬盘数

RAID 0

4

RAID 1 (2D)

4

说明:

如果当硬盘域中SSD盘只有2或3块时,则SSD盘对应的高性能层推荐使用RAID1(2D)。

RAID 1 (4D)

4

RAID 10

4

RAID 3(2D+1P)

4

RAID 3(4D+1P)

6

RAID 3(8D+1P)

10

RAID 5(2D+1P)

4

RAID 5(4D+1P)

6

RAID 5(8D+1P)

10

RAID 6(2D+2P)

5

RAID 6(4D+2P)

7

RAID 6(8D+2P)

11

RAID 6(16D+2P)

19

RAID 50(2D+1P)x2

7

RAID 50(4D+1P)x2

11

RAID 50(8D+1P)x2

19

 说明:
  • 上表中仅列出了标准RAID级别的最小硬盘数,另外,存储系统还支持灵活配置,RAID 5支持2D+1P~13D+1P的配置,RAID 6支持2D+2P~26D+2P的配置。对于灵活配置“xD+yP”的RAID策略,热备策略所需盘数为“z”,则最小硬盘数为“x+y+z”。z的值由热备策略和硬盘数的数量确定。
  • 上表中列出的最小硬盘数所指硬盘必须来自于同一个引擎,如果创建硬盘域所选硬盘来自于不同引擎,则需要保证来自于每个引擎的硬盘数都满足最小硬盘数的要求。
  • 创建硬盘域时,当“指定硬盘类型”只指定为“高性能层:SSD”时,单个引擎上选择的SSD硬盘总数不能小于4个;当“指定硬盘类型”只指定为“性能层:SAS”时,单个引擎上选择的SAS硬盘总数不能小于4个;当“指定硬盘类型”只指定为“容量层:NL-SAS”时,单个引擎上选择的NL-SAS硬盘总数不能小于4个。当“指定硬盘类型”来自于多个存储层时,则单个引擎上选择的SSD硬盘总数不能小于2个,单个引擎上选择的SAS硬盘总数不能小于4个,单个引擎上选择的NL-SAS硬盘总数不能小于4个。
  • RAID 0只支持在CLI模式下配置,具体请参见对应产品型号的《命令参考》。

规划建议

规划硬盘域可以参考以下建议:
  • 创建硬盘域时使用手动选择硬盘,确保所有硬盘来自同一个引擎。硬盘域创建在一个引擎内,可以减少硬盘出现故障的概率和提高硬盘的读写性能。
  • 硬盘域中,同一个存储层硬盘的类型、容量、转速(SSD盘除外)建议一致。如果硬盘容量不一致,可能导致容量较大的硬盘的容量得不到有效利用,造成容量浪费,或者容量较大的硬盘的性能成为瓶颈;如果硬盘转速不一致,可能出现性能下降的风险。
  • 高密硬盘框的硬盘和普通硬盘框的硬盘不建议配置在同一个硬盘域中。否则,会影响存储系统的性能。
  • 当一套存储系统上同时部署SAN和NAS业务时,建议为SAN和NAS业务分别创建独立的硬盘域。如果需要在一个硬盘域中同时配置SAN和NAS业务,请联系华为技术支持工程师评估。

规划存储池

在使用存储系统之前,需要创建存储池来提供存储空间。为了更好地利用存储系统的存储空间,需要根据实际的业务需求,对存储池的存储层和RAID级别进行合理的规划。

用途规划

  • 存储池的用途一旦选定不可更改。
  • “用途”为“块存储服务”的存储池仅支持创建LUN。
  • “用途”为“文件存储服务”的存储池仅支持创建文件系统。
  • 建议使用不同硬盘域分别创建用于块存储业务或文件存储业务的存储池。

存储层规划

存储池是一个或多个存储层的逻辑组合,最多可支持三个级别的存储层。存储层是存储池中相同性能的存储介质集合,该集合具有相同的RAID级别。由于每个存储层的存储介质各不相同,其性能和成本也各不相同。在配置基础存储业务时,请根据实际业务需求设置存储层。

各存储层参数。

存储层

存储介质类型

响应时间

每单位存储容量的成本

每单位存储请求处理的成本

高性能层

SSD盘

性能层

SAS硬盘

中等

中等

中等

容量层

NL-SAS硬盘

各存储层功能如下:
  • 高性能层:性能最高,由于其存储介质成本较高且单盘容量小,适合随机读写性能要求很高的应用,例如数据库的索引。
  • 性能层:性能较高,由于其存储介质成本适中且单盘容量较大,可靠性高,适合一般的在线应用。
  • 容量层:性能最低,由于其存储介质成本最低且单盘容量大,适合非关键业务,例如备份。

RAID级别规划

在进行RAID级别选择时,需考虑到以下三点:
  • 可靠性
  • 读写性能
  • 硬盘利用率
不同RAID级别的可靠性、读写性能和硬盘利用率不同。各RAID级别的对比分析。

RAID级别

冗余及数据恢复能力

读性能

写性能

硬盘利用率

最多允许坏的盘数

RAID级别

冗余及数据恢复能力

读性能

写性能

硬盘利用率

最多允许坏的盘数

RAID 0

不提供数据冗余,损坏的数据将无法得到恢复。

硬盘利用率为100%。

0

RAID 1

高,数据全冗余。当CHUNK故障时,可以使用对应镜像CHUNK进行恢复。

较高

较低

  • 2Da:硬盘利用率约为50%。
  • 4D:硬盘利用率约为25%。

最多可以容许N-1个硬盘同时损坏(N个硬盘组成的RAID 1阵列)。

RAID 3

较高,CKG中的一个CHUNK作为校验块。任意一块数据CHUNK故障都可以通过校验CHUNK进行恢复。如果出现两个及以上CHUNK故障,则整个RAID级别故障。

RAID 3支持灵活配置,即支持2D+1P~13D+1P配置,下面列举RAID 3几种通用配置的硬盘利用率:
  • 4Da+1Pb:硬盘利用率约为80%。
  • 2D+1P:硬盘利用率约为66.67%。
  • 8D+1P:硬盘利用率约为88.89%。
说明:

对于灵活配置xD+yP的RAID策略,硬盘利用率=[x/(x+y)] ×100%。

1

RAID 5

较高,校验数据分散在不同的CHUNK上,每个CKG中的校验数据占用一个CHUNK的空间,允许任意一个数据CHUNK故障。如果出现两个及以上CHUNK故障,则整个RAID级别故障。

较高

较高

RAID 5支持灵活配置,即支持2D+1P~13D+1P配置,下面列举RAID 5几种通用配置的硬盘利用率:
  • 2D+1P:硬盘利用率约为66.67%。
  • 4D+1P:硬盘利用率约为80%。
  • 8D+1P:硬盘利用率约为88.89%。
说明:

对于灵活配置xD+yP的RAID策略,硬盘利用率=[x/(x+y)] ×100%。

1

RAID 6

较高,两组校验数据分散在不同的CHUNK上,每个CKG中的校验数据占用两个CHUNK的空间,允许任意两个CHUNK故障。如果出现三个及以上CHUNK故障,则整个RAID级别故障。

RAID 6支持灵活配置,即支持2D+2P~26D+2P配置,下面列举RAID 6几种通用配置的硬盘利用率:
  • 2D+2P:硬盘利用率约为50%。
  • 4D+2P:硬盘利用率约为66.67%。
  • 8D+2P:硬盘利用率约为80%。
  • 16D+2P:硬盘利用率约为88.89%。
说明:

对于灵活配置xD+yP的RAID策略,硬盘利用率=[x/(x+y)] ×100%。

2

RAID 10

高,允许多个CHUNK故障。当某个CHUNK故障时,可以使用对应的镜像CHUNK进行恢复。如果存储相同数据的CHUNK和镜像CHUNK同时故障,则整个RAID级别故障。

较高

较高

硬盘利用率为50%。

最多可以容许N个硬盘同时损坏(2N个硬盘组成的RAID 10阵列)。

RAID 50

较高,每个RAID 5子组中的校验数据分散在不同的CHUNK上,每个RAID 5子组中只允许一个CHUNK失效。如果某个RAID 5子组中有2个及以上CHUNK同时失效,则整个RAID级别故障。

较高

较高

  • (2D+1P)x2:硬盘利用率约为66.67%。
  • (4D+1P)x2:硬盘利用率约为80%。
  • (8D+1P)x2:硬盘利用率约为88.89%。

1

a:“D”指数据块。

b:“P”指校验块。

RAID策略配置可参考以下意见:
  • 建议对于核心业务(如运营商的计费等系统或金融A类在线交易系统等),性能层RAID策略配置为RAID 6(8D+2P)。对于非核心业务,性能层RAID策略配置为RAID 5(8D+1P)。
  • 容量层(NL-SAS)的RAID策略推荐配置为RAID 6。

规划LUN

使用存储系统之前,为了能使存储系统的性能达到最优状态,需要根据实际的数据存储情况,为LUN选择合适的LUN类型,Cache策略和预取策略。

规划LUN类型

存储系统支持两种类型的LUN,普通LUN和PE(Protocol Endpoint)LUN。
  • 普通LUN:包含thin LUN和thick LUN。
    • thin LUN:在创建时只被分配初始容量,当初始分配容量不足时,系统按照用户实际使用容量从存储池中动态分配存储资源。
    • thick LUN:根据创建时指定的容量大小,系统通过自动资源配置技术从存储池中一次性为其分配存储资源。
    说明:

    在主机对存储进行初始化读写时,thick LUN性能会更好;thin LUN的空间利用率更高。

  • PE LUN:专门针对VMware ESXi软件定义存储中的VVol(Virtual volume)LUN设计的LUN类型。

规划Cache策略(适用于普通LUN)

Cache策略包括读策略和写策略。如果读策略或者写策略配置不当将导致存储系统的读或者写性能下降,并且会影响存储系统的可靠性。

两种策略的说明和可选策略。

Cache策略

说明

可选策略

读策略

Cache的读策略是指应用服务器下发读I/O请求后,Cache中数据的驻留策略。

存储系统可选的Cache策略如下:
  • “常驻”:适用于随机访问类业务,确保Cache中的数据尽可能长时间缓存,以提高读命中率。
  • “默认”:适用于常规业务,以兼顾命中率和访盘性能。
  • “回收”:适用于顺序访问类业务,以尽快释放Cache资源供其他业务使用。

写策略

Cache的写策略是指应用服务器下发写I/O请求后,Cache中数据的驻留策略。

规划预取策略(适用于普通LUN)

存储系统上运行的业务有不同的数据块读取大小需求,为了提高业务运行过程中的读性能,可以设置LUN的预取策略。

存储系统支持四种预取策略:智能预取、固定预取、可变预取和不预取。各种预取策略的原理及应用场景。

预取策略

原理

应用场景

智能预取

智能预取是通过对主机读请求进行连续性判断,如果是连续的请求,则将当前读请求后面的一段数据从硬盘读预取到Cache中,提高读Cache命中率。智能预取的长度是当前读请求的起始地址到CHUNK的结束地址。

智能预取策略适合单个数据流的读应用,或无法判断读应用是否顺序的情况。例如文件读写。

固定预取

在读取数据时,不考虑主机I/O请求中读取长度,按照配置的预取长度将数据预取到Cache中。

固定预取策略适合大小固定的顺序读应用。例如多用户流媒体点播,用户使用相同码流。

可变预取

在读取数据时,按照主机I/O请求中的读取长度的倍数将数据预取到Cache中。

可变预取策略适合大小不固定的顺序读应用,或多用户并发读但无法判定预读量,无法按固定预取设置的应用。例如多用户多媒体点播,用户使用码流各不相同。

不预取

按照主机I/O请求中指定的读取长度直接从硬盘读取数据,即不使用预取功能。

不预取策略适合随机读小数据块应用。例如数据库应用。

 说明:

当系统在随机读业务时,如果启动Cache预取策略会导致性能下降,因此建议预取策略为不预取。

规划增值特性

存储系统支持配置的软件特性具体请参见对应型号和版本《产品描述》的“软件规格”章节。

 

以Web方式登录DeviceManager

在任意一台与存储系统连接的维护终端上,通过浏览器访问存储系统控制器的管理网口IP地址,使用本地用户名或域用户名,可以登录DeviceManager管理界面。

前提条件

使用DeviceManager前请先检查维护终端是否满足使用DeviceManager的要求:
  • 操作系统及浏览器的兼容性。

    DeviceManager支持多种操作系统和浏览器,具体的兼容性信息可以通过华为存储兼容性查询工具进行查询。

  • 维护终端和存储设备通信正常。
  • 超级管理员只能通过“本地用户”的认证方式登录存储系统。
  • 使用LDAP(Lightweight Directory Access Protocol)域用户名登录DeviceManager前,必须首先在存储系统外部配置好LDAP域服务器,并在存储系统侧设置LDAP服务器的相关参数,然后创建相应的LDAP域用户名。

背景信息

  • DeviceManager软件仅支持TLS协议(包括TLS 1.0,TLS 1.1和TLS 1.2)。
  • DeviceManager软件默认允许32个用户同时登录。
  • 超级管理员的默认用户名和密码分别为“admin”和“Admin@storage”。
  • 控制器A的管理网口IP地址的默认值为“192.168.128.101”,控制器B的管理网口IP地址的默认值为“192.168.128.102”。
  • 本文以Windows操作系统为例,介绍如何登录DeviceManager管理软件。实际操作时请根据具体情况调整操作过程。
  • 本文以维护终端通过Web方式登录DeviceManager为例进行介绍,如果需要通过平板电脑或其他方式登录DeviceManager,请参考对应产品型号的《安装指南》。

操作步骤

  1. 在维护终端运行IE浏览器。
  2. 在地址栏中输入https://XXX.XXX.XXX.XXX:8088并按“Enter”。

    系统进入DeviceManager登录界面。

    说明:
    • XXX.XXX.XXX.XXX代表存储系统管理网口的IP地址。
    • 在有防火墙的环境中,系统对外提供web服务时,需要开启8088端口。
    • 浏览器可能会提示网站的安全证书有问题,此时只要确认IP地址正确,您仍然可以选择忽略该提示并继续访问存储系统。
    • 如果您拥有可用的安全证书,建议通过相关命令导入安全证书以进一步提升系统安全性,导入安全证书的相关命令请参见对应产品型号的《命令参考》。
  3. 可选:设置登录方式以及语言类型。
    1. 单击“高级”。
    2. 在“认证模式”中选择登录方式。
      • 本地用户:通过本地认证登录存储系统。

        超级管理员只能通过“本地用户”的认证方式登录存储系统。

      • LDAP用户:通过LDAP域认证登录存储系统。

        只有成功配置LDAP服务器之后,才能通过LDAP域认证登录存储系统。

    3. 在“语言”中选择语言类型。 说明:

      DeviceManager支持简体中文和英文两种语言类型。

  4. 在“用户名”和“密码”中输入登录的用户名和密码。 说明:
    • 当出现“验证码”时请输入正确的验证码。
    • 当登录方式选择了“LDAP用户”时,此时登录的用户名和密码为域用户名和密码。如果是本地超级管理员登录,默认的用户名和密码分别为“admin”和“Admin@storage”。
    • 如果管理员或只读用户忘记密码,请联系超级管理员重置密码。如果忘记超级管理员账户或密码,请联系华为技术工程师。
    • 如果您连续输入密码错误次数达到系统“登录策略”中的“错误次数”(默认为3次),系统自动锁定您的帐号,并在锁定时间(超级管理员用户的锁定时间为15分钟,其他用户的默认锁定时间为15分钟)结束后解锁。
    • 首次登录存储系统时必须立即修改默认登录密码。为了避免由于密码泄露给存储系统带来安全风险,请在后续使用中定期修改登录密码。进入CLI登录界面,在命令窗口输入change user user_name=? action=reset_password命令,重置用户的登录密码为用户输入的新密码,只能重置管理员和只读用户的密码。
  5. 单击“登录”。 说明:

    操作过程中,单击界面右上角的,可查看联机帮助。当您在实际操作中,需要了解每个操作步骤的详细描述和操作步骤,您可以通过联机帮助获得帮助。

    系统进入DeviceManager管理界面。

    DeviceManager管理软件的主界面如图1所示。 图1 DeviceManager管理软件主界面 

    各部分的描述。

    序号

    名称

    说明

    序号

    名称

    说明

    1

    信息展示区

    信息展示区显示了存储系统的基本信息、容量、告警及性能。

    2

    状态栏

    状态栏上显示设备当前的登录用户名、系统时间等信息。

    3

    导航树

    导航树列出了整个存储系统的各个功能模块。

    4

    退出、帮助和语言切换区

    退出、帮助和语言切换区列出了退出按钮、帮助按钮和语言切换按钮。 说明:

    DeviceManager支持简体中文和英文两种语言类型。

    5

    故障统计区

    故障统计区上显示了系统各级别故障的数量,用户可以了解当前系统的运行状态。

后续处理

如果需要注销DeviceManager用户,请执行以下操作:
  1. 在DeviceManager管理界面右上角,单击

    系统弹出“确认”对话框。

  2. 单击“确定”,注销DeviceManager用户。

创建硬盘域

硬盘域的硬盘类型决定了存储池可以创建的存储层级,为了构建存储池需要首先创建硬盘域,在硬盘域中需要指定构成硬盘域的硬盘类型和数量。

背景信息

建议使用不同硬盘域分别创建用于块存储业务或文件存储业务的存储池。

为防止硬盘域成员盘失效造成数据丢失或性能降低,存储系统支持热备空间,用于承载失效成员盘中的数据。存储系统支持如下热备策略:
  • 存储层硬盘数小于等于12块时使用一块硬盘的容量作为热备空间。随着硬盘数量的增加,热备空间的容量呈非线性增加。当硬盘数量增加到175块以后,存储层每100块硬盘使用一块硬盘的容量作为热备空间。

  • 存储层硬盘数小于等于25块时使用一块硬盘的容量作为热备空间。随着硬盘数量的增加,热备空间的容量呈非线性增加。当硬盘数量增加到175块以后,存储层每200块硬盘使用一块硬盘的容量作为热备空间。

  • 系统不提供热备空间。

热备空间的容量随硬盘数增加的变化情况。此处以一个存储层的变化情况为例,不同类型存储层的热备空间容量变化情况相同。

硬盘数(块)

高热备策略下热备空间占用的硬盘数量(块)a

低热备策略下热备空间占用的硬盘数量(块)a

(1, 12]

1

1

(12, 25]

2

(25, 50]

3

2

(50, 75]

4

(75, 125]

5

3

(125, 175]

6

(175, 275]

7

4

(275, 375]

8

……

a:由于存储系统采用RAID 2.0+底层虚拟化技术,热备空间的容量分散在硬盘域同一层级的各成员盘上,为便于理解,此处将热备空间容量转换为硬盘块数。

例如,若某硬盘域由12块SSD盘组成,采用高热备策略,则其热备空间占用的容量为1块SSD盘的容量,并且该容量分散在各成员盘上。若该硬盘域由13块SSD盘组成,采用高热备策略,则其热备空间占用的容量为2块SSD盘的容量。其它情况请以此类推。

 说明:
  • 创建硬盘域时,请保证有足够的硬盘提供热备空间。
  • 热备空间只能用于当前硬盘域中,不能用于其它硬盘域。
  • 表1中列举了常见的热备空间容量变化情况,存储系统所支持的硬盘数以及相应的热备空间容量请以实际为准。

操作步骤

  1. 登录DeviceManager。
  2. 选择“资源分配 > 硬盘域”。
  3. 单击“创建”。

    系统弹出“创建硬盘域”对话框。

  4. 设置硬盘域的名称和描述。
    1. 在“名称”中输入待创建硬盘域的名称。 说明:
      • 名称不能重复。
      • 只能包含字母、数字、“.”、“_”、“-”和中文字符。
      • 长度为1~31个字符(1个中文字符占3个字符长度)。
    2. 在“描述”中输入待创建硬盘域的用途、属性等,用于标识该硬盘域。
  5. 在“加密类型”中选择硬盘域是否由加密硬盘组成。

    加密类型包括:

    • “未加密硬盘”:创建未加密硬盘域。
    • “加密硬盘”:创建加密硬盘域。
    说明:
    • “未加密硬盘”是指不支持加密功能的普通硬盘。
    • “加密硬盘”是指通过硬盘自身的硬件电路和内部的加密密钥完成数据写入时加密和读取时解密的功能,是一种特殊的硬盘。在使用加密硬盘前,请先安装和配置密管服务器,并完成与存储系统的对接。具体请参见《硬盘加密用户指南》。
    • 加密硬盘和非加密硬盘不能存在于同一个硬盘域中。
  6. 选择组成硬盘域的硬盘。您可以通过以下三种方式选择硬盘:
    • 选择“所有可用硬盘”。

      您只需为对应存储层配置热备策略。

      说明:

      建议通过“手动选择硬盘”来创建硬盘域,确保硬盘域由来自同一个引擎的硬盘组成,这样可以减少硬盘出现故障的概率和提高硬盘的读写性能。

    • 选择“指定硬盘类型”或者“指定硬盘数量”。 说明:

      某些型号只支持配置“指定硬盘类型”或者“指定硬盘数量”。

      • 选择“指定硬盘类型”。
        1. 根据硬盘的存储介质,选择存储层。
        2. 配置组成存储层的硬盘数。
        3. 配置存储层的热备策略。
      • 选择“指定硬盘数量”。

        配置组成存储层的硬盘数。

    • 选择“手动选择硬盘”。
      1. 单击“选择”。
      2. 在“选择硬盘”对话框中选择您需要的硬盘,单击
      3. 单击“确定”完成硬盘选择。
      4. 配置存储层的热备策略。
    说明:

    创建硬盘域时,如果您规划中明确需要在该硬盘域中创建含有RAID 10级别的存储池,建议为硬盘域的每个存储层手动选择硬盘,且每个存储层中归属于同一个引擎下的硬盘数为偶数,从而保证RAID 10级别存储池的可靠性。

    存储系统通过设置热备策略,提供热备区,用于承载失效成员盘中的数据。

    建议硬盘域中每个层级配置的硬盘数不超过100块。假设某一层级硬盘总数为D(D/100取整得到N,余数为M),此时建议参考以下规则:
    • 当D≤100时,该层级所有硬盘创建在一个硬盘域即可。
    • 当D>100时,总共创建N+1个硬盘域,所有硬盘均分到这N+1个硬盘域,即每个硬盘域的硬盘数=D/(N+1)。同时,建议硬盘框尽量保证满框配置。
    • 针对SmartTier特性,建议硬盘域中每个层级配置的硬盘数不超过100块,每个层级的硬盘数的具体配置同上述原则。

    示例1:存储系统SSD盘总数D=328(328/100取整得到N=3,余数M=28),则建议配置4个硬盘域,每个硬盘域的硬盘数=328/4=82块盘。

    示例2:存储系统SSD盘总数D=223(223/100取整得到N=2,余数M=23),则建议配置3个硬盘域,每个硬盘域的硬盘数=223/3=74.3块盘,那么2个硬盘域分别配置74块盘,另1个硬盘域配置75块盘即可。

    示例3:某硬盘域由SSD、SAS和NL-SAS硬盘组成,针对SmartTier特性,建议该硬盘域中SSD硬盘个数≤100,SAS硬盘个数≤100,NL-SAS硬盘个数≤100。

    若项目中基于容量和业务的规划需要配置超过100块硬盘的硬盘域时,请联系华为技术支持工程师评估。

  7. 单击“确定”。

    系统弹出操作成功提示信息。

  8. 单击“确定”,完成硬盘域创建。

    硬盘域创建完成后,可以在信息展示区的下方,选择“硬盘”页签,查看当前硬盘域中硬盘的基本信息。如果需要查看硬盘所属的引擎,请单击

创建存储池

应用服务器使用的存储空间来自于存储系统的存储池,因此,为保障应用服务器能够使用存储系统的存储空间,需要首先创建存储池。

前提条件

已创建硬盘域。

背景信息

  • 建议使用不同硬盘域分别创建用于块存储业务或文件存储业务的存储池。

  • RAID策略包含RAID级别以及组成RAID级别的数据块和校验块的个数。

  • RAID级别根据数据块和校验块个数不同分为典型配置和灵活配置,具体配置。

    RAID级别

    典型配置

    灵活配置

    RAID0

    -

    -

    RAID1

    • 2Da
    • 4D

    -

    RAID10

    -

    -

    RAID3

    • 2D+1Pb
    • 4D+1P
    • 8D+1P

    2D+1P至13D+1P

    RAID5

    • 2D+1P
    • 4D+1P
    • 8D+1P

    2D+1P至13D+1P

    RAID50

    • (2D+1P)x2
    • (4D+1P)x2
    • (8D+1P)x2

    -

    RAID6

    • 2D+2P
    • 4D+2P
    • 8D+2P
    • 16D+2P

    2D+2P至26D+2P

    a:“D”指数据块。

    b:“P”指校验块。

    说明:

    如果某个存储层的RAID级别首先采用灵活配置,则该层为主控制层,其他存储层的RAID策略受主控制层约束。主控层的RAID数据块数量必须与其他层的RAID数据块数量互为1、2、4或8的倍数关系。例如,性能层为主控层,其RAID策略为3D+1P,则其他层的RAID策略必须为3D+1P、6D+2P等,不能为4D+1P。如果想改变当前主控制层,取消并重新勾选该层即可。

操作步骤

  1. 登录DeviceManager。
  2. 选择“资源分配 > 存储池”。
  3. 单击“创建”。

    系统弹出“创建存储池”对话框。

  4. 设置存储池的名称和描述。
    1. 在“名称”文本框中输入待创建存储池的名称。 说明:
      • 名称不能重复。
      • 只能包含字母、数字、“.”、“_”、“-”和中文字符。
      • 长度为1~31个字符(1个中文字符占3个字符长度)。
    2. 在“描述”文本框中输入待创建存储池的用途、属性等,用于标识该存储池。
  5. 在“用途”中选择“块存储服务”。 说明:

    “用途”一旦选定不可更改。

    • “用途”为“块存储服务”的存储池仅支持创建LUN。
    • “用途”为“文件存储服务”的存储池仅支持创建文件系统。

    为了性能最优化,推荐使用不同的硬盘域分别创建块存储服务和文件存储服务的存储池。

  6. 在“硬盘域”中选择所属硬盘域。
  7. 在“存储介质”中选择存储池中需要的存储层并设置相关参数。
    1. 根据实际业务需求选择相关存储层。
    2. 设置存储层的基本信息。相关参数说明。

      参数名称

      参数说明

      参数设置

      RAID策略

      存储系统支持7种RAID级别:RAID 0,RAID 1,RAID 10,RAID 3,RAID 5,RAID 50和RAID 6。 说明:

      RAID 0只支持在CLI模式下配置,具体请参见对应型号的《命令参考》。

      请根据实际的规划方案选择对应的RAID策略。

      存储层的默认RAID策略会根据该存储层的硬盘数量不同而不同。

      • 当存储层的硬盘数量小于10时:
        • 高性能层的默认RAID策略为RAID 10
        • 性能层的默认RAID策略为RAID 5(4D+1P)
        • 容量层的默认RAID策略为RAID 6(4D+2P)
      • 当存储层的硬盘数量等于10时:
        • 高性能层的默认RAID策略为RAID 10
        • 性能层的默认RAID策略为RAID 5(8D+1P)
        • 容量层的默认RAID策略为RAID 6(4D+2P)
      • 当存储层的硬盘数量大于10时:
        • 高性能层的默认RAID策略为RAID 10
        • 性能层的默认RAID策略为RAID 5(8D+1P)
        • 容量层的默认RAID策略为RAID 6(8D+2P)
      说明: 如果当硬盘域中SSD盘只有2或3块时,则SSD盘对应的高性能层推荐使用RAID 1(2D)。

      容量

      该存储层提供给存储池的空间大小。

      提供TB、GB、PB三种级别的空间设置。 说明: 勾选“使用全部可用容量”,可以将此存储层的所有可用容量分配给新创建的存储池。

      容量不得超过该存储层可用空间的大小。

      说明:
      • 当存储池由多个存储层组成时,建议设置SmartTier策略,保证不同热度的数据在不同性能的存储层间转移,使存储性能的分配得到优化。
      • 为了保证数据的安全性,容量层推荐使用安全级别较高的RAID 6策略。
  8. 可选:配置该存储池的SmartTier策略。
    1. 单击“设置SmartTier策略”。

      系统弹出“设置SmartTier策略”对话框。相关参数说明。

      参数名称

      参数说明

      参数设置

      业务监控时段

      勾选“开启I/O监控”,通过对某一时间段业务进行监控,以获得热点数据,引导数据在存储层间进行迁移。

      可设置监控时段,包括星期、“开始时间”和“持续时间”。

      [默认值]

      未启用I/O监控

      数据迁移计划

      存储池内存储层的迁移触发策略。策略包括:
      • 手动:用户可以根据需要手动触发数据在不同的存储层之间进行迁移。迁移过程需要用户触发且整个迁移对应用服务器完全透明,不影响业务的正常运行。手动迁移可以在任意时间段进行数据迁移。
      • 定时:使用定时迁移触发策略时,用户只需设定迁移的时间段,迁移过程中无需用户干预,可以消除手动管理成本和复杂性。整个迁移对应用服务器完全透明,不影响业务的正常运行。自动迁移只能在特定的时间段进行数据迁移。

      [默认值]

      手动

      说明:
      • SmartTier策略仅适用于“用途”为“块存储服务”的存储池。
      • 创建多层存储池,并激活SmartTier的License可实现动态存储分级。
      • 当“数据迁移计划”设置为“定时”时,系统“业务监控时段”默认为7x24小时开启I/O监控。当“数据迁移计划”设置为“手动”时,请选择具体的路径,启动数据迁移。
      • SmartTier动态迁移数据需要有用于数据交换的额外空间,因此配置SmartTier特性的存储池需要预留一部分空闲空间。
    2. 单击“确定”。系统返回“创建存储池”对话框。
  9. 设置存储池的高级属性信息。
    1. 单击“高级”。

      系统弹出“高级属性设置”对话框。

      请依次设置相关参数。

      参数名称

      参数说明

      参数设置

      参数名称

      参数说明

      参数设置

      数据保护容量告警阈值(%)

      当存储池用于数据保护的容量与存储池总容量比值超过告警阈值时,系统自动上报告警。

      [取值范围]

      1~100

      [默认值]

      100

      已用容量告警阈值(%)

      如果存储池中存在增值业务的LUN和thin LUN的一种,当存储池的已用容量与总容量百分比(以下简称已用容量)达到已用容量告警阈值时,系统产生告警。告警分为以下三种情况:
      • 当存储池的已用容量达到已用容量告警阈值时,系统发送存储池容量不足告警。
      • 当已用容量告警阈值不大于88时,如果存储池已用容量达到90%,系统发送存储池容量即将耗尽告警。
      • 当已用容量告警阈值大于88时,如果存储池已用容量达到(已用容量告警阈值+2)%,系统发送存储池容量即将耗尽告警。
      说明: 如果您设置的已用容量告警阈值为85,则当存储池已用容量达到85%时,系统发送容量不足告警;当存储池已用容量达到90%时,系统发送容量即将耗尽告警。如果您设置的已用容量告警阈值为91,则当存储池已用容量达到93%时,系统发送容量即将耗尽告警。

      设置合适的已用容量告警阈值将帮助您监控存储池容量的使用情况。

      [取值范围]

      1~95

      [默认值]

      80

      数据迁移粒度

      在CKG基础上划分的固定大小的逻辑存储空间,作为热点数据统计和迁移的最小单元(数据迁移粒度),也是存储池中申请空间、释放空间的最小单位。建议采用默认设置“4MB”,设置后不可更改。 说明:

      该参数仅在所有存储层的RAID策略均为典型配置时可以配置。

      [取值范围]

      512KB~64MB

      [默认值]

      4MB

      分条深度

      分条是把连续的数据分割成相同大小的数据块,把每段数据分别写入到存储设备中的不同磁盘上,实现I/O在每块磁盘上负载均衡,提高读写能力。

      分条深度即分条大小,是写在每块磁盘上的分条数据块的大小。分条深度越小,则数据被分成了更多更小的数据块。这些数据块会被分散到更多的硬盘上存储,因此提高了传输的性能,但是由于要多次寻找不同的数据块,磁盘定位的性能就下降了。相反,分条深度越大,数据块越少,则降低传输性能,提高定位性能。

      分条深度的取值包括:
      • 系统自动选择

        系统根据存储层的RAID策略和数据迁移粒度大小选择最优分条深度。

      • 32KB
      • 64KB
      • 128KB

        随机读写业务(如数据库场景)建议使用128KB。

      • 256KB
      • 512KB

        顺序读写业务(如媒体资讯)建议使用512KB。

      说明: 分条深度设置后无法修改。

      [默认值]

      系统自动选择

    2. 单击“确定”。
  10. 在“创建存储池”对话框中,单击“确定”。

    系统弹出“执行结果”对话框,提示操作成功。

  11. 单击“关闭”,完成存储池的创建。

创建LUN

成功创建存储池后,存储池的存储空间不能被主机识别。只有将存储池中的存储空间划分为多个逻辑单元(LUN),并将LUN映射给主机后,主机才能使用分配给它的存储空间。

前提条件

  • 存在一个存储池,否则请先创建存储池。
  • 只有管理员和超级管理员才能创建LUN。

背景信息

  • thin LUN是主机可访问的一个逻辑硬盘,thin LUN在创建时只被分配初始容量,当初始分配容量不足时,系统按照用户实际使用容量从存储池中动态分配存储资源。
  • thick LUN是主机可访问的一个逻辑硬盘。根据创建时指定的容量大小,系统通过自动资源配置技术从存储池中一次性为其分配存储资源。 说明: 在主机对存储进行初始化读写时,thick LUN性能会更好;thin LUN的空间利用率更高。
  • PE LUN不提供存储空间,不支持设置容量。
  • PE LUN高级属性中只能设置其归属控制器。
 说明: 如果需要使用thin LUN,需在存储设备中导入并激活SmartThin的License文件。

注意事项

  • 创建LUN前,建议排除“存储池可用空间不足”的告警。
  • 一个存储池中,如果存在thin LUN且所有LUN的容量之和超过该存储池的总容量,当出现“存储池已无可用空间”的告警时,建议尽快扩容存储池。

操作步骤

  1. 登录DeviceManager。
  2. 选择“资源分配 > LUN”。
  3. 单击“创建”。

    系统弹出“创建LUN”对话框。

  4. 设置LUN的参数。

    相关参数说明。

    参数名称

    参数说明

    参数设置

    名称

    新创建LUN的名称。

    [取值范围]
    • 名称不能重复。
    • 只能包含字母、数字、“.”、“_”、“-”和中文字符。
    • 长度为1~31个字符(1个中文字符占3个字符长度)。

    [示例]

    LUN001

    描述

    对LUN的描述。

    [示例]

    -

    起始ID

    LUN的ID。 说明:
    • 系统默认为新创建的LUN自动分配一个ID。
    • 如果需要手动设置LUN ID,请取消选择“自动分配”后手动输入ID。
    • 创建单一LUN时,您输入的值为该LUN的ID。
    • 批量创建LUN时,系统从您输入的值开始为LUN自动分配一个ID。

    [示例]

    2

    使用类型

    LUN的使用类型。
    • 普通LUN

      包括thin LUN和thick LUN。

    • PE LUN

      PE(Protocol Endpoint) LUN仅应用于VMware软件定义存储中的VVOL LUN。VVOL LUN提供虚拟机粒度的存储,PE LUN作为虚拟机与VVOL LUN间的I/O分配器,简化两者间的连接。当有虚拟机操作I/O时,I/O通过PE LUN发送给对应的VVOL LUN。

    [默认值]

    普通LUN

    SmartThin

    是否开启SmartThin功能,以便创建thin LUN。

    说明:
    • 此功能与SmartThin增值特性相关,如果要使此功能生效,需要购买SmartThin增值特性的License。
    • 启用SmartThin功能后,存储系统不会一次性分配已设置的容量给LUN。在设置的容量范围内,存储系统会根据主机实际使用的容量动态分配存储资源,实现按需分配。

    [示例]

    不启用

    所属存储池

    选择创建LUN所属的存储池。 说明: 如果系统不存在存储池,可以单击“创建”进行存储池的创建。

    [示例]

    storagepool002

    容量

    LUN的大小,创建LUN时由用户指定。
    • 当启用SmartThin功能时,此容量为分配给thin LUN使用的最大容量。即后续系统动态分配给thin LUN的存储资源的总容量不能超过此值。
    • 当不启用SmartThin功能时,此容量为一次性分配给thick LUN使用的容量。

    [取值范围]

    • 创建thick LUN的最大容量不超过所在存储池的可用容量。
    • 创建thin LUN的最大容量不超过系统规格。
    • 系统支持创建扇区级别的LUN,创建LUN时容量单位选择“Blocks”,1个Block = 512字节。

    [示例]

    2GB

    使用所属存储池全部空闲容量

    选择该参数后,系统会将所有空闲存储空间都分配给该LUN。

    [示例]

    -

    数量

    批量创建的LUN数量,可以根据需要在文本框中输入LUN的数量。 说明:
    • 批量创建的LUN的容量都是相同的。
    • 批量创建的LUN的总容量小于等于当前所属存储池的可用容量。

    [取值范围]

    1~500

    [示例]

    2

    手动指定后缀编号

    当创建多个LUN时,系统会根据数量自动在输入的名称后增加后缀编号以示区分。选择此选项后,您可以手动设置起始后缀编号。 说明: 如果不选择此选项,系统默认起始后缀编号为0000。

    [示例]

    -

    起始编号

    选择“手动指定后缀编号”,该参数有效。系统从设置的起始编号开始,以递增的方式在每个创建的LUN的名称后增加编号以示区分。

    [取值范围]

    0~(10000 - 批量创建LUN的数量)

    说明: 如果批量创建300个LUN,则起始编号的范围0~9700。
    说明:
    • “起始ID”、“使用类型”、“手动指定后缀编号”和“起始编号”为隐藏选项。如需显示该选项,单击“全部选项”即可。
    • 从易用性角度考虑,配置LUN的“容量”和“数量”时,LUN的个数太多将会增加管理复杂度。例如,100个500GB的LUN和50个1TB的LUN相比,50个1TB的LUN更便于管理。
  5. 可选:设置LUN的高级属性。
    • 如果创建的是普通LUN,执行以下操作。
      1. 单击“高级”。系统弹出“高级”对话框。
      2. 设置LUN的高级属性。请依次单击“属性”和“调优”页签设置相关参数,参数说明。

        参数名称

        参数说明

        参数设置

        归属控制器

        LUN所属的控制器。对于双控设备,系统提供以下选择:
        • 自动选择:由系统自动指定LUN的归属控制器,并默认将所有的LUN平均分配给不同的控制器。
        • CTEO.A:将存储系统中的LUN归属于控制器A。
        • CTEO.B:将存储系统中的LUN归属于控制器B。
        说明:

        推荐选择“自动选择”,将存储系统中的LUN平均分配给不同的控制器,以实现控制器间的负载均衡。

        [取值范围]

        对于双控设备,取值包括“自动选择”、“CTEO.A”、“CTEO.B”。

        [示例]

        自动选择

        [默认值]

        自动选择

        容量初始分配策略

        创建LUN时,存储层为LUN分配容量的策略。
        • 自动分配:优先从性能层为该LUN分配容量。如果性能层容量不够,则按照如下分配调整规则进行分配:容量层 > 高性能层。
        • 优先从高性能层分配:在高性能层上分配容量,如果高性能层容量不够,则按照规则从其他存储层上分配容量;如果某个存储层容量不足,则按照如下分配调整规则进行分配:性能层 > 容量层。
        • 优先从性能层分配:在性能层上分配容量,如果性能层容量不够,则按照规则从其他存储层上分配容量;如果某个存储层容量不足,则按照如下分配调整规则进行分配:容量层 > 高性能层。
        • 优先从容量层分配:在容量层上分配容量,如果容量层容量不够,则按照规则从其他存储层上分配容量;如果某个存储层容量不足,则按照如下分配调整规则进行分配:性能层 > 高性能层。

        [取值范围]

        取值包括“自动分配”、“优先从高性能层分配”、“优先从性能层分配”、“优先从容量层分配”。

        [示例]

        自动分配

        [默认值]

        自动分配

        读策略

        Cache的读数据策略。

        系统提供三种读策略:
        • “常驻”适用于随机访问类业务,确保Cache中的数据尽可能长时间缓存,以提高读命中率。
        • “默认”适用于常规业务,以兼顾命中率和访盘性能。
        • “回收”适用于顺序访问类业务,以尽快释放Cache资源供其他业务使用。

        [取值范围]

        取值包括“常驻”、“默认”、“回收”三种策略。

        [示例]

        常驻

        [默认值]

        默认

        写策略

        Cache的写数据策略。

        系统提供三种写策略:
        • “常驻”适用于随机访问类业务,确保Cache中的数据尽可能长时间缓存,以提高写命中率。
        • “默认”适用于常规业务,以兼顾命中率和访盘性能。
        • “回收”适用于顺序访问类业务,以尽快释放Cache资源供其他业务使用。

        [取值范围]

        取值包括“常驻”、“默认”、“回收”三种策略。

        [示例]

        常驻

        [默认值]

        默认

        预取策略

        LUN的读取方式。LUN在读取数据时,会按照指定的策略,提前将需要读的数据从硬盘读入Cache中。
        • 不预取:按照I/O请求中指定的读取长度进行读取,即不预取。

          对于随机读业务,建议采用“不预取”,否则可能由于读命中率低而会导致性能下降。

        • 智能预取:智能预取会对主机读请求进行连续性判断,如果是连续的请求,则将当前读请求后面的一段数据从硬盘预取到Cache中,提高读Cache命中率。如果是随机读,则不预取,只从硬盘读取需要的部分。

          适用于顺序读和随机都存在,或者无法判断读应用是否顺序的情况。

        • 固定预取:Cache读取硬盘数据时,每次从硬盘中读取固定的长度(长度由用户配置,范围为0~1024KB)。

          适合大小固定的顺序读应用。例如彩铃、多用户流媒体点播,用户使用相同码流。

        • 可变预取:Cache读取硬盘数据时,每次按照主机I/O请求中的读取长度的倍数预取到Cache中(倍数由用户配置,范围为0~1024)。

          可适合大小不固定的顺序读应用,或多用户并发读但无法判定预读量,无法按固定预取设置的应用。例如多用户多媒体点播,用户使用码流各不相同。

        [取值范围]

        取值包括“不预取”、“智能预取”、“固定预取”和“可变预取”。

        [示例]

        智能预取

        [默认值]

        智能预取

        伪装

        伪装是将本端设备上LUN的识别信息替换为异构远端设备上对应LUN的识别信息,用于异构远端LUN的在线接管。

        本地LUN支持“继承伪装”。启用“继承伪装”后并选择“远端设备”。创建的LUN继承该远端设备LUN的信息来伪装自己,包含VID、PID、SCSI协议版本号等信息。 说明: 继承伪装用于当远端设备LUN空间不足,通过创建并伪装本地LUN为其扩容。

        [默认值]

        未启用



        说明:

        不同产品型号支持的功能特性可能略有差异,详细的特性支持信息请参考对应产品型号的《产品描述》。

        参数名称

        参数说明

        参数设置

        SmartTier策略

        LUN上的数据在存储层之间迁移的策略。 说明:
        • 此策略与SmartTier增值特性相关。如果要使此策略生效,需要购买SmartTier增值特性的License。
        • 如果LUN未完成格式化,则该LUN中未完成格式化的Extent中的数据不会进行迁移。
        • 不迁移:如果LUN上的数据访问频率平稳,且当前所选择的存储层较适合业务的运行,建议选择该策略,不进行数据迁移。
        • 自动迁移:如果用户不清楚LUN上数据的业务类型、访问频率,建议选择该策略,由系统进行性能数据分析和性能数据收集后,根据数据的冷热程度进行迁移。
        • 向高性能层迁移:如果LUN上的数据将会频繁被读取,建议选择该策略,将数据移动到性能较好的存储层上,提高读取效率。
        • 向低性能层迁移:如果LUN上的数据在一段时间后将不会被读取,建议选择该策略,将数据移动到性能一般但存储成本较低的存储层上,以便释放更多高性能的存储空间供其他热点数据使用。

        [取值范围]

        取值包括“不迁移”、“自动迁移”、“向高性能层迁移”、“向低性能层迁移”。

        [示例]

        不迁移

        [默认值]

        不迁移

        优先级控制

        SmartQoS的优先级控制级别。 说明:

        此策略与SmartQoS增值特性相关,如果要使此策略生效,需要购买SmartQoS增值特性的License。

        [取值范围]

        取值包括“低”、“中”、“高”三种策略。

        I/O优先级较高的LUN、快照或文件系统可以优先获得系统资源,根据各LUN、快照或文件系统上业务重要性设置不同的I/O优先级,保证重要业务的性能。

        [示例]

        [默认值]

        流量控制

        SmartQoS流量控制策略,包括“保护下限”和“控制上限”两种。
        • “控制上限”指控制LUN、快照或文件系统使用的带宽和IOPS的上限值。
        • “保护下限”指控制LUN、快照或文件系统使用的带宽和IOPS的下限值以及时延的上限值。
        说明:
        • 保护下限的流量控制策略只能添加高优先级的LUN、快照或文件系统,且保护下限的流量控制策略的LUN、快照或文件系统优先级不能修改。
        • 此策略与SmartQoS增值特性相关,如果要使此策略生效,需要购买SmartQoS增值特性的License。

        如果系统不存在流量控制策略,可以单击“创建”进行流量控制策略的创建。

        [取值范围]

        根据业务需求自定义。

        [示例]

        -

        [默认值]

        -

        分区

        为LUN指定SmartCache分区。在读多写少且存在热点数据的场景下,将分区中SSD盘作为缓存,利用SSD盘的高读性能来提高系统读性能。 说明:
        • 此策略与SmartCache增值特性相关。如果要使此策略生效,需要购买SmartCache增值特性的License。
        • 请先手动选择LUN的归属控制器,该控制器必须与SmartCache分区的归属控制器相同,否则SmartCache不可用。
        • SmartCache不支持加密SSD盘。

        如果系统不存在SmartCache分区,可以单击“创建”。

        [默认值]

        -

        SmartDedupe&SmartCompression

        SmartDedupe和SmartCompression策略。

        说明:

        SmartDedupe&SmartCompression为增值特性,如果要使此策略生效,需要购买SmartDedupe&SmartCompression增值特性的License和勾选启用SmartThin功能。

        • 启用重复数据删除(SmartDedupe):经过指纹比较之后,确认是相同的数据块后,则删除重复的数据块,仅保留一份原数据块。
        • 启用数据压缩(SmartCompression):减少数据占用的存储空间。
        说明:

        如果创建LUN时未选择开启重删或压缩功能,创建LUN后不支持再开启重删或压缩功能。

        重复数据删除常见的应用场景是VDI(Virtual Desktop Infrastructure)。数据压缩常见的应用场景是数据库、文件服务和工程数据、地震地质数据。

        重复数据删除和数据压缩对存储空间的节省效率与数据的类型强相关。在实际应用中,可以根据如下的原则选择重复数据删除特性和数据压缩特性:
        • 对于某些非重复性的归档数据,例如图像文件和加密数据,不推荐进行重复数据删除和数据压缩。
        • 对于已经通过硬件设备或应用程序(包含备份和归档应用程序)进行压缩或者加密的数据,不推荐进行重复数据删除和数据压缩。

        [取值范围]

        根据业务需求自定义。

        [示例]

        -

        [默认值]

        -

        SmartPartition

        为LUN指定SmartPartition。通过SmartPartition分配存储系统的缓存资源给LUN来满足不同业务的缓存命中率。 说明:
        • 此策略与SmartPartition增值特性相关,如果要使此策略生效,需要购买SmartPartition增值特性的License。
        • 请先手动选择LUN的归属控制器,且该控制器必须与SmartPartition的归属控制器相同,否则SmartPartition不可用。

        如果系统不存在SmartPartition,可以单击“创建”。

        [默认值]

        -

      3. 单击“确定”。系统返回“创建LUN”对话框。
    • 如果创建的是PE LUN,执行以下操作。
      1. 单击“高级”。系统弹出“高级”对话框。
      2. 选择PE LUN的归属控制器。

        参数名称

        参数说明

        参数设置

        归属控制器

        LUN所属的控制器。为了实现控制器间的负载均衡,建议将存储系统中的LUN分配给不同的控制器。

        当不清楚应该选择哪个归属控制器时,推荐选择“自动选择”,由系统自动指定LUN的归属控制器。

        [示例]

        自动选择

      3. 单击“确定”。系统返回“创建LUN”对话框。
  6. 确认创建LUN的操作。
    1. 单击“确定”。

      系统弹出“执行结果”对话框,提示操作成功。

    2. 单击“关闭”。

创建LUN组

为实现主机使用LUN,需将LUN加入到LUN组中。系统是通过为LUN组和主机组建立映射关系,实现主机组中的主机使用LUN组中的LUN。

操作步骤

  1. 登录DeviceManager。
  2. 选择“资源分配 > LUN > LUN组”。
  3. 单击“创建”。

    系统弹出“创建LUN组”对话框。

  4. 设置LUN组的参数。相关参数说明。



    参数名称

    参数说明

    参数设置

    参数名称

    参数说明

    参数设置

    名称

    新创建LUN组的名称。

    [取值范围]
    • 名称不能重复。
    • 只能包含字母、数字、“.”、“_”、“-”和中文字符。
    • 长度为1~31个字符(1个中文字符占3个字符长度)。

    [示例]

    LUNgroup001

    描述

    对LUN组的描述。

    [示例]

    -

  5. 选择要添加到LUN组的LUN或快照。
    1. 根据业务需求,在“可选LUN”或“可选快照”区域,勾选一个或多个LUN或快照。 说明:

      为方便快速定位LUN,可勾选对话框左下角的“仅显示未归属于LUN组的LUN”(默认勾选)。

    2. 单击,将LUN或快照添加到“已选LUN”或“已选快照”区域。
  6. 确认创建LUN组的操作。
    1. 单击“确定”。

      系统弹出“执行结果”对话框,提示操作成功。

    2. 单击“关闭”。

手动创建主机

通过该操作,可为存储设备创建虚拟的主机。

操作步骤

  1. 登录DeviceManager。
  2. 选择“资源分配 > 主机”。
  3. 选择“创建 > 手动创建”。

    系统弹出“创建主机向导”对话框。

  4. 设置主机基本信息。



    相关参数。

    参数名称

    参数说明

    参数设置

    名称

    主机的名称。

    [取值范围]
    • 名称不能重复。
    • 只能包含字母、数字、“_”、“-”、“.”和中文字符。
    • 长度为1~31个字符。

    [示例]

    Host001

    描述

    主机的描述。

    [示例]

    -

    操作系统

    主机的操作系统类型。

    说明: 所选操作系统必须与存储系统对接的主机操作系统类别一样。

    [取值范围]

    操作系统类型包括“Linux”、“Windows”、“Windows Server 2012”、“Solaris”、“HP-UX”、“AIX”、“XenServer”、“Mac OS”、“VMware ESX”、“Oracle VM”和“OpenVMS”。 说明:
    • 当主机是Windows操作系统,同时需要使用thin LUN的空间回收功能时,只能选择Windows Server 2012。
    • 当应用类型为FusionCompute时,操作系统建议选择“Linux”。

    [示例]

    “VMware ESX”

    IP地址

    主机的IP地址。

    [示例]

    192.168.1.100

    说明: 如果主机通过iSCSI链路连接,请输入真实的主机业务IP地址,便于以后管理查找。

    设备位置

    主机的地理位置。

    [示例]

    成都

  5. 单击“下一步”。
  6. 设置主机启动器信息。



    1. 根据业务需求,在“可选启动器”区域中选择“启动器类型”。
    2. 在启动器列表中勾选一个或多个启动器。
    3. 单击,将启动器添加到“已选启动器”区域。 说明:
      • 如果已经在应用服务器上配置了启动器信息,DeviceManager会自动扫描已配置的启动器,无需再进行创建,仅需从列表中选择相应的启动器即可,请不要将不同应用服务器的启动器添加给同一个主机。如果列表中没有可用的启动器,请手动进行创建。
      • 如果主机操作系统为“HP-UX”,请手动创建启动器。
      • 如果启动器没有启用CHAP认证,而您需要启用时,只需单击“修改”,在弹出的“修改启动器”对话框中即可进行配置。
      • 如果启动器已经启用CHAP认证,而您需要修改CHAP认证的密码时,只需单击“修改”,在弹出的“修改启动器”对话框中即可进行修改。修改密码时,为了提高存储系统的安全性,您还需要输入CHAP认证的“原密码”,而不能直接修改。
      • 存储系统侧配置的CHAP用户名和密码必须与应用服务器侧配置的CHAP用户名和密码保持一致。当您在存储系统侧修改了CHAP认证的密码后,您还需要在应用服务器侧通过修改后的新密码重新配置CHAP认证。
  7. 确认创建的主机信息的操作。
    1. 单击“下一步”。

      系统进入“信息汇总”页面。

    2. 单击“完成”,确认创建的主机信息。

      如果已为主机增加启动器,则执行7.c。如果未增加启动器,则执行7.d。

    3. 系统弹出高危提示框。请仔细阅读对话框中的内容,确认后勾选“我已阅读上述信息,了解执行此操作带来的后果。”并单击“确定”。
    4. 系统进入“执行结果”页面,提示操作成功。单击“关闭”,完成主机创建操作。

创建主机组

为实现主机使用LUN,需将主机加入到主机组中。系统是通过为LUN组和主机组建立映射关系,实现主机组中的主机使用LUN组中的LUN。一个主机组可以包含一个或多个主机。

背景信息

  • 同一主机组中各主机的操作系统可以不同。
  • 同一个主机组最多能添加64个主机。
  • 同一个主机最多能添加给64个主机组。

操作步骤

  1. 登录DeviceManager。
  2. 选择“资源分配 > 主机 > 主机组”。
  3. 单击“创建”。

    系统弹出“创建主机组”对话框。

  4. 设置主机组的参数。相关参数说明。

    参数名称

    参数说明

    参数设置

    名称

    新创建主机组的名称。

    [取值范围]
    • 名称不能重复。
    • 只能包含字母、数字、“.”、“_”、“-”和中文字符。
    • 长度为1~31个字符(1个中文字符占3个字符长度)。

    [示例]

    HostGroup001

    描述

    对主机组的描述。

    [示例]

    -

  5. 选择要添加到主机组的主机。
    1. 根据业务需求,在“可选主机”区域,勾选一个或多个主机。 注意:

      如果添加给主机组的多个主机不属于同一集群,可能导致数据访问冲突,造成数据丢失。建议您在执行该操作前,给主机安装集群软件进行管理。

      说明:

      为了方便快速定位主机,可勾选对话框左下角的“仅显示未归属主机组的主机”。

    2. 单击,将主机添加到“已选主机”区域。
  6. 确认创建主机组的操作。
    1. 单击“确定”。

      系统弹出高危提示框。

      说明: 当只选择一个主机时,单击“确定”,系统弹出“执行结果”对话框,然后执行6.c。
    2. 单击“确定”。

      系统弹出“执行结果”对话框,提示操作成功。

    3. 单击“关闭”。

应用服务器使用存储空间

当存储系统与应用服务器建立连接后,通过在应用服务器上执行扫描硬盘的操作可以在应用服务器上发现新增的硬盘,即映射的LUN所指定的存储空间。您可以将该LUN对应的存储空间视为普通硬盘,对其进行读写操作。

前提条件

在应用服务器使用LUN之前,需注意以下事项:
  • 已经建立应用服务器与存储系统之间的连接。
  • 已经按照规划的数据分配存储空间给应用服务器。
  • 当业务组网中应用服务器与存储系统使用冗余路径连接时,请确保应用服务器上已经安装并配置多路径软件,避免将多个虚拟的LUN映射给主机时出现重复的LUN。 说明:
    • Ultrapath多路径软件的安装及配置请参考对应操作系统的Ultrapath用户指南,操作系统自带多路径软件的配置请参考《华为SAN存储在XXX系统下的主机连通性指南》。
    • 如果LUN映射给应用服务器后再安装和配置多路径软件,需要重启应用服务器后多路径策略才会生效。

注意事项

应用服务器在使用存储空间时,应避免出现以下情况。

  • 将已分给应用的磁盘再次分给新的应用,影响数据安全。
  • 主机登录错误,导致磁盘操作影响应用运行。
  • 不满足存储兼容性,导致主机无法正常稳定使用存储。

背景信息

当应用服务器上安装不同的操作系统并创建不同的文件系统后,应用服务器能够识别的LUN的最大容量也不同。各个常见操作系统支持的最大LUN容量。

操作系统

文件系统

能支持的最大LUN容量

操作系统

文件系统

能支持的最大LUN容量

Windows Server 2003

NTFS

2TB 说明:

对Windows Server 2003应用服务器,如果映射给应用服务器的LUN大于2TB,映射后请转换成GPT磁盘。

Windows Server 2003 SP1及更高版本

NTFS

256TB

Windows XP 32bit

NTFS

2TB

Windows XP 64bit

NTFS

256TB

Windows Server 2008

NTFS

256TB

Windows 7

NTFS

256TB

SUSE Linux Enterprise Server

EXT3/ReiserFS/XFS

16TB/16TB/8EB

Red Hat Enterprise Linux 5

EXT3/XFS

16TB/100TB

Red Hat Enterprise Linux 6

EXT3/EXT4/XFS

16TB/16TB/100TB

 说明:

将LUN映射给应用服务器时,请规划LUN的容量。避免超过LUN的最大容量,导致应用服务器无法识别LUN。

配置方法

详细指导请参考《华为SAN存储在XXX系统下的主机连通性指南》。

 

哪些受关注 ?

热销的华为V5机架服务器

因聚而生 举势而为
image
HuaWei ICT Solutions
华为金牌代理商
  • 北京天地华瑞网络科技有限公司
  • 手机:13911686400
  • 直拨:010-56180373
  • 地址:北京市海淀区海淀大街44号
销售代表
获取 华为服务器价格
  • image
    王鹏 WangPeng

    服务器/存储/云计算

    13522835059

  • image
    周峰 ZhouFeng

    服务器/存储/云计算

    18210235077

  • image
    高鲜 GaoXian

    交换机/路由器/防火墙

    15811310318

    03:41 PM
  • image
    李静 LiJing

    交换机/路由器/防火墙

    15011311958

    03:41 PM
  • image
    魏兰 WeiLan

    交换机/路由器/防火墙

    18801244948

    03:41 PM
  • image
    于秀丽 YuXiuLi

    交换机/路由器/防火墙

    13810497223

    03:41 PM
  • image
    张青晨 ZQingChen

    交换机/路由器/防火墙

    13716032829

    03:41 PM
  • image
    丁佳 DingJia

    交换机/路由器/防火墙

    13716554204

    03:41 PM
  • image
    聂丽丽 NieLiLi

    交换机/路由器/防火墙

    15531802388

    03:41 PM
  • image
    刘静 LiuJing

    交换机/路由器/防火墙

    15910712215

    03:41 PM