【VMware相关】VMware vSphere存储方案
一、iSCSI存储
参考文档
VMware官方文档：配置iSCSI适配器和存储
华为配置指南：VMware ESXi下的主机连通性指南
1、配置说明
如下图所示，VMware配置iSCSI存储，需要将物理网卡绑定到VMKernel适配器上，之后再将VMKernel适配器绑定到iSCSI适配器上，再使用iSCSI适配器发起iSCSI连接操作即可
- 选择esxi主机，右键选择
添加网络-VMKernel网络适配器-新建标准交换机，添加物理适配器选择对应物理网卡，设置VMKernel端口属性及IP地址
- 选择esxi主机，选择
配置-存储适配器-iSCSI适配器-网络端口绑定，将VMKernel适配器绑定到iSCSI适配器上，之后发起连接即可
2、注意事项
当存在多个iscsi集群多个块设备对接同一个VMware环境时，需要保证块设备的唯一性，避免识别为同一个设备
2.1、tgt
- 相关说明
tgt默认配置下，controller_tid由1开始递增，scsi_id由00010000开始递增，而VMware存储设备编号由naa.60000000000000000e000000+scsi_id拼接而成
当更改controller_tid参数值时，scsi_id和scsi_sn都会随着改变，故只需要保持controller_tid值唯一即可（取值范围为1~1024）
注：也可直接通过tgtadm --mode logicalunit --op update --tid <controller_tid> --lun <lun_id> --params scsi_id=<scsi_id>,scsi_sn=<scsi_sn>命令修改scsi_id和scsi_sn参数值
[root@storage01 ~]# tgt-admin -s | grep "SCSI"
SCSI ID: IET 00010001
SCSI SN: beaf11
[root@esxi01:~] esxcli storage core device list | grep "Display Name"
Display Name:ceph iSCSI Disk (naa.60000000000000000e00000000010001)
- 解决措施
更改tgt配置，保持controller_tid不重复，重启tgt服务
[root@storage01 ~]# cat /etc/tgt/conf.d/storage.conf
<target iqn.ceph.com:target001>
<backing-store rbd/rbd001>
lun 1
vendor_id ceph
block-size 512
lbppbe 0
</backing-store>
initiator-address 172.16.21.85
bs-type rbd
controller_tid 11
</target>
[root@storage01 ~]# systemctl restart tgt
2.2、scst
- 相关说明
连接scst提供的块设备，VMware查看存储设备编号如下
[root@esxi01:~] esxcli storage core device list | grep "Display Name"
Display Name: SCST_BIO iSCSI Disk (eui.393030616263662d)
- 处理措施
VMware对LUN识别由t10_dev_id、usn两个参数控制，类似scsi_id和scsi_sn信息
保持t10_dev_id、usn不重复，重载scst配置
scstadmin -set_dev_attr <rbd-name> -attributes t10_dev_id=<t10_dev_id>
scstadmin -set_dev_attr <rbd-name> -attributes usn=<usn>
scstadmin -write_config /etc/scst.conf
[root@storage01 ~]# cat /etc/scst.conf
# Automatically generated by SCST Configurator v3.5.0.
HANDLER vdisk_blockio {
DEVICE rbd01 {
filename /dev/rbd/rbd/rbd01
size 4398046511104
t10_dev_id 00300000-rbd01
usn 00300000
}
}
TARGET_DRIVER copy_manager {
TARGET copy_manager_tgt {
LUN 0 rbd01
}
}
TARGET_DRIVER iscsi {
enabled 1
TARGET iqn.storage.com:target0001 {
enabled 1
rel_tgt_id 1
LUN 0 rbd01
}
}
[root@node176 ~]# scstadmin -list_dev_attr rbd01 -driver iscsi -nonkey
Collecting current configuration: done.
Attribute Value Writable KEY
-----------------------------------------------------------------------------------------------------
active 1 Yes No
bind_alua_state 1 Yes No
block 0 0 Yes No
blocksize 512 No No
cluster_mode 0 Yes No
dump_prs <n/a> Yes No
eui64_id <not set> Yes No
expl_alua 0 Yes No
filename /dev/rbd/rbd/rbd01 Yes Yes
gen_tp_soft_threshold_reached_UA <n/a> Yes No
handler vdisk_blockio No No
inq_vend_specific <not set> Yes No
max_tgt_dev_commands 64 Yes No
naa_id <not set> Yes No
numa_node_id -1 Yes No
nv_cache 0 No No
opt_trans_len 4194304 Yes No
pr_file_name /var/lib/scst/pr/rbd01 Yes No
prod_id rbd01 Yes No
prod_rev_lvl 350 Yes No
read_only 0 No No
removable 0 No No
resync_size <n/a> Yes No
rotational 1 No No
scsi_device_name <not set> Yes No
size 4398046511104 Yes Yes
size_mb 4194304 Yes No
sync <n/a> Yes No
t10_dev_id 00300000-rbd01 Yes Yes
t10_vend_id SCST_BIO Yes No
thin_provisioned 1 No No
threads_num 1 Yes No
threads_pool_type per_initiator Yes No
tst 1 No No
type 0 No No
type_string Direct-access device (e.g., magnetic disk) No No
usn 00300000 Yes Yes
vend_specific_id 900abcf-rbd01 Yes No
write_through 0 No No