目录
一:客户端安装iscsi包。
二:zai共享存储上为服务器划分磁盘空间。
三:启用iscsi设备。
四:安装dm-multipath包。
五:配置参数修改和测试。
一;客户端添加iscsi 安装包。
1、服务器安装iscsi initiator包。安装包从安装光盘中找到
iscsi-initiator-utils-6.2.0.868-0.7.el5
2、在/etc/iscsi/目录下/etc/iscsi/initiatorname.iscsi
查看此文件可发现主机端的iqn号码。在EVA command view管理软件中添加HOST时需用到。
二:为服务器划分磁盘阵列的磁盘空间(即Virtual disk)
具体详见存储配置。
三:启用ISCSI设备
1、在服务器端,启动ISCSI服务:
2、查询ISCSI设备(HP storageworks mpx100)target的iqn号码:(必须)
192.168.14.1:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38
3、登陆到ISCSI存储设备
[root@localhost~]#Iscsiadm –m node –T iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38 -p 192.168.14.1:3260 – l
上面命令是连续的,其中iqn号码为上面查询得到的号码,ip为iscsi存储中iscsi口对外映射的地址。
4、查看磁盘:
[root@localhost ~]# fdisk -l
Disk /dev/sda: 8795 MB, 8795105280 bytes
255 heads, 63 sectors/track, 1069 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sda1 * 1 941 7558551 83 Linux
/dev/sda2 942 1068 1020127+ 82 Linux swap / Solaris
Disk /dev/sdb: 10.4 GB, 10487232000 bytes
255 heads, 63 sectors/track, 1275 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
得到新的盘符
5、同样的方法添加另外一个ISCSI路径的target 。
(说明:一个mpx100的一个ISCSI端口有一个iqn号和一个ip地址)
添加成功后fdisk –l 应该可以看到两个盘符。他们的容量都一样。这两个盘符对应的是同一个磁盘阵列下的同一个LUN 。
6:映射完成之后使用下面命令查看映射结果:
192.168.14.1:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38
192.168.14.3:3260,0 iqn.1986-03.com.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad3c
由于需要实现存储设备的多路径访问及故障切换,故需要运行multipath服务,这个在centos中已经安装好了。如没有执行下面的命令。
(原理为EVA4400中的一个真实的virtual disk通过与2个冗余阵列控制器连接的2个MPX100B对外提供映射,故服务器上可以看到两个物理磁盘,但此磁盘对应一个真实的一个真实的virtual disk,故这两条路径间可以实现故障切换和负载均衡)
rpm –ivh device-mapper-1.02.13-6.9.i686.rpm
rpm –ivh multipath-tools-0.4.7-34.18.i686.rpm
安装完成后,使用命令modprobe dm_multipath来加载相应的模块,
可以使用lsmod |grep dm_multipath来检查安装是否正常。
1: etc/multipath.conf 是多路径软件的配置文件,其中大部分配置是注释掉的,可以将他保存为备用,然后新建一个multipath.conf 文件,编辑新的配置文件:
实际有用的就是下面这些参数:其余参数都可以注释掉:
defaults {
user_friendly_names yes
udev_dir /dev
path_grouping_policy multibus
failback immediate
no_path_retry fail
}
保存退出
2:启动服务:
Service multipathd restart
启动成功后,我们会在dev目录下看到下面的目录:
/dev/mapper/mpathn,
/dev/mpath/mpathn,
/dev/dm-n.
说明: 其中/dev/mapper/mpathn 是软件虚拟出来的多路径设备,这个可以被我们用来挂载使用。
/dev/mpath/mpathn 这个是udev设备管理器创建的,不能用来挂载。
/dev/dm-n 这个是软件自身使用的,不能被软件以外使用。不可挂载。
3: 用 multipath –ll 命令查看到两条活跃路径,他们之间互为A/A 关系。断掉其中一根线路,那么系统自动切换到另外一条。
mpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
/_ round-robin 0 [prio=2][active]
/_ 1:0:0:2 sdd 8:48 [active][ready]
/_ 2:0:0:2 sdf 8:80 [active][ready]
mpath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
/_ round-robin 0 [prio=2][active]
/_ 1:0:0:1 sdb 8:16 [active][ready]
/_ 2:0:0:1 sdc 8:32 [active][ready]
mpath3 (3600508b4000a5bfd0000b00000350000) dm-3 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
/_ round-robin 0 [prio=2][active]
/_ 1:0:0:3 sde 8:64 [active][ready]
/_ 2:0:0:3 sdg 8:96 [active][ready]
4:在多路径设备创建后,我们就可以像使用实际的物理设备样使用多路径设备了。前提是必须通过下面的命令将其标记为物理卷。
pvcreate /dev/mapper/mpath1
5:然后对磁盘进行分区和格式化
fdisk /dev/mapper/mpath1
(说明:这里有很多种说法,我这里是自己经验总结出来的,和官方文档不同,如有异议欢迎讨论)
分区之后,会在dev/mapper/目录下创建新的块设备,
/dev/mapper/mpath1p1 这个表示mpath1设备下面的分区1.
如果没有看到或者不匹配,使用multipath –F 命令清除多路径设备缓存后,再用multipath –v3 命令重新加载。
分区之后使用fdisk –l 命令查看磁盘会看到dm-1 磁盘下面已经有分区的信息了。
****************************************************
isk /dev/dm-1: 2197.9 GB, 2197949513728 bytes
255 heads, 63 sectors/track, 267218 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/dm-1p1 1 121577 976567221 83 Linux
mkfs.ext3 /dev/mapper/mpath0p1
****************************************************
6:最后将磁盘mount挂载,就可以正常使用了。
7:将multipathd服务设置成开机自启动
chkconfig multipathd on
8:注意事项:
删除失效的iscsi 连接:
如果因为错误配置等原因创建了iscsi 对应,系统不会自动删除,需手动删除。
例如:
[root@as-h-01 ~]# iscsiadm -m node
192.168.1.51:3260,1 iqn.2006-01.com.openfiler:tsn.59dc8fc04fa2
我们看到上面有一个iscsi对应,但实际中这个对应已经失效,系统不会自动删除。
删除命名:
iscsiadm -m node -o delete -T iqn.2006-01.com.openfiler:tsn.59dc8fc04fa2 -p 192.168.1.51:3260
如果其中一条链路出现故障,那么在日志里面我们可以看到如下类似的信息:
Dec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)
Dec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)
Dec 12 14:03:15 bhnfs1 multipathd: sdf: readsector0 checker reports path is down
Dec 12 14:03:15 bhnfs1 multipathd: sdg: readsector0 checker reports path is down
Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)
Dec 12 14:03:20 bhnfs1 multipathd: sdc: readsector0 checker reports path is down
Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)
Dec 12 14:03:20 bhnfs1 multipathd: sdf: readsector0 checker reports path is down
Dec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)
Dec 12 14:03:20 bhnfs1 multipathd: sdg: readsector0 checker reports path is down
sdc: checker msg is "readsector0 checker reports path is down"
sdf: checker msg is "readsector0 checker reports path is down"
sdg: checker msg is "readsector0 checker reports path is down"
mpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
/_ round-robin 0 [prio=1][active]
/_ 1:0:0:2 sdd 8:48 [active][ready]
/_ 2:0:0:2 sdf 8:80 [failed][faulty]
mpath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
/_ round-robin 0 [prio=1][active]
/_ 1:0:0:1 sdb 8:16 [active][ready]
/_ 2:0:0:1 sdc 8:32 [failed][faulty]
mpath3 (3600508b4000a5bfd0000b00000350000) dm-3 HP,HSV300
[size=2.0T][features=0][hwhandler=0]
/_ round-robin 0 [prio=1][active]
/_ 1:0:0:3 sde 8:64 [active][ready]
/_ 2:0:0:3 sdg 8:96 [failed][faulty]
from:http://bluefox.blog.51cto.com/380387/141907
分享到:
相关推荐
centos上iscsi+multipath多路径存储配置手册.pdf
CENTOS 7 下安装 multipath存储多路径软件 安装流程: CENTOS 7 最小化安装 设置好存储交换机(我的是博科) 存储空间(我的是联想V7000) 注意:此教程是全新安装 原有空间从新挂载 数据重要的 不要做格式化下面这...
centos下libstdc++库依赖问题。这里下载:http://pkgs.org/centos-6-rhel-6/centos-rhel-i386/compat-libstdc++-296-2.96-144.el6.i686.rpm/download/
主要介绍了在阿里云服务器上配置CentOS+Nginx+Python+Flask环境的教程,值得一提的是这里的方案用Nginx作反向代理而使用Gunicorn作wsgi服务器,需要的朋友可以参考下
Centos7配置iscsi多路径,自己已经在实际生产环境中实践
centos5+posrfix+php+mysql+webmail配置图文手册最详细的图文配置手册 和官网英文配置类似但是比那个更详细 安装到哪一步和详细命令都有 还附有图片 我找了好久才找到 顶一下
centos7安装+tomcat+mysql+jdk+nginx配置步骤,按着步骤走傻子都能做出来,非常详细
CentOS+Nginx+PHP+MySQL详细配置(图).
CentOS+Nginx+PHP+MySQL配置详解.pdf
CentOS 7.2 SVN+Mysql+Apache+PHP版本管理工具安装配置教程,自己实践所得成果。网上资源占不到想要的,自己配置完成后编写的文档!
版本6.2.0.874-17
CentOS+Jdk+Jboss+dubbo+zookeeper集群配置教程 1.软件准备 2.安装步骤 2.1.安装虚拟机 2.2.在CentOS上安装JDK 2.3.安装Jboss 2.4.Zookeeper单机版的安装与测试 2.5.Zookeeper 集群安装 2.6.dubbo管理控制台及集成...
CentOS+Nginx+PHP+Mysql配置和WEB服务器安全配置方案.pdf
centos7 multipath针对3par存储的多路径模版配置
(CentOS+Nginx+PHP+Mysql)配置和WEB服务器安全配置方案[收集].pdf
(CentOS+Nginx+PHP+Mysql)配置和WEB服务器安全配置方案[借鉴].pdf
centos 下apache+svn安装让你全面了解svn+apache的安装方法
Centos+Hadoop+Hive+HBase
阿里云CentOS+Nginx+uWsgi+Django部署Django,《用Django全栈开发》系列文章最后一篇,感兴趣的同学可以查看。
CentOS系统安装+设置共享文件夹+VMware Tools安装.docx适合于刚接触和正在学习的人