어떻게 RHEL 4에서 multipath maps을 만들때 local disk를 제외시키고 만들 수 있나?
Article ID: 4042 - Created on: Dec 6, 2005 6:00 PM - Last Modified: Jul 16, 2009 1:33 PM
Release Found: Red Hat Enterprise Linux 4 and Red Hat Enterprise Linux 5
제한사항:
이 문서에서, /dev/sda 는 internal disk의 예로 사용될 것이다.
명심해라 dm multipath 는 단지 Red Hat Enterprise Linux 4 Update 2 와 그 이후버젼 과 ed Hat Enterprise Linux 5 부터 지원된다.
어떤 머신은 그들의 internal disks에 대해서 local SCSI 카드를 가지고 있다. 이러한 경우 device mapper 는 multipathed devices들을 검색하는 것을
권장하지 않는다.
어떤 디스크들이 internal disks 인지 결정하고, blacklist에 그것들을 마킹해라.
이 장치들을 blacklisting하기전에 ,multipath -v2 명령으로 이들의 multipath map내에서 local disk가 보여지는지를 관찰해라.
[root@rh4cluster1 ~]# multipath -v2
create: SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1
[size=33 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
\\_ 0:0:0:0 sda 8:0
device-mapper ioctl cmd 9 failed: Invalid argument
device-mapper ioctl cmd 14 failed: No such device or address
create: 3600a0b80001327d80000006d43621677
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
\\_ 2:0:0:0 sdb 8:16
\\_ 3:0:0:0 sdf 8:80
create: 3600a0b80001327510000009a436215ec
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
\\_ 2:0:0:1 sdc 8:32
\\_ 3:0:0:1 sdg 8:96
create: 3600a0b80001327d800000070436216b3
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
\\_ 2:0:0:2 sdd 8:48
\\_ 3:0:0:2 sdh 8:112
create: 3600a0b80001327510000009b4362163e
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
\\_ 2:0:0:3 sde 8:64
\\_ 3:0:0:3 sdi 8:128
위의 예제 처럼, device mapper는 multipath maps에서 multipath maps으로 매핑되었다.
이러한 결과를 막기위해서는 , /etc/multipath.conf 를 아래처럼 수정해라.
-
Solution 1:
한가지 방법은 devnode 키워드를 blacklist 부분에 쓰는 방법이다:
devnode_blacklist {
...
devnode "^sda$"
...
}
만약 머신이1개 이상의 internal disk를 가지고 있다면, 예를 들어 /dev/sda 와 /dev/sdb, 그러면 이렇게 될 것이다.:
devnode "^sd[ab]$"
Note: 이것은 패턴매치를 위해서 $ 심볼을 추가하는 것이 중요하다. 그렇지 않으면 /dev/sdaa에서 /dev/sdaz까지 장치 이름들은 모두 blacklist될 것이다. 왜냐하면 이것들은 단순히 sda를 매치하긱 때문이다.
만약 26개 보다(/dev/sd* devices) 많은 장치들이 머신에서 가지고 있다면 이것은 이슈가 될 것이다.
만약 이러하다면 어떤 일이 발생할 수 있다. 이를 말하여라. 7개 또는 그 이상의 LUN들은 LUN당 4개의 path로 머신에 할당된다.
-
Solution 2:
그러나 internal disk 가 항상 장치이름 /dev/sda으로 할당될 것인지는 보증되지 않는다.
좀더 나은 솔루션은 internal disk를 blacklist하기위해서 wwid 키워드를 사용하는 것이다. 왜냐면 disk의 WWID/serial number는 결코 변하지 않기 때문이다.
/dev/sda의 WWID/serial number는 위의 multipath의 결과에서 보여진다.
이것은 아마 multipath -ll 명령을 실행하거나 scsi_id 명령으로 확인이 가능할 것이다:
[root@rh4cluster1 ~]# scsi_id -g -u -s /block/sda
SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1
그래서, /dev/sda를 blacklist하기위해서 wwid 키워드를 사용하는 것은, Red Hat Enterprise Linux 4 에서는 blacklist section에
아래와 같이 볼 수 있을 것이다.:
devnode_blacklist {
wwid SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z][0-9]*"
devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"
}
Red Hat Enterprise Linux 5에서는 , blacklist section 은 아래와 같을 것이다:
blacklist {
wwid SIBM-ESXSST336732LC____F3ET0EP0Q000072428BX1
wwid 26353900f02796769
devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
devnode "^hd[a-z][0-9]*"
}
새로운 설정을 적용하기위해서는 아래와 같은 명령을 실행해라:
multipath -F
multipath -v2
이제 local disks는 더이상 multipath maps내에 리스트되지 않을 것이다:
[root@rh4cluster1 ~]# multipath -F
[root@rh4cluster1 ~]# multipath -v2
create: 3600a0b80001327d80000006d43621677
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
\\_ 2:0:0:0 sdb 8:16
\\_ 3:0:0:0 sdf 8:80
create: 3600a0b80001327510000009a436215ec
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
\\_ 2:0:0:1 sdc 8:32
\\_ 3:0:0:1 sdg 8:96
create: 3600a0b80001327d800000070436216b3
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
\\_ 2:0:0:2 sdd 8:48
\\_ 3:0:0:2 sdh 8:112
create: 3600a0b80001327510000009b4362163e
[size=12 GB][features="0"][hwhandler="0"]
\\_ round-robin 0
\\_ 2:0:0:3 sde 8:64
\\_ 3:0:0:3 sdi 8:128
blacklist되어진 장치들을 보기위한 명령은 아래와 같이 multipath -v3 -ll 명령의 결과값을 확인해 보면 알 수 있다:
[root@rh4cluster1 ~]# multipath -v3 -ll | grep blacklist
...
sda blacklisted
...
Note: On Red Hat Enterprise Linux 4, wwid values may not show up in this output list; only the blacklisted devnode values are displayed. On Red Hat Enterprise Linux 5, both wwid and devnode blacklisted devices are displayed.