■ [11gR2 RAC 설치(ASM ISCSI)] 06. RAC storage 노드 storage구성(01. Openfiler 설치)

■ [11gR2 RAC 설치(ASM ISCSI)] 06. RAC storage 노드 storage구성(Openfiler 설치)

-- Virtual Box 로 실제 구성과 비슷하게 만드려면 가상 머신을 DB 서버 뿐만이 아니라 Storage 서버도 구성을 해야 한다. 따라서 ISCSI Storage 를 구성해야 하는데 이를 가장 쉽게 해주는 솔루션이 Openfiler 이다.

Openfiler 는 OS 를 컨트롤 하는 웹서버를 가지고 있어서 우리는 이것을 가지고 쉽게 disk의 volumn을 생성하고 각 RAC 의 노드들에게 mount 할 것이다.

우리는 이것을 가지고 가상머신으로 Storage 서버를 구성할 것이다.

※ 가상머신 설정이후 storage 솔루션을 설치하는 방법은 아주 쉬우며 이 솔루션 설치이후 어떠한 설정에 따라 공유 storage 자원을 분배하느냐에 따라 storage 자원 활용방도가 틀려진다.

-- openfiler 다운로드 link

https://www.openfiler.com/community/download

[RAC 의 Storage 구성 (01.Openfiler 설치)] 01. 가상머신 생성

01. 앞서서 포스팅한 [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치) 처럼 Storage 솔루션(Openfiler)를 설치 하기 위해서 VM 을 생성한다.

① 가상머신 명 설정(편의상 storage 로 설정)

② OS 의 종류는 Linux

② 버전은 Oracle (64-bit)

로 설정한다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 02. 가상머신의 메모리 설정

02. Storage 솔루션인 Openfiler는 전문적으로 사용하지 않는 이상 메모리는 위와 같이 기본적으로 setting되는 768MB로만으로도 충분하다. 

[RAC 의 Storage 구성 (01.Openfiler 설치)] 03. 가상머신의 하드디스크 용량 설정

03. Storage 가상머신(Openfiler)를 설치를 위해서 위와 같이 ①[지금 새 가상 하드 디스크 만들기(C)] 를 선택한다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 04. 가상머신의 호환성 설정

04. 나중에 VMware 와 호환성을 위해서 ①[VMDK (가상 머신 디스크)]를 선택한다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 05. 가상머신을 저장할 file의 속성 설정.

05. 위 와 같이 ① [동적할당(D)] 선택 -> ② [2GB 단위로 분할하기(S)] 을 차례로 선택한다.

(2GB 단위로 나누는 이유는 가상머신 S/W가 파일에 접근시 병렬로 접근하게되어 좀더 disk 를 읽는데 빠르다고 하기때문이다.)

[RAC 의 Storage 구성 (01.Openfiler 설치)] 06. 가상머신을 저장할 위치와 file 명 설정

06. Storage VM 을저장하기 위해 ①폴더 버튼을 클릭 -> ② VM을 저장할 위치지정 -> ③ vmware 파일을 저장할 파일명 설정 -> ④ 저장버튼을 클릭 하면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 07 과같이 설정한 사항들을 확인할수 있다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 07. 가상머신의 용량 설정

07. 여기서는 위 ① [RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 06 에서 설정한 사항들을 확인할수 있다. 확인 후 ② [만들기] 버튼을 클릭하면 가상 Storage 솔루션을 설치할 Virtual Machine이 생성되고 

아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 08 와 같이 만들어진다. 하드디스크를 추가 한다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 08. 가상머신의 storage 공간을 사용할 용량 추가

08. 위와 같이 Storage로 사용할 가상 Disk를 추가 한다. 

[RAC 의 Storage 구성 (01.Openfiler 설치)] 09. 가상머신생성 확인.

09. 가상 Storage 솔루션을 설치할 가상머신.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 10. 가상머신의 OS DVD image 설정

09. ① [저장소] 선택 -> ② CD-ROM 아이콘을 클릭하여 Storage 솔루션 Image 삽입 하면 ③ 과 같이 Storage Iage 가 삽입된것을 확인 할수 있다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 11. 가상머신의 network adapter 추가 1.

11. 위와 같이 ① [네트워크] 선택 -> ② 가상머신의 Public network 를위해 [어댑터 1]을 선택 -> ③ [어댑터 1] 네트워크 어댑터를 사용하기 위해 체크박스 체크 -> [11gR2 RAC 설치(ASM ISCSI)] 02. RAC 가상 네트워크 구성 에서 생성한  [VirtualBox Host-Only Ethernet Adapter] 를 사용하기 위해 ④ [호스트 전용 어댑터] 선택 -> ⑤ [VirtualBox Host-Only Ethernet Adapter] 선택(Public Network 용이다)

[RAC 의 Storage 구성 (01.Openfiler 설치)] 12. 가상머신의 network adapter 추가 2.

12. Storage 솔루션 가상머신의 Private network를 설정하기 위해 위와 같이 ① [네트워크] 선택 -> ② 가상머신의 Public network 를위해 [어댑터 1]을 선택 -> ③ [어댑터 1] 네트워크 어댑터를 사용하기 위해 체크박스 체크 -> [11gR2 RAC 설치(ASM ISCSI)] 02. RAC 가상 네트워크 구성 에서 생성한  [VirtualBox Host-Only Ethernet Adapter] 를 사용하기 위해 ④ [호스트 전용 어댑터] 선택 -> ⑤ [VirtualBox Host-Only Ethernet Adapter #2] 선택(Private network 용이다)

[RAC 의 Storage 구성 (01.Openfiler 설치)] 13. Storage 솔루션 설치 01.

13. [RAC 의 Storage 구성 (01.Openfiler 설치)] 13 까지 세팅을완료하고 가상머신 시작버튼을 클릭하면 위와 같이 설치 선택화면이 나타난다. 여기에서 [Enter] 키를 입력하여 다음 화면으로 넘어간다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 14. Storage 솔루션 설치 02.

14.

[RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 15. Storage 솔루션 설치 03.

15. 이화면에는 나타나지 않지만 OS 설치시 사용할 언어를 선택한다 후 다음화면으로 넘어오면 위 [RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 14로 넘어오게 되는데 ① U.S. English 선택해서 시스템 에서 사용할 keyboard type 을 설정 한다. -> ② [Next] 버튼을 클릭하면 아래 [RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 15 과 같이 모든 disk 를 초기화시킨다(디스크의 모든 데이터가 삭제된다고 보면됨.)

[RAC 의 Storage 구성 (01.Openfiler 설치)] 16. Storage 솔루션 설치 04.

16. 위와같이 ①[Next] 버튼을 클릭하면 팝업창이 나타나는데 이때 ② Yes를 클릭하면 disk 의 모든 파티션을 초기화 한다. 

[RAC 의 Storage 구성 (01.Openfiler 설치)] 17. Storage 솔루션 설치 05.

17. 앞선 포스트의 [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치) 에서 

[mk01n01 구성] 15. Oracle Linux 64bit 설치 8. (Disk Partition 설정 1.) ~[mk01n01 구성] 16. Oracle Linux 64bit 설치 9. (Disk Partition 설정2. ) 부분을 참고하여 위와 같이 1번 disk 의 파티션을 생성하되 2번째 disk를 가지고 shared storage를 구성할 것이므로 파티션은 생성하지 않고 [Next] 버튼클릭.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 18. Storage 솔루션 설치 06.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 17의 파티션 설정까지 끝나고 나면 위 [RAC 의 Storage 구성 (01.Openfiler 설치)] 18 과 같이 default로 설정되어진다 [Next] 버튼으로 다음으로 넘어간다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 19. Storage 솔루션 설치 07.

19. [RAC 의 Storage 구성 (01.Openfiler 설치)] 18 설정에서 위와 같이 넘어오면 partition 을 재설정한다. ② 설치에 사용할 disk 를 선택 ->   ③어느 disk로 booting할지 선택 -> ④[Next] 버튼을 클릭하여 다음단계로 이동.

※ default 로 이미 선택되어있으므로 ④[Next] 를 클릭하여 다음 단계로 이동하면 된다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 20. Storage 솔루션 설치 08.

20. 여기서는 앞서서 mk01n01에서 설정했었던 서버의 Public 및 Private network 의 설정하는 화면으로

앞서 포스팅 한 [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치)의 [mk01n01 구성] 20. Oracle Linux 64bit 설치 12.(서버 Network 세팅 3. Private IP 세팅) 을 참고하여 세팅하기 바란다. 

① [Edit] 버튼을 클릭하여 나타나는 팝업창에 Public 및 Private IP를 할당하고 나면 

② 와 같이 네트워크가 세팅된것 을 확인 할 수있다. 

※ Public network 로는 192.168.12.5, Private IP 로는 192.168.13.5 로 세팅한 후 확인 할 수 있다.

   netmask 는 255.255.255.0 로 IP뒤에 /24 가 붙는다.

③ storage 서버의 hostname을 설정한다.

④ network 의 gateway 및 1차 및 2차 DNS 를 설정한다.

⑤ 위 모든 사항을 설정했다면 [Next] 버튼을 클릭하여 다음으로 이동한다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 20. Storage 솔루션 설치 09.

20. 위에서는 서버에서 사용할 시간대를 설정 한다. ① 위치를 클릭하게 되면 ②[Asia/Seoul] 로 바뀐다.

③ [Next]를 클릭하여 다음으로 이동.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 21. Storage 솔루션 설치 10.

21. 이제까지 설정이 완료 되었다면 위 화면을 만난다. 위 화면은 root 패스워드 설정화면이다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 22. Storage 솔루션 설치 11.

22. [Next]

[RAC 의 Storage 구성 (01.Openfiler 설치)] 23. Storage 솔루션 설치 12.

23. 이제까지의 설정대로 설치중.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 24. Storage 솔루션 설치 13.

23. 설치완료후 [Reboot] 버튼 클릭

[RAC 의 Storage 구성 (01.Openfiler 설치)] 25. Storage 솔루션 설치 14.

25. 위 [RAC 의 Storage 구성 (01.Openfiler 설치)] 25 에서 reboot 후 위와 같이 prompt로 나타난다.

여기에서  Crom, Explorer와 같은 Web Browser 의 주소창에 ①과 같이 주소를 입력하게 되면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 26. 과 같이 storage 를 설정할수 있는 웹 화면이 나타난다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 26. Openfiler login

26. 위화면은 ISCSI 스토리지 솔루션인 Openfiler를 웹 브라우저로 login 하는 모습니다.

① ID 는 : openfiler

② 패스워드는 : password

③ 위 ID/패스워드를 각각 입력후 [login] 버튼을 클릭하여 다음으로 이동.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 27. Openfiler 상태 확인.

27. 이 화면은 login 후 바로 나타나는 화면으로 storage 의 status를 확인 할 수 있는 화면이다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 28. Network 구성확인

28. login 후 ① [System] 탭을 클릭하게 되면 ②와 같이 Openfiler 설치시 설정했던 network 구성을 확인 할수 있다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 29. ISCSI 서비스 enable

29. RAC 의 각 노드(mk01n01, mk01n02)에 ISCSI 서비스로 공유스토리지를 공급하기 위해 

① Services 탭 으로 이동

② [iSCSI Target] 및 [iSCSI Initiator]를 enable 버튼 클릭 후 start 버튼을 차례로 클릭하여 serivce를 start 시킨다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 30. ISCSI 서비스 enable 확인

30. [RAC 의 Storage 구성 (01.Openfiler 설치)] 28. 에서 [iSCSI Target] 및 [iSCSI Initiator]를 enable 후 start 된 것을 확인한다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 31. Shared Volumns 구성하기 1.

31. 이제는 Shared Volumn들을 구성할 차례이다. 위 화면과 같이 [Volumns] 탭을 클릭하면 ② Volumn 이 아무것도 잡히지 않은 것을 확인 할수 있다. 여기에서 ③ 의 [create new physical volumns] 링크를 클릭하게 되면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 32와 같이 Storage서버의 스토리지 disk 들이 나타난다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 32. Shared Volumns 구성하기 2.

32. 스토리지 서버에서 Shared disk 로 사용할 ① /dev/sdb 디스크 장치를 선택하면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 33 과 같이 Physical Volumn을 생성하는 화면이 나타난다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 33. Shared Volumns 구성하기 3.

33. Shared Volumn은 logical Volumn 으로 생성하기 때문에 그전에 ① [Create] 버튼을 클릭하여 /dev/sdb 장치의 남아있는 모든 Volumn 을 Physical Volumn 을 생성 한다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 34. Shared Volumns 구성하기 4.

34. ① 위와 같이 Physical Volumn 생성하면 생성한 Physical Volumn 을 확인 할수 있다.

     ② 왼쪽 상단으 [Volumn Group] 탭을 클립하여 volumns 을 구성한다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 35. Shared Volumns 구성하기 5.

35. 공유할 Volumn 들을 나누기 위해 먼저 Volumn Group을 생성해야 하는에 [RAC 의 Storage 구성 (01.Openfiler 설치)] 33,34 에서 생성한 Pysical Volumn들을 모두 ③ [Add Volumn group] 버튼을 클리릭하여 Volumn Group으로 생성한다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 36. Shared Volumns 구성하기 6.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 37. Shared Volumns 구성하기 7.

36. 37. Volumn이 생성되면 ① 과 같이 Physical Volumn 이 생성된다. ② Add Volumn 버튼을 클릭하여 Logical Volumn 생성 해서 각각의 node 에 공급할수 있게 되는것이다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 38. Shared Volumns 구성하기 8.

38. [RAC 의 Storage 구성 (01.Openfiler 설치)] 37 에서 아래로 스크롤을 하면 ①과 같이 shared 할 volumn을 생성할 수있다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 39. Shared Volumns 구성하기 9.

39. [RAC 의 Storage 구성 (01.Openfiler 설치)] 38 에서 생성한 Shared Volumn 은 위와 같다. 

[RAC 의 Storage 구성 (01.Openfiler 설치)] 40. Shared Volumns 구성하기 10.

40. 위에서 생성한 Shared Volumn 은 위 에서 보는 바와 같이 OCR_VOTE Volumn 3개(각 2GB), DATA volumn 3개(각 5GB), RECO volumn 3개(각 5GB) 각각 생성한다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 41. Shared Volumns 구성하기 11.

41.  다시 ①[System] 탭을 클릭하여 아래 로 스크롤을 하면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 42과 같이 shared Volumn 을 공급할 IP를 설정하는 곳이 나온다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 42. Shared Volumns 구성하기 12.

42. 각 DB 서버의 Private netowrk 와 통신 시키기 위해 ① 과 같이 각 DB서버의 Private IP를 설정한다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 43. Shared Volumns 구성하기 13.

43. ①[Volumns] 탭을 클릭하면 ② iSCSI Targets 탭이 나오는 데 이텝을 클릭하면 [Target IQN] 을 생성하는 화면이 나타난다. 여기에서 ③IQN을 클릭하여 IQN을 생성한다.

※ IQN이란 네트워크로 서로 연결된 장 iSCSI device를 식별할수 있다.     IQN은 iSCSI 대상을 사용할 OS의 iSCSI Initiator로 찾을 수 있으며      IQN에 접근할수 있는 권한을 시스템에 할당하게 되면     권한을 부여받은 시스템만 iSCSI device에 연결할 수 있다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 44. Shared Volumns 구성하기 14.

44. [RAC 의 Storage 구성 (01.Openfiler 설치)] 43에서 IQN 생성 이후 ① [LUN Mapping] 탭을 클릭하여 ② 와 같이 모두 매핑을 시킨다. (② 현재는 모두 매핑되어 [Unmap]로 보이지만 매핑시키기 전은 [Map] 버튼이다.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 45. Shared Volumns 구성하기 15.

45. ① [Network ACL] 탭을 클릭하면 위의 ②의 위치에 [Deny] 탭이 있는데 이것을 모두 [Allow] 로 바꾼 이후 ③ [Update] 버튼을 클릭한다. 여기는 위에서 설정한 Shared Volumn들을 각 DB 서버의 private IP로 허용할지를 설정하는 곳이다. 

여기까지가 Openfiler 설치 및 Shared Storage의 기본구성 내용이다.