■ [11gR2 RAC 설치(ASM ISCSI)] 06. RAC storage 노드 storage구성(01. Openfiler 설치)

DBMS/[Oracle] ■ 01. Installation & Patches 2016. 5. 31. 17:50

■ [11gR2 RAC 설치(ASM ISCSI)] 06. RAC storage 노드 storage구성(Openfiler 설치)


-- Virtual Box 로 실제 구성과 비슷하게 만드려면 가상 머신을 DB 서버 뿐만이 아니라 Storage 서버도 구성을 해야 한다. 따라서 ISCSI Storage 를 구성해야 하는데 이를 가장 쉽게 해주는 솔루션이 Openfiler 이다.


Openfiler 는 OS 를 컨트롤 하는 웹서버를 가지고 있어서 우리는 이것을 가지고 쉽게 disk의 volumn을 생성하고 각 RAC 의 노드들에게 mount 할 것이다.


우리는 이것을 가지고 가상머신으로 Storage 서버를 구성할 것이다.


※ 가상머신 설정이후 storage 솔루션을 설치하는 방법은 아주 쉬우며 이 솔루션 설치이후 어떠한 설정에 따라 공유 storage 자원을 분배하느냐에 따라 storage 자원 활용방도가 틀려진다.


-- openfiler 다운로드 link

https://www.openfiler.com/community/download



[RAC 의 Storage 구성 (01.Openfiler 설치)] 01. 가상머신 생성


01. 앞서서 포스팅한 [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치) 처럼 Storage 솔루션(Openfiler)를 설치 하기 위해서 VM 을 생성한다.


① 가상머신 명 설정(편의상 storage 로 설정)

② OS 의 종류는 Linux

② 버전은 Oracle (64-bit)

로 설정한다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 02. 가상머신의 메모리 설정

02. Storage 솔루션인 Openfiler는 전문적으로 사용하지 않는 이상 메모리는 위와 같이 기본적으로 setting되는 768MB로만으로도 충분하다. 



[RAC 의 Storage 구성 (01.Openfiler 설치)] 03. 가상머신의 하드디스크 용량 설정

03. Storage 가상머신(Openfiler)를 설치를 위해서 위와 같이 [지금 새 가상 하드 디스크 만들기(C)] 를 선택한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 04. 가상머신의 호환성 설정

04. 나중에 VMware 와 호환성을 위해서 [VMDK (가상 머신 디스크)]를 선택한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 05. 가상머신을 저장할 file의 속성 설정.

05. 위 와 같이 ① [동적할당(D)] 선택 -> ② [2GB 단위로 분할하기(S)] 을 차례로 선택한다.

(2GB 단위로 나누는 이유는 가상머신 S/W가 파일에 접근시 병렬로 접근하게되어 좀더 disk 를 읽는데 빠르다고 하기때문이다.)


[RAC 의 Storage 구성 (01.Openfiler 설치)] 06. 가상머신을 저장할 위치와 file 명 설정

06. Storage VM 을저장하기 위해 ①폴더 버튼을 클릭 -> ② VM을 저장할 위치지정 -> ③ vmware 파일을 저장할 파일명 설정 -> ④ 저장버튼을 클릭 하면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 07 과같이 설정한 사항들을 확인할수 있다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 07. 가상머신의 용량 설정

07. 여기서는 위 ① [RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 06 에서 설정한 사항들을 확인할수 있다. 확인 후 ② [만들기] 버튼을 클릭하면 가상 Storage 솔루션을 설치할 Virtual Machine이 생성되고 

아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 08 와 같이 만들어진다. 하드디스크를 추가 한다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 08. 가상머신의 storage 공간을 사용할 용량 추가

08. 위와 같이 Storage로 사용할 가상 Disk를 추가 한다. 



[RAC 의 Storage 구성 (01.Openfiler 설치)] 09. 가상머신생성 확인.

09. 가상 Storage 솔루션을 설치할 가상머신.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 10. 가상머신의 OS DVD image 설정


09. ① [저장소] 선택 -> ② CD-ROM 아이콘을 클릭하여 Storage 솔루션 Image 삽입 하면 ③ 과 같이 Storage Iage 가 삽입된것을 확인 할수 있다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 11. 가상머신의 network adapter 추가 1.

11. 위와 같이 ① [네트워크] 선택 -> ② 가상머신의 Public network 를위해 [어댑터 1]을 선택 -> ③ [어댑터 1] 네트워크 어댑터를 사용하기 위해 체크박스 체크 -> [11gR2 RAC 설치(ASM ISCSI)] 02. RAC 가상 네트워크 구성 에서 생성한  [VirtualBox Host-Only Ethernet Adapter] 를 사용하기 위해 ④ [호스트 전용 어댑터] 선택 -> ⑤ [VirtualBox Host-Only Ethernet Adapter] 선택(Public Network 용이다)


[RAC 의 Storage 구성 (01.Openfiler 설치)] 12. 가상머신의 network adapter 추가 2.

12. Storage 솔루션 가상머신의 Private network를 설정하기 위해 위와 같이 ① [네트워크] 선택 -> ② 가상머신의 Public network 를위해 [어댑터 1]을 선택 -> ③ [어댑터 1] 네트워크 어댑터를 사용하기 위해 체크박스 체크 -> [11gR2 RAC 설치(ASM ISCSI)] 02. RAC 가상 네트워크 구성 에서 생성한  [VirtualBox Host-Only Ethernet Adapter] 를 사용하기 위해 ④ [호스트 전용 어댑터] 선택 -> ⑤ [VirtualBox Host-Only Ethernet Adapter #2] 선택(Private network 용이다)


[RAC 의 Storage 구성 (01.Openfiler 설치)] 13. Storage 솔루션 설치 01.

13. [RAC 의 Storage 구성 (01.Openfiler 설치)] 13 까지 세팅을완료하고 가상머신 시작버튼을 클릭하면 위와 같이 설치 선택화면이 나타난다. 여기에서 [Enter] 키를 입력하여 다음 화면으로 넘어간다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 14. Storage 솔루션 설치 02.

14.


[RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 15. Storage 솔루션 설치 03.

15. 이화면에는 나타나지 않지만 OS 설치시 사용할 언어를 선택한다 후 다음화면으로 넘어오면 위 [RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 14로 넘어오게 되는데 ① U.S. English 선택해서 시스템 에서 사용할 keyboard type 을 설정 한다. -> ② [Next] 버튼을 클릭하면 아래 [RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 15 과 같이 모든 disk 를 초기화시킨다(디스크의 모든 데이터가 삭제된다고 보면됨.)


[RAC 의 Storage 구성 (01.Openfiler 설치)] 16. Storage 솔루션 설치 04.

16. 위와같이 ①[Next] 버튼을 클릭하면 팝업창이 나타나는데 이때 ② Yes를 클릭하면 disk 의 모든 파티션을 초기화 한다. 


[RAC 의 Storage 구성 (01.Openfiler 설치)] 17. Storage 솔루션 설치 05.

17. 앞선 포스트의 [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치) 에서 

[mk01n01 구성] 15. Oracle Linux 64bit 설치 8. (Disk Partition 설정 1.) ~[mk01n01 구성] 16. Oracle Linux 64bit 설치 9. (Disk Partition 설정2. ) 부분을 참고하여 위와 같이 1번 disk 의 파티션을 생성하되 2번째 disk를 가지고 shared storage를 구성할 것이므로 파티션은 생성하지 않고 [Next] 버튼클릭.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 18. Storage 솔루션 설치 06.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 17의 파티션 설정까지 끝나고 나면 위 [RAC 의 Storage 구성 (01.Openfiler 설치)] 18 과 같이 default로 설정되어진다 [Next] 버튼으로 다음으로 넘어간다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 19. Storage 솔루션 설치 07.

19. [RAC 의 Storage 구성 (01.Openfiler 설치)] 18 설정에서 위와 같이 넘어오면 partition 을 재설정한다. ② 설치에 사용할 disk 를 선택 ->   ③어느 disk로 booting할지 선택 -> ④[Next] 버튼을 클릭하여 다음단계로 이동.


※ default 로 이미 선택되어있으므로 ④[Next] 를 클릭하여 다음 단계로 이동하면 된다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 20. Storage 솔루션 설치 08.


20. 여기서는 앞서서 mk01n01에서 설정했었던 서버의 Public 및 Private network 의 설정하는 화면으로

앞서 포스팅 한 [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치)의 [mk01n01 구성] 20. Oracle Linux 64bit 설치 12.(서버 Network 세팅 3. Private IP 세팅) 을 참고하여 세팅하기 바란다. 

① [Edit] 버튼을 클릭하여 나타나는 팝업창에 Public 및 Private IP를 할당하고 나면 

② 와 같이 네트워크가 세팅된것 을 확인 할 수있다. 

※ Public network 로는 192.168.12.5, Private IP 로는 192.168.13.5 로 세팅한 후 확인 할 수 있다.

   netmask 는 255.255.255.0 로 IP뒤에 /24 가 붙는다.

③ storage 서버의 hostname을 설정한다.

④ network 의 gateway 및 1차 및 2차 DNS 를 설정한다.

⑤ 위 모든 사항을 설정했다면 [Next] 버튼을 클릭하여 다음으로 이동한다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 20. Storage 솔루션 설치 09.

20. 위에서는 서버에서 사용할 시간대를 설정 한다. ① 위치를 클릭하게 되면 ②[Asia/Seoul] 로 바뀐다.

[Next]를 클릭하여 다음으로 이동.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 21. Storage 솔루션 설치 10.

21. 이제까지 설정이 완료 되었다면 위 화면을 만난다. 위 화면은 root 패스워드 설정화면이다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 22. Storage 솔루션 설치 11.

22. [Next]


[RAC 의 Storage 구성 (01.Openfiler 설치)] 23. Storage 솔루션 설치 12.


23. 이제까지의 설정대로 설치중.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 24. Storage 솔루션 설치 13.

23. 설치완료후 [Reboot] 버튼 클릭


[RAC 의 Storage 구성 (01.Openfiler 설치)] 25. Storage 솔루션 설치 14.

25. 위 [RAC 의 Storage 구성 (01.Openfiler 설치)] 25 에서 reboot 후 위와 같이 prompt로 나타난다.

여기에서  Crom, Explorer와 같은 Web Browser 의 주소창에 ①과 같이 주소를 입력하게 되면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 26. 과 같이 storage 를 설정할수 있는 웹 화면이 나타난다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 26. Openfiler login

26. 위화면은 ISCSI 스토리지 솔루션인 Openfiler를 웹 브라우저로 login 하는 모습니다.

① ID 는 : openfiler

② 패스워드는 : password

③ 위 ID/패스워드를 각각 입력후 [login] 버튼을 클릭하여 다음으로 이동.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 27. Openfiler 상태 확인.

27. 이 화면은 login 후 바로 나타나는 화면으로 storage 의 status를 확인 할 수 있는 화면이다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 28. Network 구성확인

28. login 후 ① [System] 탭을 클릭하게 되면 ②와 같이 Openfiler 설치시 설정했던 network 구성을 확인 할수 있다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 29. ISCSI 서비스 enable

29. RAC 의 각 노드(mk01n01, mk01n02)에 ISCSI 서비스로 공유스토리지를 공급하기 위해 

① Services 탭 으로 이동

[iSCSI Target][iSCSI Initiator]를 enable 버튼 클릭 후 start 버튼을 차례로 클릭하여 serivce를 start 시킨다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 30. ISCSI 서비스 enable 확인

30. [RAC 의 Storage 구성 (01.Openfiler 설치)] 28. 에서 [iSCSI Target] 및 [iSCSI Initiator]를 enable 후 start 된 것을 확인한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 31. Shared Volumns 구성하기 1.

31. 이제는 Shared Volumn들을 구성할 차례이다. 위 화면과 같이 [Volumns] 탭을 클릭하면 ② Volumn 이 아무것도 잡히지 않은 것을 확인 할수 있다. 여기에서 ③ 의 [create new physical volumns] 링크를 클릭하게 되면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 32와 같이 Storage서버의 스토리지 disk 들이 나타난다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 32. Shared Volumns 구성하기 2.

32. 스토리지 서버에서 Shared disk 로 사용할 ① /dev/sdb 디스크 장치를 선택하면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 33 과 같이 Physical Volumn을 생성하는 화면이 나타난다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 33. Shared Volumns 구성하기 3.

33. Shared Volumn은 logical Volumn 으로 생성하기 때문에 그전에 ① [Create] 버튼을 클릭하여 /dev/sdb 장치의 남아있는 모든 Volumn 을 Physical Volumn 을 생성 한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 34. Shared Volumns 구성하기 4.


34. ① 위와 같이 Physical Volumn 생성하면 생성한 Physical Volumn 을 확인 할수 있다.

     ② 왼쪽 상단으 [Volumn Group] 탭을 클립하여 volumns 을 구성한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 35. Shared Volumns 구성하기 5.

35. 공유할 Volumn 들을 나누기 위해 먼저 Volumn Group을 생성해야 하는에 [RAC 의 Storage 구성 (01.Openfiler 설치)] 33,34 에서 생성한 Pysical Volumn들을 모두 ③ [Add Volumn group] 버튼을 클리릭하여 Volumn Group으로 생성한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 36. Shared Volumns 구성하기 6.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 37. Shared Volumns 구성하기 7.

36. 37. Volumn이 생성되면  과 같이 Physical Volumn 이 생성된다. ② Add Volumn 버튼을 클릭하여 Logical Volumn 생성 해서 각각의 node 에 공급할수 있게 되는것이다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 38. Shared Volumns 구성하기 8.

38. [RAC 의 Storage 구성 (01.Openfiler 설치)] 37 에서 아래로 스크롤을 하면 ①과 같이 shared 할 volumn을 생성할 수있다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 39. Shared Volumns 구성하기 9.

39. [RAC 의 Storage 구성 (01.Openfiler 설치)] 38 에서 생성한 Shared Volumn 은 위와 같다. 


[RAC 의 Storage 구성 (01.Openfiler 설치)] 40. Shared Volumns 구성하기 10.

40. 위에서 생성한 Shared Volumn 은 위 에서 보는 바와 같이 OCR_VOTE Volumn 3개(각 2GB), DATA volumn 3개(각 5GB), RECO volumn 3개(각 5GB) 각각 생성한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 41. Shared Volumns 구성하기 11.

41.  다시 ①[System] 탭을 클릭하여 아래 로 스크롤을 하면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 42과 같이 shared Volumn 을 공급할 IP를 설정하는 곳이 나온다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 42. Shared Volumns 구성하기 12.

42. 각 DB 서버의 Private netowrk 와 통신 시키기 위해 ① 과 같이 각 DB서버의 Private IP를 설정한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 43. Shared Volumns 구성하기 13.

43. ①[Volumns] 탭을 클릭하면 ② iSCSI Targets 탭이 나오는 데 이텝을 클릭하면 [Target IQN] 을 생성하는 화면이 나타난다. 여기에서 ③IQN을 클릭하여 IQN을 생성한다.


 ※ IQN이란 네트워크로 서로 연결된 장 iSCSI device를 식별할수 있다.

    IQN은 iSCSI 대상을 사용할 OS의 iSCSI Initiator로 찾을 수 있으며 

    IQN에 접근할수 있는 권한을 시스템에 할당하게 되면
    권한을 부여받은 시스템만 iSCSI device에 연결할 수 있다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 44. Shared Volumns 구성하기 14.

44. [RAC 의 Storage 구성 (01.Openfiler 설치)] 43에서 IQN 생성 이후 ① [LUN Mapping] 탭을 클릭하여 ② 와 같이 모두 매핑을 시킨다. (② 현재는 모두 매핑되어 [Unmap]로 보이지만 매핑시키기 전은 [Map] 버튼이다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 45. Shared Volumns 구성하기 15.

45. ① [Network ACL] 탭을 클릭하면 위의 ②의 위치에 [Deny] 탭이 있는데 이것을 모두 [Allow] 로 바꾼 이후 ③ [Update] 버튼을 클릭한다. 여기는 위에서 설정한 Shared Volumn들을 각 DB 서버의 private IP로 허용할지를 설정하는 곳이다. 


여기까지가 Openfiler 설치 및 Shared Storage의 기본구성 내용이다.




:

■ [11gR2 RAC 설치(ASM ISCSI)] 04. RAC 1번노드 mk01n01 구성 (1. OS setup)

DBMS/[Oracle] ■ 01. Installation & Patches 2016. 5. 26. 23:35

■ [11gR2 RAC 설치(ASM ISCSI)] 04. RAC 1번노드 mk01n01 구성 (1. OS setup)


※ Oracle installation Guide

http://docs.oracle.com/database/121/CWLIN/toc.htm


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 01. root user 로그인

01. OS 설치 후 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)01. mk01n01 OS setup 에서 [Username] 에 root 를 입력후 [Enter].


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 02. root user password 입력

02. [RAC 1번노드 mk01n01 구성 (1.OS setup)] 02에서 ① 과 같이 [Password] 입력 박스에 root user OS 설치시 설정 했엇던 root user의 패스워드를 입력 후 [Enter]


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 03. OS 설치 ISO 파일 다시 loading

03. [RAC 1번노드 mk01n01 구성 (1.OS setup)] 03 ①의 [CD-ROM 아이콘]을 우클릭 하면 [디스크 이미지 선택] 을 할수 있는 팝업창이 나타난다. 여기에서 OS 설치시 사용했던 ISO 이미지를 선택해서 재 loading 한다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 04. OS Image Loading

04. CD Image 가 loading 되면 위와같이 CD-ROM 이 자동으로 mount 된다. 

mount 가되면 ① 과 같이 CD-ROM 아이콘이 나타나며 ② 와 같이 CD-ROM 의 내용이 팝업창으로 나타난다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 05. Open Terminal 1.

05. 바탕화면에서 마우스 우 클릭을 하면 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 05 와 같이 팝업창이 나타나는데 ①[Open Terminal]과 을 클릭한다. 


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 06. Open Terminal 2.

06. 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 06 같이 Terminal 창이 나타나면 linux Command로 세팅을 할수 있다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 07. Network Gateway 확인 및 재설정 1. 

07. 터미널에서  과 같이 neat 를 입력하면 GUI 로 network 를 재설정 할수 있는 팝업창이 뜬다. (root user)

② 에서 publc IP 를 세팅한 NIC(Network Interface Card) eth0 (ethernetcard 0 의 의미로 알고 있음) 를 더블 클릭하면 IP 를 세팅할수 있는 팝업창이 나타나는데 여기에서 ③ [Default gateway address] 에 Gateway IP 를 설정하는데 OS 설치시 default Gateway 로 public IP 대역의 Gateway IP 를 넣었기 때문에 자동으로 default 로 Public IP 대역의 Gateway IP가 설정되어 있다. 

④ eth1 을 더블클릭 하게 되면 Private IP 대역의 network 를 설정사항들을 확인 할 수 있다.


※ 물론 다른방법도 있다.(내가 아는 한 2가지 정도가 더 있다. )

   하지만 여기서는 test 머신을 가장 간단히 구성하기 위함이므로 여기까지만 설명을 하도록 하고 나중에 다른 페이지에서 설명 하도록 하겠다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 08. Network Gateway 확인 및 재설정 2.

08. [RAC 1번노드 mk01n01 구성 (1.OS setup)] 08 에서 ①eth1 을 더블클릭하면 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 07 과 같이 IP 설정정보를 볼수 있는 팝업창이 나타나는데 OS 설치시 Default gateway 를 public 대역으로 입력했기 때문에 ② 와같이 public IP 대역의 gateway IP 로 설정되어있을 것이다. 이것을 ③ 과 같이 Private IP 대역대로 변경 후 확인 클릭.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 09. 네크워크 서비스 재 기동

09. [RAC 1번노드 mk01n01 구성 (1.OS setup)] 08 에서 Network 설정사항을 저장 후 적용을 위해  

위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 09 의 ① service network restart 로 네트워크 서비스를 재기동 한다. 


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 10. 터미널 프로그램에서 접속 1. 

09. 터미널 프로그램에서 위와 같이 접속할 수 있다. ssh 및, telnet으로 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 10 과 같이 접속할수 있다. 



[RAC 1번노드 mk01n01 구성 (1.OS setup)] 10. 터미널 프로그램에서 접속 2. 


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 11. 불필요 패키지 disable

[root@mk01n01 ~]# chkconfig --level 123456 sendmail off
[root@mk01n01 ~]# chkconfig --level 123456 cups off
[root@mk01n01 ~]# chkconfig --level 123456 cups-config-daemon off
[root@mk01n01 ~]# chkconfig --level 123456 smartd off
[root@mk01n01 ~]# chkconfig --level 123456 isdn off
[root@mk01n01 ~]# chkconfig --level 123456 iptables off

11. 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 11 과같이 package 들을 runlevel 1~6까지 off 시킨다.

※ 같은 command 로 on 시킬수 있다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 12. 부팅시 runlevel 설정

[root@mk01n01 ~]#vi /etc/inittab

id:3:initdefault:

12. GUI 환경은 필요없는 여러가지 많이 띄우기 때문에 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 12 와 같이 runlevel을 3까지만 설정한다. 

※ 나중에 command 창에서 init 5 로 GUI 모드로 띄울수 있다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 13. 필수 Package 설치
[root@mk01n01 ~]# cd /media/OL5.8\ x86_64\ dvd\ 20120229/

[root@mk01n01 Server]# rpm -Uvh libaio-devel-0.*
warning: libaio-devel-0.3.106-5.i386.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159
Preparing...                ########################################### [100%]
   1:libaio-devel           ########################################### [ 50%]
   2:libaio-devel           ########################################### [100%]

13. 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 03에서 우리는 먼저 OS 설치CD 를 mount 시켰다. 그 CD내의 설치 패키지가 있는 디렉토리로 이동해서 패키지를 설치한다. 위와 같이 패키지를 설치한다.

( url: http://docs.oracle.com/database/121/CWLIN/prelinux.htm#CEGBGACF )


설치되어야 할 필수 패키지목록은 아래와 같으며 위 libaio-devel-0.* 설치방법과 같이 RPM 을 설치 한다.


-- package list

binutils-2.17.50.0.6

compat-libstdc++-33-3.2.3

gcc-4.1.2

gcc-c++-4.1.2

glibc-2.5-58

glibc-devel-2.5-58

ksh

libaio-0.3.106

libaio-devel-0.3.106

libgcc-4.1.2

libstdc++-4.1.2

libstdc++-devel 4.1.2

libXext-1.0.1

libXtst-1.0.1

libX11-1.0.3

libXau-1.0.1

libXi-1.0.1

make-3.81

sysstat-7.0.2

nfs-utils-1.0.9-60.0.2

coreutils-5.97-23.el5_4.1



※ 참고로 설치하는 패키지는 부팅된 OS 의 버전 및 커널버전과 같아야 하며 꼭 같은 버전이 아니라 상위버전이면 설치 가능하다. 


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 14. FTP 및 Telnet 구동
-- gssftp
==============================

[root@mk01n01 ~]# vi /etc/xinetd.d/gssftp

# default: off
# description: The kerberized FTP server accepts FTP connections \
#              that can be authenticated with Kerberos 5.
service ftp
{
        flags           = REUSE
        socket_type     = stream
        wait            = no
        user            = root
        server          = /usr/kerberos/sbin/ftpd
        server_args     = -l                          # -a 옵션을 삭제
        log_on_failure  += USERID
        disable         = no                          # yes 를 no 로 변경
}
==============================

-------- telnet 
==============================

[root@mk01n01 ~]# vi /etc/xinetd.d/telnet

# default: on
# description: The telnet server serves telnet sessions; it uses \
#       unencrypted username/password pairs for authentication.
service telnet
{
        flags           = REUSE
        socket_type     = stream
        wait            = no
        user            = root
        server          = /usr/sbin/in.telnetd
        log_on_failure  += USERID
        disable         = no                         # yes 를 no 로 변경
}
==============================

14. 여기서는 FTP 및 telnet을 사용할 수 있도록 설정을 변경한다.

※ 보통 telnet 은 보안때문에 사용하지 않으며 FTP 또한 SFTP 를 사용하거나 데몬자체를 재설치를 하나 여기서는 OS에 기본으로 있는 기능을 사용해서 설치하는것을 위주로 설명한다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 15. tmpfs 수정
[root@mk01n01 ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda1             7.6G  3.5G  3.7G  49% /
/dev/sda3              18G  173M   17G   2% /u01
tmpfs                1006M     0 1006M   0% /dev/shm
/dev/hdc              3.4G  3.4G     0 100% /media/Enterprise Linux dvd 20120229

# umount tmpfs
# mount -t tmpfs tmpfs -o size=2048M /dev/shm

[root@mk01n01 Server]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda1             6.8G  3.5G  3.0G  55% /
/dev/sda3              38G  177M   36G   1% /u01
/dev/sr0              3.7G  3.7G     0 100% /media/OL5.8 x86_64 dvd 20120229
tmpfs                 2.0G     0  2.0G   0% /dev/shm

15. 여기서는 Linux의 tmp 파티션을 변경한다. 보통 세팅 값은 default 로 부팅마다 약 1G 가량이 mount되는데 나중에 패치 및 upgrade 하려면 최소 2GB 이상이 필요하다.

※ 재부팅시 적용될수 있도록 '/etc/fstab' 에 아래와 같이 tmpfs 변경

tmpfs /dev/shm tmpfs size= 2048m 0 0


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 16. /etc/host 파일 설정

[root@mk01n01 ~]# vi /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
# 127.0.0.1 storage.test.com storage localhost.localdomain localhost storage
# ::1 localhost6.localdomain6 localhost6

127.0.0.1 localhost.localdomain localhost        

# Storage                                    ## 우리가 사용할 Storage의 IP

192.168.13.5          storage.test.com       storage        

# 11gR2 RAC Setting   

# Public                                     ## 앞으로 구성할 RAC의 각 node 의 Public IP
192.168.12.11         mk01n01.test.com         mk01n01
192.168.12.12         mk01n02.test.com         mk01n02

# Private                                    ## 앞으로 구성할 RAC의 각 node 의 Private IP
192.168.13.11         mk01n01-priv.test.com    mk01n01-priv
192.168.13.12         mk01n02-priv.test.com    mk01n02-priv

# Vitural                                    ## 앞으로 구성할 RAC의 각 node 의 Virtual IP
192.168.12.13         mk01n01-vip.test.com     mk01n01-vip
192.168.12.14         mk01n02-vip.test.com     mk01n02-vip

# SCAN                                       ## 앞으로 구성할 RAC의 각 node 의 SCAN IP
192.168.12.15         scan.test.com            mark01-scan

16. 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 과 같이 /etc/hosts 에 우리가 사용할 서버들의 IP들을 형식에 맞게 입력한다. (여기에 서버정보를 와 alias를 입력 하게되면 앞으로 사용하는 여러 서버의 통신에서 이 alias를 사용할수 있다.)


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 17. OS 커널 수정 및 적용

[root@mk01n01 ~]# vi /etc/sysctl.conf           <-- 에 아래 사항 추가

# Oracle 11gR2 RAC Setting

fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 1054504960
kernel.shmmni = 4096
# semaphores: semmsl, semmns, semopm, semmni
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default=262144
net.core.rmem_max=4194304
net.core.wmem_default=262144
net.core.wmem_max=1048586

-- 적용을 위해 sysctl -p 수행


[root@mk01n01 ~]## /sbin/sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax =1054504960
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586

17. sysctl 은 위와 같이 sysctl.conf 파일에 설정후 /sbin/sysctl -p 명령으로 Online 상에서 kernel 변수를 수정할수 있다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 18. PAM 을 이용한 자원 제한

[root@mk01n01 ~]# vi /etc/pam.d/login                    <-- 에 아래 사항 추가

# Oracle 11gR2 RAC Setting

session    required     pam_limits.so

18. 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 18  같이 설정을 하면 PAM 을이용한 자원제한을 사용 하겠다는 것이다. (요즘은 OS 설치시 default 로 설정되는 것으로 보인다.)

설정은 아래[RAC 1번노드 mk01n01 구성 (1.OS setup)] 19 에서 설명.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 19. limit.conf 을 이용한 자원제한

[root@mk01n01 ~]# vi /etc/security/limits.conf           <-- 에 아래 사항 추가

# Oracle 11gR2 RAC Setting

grid                 soft    nproc   2047
grid                 hard    nproc   16384
grid                 soft    nofile  1024
grid                 hard    nofile  65536
# grid                 hard    maxlogins  1024      

oracle               soft    nproc   2047
oracle               hard    nproc   16384
oracle               soft    nofile  1024
oracle               hard    nofile  65536
# oracle               hard    maxlogins  1024

19. 위와같이 grid 및 oracle user(OS user임)에 대한 자원 제한을 할수 있다.

※ grid 및 oracle use의 nproc 및 nofile 을 설정한다. (maxlogins 는 보통 잘 설정하지 않는다.)

위에서 말하는 nproc  및 nofile은  접속한 세션에서 grid 및 oracle user 가 한번에 열수 있는 processor 와 file 파일 갯수이다. soft 는 user가 로그인 시 최초로 적용되는 값이며 hard는 시스템에서 사용할 수 있는 최대한의 값을 설정하는 것이다. 

hard는 root user에서 설정을 하며 해당 user는 설정된 값이상으로 변경이 불가능하다.

soft는 해당 user가 hard 값 이하까지  얼마든지 변경가능하다. 

※ 그리고 위에서 주석처리는 했지만 maxlogins 는 하루에 1024번 login 을 하게 되면 설정된 login을 막겠다는 것이다.


이외에 다른 재미있는 설정사항들이 많으나 여긴 RAC 설치를 위한 Post 이므로 필요한 값만 설정하도록 한다.

(OS 쪽도 아는한 포스팅을 할 예정으로 나중에 거기에서 다시 생각해보기로 한다.)


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 20. hangcheck timer 설정

[root@mk01n01 ~]# vi /etc/modprobe.conf                         <-- 아래 사항 추가

# Oracle 11gR2 RAC Setting

options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

-- 아래사항 수행

[root@mk01n01 ~]# modprobe -v hangcheck-timer

insmod /lib/modules/2.6.18-194.el5/kernel/drivers/char/hangcheck-timer.ko hangcheck_tick=30 hangcheck_margin=180

20. hangcheck 모듈은 RAC의 시스템의 상태를 체크하고 장애가 난 노드를 강제로 재부팅하기 위해 설정하는 설정으로 hangcheck_tick=30 은 30마다 hangcheck tick 을 전송하고 hangcheck_margin=180은 장애가 난 노드에 reset 명령을 180초 내에 전송하겠다는 의미이다.

해당 설정사항은 아래 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 21. 와 같이 설정하여 부팅시 항상 수행되도록 한다.

[RAC 1번노드 mk01n01 구성 (1.OS setup)] 20. hangcheck timer 부팅시 자동 실행

[root@mk01n01 ~]# vi /etc/rc.local                               <-- 아래 사항 추가

# Oracle 11gR2 RAC Setting

/sbin/modprobe hangcheck-timer rdate -s 192.168.12.11

20. /etc/rc.local 파일을 부팅시에  정의 된 command 나 스크립트를 수행하도록 하는명령으로 위에서 설정한 hangcheck-timer 를 설정 했다. (서버에 장애가 나더라도 재부팅을 하지 않겠다라고 하면 hangcheck-timer를 설정할 필요가 없다.)

[RAC 1번노드 mk01n01 구성 (1.OS setup)] 20. NTP 를 이용한 시간 동기화

[root@mk01n01 ~]# vi /etc/sysconfig/ntpd 

OPTIONS=" -x -u ntp:ntp -p /var/run/ntpd.pid"                     <-- -x 옵션 추가


[root@mk01n01 ~]# service ntpd start                              <-- ntp 구동
ntpd: Synchronizing with time server:                      [  OK  ]
Starting ntpd:                                             [  OK  ]


[root@mk01n01 ~]# ntpq -p                                         <-- ntp 구동 확인

     remote            refid      st t when poll reach   delay   offset  jitter
===============================================================================
 mk01n01.test.com 192.168.2.11    2 u   31   64    1   39.050    0.599   0.001
 LOCAL(0)        .LOCL.          10 l   28   64    1    0.000    0.000   0.001


ntp 를 모든 runlevel에서 동작하도록 설정

[root@mk01n01 ~]chkconfig --level 123456 ntpd on  

20. NTP를 이용한 시간동기화


위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 20 에서 나는 ntp 서버를 DB 1번노드로 사용할 mk01n01(192.168.12.11)의 IP 로 생성했지만 NTP 서버가 따로 있다면 NTP 서버를 따로 설정해도된다.

NTP 는 세계여러나라의 Time-server에 주기적으로 접속하여 해당서버 시스템의 시간을 맞춰주는 

Network Time Protocol Service 이다. RAC 를 구성하기 위해서는 각 Node 간 시간이 동기화 되어야 
하는데 이 NTP를 사용해서 시간을 동기화 한다.

NTP 를 구동하기 위해서는 NTP package 가 설치 되어 있어야 하며 '/etc/ntp.conf' 또는 '/etc/ntpd.conf'
의 설정파일이 존재해야 구동이 가능하다. (이미 OS 설치시 패키지를 선택했다.)

NTP 데몬을 이용한 타임서버 동기화 방법을 사용하면 rdate를 이용하는 것보다 오차 범위를 줄일 수있으며
또한 ntp1.epidc.co.kr 의 NTP 서버를 사용하는 것보다 ISP 나 IDC에 다른 서버가 있다면 그것을 사용하는 것이 좋다.

OLE 5.8 에서는 기본 Package에 설치는 되어있지만 설정파일이 없기 때문에 바로 구동되지는 않는다.
-- '/etc/ntp.conf.org' 원본파일이 존재 하기 때문에 NTP를 구동하기 위해 복사해서 사용할 수있다.

※ 나중에 NTP 설정 Post 에서 NTP 설정을 다를 예정이므로 NTP 설정에 대한 자세한 내용은 그때 다루도록 한다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 21. OS Group 및 User 생성

[root@mk01n01 ~]# /usr/sbin/groupadd -g 1000 dba
[root@mk01n01 ~]# /usr/sbin/groupadd -g 1001 oinstall
[root@mk01n01 ~]# /usr/sbin/useradd -u 1001 -g dba -G oinstall grid
[root@mk01n01 ~]# /usr/sbin/useradd -u 1002 -g dba -G oinstall oracle

21. OS의 group을 dba와 oinstall 생성하고  grid user 와 oracle user 를 생성한다.

위 command 의 의미는 1000 이라는 gid(group id)를 가지는 dba user 와 1001 의 gid(group id)를 가지는 oinstall user를 생성 한다.


grid user 생성시 에 uid(user id)는 1001 로 primary group 은 dba, supplementary group 은 oinstall 로 생성하며, 마찬가지로 oracle user 의 uid(user id)는 1002 primary group 은 dba, supplementary group 으로는 oinstall로 생성한다.


※ 이렇게 생성하는 이유는 운영에서 permission 으로 보안요소를 적용할수 있는데 이때 유용하게 사용할 수있어서 이다. 


※ TIP. user 삭제 후 같은 user 생성 하기


group 을 삭제할때는 groupdel [그룹명] 으로 삭제가 잘되나

user를 삭제할때는 꼭 -r 옵션을 줘야 한다.

그렇지 않으면 같은 user 생성시 아래와 같은 에러메시지가 나타난다.


/*

-- 에러메시지

[root@mk01n01 ~]# /usr/sbin/useradd -u 1002 -g oinstall -G dba oracle

Creating mailbox file: File exists

*/


생성이 안되고 아래와 같은 메세지가 나타날경우 /var/spool/mail/ 에

생성 user 명이 파일로 존재한다. 그 user 명의 파일을 삭제 해줘야

userdel 로 삭제했던 user와 같은 user를 추가할수 있다.


이유는 user 생성시 각 user 마다 mailbox가 생성되는데 이 위치가  '/var/spool/mail/[user 명]' 이다. 

user 삭세시 -r 옵션을 주지 않으면 이 mailbox가 삭제되지 않기 때문이다.




[RAC 1번노드 mk01n01 구성 (1.OS setup)] 22. User Password 설정

[root@mk01n01 ~]# passwd grid
Changing password for user grid.
New UNIX password: 
BAD PASSWORD: it is based on a dictionary word
Retype new UNIX password: 
passwd: all authentication tokens updated successfully.
[root@mk01n01 ~]# passwd oracle
Changing password for user oracle.
New UNIX password: 
BAD PASSWORD: it is based on a dictionary word
Retype new UNIX password: 
passwd: all authentication tokens updated successfully.

22. 위와 같이 각 user 의 password를 설정한다.

(welcome1 으로 설정 나중에 위와 같은 방법으로 변경가능 하다.)


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 23. 설치에 필요한 디렉토리 생성

#1. Create the Oracle Inventory Directory

[root@mk01n01 ~]# mkdir -p /u01/app/oraInventory
[root@mk01n01 ~]# chown -R grid:dba /u01/app/oraInventory
[root@mk01n01 ~]# chmod -R 775 /u01/app/oraInventory

#2. Creating the Oracle Grid Infrastructure Base & Home Directory

[root@mk01n01 ~]# mkdir -p /u01/app/11.2.0/grid_base
[root@mk01n01 ~]# mkdir -p /u01/app/11.2.0/grid_home
[root@mk01n01 ~]# chown -R grid:dba /u01/app/11.2.0/
[root@mk01n01 ~]# chmod -R 775 /u01/app/11.2.0/

#3. Creating the Oracle Base Directory

[root@mk01n01 ~]# mkdir -p /u01/app/oracle
[root@mk01n01 ~]# mkdir -p /u01/app/oracle/cfgtoollogs
[root@mk01n01 ~]# chown -R oracle:dba /u01/app/oracle
[root@mk01n01 ~]# chmod -R 775 /u01/app/oracle

#4. Creating the Oracle RDBMS Home Directory

[root@mk01n01 ~]# mkdir -p /u01/app/oracle/product/11.2.0/db_1
[root@mk01n01 ~]# chown -R oracle:dba /u01/app/oracle/product/11.2.0/db_1
[root@mk01n01 ~]# chmod -R 775 /u01/app/oracle/product/11.2.0/db_1


23. 여기에서는 Oracle RAC 설치 시 필요한 디렉토리 생성 및 퍼미션 설정을 한다.

#1. Inventory 디렉토리 생성 및 퍼미션 설정.

   - 이 디렉토리는 설치 또는 패치 등을 할때 모든 정보들이 기록되는 중요한 디렉토리이다.

#2. grid_base 및 grid_home 디렉토리 생성 및 퍼미션 설정.

   - 오라클에서는 grid 설치시 grid_base 와 grid_home 의 경로를 따로 설치하도록 권고한다.

     물론 같이 사용해도 상관없으나 나는 편의를 위해서 설정.

#3. 오라클 Base 디렉토리 생성 및 퍼미션 설정.

#4. 오라클 home 디렉토리 생성 및 퍼미션 설정.



[RAC 1번노드 mk01n01 구성 (1.OS setup)] 24. root user 및 grid, oracle user 의 환경변수 설정

#1. root user의 .bash_profile 설정

[root@mk01n01 ~]# vi .bash_profile                   <-- 에 아래사항 추가

# Oracle 11gR2 RAC Settings 

GRID_BASE=/u01/app/11.2.0/grid_base;          export GRID_BASE
GRID_HOME=/u01/app/11.2.0/grid_home;       export GRID_HOME
PATH=$PATH:$HOME/bin:$GRID_HOME/bin;       export PATH

[root@mk01n01 ~]# . ./.bash_profile


#2. grid user의 .bash_profile 설정                                    <-- 에 아래사항 추가

[root@mk01n01 ~]# su - grid
[grid@mk01n01 ~]$ vi .bash_profile

# Oracle 11gR2 RAC Settings

GRID_BASE=/u01/app/11.2.0/grid_base;         export GRID_BASE
GRID_HOME=/u01/app/11.2.0/grid_home;        export GRID_HOME
PATH=$PATH:$HOME/bin:$GRID_HOME/bin;        export PATH

[grid@mk01n01 ~]$ . ./.bash_profile


#3. oracle user의 .bash_profile 설정

[grid@mk01n01 ~]$ su - oracle
Password: 

[oracle@mk01n01 ~]$ vi .bash_profile                  <-- 에 아래사항 추가

# Oracle 11gR2 RAC Settings

TMP=/tmp; export TMP
TMPDIR=$TMP; export TMPDIR

ORACLE_UNQNAME=cafe;                                         export ORACLE_UNQNAME   
ORACLE_BASE=/u01/app/oracle;                                 export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1;                export ORACLE_HOME
GRID_HOME=/u01/11.2.0/grid;                                  export GRID_HOME
ORACLE_SID=cafe01;                                           export ORACLE_SID
ORACLE_TERM=xterm;                                           export ORACLE_TERM
NLS_LANG=american_america.utf8;                              export NLS_LANG
PATH=/usr/sbin:$PATH;                                        export PATH
PATH=$ORACLE_HOME/bin:$PATH:$GRID_HOME:$GRID_HOME/bin;       export PATH
LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;              export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib; export CLASSPATH

if [ $USER = "oracle" ]; then
  if [ $SHELL = "/bin/ksh" ]; then
    ulimit -p 16384
    ulimit -n 65536
  else
    ulimit -u 16384 -n 65536
  fi
fi

[oracle@mk01n01 ~]$ . ./.bash_profile


23. root user 및 grid, oracle user 의 환경변수를 설정한다. 

     #1. #2. root user와 grid user 에는 GRID_BASE와 GRID_HOME 대한 내용만 정의한다.

     #3. 오라클 S/W 설치시 필요한 oracle_home, grid_home, oracle_sid, 프롬프트의 nls_lang 등을 정의한다.

     



★ 1. RAC 는 최소 2개의 DB 노드를 필요로 하기 때문에 ■ [11gR2 RAC 설치(ASM ISCSI)] 04. RAC 1번노드 mk01n01 구성 (1. OS 설치) 와 ■ [11gR2 RAC 설치(ASM ISCSI)] 04. RAC 1번노드 mk01n01 구성 (1. OS setup) 을 다시 한번 반복하여 새로 설치를 하는방법과 

★ 2. Virtual Machine 를 복제하여 2번노드를 생성하는 방법이 있다.

      (Virtual Machine 를 복제 하는 방법은 나중에 다루도록 하겠다.

       ※ [11gR2 RAC 설치(ASM ISCSI)] 01. Oracle 11gR2 RAC TEST Machine 구성 참고)


## 앞으로의 내용들은 2개노드를 모두 설치 한 이후의 내용이다. 



:

■ [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치)

DBMS/[Oracle] ■ 01. Installation & Patches 2016. 5. 20. 20:50

■ [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치)


※ Oracle Enterprise Linux download 

이제 우리가 설치해야 할 Database 의 OS 를 설치해야 한다. 

OS 이미지 파일은 아래 link 에서 다운로드 할수 있으며 다운로드 하기 위해서는 회원가입을 해야 한다.

https://edelivery.oracle.com/osdc/faces/Home.jspx


[mk01n01 구성] 01. mk01n01 Virtual Machine 생성 1.

01. 위 그림 [mk01n01 구성] 과 같이 ①[새로만들기] 버튼을 클릭하여 Virtual Machine 생성.


[mk01n01 구성] 02. Virtual Machine 명과 생성할 OS 종류, DB 서버에서 사용할 메모리 설정.

02. [01]에서 새로 만들기 버튼을 클릭하게 되면 위 [mk01n01 구성] 02와 같이 가상머신을 만드들 기본창이 나타나는데 아래와 같이 설정 한다. 

① 가상머신의 이름설정(나는 mark01 node01의 의미로 mk01n01로 했다. 다르게 설정을 해도 무방하다.)

② OS 종류 설정 1. Linux 및 unix, windows 등을 설정할수 있다. (OS 를 Linux로 설치하기 위해 Linux  를 선택.)

③ OS 종류설정 2.  Redhat Linux 의 32bit 또는 64bit 에 설치를 할지 아니면 Oracle 사의 Linux 32bit 또는 64bit를 설치 할지 결정한다. (Oracle Linux 64bit 선택)

④ 가상머신이 사용할 memory  설정 가상머신에서 사용할 memory 를 설정한다. (테스트 머신으로는 노드당 2GB 정도가 적당한 것 같다.)

⑤ 가상머신이 사용할 disk 공간을 지금 생성할지 결정 ([지금 새 가상디스크 만들기] 선택)

 위 사항들을 선택후 [만들기]를 클릭하여 가상머신 생성


[mk01n01 구성] 03. 가상머신 을 생성시 설정 (가상머신을 생성할 위치 및, DB 서버 내장디스크(Internal Disk) size, 가상머신 을 저장할 확장자(나중에 다른 가상머신 S/W와 호환성 때문), 하드디스크에 저장시 사용할 저장 방법 등 설정)   그림을 클릭하여 크게 보기를 권장 함.

03. 아래 [mk01n01 구성] 03 과 같이 설정.

가상머신에서 사용할 internal disk 의 size 를 결정 

하드디스크 파일종류(다른 virtual machine 과의 호환성을 위해 설정한다. 우리는 vmware와의 호환을 위해 vmdk 설정)

가상머신을 물리적 하드디스크에 저장할때 가상머신의 disk 사용량이 늘어날때마다 같이 늘어나는 동적할당을 할지, 고정적으로 먼저 50GB 를 확보하고 사용할지 결정하며, 50GB에 대해서 2GB 단위로 파일을 나누어서 사용을 할지를 결정한다.(2GB 단위로 나누는 이유는 가상머신 S/W가 파일에 접근시 병렬로 접근하게되어 좀더 disk 를 읽는데 빠르다고 한다.)

가상머신의 파일을 저장할 위치를 설정하기 위해 ④ 버튼을 클릭하여 

의 위치에 

mk01n01.vmdk 파일명으로 저장한다.

저장할 확장자 선택버튼이며 VMware 와 호환을 위해 .VMDK 로 설정한다.

[저장(S)] 버튼을 클릭하여 생성

 

[mk01n01 구성] 04. 가상머신의 네트워크 설정 1.그림을 클릭하여 크게 보기를 권장 함.

04. 위 03에서 가상머신을 생성하면 [mk01n01 구성] 04의 ①과 같이 가상머신이 생성된다. 여기에서

① 을 클릭하여 가상머신을 선택한 후

② 설정을 클릭하면 아래 [mk01n01 구성] 04. 처럼 가상머신의 세부사항을 설정할수 있는 팝업창이 뜬다.

③ 팝업창에서 ③ 네트워크 를 클릭하면 오른쪽에 네트워크 어댑터를 설정할수 있는 화면이 나타난다.

    (Virtualbox에서는 1노드당 최대 4개의 network 어댑터 밖에 설정하지 못한다.)

④ [어댑터 1] 탭 선택

⑤ [네트워크 어댑터 사용하기]의 체크박스를 체크하여 네트워크 어댑터를 사용하도록 해야 한다.

    (Public network 을 위한 네트워크 카드 추가.)

⑥ DB설치 또는 사용할때 internet이 필요 없으므로 [호스트 전용 어댑터] [11gR2 RAC 설치(ASM ISCSI)] 02. RAC 가상 네트워크 구

    성에서 생성한 ⑦ [VirtualBox Host-Only Ethernet Adapter] 로 설정한다. (Public Network 용)

     ([VirtualBox Host-Only Ethernet Adapter #2] 도 있지만 이 네트워크 어댑터는 private network 용으로 사용할 것임.)

[확인]버튼을 클릭하여 설정을 완료


[mk01n01 구성] 05. 가상머신의 네트워크 설정 2. 그림을 클릭하여 크게 보기를 권장 함.

05. Private network를 위해 [mk01n01 구성] 04. 에서 설정한 것과 같이 위 [mk01n01 구성] 05. 도 설정한다.

① 네트워크 선택 -> ② [어댑터 2] 탭 선택 ->  [네트워크 어댑터 사용하기] 체크박스 체크 -> ④ [mk01n01 구성] 04.⑥ 과 마찬가지로 [호스트 전용 어댑터] 를 선택 -> ⑤ [VitrualBox Host-Only Ethernet Adapter #2] 를 선택. (Private Network 용) -> ⑥ 각 세팅이 맞는지 확인 후 [확인] 버튼 클릭


[mk01n01 구성] 06. 가상머신에 설치할 ISO Image 선택

06. [mk01n01 구성] 05와 같이 network 구성을 끝내게 되면 위[mk01n01 구성] 06 과 같이

 ① [저장소] 선택 ->  [비어있음] CD-ROM 아이콘선택 -> ③ CD 아이콘 선택 -> ④ ISO image 선택 -> ⑤ 확인

으로 ISO 이미지로 booting 하도록 설정 한다. 

(최초 부팅시만 ISO 이미지로 부팅되며 두번재부터는 가상머신의 bootloader로 부팅된다.)


[mk01n01 구성] 07. 

07. [mk01n01 구성] 01 [mk01n01 구성] 06 까지 구성이 끝나면 위[mk01n01 구성] 07. 와 같이 설정사항들을 확인 할수 있다. 확인 후  [시작] 버튼으로 가상머신을 구동 시킨다.


[mk01n01 구성] 08. Oracle Linux 64bit 설치 1.

08. 가상머신을 부팅하게 되면 위 [mk01n01 구성] 08. 과 같은 화면이 나타나는데 키보드 <Enter> 키 입력해서 Graphical mode 로 설치한다.


[mk01n01 구성] 09. Oracle Linux 64bit 설치 2. 

09. [mk01n01 구성] 09. 화면에서 skip 을 선택 후 [Enter] 키 입력.

(CD disk 검사를 skip 한다.)


[mk01n01 구성] 10. Oracle Linux 64bit 설치 3.

10. [mk01n01 구성] 09 에서 skip 을 선택 하면 위 [mk01n01 구성] 10 과 같이 Oracle Linux 의 Release Note 를 확인할수 있는 화면이 나타나는데 우리는 DB 설치가 우선이므로 [Next] 를 버튼을 클릭하여 다음으로 이동한다.


[mk01n01 구성] 11. Oracle Linux 64bit 설치 4. (OS 설치시 사용할 언어 선택)

11. 위와같이 [mk01n01 구성] 11. 에서는 Installation 시 사용하는 언어를 선택하고 아래 그림 [mk01n01 구성] 12. keyboard 언어를 선택한다.


[mk01n01 구성] 12. Oracle Linux 64bit 설치 5. (Keyboard 언어 선택)

12. OS 설치시 사용할 Keyboard 자판 언어를 선택.


[mk01n01 구성] 13. Oracle Linux 64bit 설치 6. (DISK 의 모든 데이터를 삭제하고 초기화)

13.[mk01n01 구성] 13. 마운트 된 DISK 의 모든 데이터를 삭제하고 초기화 하도록 물어보는 팝업창이 나타나는데 OS 설치를 위해 모든 Insternal Disk 를 초기화 해야 하므로 ① [Yes] -> ② [Next] 를 차례로 클릭.


[mk01n01 구성] 14. Oracle Linux 64bit 설치 7. (Disk partition을 자동/수동 생성 선택)

14. [mk01n01 구성] 14 에서는 [Create custom layout] -> ② [Next] 을 선택해서 내가 필요한 partition을 직접 설정하도록 한다.


[mk01n01 구성] 15. Oracle Linux 64bit 설치 8. (Disk Partition 설정 1.)

15. [mk01n01 구성] 15에서 ① Free 파티션을 더블클릭하여 아래의  [mk01n01 구성] 16 과 같이 각각 생성할 파티션을 설정한다. 

( / : 약7GB , swap : 4GB(memory 2배), /u01 : 나머지 (SW 를 위한 internal disk 공간임)


[mk01n01 구성] 16. Oracle Linux 64bit 설치 9. (Disk Partition 설정2. )

16. OS 및 DBMS S/W 를 설치하기 위해 [mk01n01 구성] 16. 과 같이 partition 을 설정한다. 

( / 파티션에는 OS , /u01 파티션에는 grid 와 oracle DBMS S/W 를 설치할 예정이다.)


[mk01n01 구성] 17. Oracle Linux 64bit 설치 10. (GRUB(Boot loader) 가 설치될 위치 설정)

17. ①,  GRUB(Boot loader) 의 위치를 설정하거나 booting 시 패스워드를 설정한다. default 세팅 그대로 ③[Next] 버튼을 클릭한다.

(boot loader 위 위치와 boot loader 로딩시 패스워드를 설정할수 있지만 왠만해서는 안건드리는게 좋다.)


[mk01n01 구성] 18. Oracle Linux 64bit 설치 10. (서버 Network 세팅 1. )

18. OS 기동시 사용할 서버의 Network 세팅한다. [mk01n01 구성] 18. 서버 Network 세팅 1. 의 ① [Edit] 버튼을 클릭하면 아래 [mk01n01 구성] 19. 서버 Network 세팅 2. 과 같이 서버에서 사용할 IP Address를 입력할 수 있다.


[mk01n01 구성] 19. Oracle Linux 64bit 설치 11.(서버 Network 세팅 2. Public IP 세팅)

19. IP Address를 설정할수 있는 팝업창이 뜨면

IPv4 를 사용할 것이기 때문에 ① [Enable IPv4 support] 체크박스에 체크 한다.

IP 를 Manual 로 지정해서 사용하도록 하기 위해 ② [Manual configuration] 을 선택한다.

사용할 IP Address를 입력한다. [대역은 네트워크세팅에서 이미 설정했다]

사용하는 netmask 를 입력한다.

IPv6 를 사용하지 않을것이기 때문에 ⑤ [Enable IPv4 support] 체크박스를 체크 해제 한다.

사용할 IP 를 위와같이 입력이 완료 되었으면 [OK] 버튼을 클릭하여 설정을 완료 한다.


[mk01n01 구성] 20. Oracle Linux 64bit 설치 12.(서버 Network 세팅 3. Private IP 세팅)

20. 위 [mk01n01 구성] 19. 서버 Network 세팅 2. Public IP 세팅 과 같이 Private IP 를 세팅한다.

(물론 사용할 대역은 틀리다.)


[mk01n01 구성] 21. Oracle Linux 64bit 설치 13.(서버 Network 세팅 3. hostname 및 게이트웨이 DNS 설정)

21. 위 [mk01n01 구성] 19. 서버 Network 세팅 2. Public IP 세팅  [mk01n01 구성] 19. 서버 Network 세팅 3. Private IP 세팅 에서 설정완료 되었다면 [mk01n01 구성] 21. 서버 Network 세팅 3. hostname 및 게이트웨이 DNS 설정 에서 와 같이

①[Active Boot] 체크박스 체크

설정한 IP 확인 (IP/24는 netmask 255.255.255.0를 의미한다.)

서버에서 사용할 Hostname 을 입력한다.

서버에서 사용할 Gateway, Primary DNS IP와, Secondary DNS IP 를 입력한다. (없으면 입력 X)

⑤ [Next] 버튼을 클릭하여 다음으로 진행 한다.


[mk01n01 구성] 22. Oracle Linux 64bit 설치 14.(서버 시간대 설정)

22. 서버에서 사용할 시간 UTC 시간대를 설정


[mk01n01 구성] 23. Oracle Linux 64bit 설치 15. (root 패스워드 설정)

23. 서버에서 사용할 root 패스워드 설정함.


[mk01n01 구성] 24. Oracle Linux 64bit 설치 16.(필요 Package 설치 1.)

24. 필요한 패키지를 설치한다. OS 설치이후 따로 패키지를 설치할수 있다. 

     여기서는 설치시에 필요 패키지를 설치 하며 직접 필요한 패키지를 선택해서 설치하기위해

     [Customize now] -> [Next] 버튼을 차례로 클릭한다.


[mk01n01 구성] 25. Oracle Linux 64bit 설치 17. (필요 Package 설치 2.)

25. [Desktop Environments] 카테고리에서 아래 패키지 선택

① [Desktop Environments] ->  [GNOME Desktop Environment] 선택


[mk01n01 구성] 26. Oracle Linux 64bit 설치 18. (필요 Package 설치 3.)

26. [Application] 카테고리에서 아래 Package 들을 차례로 선택한다.

 

[Application]  -> 

 

[Editors]

                     ->    [Graphical internet]

                     ->    [Office/Productivity]

                     ->    [Text-based internet]


[mk01n01 구성] 27. Oracle Linux 64bit 설치 19. (필요 Package 설치 4.)

27.  [Development] 카테고리에서 아래 패키지들 선택

 

[Development] -> 

② 

[Development Libraries] 

-> 

                      

-> 

   

[Development Tools]

      ->     

 

[Optional packages] 

                                   (클릭후 팝업창에서 gcc 관련 패키지 모두 선택)

                           ->    [Gnome Software Development]

                           ->    [Legacy Software Development]

                           ->   [X Software Developerment] -> ③[Optional packages]

                                  (libXp-devel-패키지 선택)


[mk01n01 구성] 28. Oracle Linux 64bit 설치 20. (필요 Package 설치 5.)

28. [Servers] 카테고리에서 아래 패키지들을 선택

 [Servers] -> ② [FTP Server]

                   ->    [Legacy Network Server] -> [Optional packages]

                            (rsh-server, telnet-server 선택)

                   ->    [Server Configuration Tools]


[mk01n01 구성] 29. Oracle Linux 64bit 설치 21. (필요 Package 설치 6.)

29. [Base System] 카테고리에서 아래 패키지들을 선택

① [Base System] -> ② [Administration Tools]

                          ->     [Base]

                          ->     [Java]

                          ->     [Legacy Software Support]

                           ->     [System Tools]

                           ->     [Xwindow System]


[mk01n01 구성] 30. Oracle Linux 64bit 설치 22. (필요 Package 설치 7.)

30. [Languages] 카테고리에서 한국어 패키지 선택(한국어패키지가 필요 없으면 선택하지 않아도 된다.)

① [Languages-> [Korean Support] 

위 그림들 처럼 OS 설치시 모든 setting 을 끝냈다면 [Next] 버튼을 클릭하여 OS 설치를 시작한다. [Next]클릭하면 아래 [mk01n01 구성] 31과 같이 OS 설치를 시작 하게 된다.


[mk01n01 구성] 31. Oracle Linux 64bit 설치 22. (OS 설치 1.)

31. 위에서 설정한 설정내용대로 OS 설치 중. 


[mk01n01 구성] 32. Oracle Linux 64bit 설치 23. (OS 설치 2.)

32. [mk01n01 구성] 31 까지 설정완료 후 OS 설치가 완료 되면 rebooting 을 하는 데 위 [mk01n01 구성] 32는 rebooting 까지 완료 된 화면이다.


[mk01n01 구성] 33. Oracle Linux 64bit 설치 24. (OS 설치 3.)

33. OS 최초 설치를 하게 되면 rebooting 후 위 [mk01n01 구성] 33 과 같이 나타나는데 라이센스, 보안설정사항, user 생성 등을 마지막으로 설정하게 된다.  ① [Forward] 클릭


[mk01n01 구성] 34. Oracle Linux 64bit 설치 25. (OS 설치 4.)

34. [Firewall(방화벽)] 설정을 해제한다. [Disabled] 선택 후 [Forward] 선택 하여 다음으로 이동.


[mk01n01 구성] 35. Oracle Linux 64bit 설치 26. (OS 설치 5.)

35. SELinux 설정 Linux 보안설정사항인 SELinux 또한 Disable 한다. 

[Disabled] 선택 후 [Foward] 선택하면 아래 [mk01n01 구성] 36 과 같이 팝업창이 나타난다.


[mk01n01 구성] 36. Oracle Linux 64bit 설치 27. (OS 설치 6.)

36. [Yes] 를 클릭하여 다음으로 이동.


[mk01n01 구성] 37. Oracle Linux 64bit 설치 28. (OS 설치 7.)

37. Kdump 를 설치 할것인지 붇는 화면이다. 우리는 DB 설치를 위해 최대한 OS를 가볍게 할것이기 때문에 [Enable kdump] 체크해제 버튼을 클릭하여 Kdump 설치 하지 않도록 하고 ②[Forward] 버튼을 클릭하여 다음 화면으로 이동한다.


[mk01n01 구성] 38. Oracle Linux 64bit 설치 29. (OS 설치 8.)

38. 설정할 서버의 세부시간을 설정한다. 

[Date & Time] 탭을 선택  -> 날짜와 시간을 설정 (보통은 Mainboard 의 설정을 가져오기때문에 맞다.)  -> [Forward]를 선택하여 다음으로 이동한다.

※ 참고 ③ [Network Time Protocol(NTP)] 는 나중에 따로 설정할 예정으로 따로 설정 할 필요가 없으므로 Skip 한다.


[mk01n01 구성] 39. Oracle Linux 64bit 설치 30. (OS 설치 9.)

39. [Create User] user 생성을 위한 화면으로 user 생성시 필요 정보 입력 을 할수 있으나 나중에 command 로 생성할 것이므로 빈 공간으로 놓아두고 ②[Forward] 버튼을 클릭.


[mk01n01 구성] 40. Oracle Linux 64bit 설치 31. (OS 설치 10.)

40. [mk01n01 구성] 39. 에서 ②[Forward] 를 클릭하면 [mk01n01 구성] 40 과 같이 user 생성을 하지 않고 그냥 진행하겠냐는 팝업창이 뜨는데 ① [Continue] 버튼을 클릭하여 다음으로 진행한다.


[mk01n01 구성] 41. Oracle Linux 64bit 설치 32. (OS 설치 11.)

41. 우리가 설치할 Server에서는 사운드가 필요없으므로 [Forward] 버튼을 클릭하여 다음으로 이동한다.(기본적으로 Virtual Box 에서 노트북의 sound card 를 잡아준다.)


[mk01n01 구성] 42. Oracle Linux 64bit 설치 33. (OS 설치 12.)

42. 이 화면은 추가적인 패키지를 설치시 선택하기위해 추가로 설치할 것인지 묻는 화면으로 우리는 따로 더 설치할 필요가 없다. 나중에 직접 CD 에서 패키지를 설치할 예정이다. 

추가적으로 패키지를 설치하려면 ①[Install..] 을 클릭하여 설치하면 되지만 나중에 설치할 예정으로 [Finish] 버튼을 클릭한다. 


[mk01n01 구성] 43. Oracle Linux 64bit 설치 34. (OS 설치 13.)

43. [mk01n01 구성] 42 에서 ②[Finish] 버튼을 클릭하연 [mk01n01 구성] 33 ~ [mk01n01 구성] 42 까지 설정한 설정사항을 설정하려면 rebooting 해야한다는 팝업 창이 뜬다. 

[OK] 버튼을 클릭하여 rebooting 을 하면 OS 설치는 끝이난다. 


[mk01n01 구성] 44. Oracle Linux 64bit 설치 35. (OS 설치 14.)

44. 설치는 완료 되었으며 root로 login 을 한다. 





: