'DBMS'에 해당되는 글 12건

  1. 2016.06.09 ■ [11gR2 RAC 설치(ASM ISCSI)] 11. Create Database(DBCA)
  2. 2016.06.08 ■ [11gR2 RAC 설치(ASM ISCSI)] 10. Installation Oracle DBMS
  3. 2016.06.08 ■ [11gR2 RAC 설치(ASM ISCSI)] 09. Disk group 생성ASMCA
  4. 2016.06.02 ■ [11gR2 RAC 설치(ASM ISCSI)] 08. Oracle Grid Infrastructure 설치
  5. 2016.06.02 ■ [11gR2 RAC 설치(ASM ISCSI)] 07. RAC 의 Storage 구성 (02.Shared Storage 구성)
  6. 2016.06.02 ■ [11gR2 RAC 설치(ASM ISCSI)] 05. mk01n01 구성(VM 복제)
  7. 2016.05.31 ■ [11gR2 RAC 설치(ASM ISCSI)] 06. RAC storage 노드 storage구성(01. Openfiler 설치)
  8. 2016.05.26 ■ [11gR2 RAC 설치(ASM ISCSI)] 04. RAC 1번노드 mk01n01 구성 (1. OS setup)
  9. 2016.05.20 ■ [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치)
  10. 2016.05.20 ■ [11gR2 RAC 설치(ASM ISCSI)] 02. RAC 가상 네트워크 구성

■ [11gR2 RAC 설치(ASM ISCSI)] 11. Create Database(DBCA)

DBMS/[Oracle] ■ 01. Installation & Patches 2016.06.09 17:34

■ [11gR2 RAC 설치(ASM ISCSI)] 11. Create Database(DBCA)


-- 사용할 DB 생성


※ 이역시 scripts 로 생성 할수 있으며 다음에 포스팅 하도록 하겠다.


[Create Database(DBCA)] 01. DBCA 수행

##  oracle 유저로 dbca 수행


[oracle@mk01n01 ~]$ dbca




 [Create Database(DBCA)] 02. Create Database 01.

02. [Create Database(DBCA)] 01에서 oracle 유저로 DBCA를 수행 하게 되면 위와 같이 GUI 로 DataBase를 생성하는데 있어서  DataBase 의 형태를 선택화면이 나타난다.


 [Create Database(DBCA)] 03. Create Database 02.

03. 여기서는 DB 생성, DB의 옵션 변경, DB 삭제, Templeates 관리, Instance 관리 등을 할수 있으나 

     우리는 아직 DB 가 없기 때문에 위와 같은 화면 이 나타나며 

     
[Create Database] 선택 -> ②[Next] 버튼을 차례로 클릭하여 다음으로 이동.



 [Create Database(DBCA)] 04. Create Database 03.

04. 여기는 용도에 따라 DB를 생성하는데 보통은 [Custom Database] 를 선택한다.-> [Next] 버튼클릭 다음으로 넘어간다.

    (나는 [General Purpose or Transaction processing]를 선택했다. 이유는 나중에 sample schema를 GUI환경에서 선택해서 설치할수 있기 때문이다.) 



 [Create Database(DBCA)] 05. Create Database 04.

 

① [Configuration Type] [Admin-Managed]로 선택

[Global Database name] 을 입력한다.(난 cafe 로 입력했다.)

③ 각 DB의 instance 의 [prefix 를 정의]한다. (global db명과 같이 설정.)

④ [Select All] 버튼을 클릭하여 ⑤의 모든 노드를 선택한다.



 [Create Database(DBCA)] 06. Create Database 05.


06. ① [Configuration Enterprise Manager] 체크박스 체크 -> ②[Next] 버튼 클릭

     (이 화면은 RAC 내에 local EnterpriseMmanager 을 설정하기 위한 화면이다. 나중에 EM 서버를 따로 설치하겠지만 local EM으로 RAC를 관리하고 싶다면 ① [Configuration Enterprise Manager] 체크박스를 체크한다.)


 [Create Database(DBCA)] 07. Create Database 06.

07. ① DB 생성시 각 관리 user들의 패스워드를 각각 따로 설정할지 ② 관리 user 들의 패스워드들을 하나로 통합하여 관리할지 결정. (② 에 체크해서 하나로 관리하는것이 여러모로 편리해서 ② 선택)


 [Create Database(DBCA)] 08. Create Database 07.

08. [Create Database(DBCA)] 07에서 패스워드를 충분히 복잡하게 설정하지 않으면 위와 같이 경고창을 만난다. 하지만 ② [Yes] 버튼을 클릭하면 무시하고 넘어간다.

(최소 8자 이상 대소문자 각각 한개씩, 숫자와 특수문자가 꼭 들어가야 한다.)


 [Create Database(DBCA)] 09. Create Database 08.

09. 우리는 ASM 사용 할 것이기 때문에 Storage Type을 ①[Automatic Storage Management(ASM)]을 선택

[Use Oracle-Managed Files] 의 ②[Browse...]버튼을 클릭하여 아래 [Create Database(DBCA)] 10과 같이 DB를 생성할 Diskgroup 을 선택한다.


 [Create Database(DBCA)] 10. Create Database 09.

10. DB를 생성할 Disk group 선택 (DATA01 Diskgroup 에 생성 할 것이기 때문에 DATA01 diskgroup 선택.)


 [Create Database(DBCA)] 11. Create Database 10.

11. ① DB 설치 diskgroup으로 DATA01 diskgroup 선택 (ASM의 datagroup 은 +로 나온다.)

     ② [File location Variables...] 버튼을 클릭하염 아래 [Create Database(DBCA)] 12와 같이 나타난다.


 [Create Database(DBCA)] 12. Create Database 11.

12. [Create Database(DBCA)] 11.에서 [File location Variables...] 버튼을 클릭하면 위와 같이 ORACLE_BASE, ORACLE_HOME, DB_NAME, DB_UNIQUE_NAME, SID 등을 확인 할수 잇다. [OK]버튼 클릭.


 [Create Database(DBCA)] 13. Create Database 12.

13. [Create Database(DBCA)] 12에서 [OK]버튼을 클릭하면 위 화면으로 다시 돌아오는데 [Next]버튼을 클릭하여 다음으로 넘어간다.


 [Create Database(DBCA)] 14. Create Database 13.

14. [Create Database(DBCA)] 13.에서 [Next]버튼을 클릭하면 위와 같이 ASM Instance의 [ASMSNMP] user 패스워드 설정 팝업창이 나타난다. ASMSNMP 패스워드 설정 후 [OK]버튼을 클릭하여 다음으로 이동.


 [Create Database(DBCA)] 15. Create Database 14.

15. 여기서는 Fast Recovery Area 를 설정하는데 FRA 영역을 사용하려면 ① 체크박스에 체크 후 FRA영역을 저장할 Diskgroup 을 ②[Borwse...]버튼을 클릭하여 아래 [Create Database(DBCA)] 16.과 같이 RECO diskgroup을 FRA 영역으로 설정한다.


 [Create Database(DBCA)] 16. Create Database 15.

16. 위와 같이 RECO 영역을 FRA 영역으로 선택한후 [OK]버튼을 클릭한다.


 [Create Database(DBCA)] 17. Create Database 16.

여기서는 ①Fast Recovery Area를 RECO diskgroup 으로 지정한 화면으로 총 size는 4407MB 로 잡았다.

Archive log mode 로 운영을 하려면 ② [Enable Archiveing] 체크 후 ③[Next] 버튼을 클릭한다.


 [Create Database(DBCA)] 18. Create Database 17.

18. Sample Schema 를 설치하기 위해 [Sample Schema] 체크버튼을 클릭 후 [Next]버튼을 클릭한다.


 [Create Database(DBCA)] 19. Create Database 18.

19. RAC 로 생성할 instance 의 Memory target 을 잡는다.


 [Create Database(DBCA)] 19. Create Database 18.

19. sizing 탭에스는 RAC 에서 사용할 process 갯수를 지정한다. 작은 사이즈라 1024개로 설정.



 [Create Database(DBCA)] 20. Create Database 19.

20. [Caracter Sets] 탭에서는 위와 같이 AL32-UTF8 로 설정한다. (전세계적으로 쓰이는 캐릭터셋으로 필요하다면 다른 캐릭터 셋을 사용해되 된다. 나머지는 default 이다.)

[Finish] 버튼을 클릭하면 아래 와 같이 팝업창이 나타난다.

 [Create Database(DBCA)] 21. Create Database 20.

21. 위와 같이 팝업창에서 [OK] 버튼을 클릭하면 RAC database 설치를 시작한다.

 [Create Database(DBCA)] 22. Create Database 21.

22. RAC Database 설치가 진행된다.


 [Create Database(DBCA)] 23. Create Database 20.

23. 이제 DB 설치가 완료된 화면이다. DB 설치가 완료 되면 위와 같이 팝업창이 나타나며 설치된 Database의 정보가 나타난다. ① [Exit] 버튼을 클릭하여 설치를 완료 한다.


 [Create Database(DBCA)] 23. Database 설치 확인

[oracle@mk01n01 ~]$ crsctl status res -t

--------------------------------------------------------------------------------

NAME           TARGET  STATE        SERVER                   STATE_DETAILS       

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.DATA01.dg

               ONLINE  ONLINE       mk01n01                                      

               ONLINE  ONLINE       mk01n02                                      

ora.LISTENER.lsnr

               ONLINE  ONLINE       mk01n01                                      

               ONLINE  ONLINE       mk01n02                                      

ora.OCR_VOTE.dg

               ONLINE  ONLINE       mk01n01                                      

               ONLINE  ONLINE       mk01n02                                      

ora.RECO.dg

               ONLINE  ONLINE       mk01n01                                      

               ONLINE  ONLINE       mk01n02                                      

ora.asm

               ONLINE  ONLINE       mk01n01                  Started             

               ONLINE  ONLINE       mk01n02                  Started             

ora.gsd

               OFFLINE OFFLINE      mk01n01                                      

               OFFLINE OFFLINE      mk01n02                                      

ora.net1.network

               ONLINE  ONLINE       mk01n01                                      

               ONLINE  ONLINE       mk01n02                                      

ora.ons

               ONLINE  ONLINE       mk01n01                                      

               ONLINE  ONLINE       mk01n02                                      

ora.registry.acfs

               ONLINE  ONLINE       mk01n01                                      

               ONLINE  ONLINE       mk01n02                                      

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.LISTENER_SCAN1.lsnr

      1        ONLINE  ONLINE       mk01n02                                      

ora.cafe.db

      1        ONLINE  ONLINE       mk01n01                  Open                

      2        ONLINE  ONLINE       mk01n02                  Open                

ora.cvu

      1        ONLINE  ONLINE       mk01n01                                      

ora.mk01n01.vip

      1        ONLINE  ONLINE       mk01n01                                      

ora.mk01n02.vip

      1        ONLINE  ONLINE       mk01n02                                      

ora.oc4j

      1        ONLINE  ONLINE       mk01n01                                      

ora.scan1.vip

      1        ONLINE  ONLINE       mk01n02                

      

      

[oracle@mk01n01 ~]$ sqlplus / as sysdba


SQL*Plus: Release 11.2.0.4.0 Production on Wed May 18 15:21:08 2016


Copyright (c) 1982, 2013, Oracle.  All rights reserved.



Connected to:

Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production

With the Partitioning, Real Application Clusters, Automatic Storage Management, OLAP,

Data Mining and Real Application Testing options


SQL> set lines 200;


SQL> select instance_name, status from gv$instance;


INSTANCE_NAME STATUS

------------------------------------------------ ------------------------------------

cafe1 OPEN

cafe2 OPEN

23. 위와 같이 1번노드(mk01n01)에서 DB 가 설치되어 instance가 잘 Open 되어있는지 확인한다.

(parameter 및 여러 설정사항들은 사용에 맞게 재설정 가능하다.)


-- 이로써 11gR2 RAC 의 설치가 모두 끝이 났다.


■ [11gR2 RAC 설치(ASM ISCSI)] 10. Installation Oracle DBMS

DBMS/[Oracle] ■ 01. Installation & Patches 2016.06.08 20:11

■ [11gR2 RAC 설치(ASM ISCSI)] 10. Installation Oracle DBMS



-- ftp 를 이용하여 1번노드(mk01n01)에 전송한다.(oracle user 로 전송해야 나중에 permmission변경하는 번거로음이 없다.

■ [Installation Oracle DBMS] 01. unzip Installation file & runstallation

[oracle@mk01n01~]$ unzip p13390677_112040_Linux-x86-64_1of7.zip

...


[oracle@mk01n01~]$ unzip p13390677_112040_Linux-x86-64_2of7.zip

...


##  oracle 유저로 runInstaller 수행


[oracle@mk01n01 database]$ ./runInstaller

Starting Oracle Universal Installer...


Checking Temp space: must be greater than 120 MB.   Actual 2927 MB    Passed

Checking swap space: must be greater than 150 MB.   Actual 4061 MB    Passed

Checking monitor: must be configured to display at least 256 colors.    Actual 16777216    Passed

Preparing to launch Oracle Universal Installer from /tmp/OraInstall2016-05-17_06-51-01PM. Please wait ...


01. 여기서는 FTP 로 전송한 oracle 설치 파일을 unzip (p13390677_112040_Linux-x86-64_1of7.zip, p13390677_112040_Linux-x86-64_2of7.zip파일) 후 설치 파일(runInstaller) 이 있는 디렉토리로 들어가서 runInstallation 을 수행한다.


■[Installation Oracle DBMS] 02. Oracle dbms software Installation 1.

02.  위 [Installation Oracle DBMS] 01 에서 runInstaller 를 수행하면 위와 같이 DBMS 를 설치할수 있는 GUI 화면이 나타난다. 

① MOS 에 등록할 email 주소를 입력하는 항목으로 DB를 생성하는데는 아무런 문제가 없다.

    여기에 MOS에 등록된 email 주소를 입력 후 ②에 패스워드를 입력하면 나중에 DB 생성시 MOS 에 생성한 DB가 등록된다.

우리는 비용을 내고 사업성 목적으로 DB를 생성하는 것이 아니라 test용도로 생성하는것이기 때문에  ①의 체크박스를 해제한후 ②[Next]버튼을 클릭하여 다음으로 넘어간다.


※ 실제 설치할때도 보통은 이 부분을 입력하지 않는다.


■[Installation Oracle DBMS] 03. Oracle dbms software Installation 2.

03. 위 [Installation Oracle DBMS] 02 에서 [Next] 버튼을 클릭하면 위와 같이 팝업창이 나타나는데 지금 설치하는 DB를 MOS에 등록하지 않을거라면 [Yes] 버튼을 한번더 클릭하여 넘어가도록 한다.


■[Installation Oracle DBMS] 04. Oracle dbms software Installation 3.

03. 이 화면은 11.2.0.4 패치셋으로 설치를 진행하기 때문에 나타난다 보통은  ① [Skip software update] 가 없으며 ②[Next] 버튼을 클릭하여 다음으로 이동한다.


※ ① [Skip software update] 체크박스는 설치버전이하의 버전이 설치되어있다면 DBMS 엔진을 업그레이드 할때 사용한다.


■[Installation Oracle DBMS] 05. Oracle dbms software Installation 4.

05. 여기서는 DBMS 설치시 DB 를 같이 생성할것인지, DBMS 만설치 할 것인지, database가 있다면 upgrage할것인지 선택하는 화면이다. 우리는 처음 설치하므로 ①[Install database software only] 체크박스를 선택 한 후 ②[Next] 버튼을 클릭하여 다음으로 이동한다.


■[Installation Oracle DBMS] 06. Oracle dbms software Installation 5.

06. 여기서는 설치할 Database 형태(우리는 RAC를 설치할 것이기 때문에 

[Oracle Real Application Cluster database Installatoin] 을 선택

[Select All] 버튼을 클릭 하여 모든 노드를 선택한다.
[SSH Connectivity...] 를 클릭하여 Oracle Grid 설치때와 마찬가지로 Equivalance를 설정한다.


■[Installation Oracle DBMS] 07. Oracle dbms software Installation 6.

07. [Installation Oracle DBMS] 06 에서 [SSH Connectivity...] 버튼을 클릭하면 화면이 위와 같이 변경되는데 GRID 설치시 설정했었던 각 node 간의 Equivalance를 설정하는 화면으로 oracle 의 OS Password 를 입력한 후 ②[Setup] 버튼 을 클릭하여 각 DB서버간 oracle user에 대한 Equivalance 를 설정한다.



■[Installation Oracle DBMS] 08. Oracle dbms software Installation 7.

08. [Installation Oracle DBMS] 07. 에서 [Setup] 버튼을 클릭하여 지동으로 각 노드간 Equivalance 를 setup 하고 있다.


■[Installation Oracle DBMS] 09. Oracle dbms software Installation 8.

09.  위 [Installation Oracle DBMS] 07. 에서 설정한 Equivalance 가 설정완료 된 모습니다.


■[Installation Oracle DBMS] 10. Oracle dbms software Installation 9.

10. [Installation Oracle DBMS] 07 ~ 09 까지 설정 한 Equivalance 를 ①[Test] 버튼을 클릭하여 다시 한번 테스트한다.(내 오랜 습관이다.)


■[Installation Oracle DBMS] 11. Oracle dbms software Installation 10.

11. Equivalance 가 이미 설정되어있다는 화면이다.(위에서 setup했으니 당연히 이렇게 나와야 정상이다.)


■[Installation Oracle DBMS] 12. Oracle dbms software Installation 11.

12. [Installation Oracle DBMS] 11에서 Equivalance 설정완료 후  위와 같이 설치후 사용할 언어를 선택한다.

①에서 언어를 선택후 화살표를 클릭하여 ②로 이동한후 ③[Next] 버튼을 클릭하여 다음으로 넘어간다.

(여기에서 사용할언어를 영어와, 한글을 선택한다.)


■[Installation Oracle DBMS] 13. Oracle dbms software Installation 12.

13. ①[Enterprise Edition] 또는 ②[Standard Edition] 중 하나를 선택후 ③ 설치시 옵션을 선택하기 위해 [Select Option...] 버튼을 클릭한다.


■[Installation Oracle DBMS] 14. Oracle dbms software Installation 13.

14. [Installation Oracle DBMS] 13 에서 위와 같이 사용하려는 Option을 선택후 ②[OK] 버튼을 설정완료 후 ③[Next] 다음으로 넘어간다.


■[Installation Oracle DBMS] 15. Oracle dbms software Installation 14.

15. Oracle DBMS ①[Oracle Base]와 ②[Oracle Home]을 설정 후 ③[Next] 버튼 을 클릭하여 다음으로 넘어간다.

※ Oracle user 생성시 .bash_profile에 이미 설정했다.


■[Installation Oracle DBMS] 16. Oracle dbms software Installation 15.

16. 여기서는 ① OSDBA 그룹과 OSOPER 그룹을 지정한다.(설치시 생성한 dba group 으로 지정)

     ② [Next] 버튼을 클릭하여 다음으로 이동.


■[Installation Oracle DBMS] 17. Oracle dbms software Installation 16.

17. [Installation Oracle DBMS] 16 에서 [Next] 버튼을 클리하면 위와 같이 설치 패키지 커널 등 설정등을 체크하는데 grid 설치시 제대로 설치 되었다면 에러없이 지나간다.[Next] 버튼 클릭.


■[Installation Oracle DBMS] 18. Oracle dbms software Installation 17.

18. [Installation Oracle DBMS] 17. 의 설정체크가 끝이나면 위의 화면으로 진행되는데 설치 summary 이다.

[Inatall] 버튼을 클릭하여 DBMS 설치를 시작한다.


■[Installation Oracle DBMS] 19. Oracle dbms software Installation 18.

19. 이 화면은 설치 진행화면으로 ①[Details] 버튼을 클릭하면 Detail 을 확인 할수 있는 팝업창이 나타나는데

여기서 mk01n01의 설치가 끝나면 mk01n02 로 파일을 copy 해서 설치를 진행하는 내용등을 볼수 있다.


■[Installation Oracle DBMS] 20. Oracle dbms software Installation 19.

20. Grid 설치때와 마찬가지로 설치가 거의 끝날무렵에 위와 같이 팝업창이 나타나는데 root user로 위 스크립트를 mk01n01과 mk01n02 에 차례대로 수행시켜줘야 한다. [Installation Oracle DBMS] 21 과 같이 root user로 스크립트를 수행후 의 팝업창에서 [OK] 버튼을 클릭하한다.


■[Installation Oracle DBMS] 21. Oracle dbms software Installation 20.

[root@mk01n01 ~]# /u01/app/oracle/product/11.2.0/db_1/root.sh 

Performing root user operation for Oracle 11g 


The following environment variables are set as:

    ORACLE_OWNER= oracle

    ORACLE_HOME=  /u01/app/oracle/product/11.2.0/db_1


Enter the full pathname of the local bin directory: [/usr/local/bin]: 

The contents of "dbhome" have not changed. No need to overwrite.

The contents of "oraenv" have not changed. No need to overwrite.

The contents of "coraenv" have not changed. No need to overwrite.


Entries will be added to the /etc/oratab file as needed by

Database Configuration Assistant when a database is created

Finished running generic part of root script.

Now product-specific root actions will be performed.

Finished product-specific root actions.


-- node 2번


[root@mk01n02 ~]# /u01/app/oracle/product/11.2.0/db_1/root.sh 

Performing root user operation for Oracle 11g 


The following environment variables are set as:

    ORACLE_OWNER= oracle

    ORACLE_HOME=  /u01/app/oracle/product/11.2.0/db_1


Enter the full pathname of the local bin directory: [/usr/local/bin]: 

The contents of "dbhome" have not changed. No need to overwrite.

The contents of "oraenv" have not changed. No need to overwrite.

The contents of "coraenv" have not changed. No need to overwrite.


Entries will be added to the /etc/oratab file as needed by

Database Configuration Assistant when a database is created

Finished running generic part of root script.

Now product-specific root actions will be performed.

Finished product-specific root actions.


[root@mk01n02 ~]#


■[Installation Oracle DBMS] 22. Oracle dbms software Installation 20.

22. [Installation Oracle DBMS] 21 과 같이 root 스크립트를 수행 후 [Installation Oracle DBMS] 20 에서 [OK] 버튼 을 클릭하면 위와 같이 설치가 완료되었다는 화면으로 넘어오게 된다. 여기서 [Close] 버튼을 클릭하여 Oracle DBMS 설치를 완료 한다.


 








■ [11gR2 RAC 설치(ASM ISCSI)] 09. Disk group 생성ASMCA

DBMS/[Oracle] ■ 01. Installation & Patches 2016.06.08 17:10

■ [11gR2 RAC 설치(ASM ISCSI)] 09. Diskgroup 생성(ASMCA)


■ 여기서는 DB를 생성하기 위한  생성하기 위한 ASM diskgroup 생성한다.

※ diskgroup 은 command-line 으로도 생성할 수 있지만 여기서는 간단하게 GUI 모드로만 설명을 하며

   command-line 으로 생성하는 부분은 다른 페이지에서 설명하기로 한다.


[ASM Diskgroup 생성(ASMCA)] 01. ASMCA 수행


## grid user에서 ASMCA 수행


[grid@mk01n01 ~]$ asmca


01. 위와 같이 grid user로 asmca를 수행하면  아래 [ASM Diskgroup 생성(ASMCA)] 02 와 같이 diskgruop을 생성할수 있는 GUI 화면 이 나타난다.


 [ASM Diskgroup 생성(ASMCA)] 02. asm diskgruop 생성

02. 여기에서 ①[Disk Groups] 탭을 선택하면 ②와 같이 Grid Infrastructure 설치시 생성했었던 OCR_VOTE disk의 diskgroup 의 상태가 나타난다.

여기에서 ③ [Create] 버튼을 클릭하면 아래 [ASM Diskgroup 생성(ASMCA)] 03 과 같이 다른 disk group 들을 생성 할수 있다. 


 [ASM Diskgroup 생성(ASMCA)] 03. asm diskgruop 생성(High)

03. 여기에서는 diskgroup 을 생성하는데 

     ① 생성 할 diskgruop 명을 입력

     ② 생성할 diskgroup의 redendency 를 설정한다. (high 로 설정)

     ③ [Show Eligible] 이 체크박스를 선택하면 ④에 diskgroup을 생성할 수 있는 list 가 나타난다.

         ([redendency]를 high 로 선택했기 때문에 최소 asmdisk를 3개이상 선택해야 한다.)

     

     ⑤ 위의 설정대로 DATA01  diskgroup 을 생성하려면 설정사항 확인 후 [OK] 버튼을 클릭한다.

               


 [ASM Diskgroup 생성(ASMCA)] 04. asm diskgruop 생성(High)

04. Diskgroup이 생성완료 되면 위와 같이 완료 팝업창이 뜬다.


 [ASM Diskgroup 생성(ASMCA)] 05. asm diskgruop 생성(External)

04. [ASM Diskgroup 생성(ASMCA)] 03, 04 [High] Redendency 로 diskgruop 을 생성 했으며 여기에서는 RECO diskgroup을 [External] Redendency 로 diskgroup을 생성한다.

바뀌는 것은 ② [External] redendency 선택과 ④ disk의 갯수 선택이다.

[External] Redendency 는 diskgroup 당 1개이상의 disk 가 필요하다.






※ 여기까지 ASM diskgroup 까지 생성 완료 했으므로 이제 DBCA 로 database 를 생성한다.








■ [11gR2 RAC 설치(ASM ISCSI)] 08. Oracle Grid Infrastructure 설치

DBMS/[Oracle] ■ 01. Installation & Patches 2016.06.02 21:06

■ Oracle Grid Infrastructure 설치


- [11gR2 RAC 설치(ASM ISCSI)] 02 ~ 07 까지 Grid 를 설치하기 위한 OS 및 Network 작업이었다.

  여기서는 Oracle Grid Infrastructure 설치한다.


[Oracle Grid Infrastructure 설치] 01. Grid software를 전송

-- mk01n01
[root@mk01n01 ~]# mkdir -p /u01/stage
[root@mk01n01 ~]# chown  grid:dba /u01/stage
[root@mk01n01 ~]# chmod -R 755 /u01/stage

-- mk01n02
[root@mk01n02 ~]# mkdir -p /u01/stage
[root@mk01n02 ~]# chown  grid:dba /u01/stage
[root@mk01n02 ~]# chmod -R 755 /u01/stage
01. 각 DB 서버에서 Grid S/W를 전송할 stage 디렉토리를 생성 후 이 디렉토리에 fileziller 및 winscp 같은 ftp 툴로 1번노드  mk01n01 서버에만 grid S/W 를 전송한다.

[Oracle Grid Infrastructure 설치)] 02. Grid software를 압축해제

[root@mk01n01 ~]#su - grid
[grid@mk01n01 stage]$  unzip /u01/stage p13390677_112040_Linux-x86-64_3of7.zip

...
   creating: grid/stage/globalvariables/
  inflating: grid/stage/globalvariables/variable.properties  
  inflating: grid/stage/globalvariables/globalvar.xml  
   creating: grid/rpm/
  inflating: grid/rpm/cvuqdisk-1.0.9-1.rpm  
  inflating: grid/runcluvfy.sh       
  inflating: grid/welcome.html       
[grid@mk01n01 stage]$ unzip /u01/stage/p13390677_112040_Linux-x86-64_4of7.zip

...
 creating: client/stage/Queries/PasswordQueries/0.0.3/1/
  inflating: client/stage/Queries/PasswordQueries/0.0.3/1/PasswordQueries.jar  
   creating: client/stage/Queries/fileQueries/
   creating: client/stage/Queries/fileQueries/10.1.0.3.0/
   creating: client/stage/Queries/fileQueries/10.1.0.3.0/1/
  inflating: client/stage/Queries/fileQueries/10.1.0.3.0/1/fileQueries.jar  
   creating: client/stage/Queries/OCAQueries/
   creating: client/stage/Queries/OCAQueries/1.0.1/
   creating: client/stage/Queries/OCAQueries/1.0.1/1/
  inflating: client/stage/Queries/OCAQueries/1.0.1/1/OCAQueries.jar  
  inflating: client/stage/processes.properties  
  inflating: client/welcome.html     
  inflating: client/runInstaller     
   creating: client/response/
  inflating: client/response/netca.rsp  
  inflating: client/response/client_install.rsp  
  
[grid@mk01n01 stage]$ 

[Oracle Grid Infrastructure 설치] 03. cvuqdisk RPM 설치

[root@mk01n01 rpm]# rpm -Uvh cvuqdisk-1.0.9-1.rpm 
Preparing...                ########################################### [100%]
Using default group oinstall to install package
   1:cvuqdisk               ########################################### [100%]

03. Grid software를 압축해제 하면 cvuqdisk-1.0.9-1.rpm 이 있다 이 RPM 을 각 DB 서버에 설치를 한다.
(이 RPM 은 GRID 설치시 각노드의 환경을 검사하는 rpm 으로 꼭 설치되어야 한다.)

[11gR2 RAC 설치(ASM ISCSI)] 04. X window 설정 및 grid 설치 시작

[grid@mk01n01 stage]$ export DISPLAY=192.168.0.3:0.0        --> 이 IP 는 PC 의 ip  0:0 은 트레이아이콘의 Xmanager 아이콘에 마우스을 가져다 대면 나온다.

[grid@mk01n01 stage]$ cd grid
[grid@mk01n01 grid]$ ./runInstaller
Starting Oracle Universal Installer...

Checking Temp space: must be greater than 120 MB.   Actual 2976 MB    Passed
Checking swap space: must be greater than 150 MB.   Actual 4094 MB    Passed
Checking monitor: must be configured to display at least 256 colors.    Actual 16777216    Passed
Preparing to launch Oracle Universal Installer from /tmp/OraInstall2016-05-17_04-21-00PM. Please wait ...

04. 위와 같이 x window 설정이후 runinstaller를 실행하면 아래 그림 [11gR2 RAC 설치(ASM ISCSI)] 05 와 같이 GRID 를 설치하는 화면이 나타난다.


[Oracle Grid Infrastructure 설치] 05 . GRID 설치(GUI 설치) 1.

05. runinstaller 를 수행하면 위 와 같이 GUI로 GRID 설치화면이 나타나는데 

① 은 11.2.0.4 패치셋 이라 나타나는것이고 오라클 홈페이지에서 다운받을 수 있는 파일 11.2.0.1 설치 파일은 ① 부분이 없다.

따라서 패치셋으로 GRID 를 설치하려면 ① 체크하고 ② [Next] 버튼으로 다음 화면으로 이동 하면 되며

② 11.2.0.1 에서는 그냥 바로 ② [Next] 버튼을 클릭하면 된다.


[Oracle Grid Infrastructure 설치] 06 . GRID 설치(GUI 설치) 2.

06. 여기서 우리는 일단 GRID S/W 만 설치할 예정이기 때문에 [Install Oracle Grid Infrastructure Only] 선택 한다. -> [Next] 다음으로 이동.


[Oracle Grid Infrastructure 설치] 07. GRID 설치(GUI 설치) 3.

07. ① [Advanced Installation] 을 선택 -> ② [Next] 로 다음 화면으로 이동한다.


[Oracle Grid Infrastructure 설치] 07. GRID 설치(GUI 설치) 4.

07.① S/W 설치후 사용할 언어를 선택한다. (English , Korean 선택). -> ② [Next] 버튼으로 다음으로 이동한다.


[Oracle Grid Infrastructure 설치] 08. GRID 설치(GUI 설치) 5.

08. ①의 [Cluster Name][SCAN Name], [SCAN Port] 를 설정 한다. 

     ① [Cluster Name] : mk01n01-scan      <-- /etc/hosts 파일의 scan ip의 hostname 의 alias 를 설정

         [SCAN Name ]  : scan.test.com      <-- /etc/hosts 파일의 scan ip의 hostname 을 설정

         [SCAN IP ]      : 1521                 <-- test 로 사용하기 위한 것이므로 1521 포트 사용.

    ② 모두 설정 후 [Next] 버튼을 클릭하여 다음으로 이동.


[Oracle Grid Infrastructure 설치] 09. GRID 설치(GUI 설치) 6.

09. 여기서는 오라클 RAC 의 VIP를 세팅하한다. 오라클 CRS(Cluster Ready System)가 online 상태가 되면 CRS 는 VIP 를 띄우는데 이때 필요한 설정이다. 물론 이 정보는 /etc/hosts 파일을 읽어서 VIP를 띄우기 때문에 Public IP 와 VIP 는 /etc/hosts 파일에 정의되어 있어야 한다. 

[Add] 버튼을 클릭하면 아래 [Oracle Grid Infrastructure 설치] 10 과 같이 2번노드의 hostname과 VIP hostname의 설정을 추가하는 설정창이 나타난다.


[Oracle Grid Infrastructure 설치] 10. GRID 설치(GUI 설치) 7.

10. [Oracle Grid Infrastructure 설치] 09. 에서 말한바와 같이 각각 public host와  private host를 추가 하기 위해서 public hostname 정보와 private hostname 정보를 입력한다.

    ① mk01n02의 hostname 을 입력한다.

    ② mk01n02-vip 의 hostname을 입력한다.

    ③ 설정이 끝난후 [OK] 버튼을 클릭하여 mk01n02의 hostname 및 virtual hostname을 추가한다.



[Oracle Grid Infrastructure 설치] 11. GRID 설치(GUI 설치) 8.

11. 위와 같이 [Oracle Grid Infrastructure 설치] 09. 에서 mk01n02의 Public IP와 Private IP를 추가하면 ① 과 같이 IP 정보들이 설정되며 ② [SSH Connectivity...] 버튼을 클릭하여 각 호스트 별로(Public host, Virtual host) SSH 설정을 하게 된다.


[Oracle Grid Infrastructure 설치] 12. GRID 설치(GUI 설치) 9.

12. ① GRID 설치 user(난 grid 로 했다.)의 패스워드를 ②에 입력 후 ③[setup] 버튼을 클릭하면 위와 같이 각 host에 대해서 Equivalance 설정을 자동으로 한다. 

   ※ 물론 수동으로 하는 방법도 있으며 다음번에 Post 하도록 하겠다.


[Oracle Grid Infrastructure 설치] 13. GRID 설치(GUI 설치) 10.

13. [Oracle Grid Infrastructure 설치] 12. 의 과정이 끝나면 위와 같이 선택한 노드들에대해서 SSH의 Passwordless 가 설정되었다고 팝업창이 나타난다. ① 의 메세지 확인후 [OK] 버튼을 클릭 하면 팝업창이 사라지며 확인 차 ② 번 버튼을 클릭하여 아래 [Oracle Grid Infrastructure 설치] 13 과 같이 제대로 설정되었다고 나타나게 된다. (이건 내 습관이다.)


[Oracle Grid Infrastructure 설치] 14GRID 설치(GUI 설치) 11.


14[Oracle Grid Infrastructure 설치] 13. 에서 말했듯이 Test 버튼을 클릭하게 되면 위 ①과 같이 선택된 노드들간의 검사를 진행한다.



[Oracle Grid Infrastructure 설치] 15GRID 설치(GUI 설치) 12.

15. [Oracle Grid Infrastructure 설치] 14. 에서 이미 각 선택된 노드들 간의 Passwordlesss 가 설정 되었다고 팝업창이 나타난다. [OK] 버튼을 클릭하여 다음으로 이동. 


[Oracle Grid Infrastructure 설치] 16GRID 설치(GUI 설치) 13.

16. 각 DB 서버별로 사용할 IP 대역을 설정한다. ① 192.168.12.0 대역은 public IP를 사용 ② 192.168.13.0 대역은 Private IP 로 사용한다. 


[Oracle Grid Infrastructure 설치] 17GRID 설치(GUI 설치) 14.

17. 여기에서 우리는 ASM (Automatic Storage Management) 으로 RAC를 구성하므로 ① Oracle Automatic Storage Management 을 선택 후 ② [Next] 버튼을 클릭해서 다음으로 넘어간다.


[Oracle Grid Infrastructure 설치] 18GRID 설치(GUI 설치) 15.

18. 여기서는 파일 위치를 설정하한다.

          ① ASM 의 diskgroup 명을 설정(OCR_VOTE 로 변경)

          ② Redendency를 설정(앞에서 high로 설정하기위해서 세팅해왔으므로 여기서 [High]를 설정한다.)

          ③ [Candidate] 체크박스를 클릭하면 보통 각 disk 들이 보이는데 여기서는 보이지 않아서 

          ④ [Change Discovery Path] 를 클릭후 disk 위치를 입력한다.

          ⑤ [Next] 버튼을 클릭하여 다음으로 이동

※ 보통 기본 path는 /dev/sd* 로 잡혀있다.

   하지만 oracleasm 설정을 하면 /dev/oracleasm/disks/ 디렉토리가 생성되며 그하위에 oracleasm disk 파일 들이 생성된다. 따라서 /dev/oracleasm/disks/* 로 입력하여 ocr 및 votedisk 파일이 위치할 asmdisk를 선택한다.


[Oracle Grid Infrastructure 설치] 19GRID 설치(GUI 설치) 16.

19. 위와 같이 diskgroup 을 설정한다.

     ① diskgroup명 설정  (ocr_vote용 diskgroup 생성)

     ② Redendency 설정 ([high] 설정)

     ③ AU size 설정      (test용이므로 1MB 설정)

     ④ ASM disk 선택    (각 용도에 맞는 disk 설정)

     ⑤ diskgroup을 설정할 asmdisk 모두 선택했으면 [Next] 버튼을 클릭하여 다음으로 이동


          ※ 보통 diskgoup 을 [high] 로 설정을 하면 asmdisk 를 3개만 선택하면 diskgroup 이 생성된다.

             하지만 votedisk 를 [high] redendency 로 설정하려면 위와 같이 최소 4개 asmdisk을 선택해야 한다.

     

[Oracle Grid Infrastructure 설치] 20GRID 설치(GUI 설치) 17.


20. 여기서는 ASM instance 의 패스워드를 설정하는데 ①을 선택해서 sys 및 asmsnmp user의 패스워드를 같게 한다.(물론 다르게 해도 되지만 같게 설정)

     ②, ③ 패스워드 설정 후 ④ [Next] 버튼으로 다음으로 이동한다.


[Oracle Grid Infrastructure 설치] 21GRID 설치(GUI 설치) 18.

21. 위 [Oracle Grid Infrastructure 설치] 20. 에서 패스워드 설정 시 간단히 하게 되면 이와 같은 팝업창을 만난다. 최소 8자 이상 대소문자, 숫자, 특수문자가 섞여있어야 오라클에서 recommand 를 하지만 나중에 다시 바꿀수 있으므로 쉽게 설정했다.


[Oracle Grid Infrastructure 설치] 22GRID 설치(GUI 설치) 19.

22. 위는 IPMI를 설정하는 화면으로 IPMI 를 설정하지 않기 위해 ①을 선택 후 [Next]를 클릭하여 다음으로 이동.


※ IPMI란 서버 관리를 위한 관리 인터페이스로 원격지나 로컬서버의 상태를 

   파악하고 제어할 수 있는 기능의 인터페이스로 많은 수의 서버를 관리할 때

   유용하게 사용되는 유틸이나 여기서는 설정하지 않는다.


[Oracle Grid Infrastructure 설치] 23GRID 설치(GUI 설치) 20.

23. 여기서는 OSASM Group 및 OSDBA Group, OSOper Group 을 설정한다. 

OS에서 group 생성시 dba 로만 설정하기 위해 dba OS group 만 생성했기 때문에 ①의 모든 Group 을 dba로 설정한다. 모든 group을 dba로 설정 이 후 [Next]버튼을 클릭하여 다음으로 이동한다.


[Oracle Grid Infrastructure 설치] 24GRID 설치(GUI 설치) 21.

24. 위 [Oracle Grid Infrastructure 설치] 23. 에서 모두 같은 group 으로 설정했기 때문에 ①과 같이 Warning이 팝업창으로 나타난다. ①에서 [Yes] 버튼을 클릭하면 같은 group으로 설정하게 된다. ① 버튼을 클릭하여 다음으로 이동한다.


[Oracle Grid Infrastructure 설치] 25GRID 설치(GUI 설치) 22. 

25. ① [Brows...] 버튼을 클릭하여 위와 같이 Oracle Base 의 위치를 설정한다. (grid base 의 위치이다.)

    ② [Brows...] 버튼을 클릭하여 실질적으로 S/W가 위치할 위치를 설정한다.(grid home 의 위치이다.)

     ③ [Oracle Base][Software Location] 의 위치를 제대로 설정했다면 ③ [Next]버튼을 클릭하여 다음으로 이동한다.


[Oracle Grid Infrastructure 설치] 26GRID 설치(GUI 설치) 23. 

26[Browse...] 버튼을 클릭하여 Oracle Inventory 위치를 지정 한 후 ② [Next] 버튼을 클릭하여 다음으로 이동한다.


[Oracle Grid Infrastructure 설치] 27GRID 설치(GUI 설치) 24. 


27. [Perform Prerequisite Checks] 는 Grid 설치 이전에 각 DB 서버에 설치되어야 할 패키지, Kernel에 세팅되어야 할 값, 그리고 NTP 등등을 체크해야 한다. 

② 에서는 체크에 실패한 패키지나 설정사항들이 나타나며 그중 하나하나를 선택해서 

[more details] 버튼을 클릭하면 ④ 와 같이 detail 한 정보들을 나타내는 팝업창이 나타난다.


이때 모든 세팅값이 pass 되어야 하며 간혹 상위 버전의 패키지 들이 설치되었는데 check되지 못 하거나 다른 설정사항들이  충분히 설정되어었는데도 불구하고 failed 가 나타날 경우가 있다. 충분히 검토되고 MOS(my oracle support)에서도 confirm 을 한다면 ⑤ Ignore Al 의 check 박스에 체크하고 [Install] 버튼을 클릭하여 Grid의 설치를 진행한다.


[Oracle Grid Infrastructure 설치] 28GRID 설치(GUI 설치) 25. 

28. [Oracle Grid Infrastructure 설치] 27 까지 모든 setting이 끝나고 [Install] 버튼을 클릭하면 위와 같이 Install을 진행한다. 이때 [Details]버튼을 클릭하면 위와 같이 팝업창이 나타나며 Install에대한 detail 을 확인하며 Install을 진행할 수있다.


[Oracle Grid Infrastructure 설치] 29GRID 설치(GUI 설치) 25. 


29. 설치가 거의 완료 될때 쯤 ①번의 팝업창이 나타난다.
① 팝업창의 스크립트를 순서대로 노드별로 수행한다.
   1번 스크립트(/u01/app/oraInventory/orainstRoot.sh )를 mk01n01과 mk01n02에 각각 차례대로 수행.
# mk01n01 에서 아래 스크립트 수행
[root@mk01n01 ~]# /u01/app/oraInventory/orainstRoot.sh 
Changing permissions of /u01/app/oraInventory.
Adding read,write permissions for group.
Removing read,write,execute permissions for world.

Changing groupname of /u01/app/oraInventory to oinstall.
The execution of the script is complete

# mk01n02 에서 아래 스크립트 수행
[root@mk01n02 ~]# /u01/app/oraInventory/orainstRoot.sh
Changing permissions of /u01/app/oraInventory.
Adding read,write permissions for group.
Removing read,write,execute permissions for world.

Changing groupname of /u01/app/oraInventory to oinstall.
The execution of the script is complete

  1번 스크립트(/u01/app/oraInventory/orainstRoot.sh)를 mk01n01과 mk01n02에 각각 차례대로 수행.
### mk01n01 에서 아래 스크립트 수행
[root@mk01n01 ~]# /u01/app/oraInventory/orainstRoot.sh 
Changing permissions of /u01/app/oraInventory.
Adding read,write permissions for group.
Removing read,write,execute permissions for world.

Changing groupname of /u01/app/oraInventory to oinstall.
The execution of the script is complete.
[root@mk01n01 ~]# /u01/app/11.2.0/grid_home/root.sh 
Performing root user operation for Oracle 11g 

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid_home

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /u01/app/11.2.0/grid_home/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
Installing Trace File Analyzer
OLR initialization - successful
  root wallet
  root wallet cert
  root cert export
  peer wallet
  profile reader wallet
  pa wallet
  peer wallet keys
  pa wallet keys
  peer cert request
  pa cert request
  peer cert
  pa cert
  peer root cert TP
  profile reader root cert TP
  pa root cert TP
  peer pa cert TP
  pa peer cert TP
  profile reader pa cert TP
  profile reader peer cert TP
  peer user cert
  pa user cert
Adding Clusterware entries to inittab
CRS-2672: Attempting to start 'ora.mdnsd' on 'mk01n01'
CRS-2676: Start of 'ora.mdnsd' on 'mk01n01' succeeded
CRS-2672: Attempting to start 'ora.gpnpd' on 'mk01n01'
CRS-2676: Start of 'ora.gpnpd' on 'mk01n01' succeeded
CRS-2672: Attempting to start 'ora.cssdmonitor' on 'mk01n01'
CRS-2672: Attempting to start 'ora.gipcd' on 'mk01n01'
CRS-2676: Start of 'ora.cssdmonitor' on 'mk01n01' succeeded
CRS-2676: Start of 'ora.gipcd' on 'mk01n01' succeeded
CRS-2672: Attempting to start 'ora.cssd' on 'mk01n01'
CRS-2672: Attempting to start 'ora.diskmon' on 'mk01n01'
CRS-2676: Start of 'ora.diskmon' on 'mk01n01' succeeded
CRS-2676: Start of 'ora.cssd' on 'mk01n01' succeeded

ASM created and started successfully.

Disk Group OCR_VOTE created successfully.

clscfg: -install mode specified
Successfully accumulated necessary OCR keys.
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
CRS-4256: Updating the profile
Successful addition of voting disk 363c4953ab084f56bf388a935f526aed.
Successful addition of voting disk 17002ce23f114f40bfc5d745f1b60477.
Successful addition of voting disk 8d98423c32dd4f98bf57c8f825f6fa4f.
Successful addition of voting disk 09fa6fc15fc14f81bfd2f61fac4a98d6.
Successful addition of voting disk 96682027e3ea4ffbbfa6174e10319bf9.
Successfully replaced voting disk group with +OCR_VOTE.
CRS-4256: Updating the profile
CRS-4266: Voting file(s) successfully replaced
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   363c4953ab084f56bf388a935f526aed (/dev/oracleasm/disks/OCR_VOTE03) [OCR_VOTE]
 2. ONLINE   17002ce23f114f40bfc5d745f1b60477 (/dev/oracleasm/disks/OCR_VOTE02) [OCR_VOTE]
 3. ONLINE   8d98423c32dd4f98bf57c8f825f6fa4f (/dev/oracleasm/disks/OCR_VOTE01) [OCR_VOTE]
 4. ONLINE   09fa6fc15fc14f81bfd2f61fac4a98d6 (/dev/oracleasm/disks/RECO01) [OCR_VOTE]
 5. ONLINE   96682027e3ea4ffbbfa6174e10319bf9 (/dev/oracleasm/disks/RECO02) [OCR_VOTE]
Located 5 voting disk(s).
CRS-2672: Attempting to start 'ora.asm' on 'mk01n01'
CRS-2676: Start of 'ora.asm' on 'mk01n01' succeeded
CRS-2672: Attempting to start 'ora.OCR_VOTE.dg' on 'mk01n01'
CRS-2676: Start of 'ora.OCR_VOTE.dg' on 'mk01n01' succeeded
Configure Oracle Grid Infrastructure for a Cluster ... succeeded



###  mk01n02 에서 아래 스크립트 수행

[root@mk01n02 ~]# /u01/app/oraInventory/orainstRoot.sh
Changing permissions of /u01/app/oraInventory.
Adding read,write permissions for group.
Removing read,write,execute permissions for world.

Changing groupname of /u01/app/oraInventory to oinstall.
The execution of the script is complete.
[root@mk01n02 ~]# /u01/app/11.2.0/grid_home/root.sh
Performing root user operation for Oracle 11g 

The following environment variables are set as:
    ORACLE_OWNER= grid
    ORACLE_HOME=  /u01/app/11.2.0/grid_home

Enter the full pathname of the local bin directory: [/usr/local/bin]: 
   Copying dbhome to /usr/local/bin ...
   Copying oraenv to /usr/local/bin ...
   Copying coraenv to /usr/local/bin ...


Creating /etc/oratab file...
Entries will be added to the /etc/oratab file as needed by
Database Configuration Assistant when a database is created
Finished running generic part of root script.
Now product-specific root actions will be performed.
Using configuration parameter file: /u01/app/11.2.0/grid_home/crs/install/crsconfig_params
Creating trace directory
User ignored Prerequisites during installation
Installing Trace File Analyzer
OLR initialization - successful
Adding Clusterware entries to inittab
CRS-4402: The CSS daemon was started in exclusive mode but found an active CSS daemon on node mk01n01, number 1, and is terminating
An active cluster was found during exclusive startup, restarting to join the cluster
Configure Oracle Grid Infrastructure for a Cluster ... succeeded


[Oracle Grid Infrastructure 설치] 28GRID 설치(GUI 설치) 26.  

28. GRID 설치완료.


[Oracle Grid Infrastructure 설치] 29GRID 설치(GUI 설치) 27.  


[root@mk01n02 ~]# crsctl status res -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS       
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.OCR_VOTE.dg
               ONLINE  ONLINE       mk01n01                                      
               ONLINE  ONLINE       mk01n02                                      
ora.asm
               ONLINE  ONLINE       mk01n01                  Started             
               ONLINE  ONLINE       mk01n02                  Started             
ora.gsd
               OFFLINE OFFLINE      mk01n01                                      
               OFFLINE OFFLINE      mk01n02                                      
ora.net1.network
               ONLINE  ONLINE       mk01n01                                      
               ONLINE  ONLINE       mk01n02                                      
ora.ons
               ONLINE  ONLINE       mk01n01                                      
               ONLINE  ONLINE       mk01n02                                      
ora.registry.acfs
               ONLINE  ONLINE       mk01n01                                      
               ONLINE  ONLINE       mk01n02                                      
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       mk01n01                                      
ora.cvu
      1        ONLINE  ONLINE       mk01n01                                      
ora.mk01n01.vip
      1        ONLINE  ONLINE       mk01n01                                      
ora.mk01n02.vip
      1        ONLINE  ONLINE       mk01n02                                      
ora.oc4j
      1        ONLINE  ONLINE       mk01n01                                      
ora.scan1.vip
      1        ONLINE  ONLINE       mk01n01               
      

29, grid 설치완료 후 crs 명령으로 위와 같이 crs 상태확인.


■ [11gR2 RAC 설치(ASM ISCSI)] 07. RAC 의 Storage 구성 (02.Shared Storage 구성)

DBMS/[Oracle] ■ 01. Installation & Patches 2016.06.02 20:30

■ RAC 의 Storage 구성 (02.Shared Storage 구성)

여기서는 각 DB 노드에 Shared Volumn 을 공급하기 위해 앞서서 설치한 Shared Storage 솔루션의 구성 후속 작업이다.



[RAC 의 Storage 구성 (02.Shared Storage 구성)] 01. /etc/hosts 파일 수정.

[root@storage ~]# vi /etc/hosts                              <-- 아래 사항들을 추가한다.

127.0.0.1 localhost.localdomain localhost

# Storage

192.168.12.5          storage.test.com       storage

# 11gR2 RAC Setting

# Public
192.168.12.11         mk01n01.test.com         mk01n01
192.168.12.12         mk01n02.test.com         mk01n02

# Private
192.168.13.11         mk01n01-priv.test.com    mk01n01-priv
192.168.13.12         mk01n02-priv.test.com    mk01n02-priv

# Vitural 
192.168.12.13         mk01n01-vip.test.com     mk01n01-vip
192.168.12.14         mk01n02-vip.test.com     mk01n02-vip

# SCAN
192.168.12.15         scan.test.com            mark01-scan              

46. 콘솔에서 root user로 위와 같이 접속후 /etc/hosts 파일을 수정한다.. (위사항 추가.)

    Storage 서버에서 위와 같이 각 DB 노드의 IP 를 정의 한다.

     ※ 통신을 위한 pulic IP와 private IP만 정의 되어있어도 된다.


[RAC 의 Storage 구성 (02.Openfiler 설치)] 02. vi /etc/initiators.deny 파일 수정

[root@storage ~]# vi /etc/initiators.deny    --> 이파일 열어서 주석처리 아래와 같이 iqn 부분 주석처리.

# PLEASE DO NOT MODIFY THIS CONFIGURATION FILE!
# This configuration file was autogenerated
# by Openfiler. Any manual changes will be overwritten
# Generated at: Mon May 16 16:20:20 KST 2016

iqn.2006-01.com.openfiler:tsn.2151a0d1ff7e ALL


# End of Openfiler configuration

47. /etc/initiators.deny 이 파일에 Iqn이 정의되어 있으면 설정된 IP 에서의 접근을 거부 하는 것으로 default 값은 ALL 이다. 이 파일의 iqn에 ALL 로 설정되어있으면 모든 접근을 거부한다는 의미 이므로 주석처리한다.


[RAC 의 Storage 구성 (02.Shared Storage 구성)] 03. 각 DB 서버의 iscsi 서비스 start 및 iSCSI discovery

-- 1번노드
# 1. iscsi 서비스 start 및 부팅시 동작하도록 chkconfig 

[root@mk01n01 ~]# service iscsi start
iscsid (pid  1735) is running...
Setting up iSCSI targets: iscsiadm: No records found
                                                           [  OK  ]
[root@mk01n01 ~]# chkconfig iscsid on
[root@mk01n01 ~]# chkconfig iscsi on

# 2. DB 서버 에서 storage 서버로 discovery 

[root@mk01n01 ~]# iscsiadm -m discovery -t sendtargets -p storage-priv
192.168.13.5:3260,1 iqn.2006-01.com.openfiler:tsn.2151a0d1ff7e
192.168.12.5:3260,1 iqn.2006-01.com.openfiler:tsn.2151a0d1ff7e

-- 2번노드
# 1. iscsi 서비스 start 및 부팅시 동작하도록 chkconfig 

[root@mk01n02 ~]# service iscsi start
iscsid (pid  1732) is running...
Setting up iSCSI targets: iscsiadm: No records found
                                                           [  OK  ]
[root@mk01n02 ~]# chkconfig iscsid on
[root@mk01n02 ~]# chkconfig iscsi on

# 2. DB 서버 에서 storage 서버로 discovery 
[root@mk01n02 ~]# iscsiadm -m discovery -t sendtargets -p storage-priv
192.168.13.5:3260,1 iqn.2006-01.com.openfiler:tsn.2151a0d1ff7e
192.168.12.5:3260,1 iqn.2006-01.com.openfiler:tsn.2151a0d1ff7e

48. Openfiler 에서 설정한 Shared storage 를 각 DB 노드에서 인식을 시키려면 위와 같이 

# 1. iscsi 서비스를 start 및 부팅시 동작하도록 chkconfig 로 모든 runlevel 에서 동작하도록 설정 후

# 2. DB 서버에서 shared disk 를 인식하도록 discovery 한다. 

 (위 화면은 discovery 시 private IP 로만 discovery 시켰기 때문에 private IP 만 확인되어야 하나 public IP 도 같이 나타난다 아무래도 openfiler 버그로 생각된다.)


[RAC 의 Storage 구성 (02.Shared Storage 구성)] 04. 각 DB 서버에서 Shared volumn 확인 및 fdisk

# 1. 모든 노드 에서 아래와 같이 disk 확인
[root@mk01n01 ~]# fdisk -l |perl -ne 'print if /\/dev\/sd[b-z]/'
Disk /dev/sdj: 5368 MB, 5368709120 bytes
/dev/sdj1               1        7599     5242849   83  Linux
Disk /dev/sdk: 5368 MB, 5368709120 bytes
/dev/sdk1               1        7599     5242849   83  Linux
Disk /dev/sdg: 2147 MB, 2147483648 bytes
/dev/sdg1               1       21846     2097121   83  Linux
Disk /dev/sdf: 2147 MB, 2147483648 bytes
/dev/sdf1               1       21846     2097121   83  Linux
Disk /dev/sdh: 5368 MB, 5368709120 bytes
/dev/sdh1               1        7599     5242849   83  Linux
Disk /dev/sdb: 2147 MB, 2147483648 bytes
/dev/sdb1               1       21846     2097121   83  Linux
Disk /dev/sdd: 2147 MB, 2147483648 bytes
/dev/sdd1               1       21846     2097121   83  Linux
Disk /dev/sde: 2147 MB, 2147483648 bytes
/dev/sde1               1       21846     2097121   83  Linux
Disk /dev/sdc: 2147 MB, 2147483648 bytes
/dev/sdc1               1       21846     2097121   83  Linux
Disk /dev/sdi: 5368 MB, 5368709120 bytes
/dev/sdi1               1        7599     5242849   83  Linux
Disk /dev/sdl: 5368 MB, 5368709120 bytes
/dev/sdl1               1        7599     5242849   83  Linux
Disk /dev/sdo: 5368 MB, 5368709120 bytes
/dev/sdo1               1        7599     5242849   83  Linux
Disk /dev/sdm: 5368 MB, 5368709120 bytes
/dev/sdm1               1        7599     5242849   83  Linux
Disk /dev/sdr: 5368 MB, 5368709120 bytes
/dev/sdr1               1        7599     5242849   83  Linux
Disk /dev/sdn: 5368 MB, 5368709120 bytes
/dev/sdn1               1        7599     5242849   83  Linux
Disk /dev/sdp: 5368 MB, 5368709120 bytes
/dev/sdp1               1        7599     5242849   83  Linux
Disk /dev/sds: 5368 MB, 5368709120 bytes
/dev/sds1               1        7599     5242849   83  Linux
Disk /dev/sdq: 5368 MB, 5368709120 bytes
/dev/sdq1               1        7599     5242849   83  Linux


# 2. fdisk disk

[root@mk01n01 ~]# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel. Changes will remain in memory only,
until you decide to write them. After that, of course, the previous
content won't be recoverable.

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

Command (m for help): u
Changing display/entry units to sectors

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First sector (62-4194303, default 62):         
Using default value 62
Last sector or +size or +sizeM or +sizeK (62-4194303, default 4194303): 
Using default value 4194303

Command (m for help): p

Disk /dev/sdb: 2147 MB, 2147483648 bytes
67 heads, 62 sectors/track, 1009 cylinders, total 4194304 sectors
Units = sectors of 1 * 512 = 512 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1              62     4194303     2097121   83  Linux
Partition 1 does not end on cylinder boundary.

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 16: Device or resource busy.
The kernel still uses the old table.
The new table will be used at the next reboot.
Syncing disks.

49. #1 과 같이 모든 node 에서 disk 를 확인한다. 

(openfiler 의 버그로 2배정도 disk 가 좀더 많이 나타난다. 따라서 fdisk 시에 되는것과 안되는것을 체크해서 admgroup 생성시 잘 사용해야 한다.)



 -- 확인한 실제 DISK명


Disk /dev/sdb: 2147 MB, 2147483648 bytes

Disk /dev/sdc: 2147 MB, 2147483648 bytes

Disk /dev/sdd: 2147 MB, 2147483648 bytes

Disk /dev/sdh: 5368 MB, 5368709120 bytes

Disk /dev/sdi: 5368 MB, 5368709120 bytes

Disk /dev/sdk: 5368 MB, 5368709120 bytes
Disk /dev/sdl: 5368 MB, 5368709120 bytes
Disk /dev/sdm: 5368 MB, 5368709120 bytes


[RAC 의 Storage 구성 (02.Shared Storage 구성)] 05. oracle asm 을 위한 환경 설정(모든노드)

-- 1번노드

[root@mk01n01 ~]# /etc/init.d/oracleasm configure
Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library
driver.  The following questions will determine whether the driver is
loaded on boot and what permissions it will have.  The current values
will be shown in brackets ('[]').  Hitting <ENTER> without typing an
answer will keep that current value.  Ctrl-C will abort.

Default user to own the driver interface []: grid    
Default group to own the driver interface []: dba
Start Oracle ASM library driver on boot (y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration: done
Initializing the Oracle ASMLib driver:                     [  OK  ]
Scanning the system for Oracle ASMLib disks:               [  OK  ]

-- 2번노드

[root@mk01n02 ~]# /etc/init.d/oracleasm configure
Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library
driver.  The following questions will determine whether the driver is
loaded on boot and what permissions it will have.  The current values
will be shown in brackets ('[]').  Hitting <ENTER> without typing an
answer will keep that current value.  Ctrl-C will abort.

Default user to own the driver interface []: grid
Default group to own the driver interface []: dba
Start Oracle ASM library driver on boot (y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration: done
Initializing the Oracle ASMLib driver:                     [  OK  ]
Scanning the system for Oracle ASMLib disks:               [  OK  ]

05. 여기서는 위와 같이 oracleasm 설정을 위해 위와 같이 oracleasm library 를 호출하여 oracleasm 환경을 설정한다.


[RAC 의 Storage 구성 (02.Shared Storage 구성)] 06. ocr_vote 디스크 생성

[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE01 /dev/sdb1
Writing disk header: done
Instantiating disk: done
[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE02 /dev/sdd1
Writing disk header: done
Instantiating disk: done
[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE03 /dev/sdf1
Writing disk header: done
Instantiating disk: done

06. 여러분은 위 [RAC 의 Storage 구성 (02.Shared Storage 구성)] 03 에서 discovery 시 생성한 volumn 보다 2배정도 많은 disk 가 보인것을 확인했을 것이다. 

이는 openfiler 버그 때문인것으로 추정되며 

위와 같이 asmdisk 생성시 중복되는 disk 가 없이 생성해야 한다.

(물론 이미 생성한 disk 라면 아래와 같이 이미 할당된 disk 라고 나타난다.)


-- 아래와 같이 error 를 만나도 당황하지 않아도 된다 이미 할당된것은 에러메시지와 함께 재할당되지 않는다.


[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE01 /dev/sdb1

Writing disk header: done

Instantiating disk: done

[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE02 /dev/sdc1

Device "/dev/sdc1" is already labeled for ASM disk "OCR_VOTE01"

[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE02 /dev/sdd1

Writing disk header: done

Instantiating disk: done

[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE03 /dev/sde1

Device "/dev/sde1" is already labeled for ASM disk "OCR_VOTE02"

[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE03 /dev/sdf1

Writing disk header: done

Instantiating disk: done



[RAC 의 Storage 구성 (02.Shared Storage 구성)] 07. DATA 및 RECO 디스크 생성

[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE01 /dev/sdb1
Writing disk header: done
Instantiating disk: done
[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE02 /dev/sdc1
Device "/dev/sdc1" is already labeled for ASM disk "OCR_VOTE01"
[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE02 /dev/sdd1
Writing disk header: done
Instantiating disk: done
[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE03 /dev/sde1
Device "/dev/sde1" is already labeled for ASM disk "OCR_VOTE02"
[root@mk01n01 ~]# oracleasm createdisk OCR_VOTE03 /dev/sdf1
Writing disk header: done
Instantiating disk: done
[root@mk01n01 ~]# 
[root@mk01n01 ~]# oracleasm createdisk DATA01 /dev/sdh1
Writing disk header: done
Instantiating disk: done
[root@mk01n01 ~]# oracleasm createdisk DATA02 /dev/sdi1
Device "/dev/sdi1" is already labeled for ASM disk "DATA01"
[root@mk01n01 ~]# 
[root@mk01n01 ~]# oracleasm createdisk DATA02 /dev/sdj1
Writing disk header: done
Instantiating disk: done
[root@mk01n01 ~]# oracleasm createdisk DATA03 /dev/sdk1
Device "/dev/sdk1" is already labeled for ASM disk "DATA02"
[root@mk01n01 ~]# oracleasm createdisk DATA03 /dev/sdl1
Writing disk header: done
Instantiating disk: done
[root@mk01n01 ~]# oracleasm createdisk RECO01 /dev/sdm1
Device "/dev/sdm1" is already labeled for ASM disk "DATA03"
[root@mk01n01 ~]# oracleasm createdisk RECO01 /dev/sdn1
Writing disk header: done
Instantiating disk: done
[root@mk01n01 ~]# oracleasm createdisk RECO02 /dev/sdo1
Device "/dev/sdo1" is already labeled for ASM disk "RECO01"
[root@mk01n01 ~]# oracleasm createdisk RECO02 /dev/sdp1
Writing disk header: done
Instantiating disk: done
[root@mk01n01 ~]# oracleasm createdisk RECO03 /dev/sdq1
Device "/dev/sdq1" is already labeled for ASM disk "RECO02"
[root@mk01n01 ~]# oracleasm createdisk RECO03 /dev/sdr1
Writing disk header: done
Instantiating disk: done

07. 여기도 마찬가지로 중복으로 할당되었기 때문에 위와 같은 시행착오를 거쳐야 한다.

(버그가 고쳐지면 재 수정하도록 하겠다.)


[RAC 의 Storage 구성 (02.Shared Storage 구성)] 08. 제대로 생성된 asmdisk list

oracleasm createdisk OCR_VOTE01 /dev/sdb1

oracleasm createdisk OCR_VOTE02 /dev/sdd1

oracleasm createdisk OCR_VOTE03 /dev/sdf1


oracleasm createdisk DATA01 /dev/sdh1

oracleasm createdisk DATA02 /dev/sdj1

oracleasm createdisk DATA03 /dev/sdl1

oracleasm createdisk RECO01 /dev/sdn1

oracleasm createdisk RECO02 /dev/sdp1

oracleasm createdisk RECO03 /dev/sdr1 

08. 위에서 adm disk 가 제개로 생성되었 다면 위 list 대로 생성되었을 것이다.

(high rependency 로 diskgroup을 생성하기 위해서는 최소 3개이상의 disk 가 필요하기 때문에 위와 같이 difk를 3개 씩 생성 했다.)



[RAC 의 Storage 구성 (02.Shared Storage 구성)] 09. ASM disk scandisks


-- mk01n01

[root@mk01n01 ~]# oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
[root@mk01n01 ~]# oracleasm listdisks
DATA01
DATA02
DATA03
OCR_VOTE01
OCR_VOTE02
OCR_VOTE03
RECO01
RECO02
RECO03

-- mk01n02

[root@mk01n02 ~]# oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
Instantiating disk "OCR_VOTE02"
Instantiating disk "DATA02"
Instantiating disk "OCR_VOTE03"
Instantiating disk "DATA01"
Instantiating disk "OCR_VOTE01"
Instantiating disk "DATA03"
Instantiating disk "RECO01"
Instantiating disk "RECO02"
Instantiating disk "RECO03"
[root@mk01n02 ~]# oracleasm listdisks
DATA01
DATA02
DATA03
OCR_VOTE01
OCR_VOTE02
OCR_VOTE03
RECO01
RECO02
RECO03

09. 위 [RAC 의 Storage 구성 (02.Shared Storage 구성)] 07 에서 만든 asm disk 를 scandisks 한다.

그냥 oracleasm listdisks 를 하면 disk를 scan 하지 않았기 때문에 원격지 node 에서는 안보일수 있다.

따라서 모든 노드에서 한번은 scandisks 를 해줘야 한다.


이로써 모든 DB 서버에 shared disk 를 인식 시켰다.


■ [11gR2 RAC 설치(ASM ISCSI)] 05. mk01n01 구성(VM 복제)

DBMS/[Oracle] ■ 01. Installation & Patches 2016.06.02 14:02

■ [11gR2 RAC 설치(ASM ISCSI)] 05. mk01n01 구성(VM 복제)


■ [11gR2 RAC 설치(ASM ISCSI)] 06. RAC storage 노드 storage구성(01. Openfiler 설치)

DBMS/[Oracle] ■ 01. Installation & Patches 2016.05.31 17:50

■ [11gR2 RAC 설치(ASM ISCSI)] 06. RAC storage 노드 storage구성(Openfiler 설치)


-- Virtual Box 로 실제 구성과 비슷하게 만드려면 가상 머신을 DB 서버 뿐만이 아니라 Storage 서버도 구성을 해야 한다. 따라서 ISCSI Storage 를 구성해야 하는데 이를 가장 쉽게 해주는 솔루션이 Openfiler 이다.


Openfiler 는 OS 를 컨트롤 하는 웹서버를 가지고 있어서 우리는 이것을 가지고 쉽게 disk의 volumn을 생성하고 각 RAC 의 노드들에게 mount 할 것이다.


우리는 이것을 가지고 가상머신으로 Storage 서버를 구성할 것이다.


※ 가상머신 설정이후 storage 솔루션을 설치하는 방법은 아주 쉬우며 이 솔루션 설치이후 어떠한 설정에 따라 공유 storage 자원을 분배하느냐에 따라 storage 자원 활용방도가 틀려진다.


-- openfiler 다운로드 link

https://www.openfiler.com/community/download



[RAC 의 Storage 구성 (01.Openfiler 설치)] 01. 가상머신 생성


01. 앞서서 포스팅한 [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치) 처럼 Storage 솔루션(Openfiler)를 설치 하기 위해서 VM 을 생성한다.


① 가상머신 명 설정(편의상 storage 로 설정)

② OS 의 종류는 Linux

② 버전은 Oracle (64-bit)

로 설정한다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 02. 가상머신의 메모리 설정

02. Storage 솔루션인 Openfiler는 전문적으로 사용하지 않는 이상 메모리는 위와 같이 기본적으로 setting되는 768MB로만으로도 충분하다. 



[RAC 의 Storage 구성 (01.Openfiler 설치)] 03. 가상머신의 하드디스크 용량 설정

03. Storage 가상머신(Openfiler)를 설치를 위해서 위와 같이 [지금 새 가상 하드 디스크 만들기(C)] 를 선택한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 04. 가상머신의 호환성 설정

04. 나중에 VMware 와 호환성을 위해서 [VMDK (가상 머신 디스크)]를 선택한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 05. 가상머신을 저장할 file의 속성 설정.

05. 위 와 같이 ① [동적할당(D)] 선택 -> ② [2GB 단위로 분할하기(S)] 을 차례로 선택한다.

(2GB 단위로 나누는 이유는 가상머신 S/W가 파일에 접근시 병렬로 접근하게되어 좀더 disk 를 읽는데 빠르다고 하기때문이다.)


[RAC 의 Storage 구성 (01.Openfiler 설치)] 06. 가상머신을 저장할 위치와 file 명 설정

06. Storage VM 을저장하기 위해 ①폴더 버튼을 클릭 -> ② VM을 저장할 위치지정 -> ③ vmware 파일을 저장할 파일명 설정 -> ④ 저장버튼을 클릭 하면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 07 과같이 설정한 사항들을 확인할수 있다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 07. 가상머신의 용량 설정

07. 여기서는 위 ① [RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 06 에서 설정한 사항들을 확인할수 있다. 확인 후 ② [만들기] 버튼을 클릭하면 가상 Storage 솔루션을 설치할 Virtual Machine이 생성되고 

아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 08 와 같이 만들어진다. 하드디스크를 추가 한다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 08. 가상머신의 storage 공간을 사용할 용량 추가

08. 위와 같이 Storage로 사용할 가상 Disk를 추가 한다. 



[RAC 의 Storage 구성 (01.Openfiler 설치)] 09. 가상머신생성 확인.

09. 가상 Storage 솔루션을 설치할 가상머신.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 10. 가상머신의 OS DVD image 설정


09. ① [저장소] 선택 -> ② CD-ROM 아이콘을 클릭하여 Storage 솔루션 Image 삽입 하면 ③ 과 같이 Storage Iage 가 삽입된것을 확인 할수 있다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 11. 가상머신의 network adapter 추가 1.

11. 위와 같이 ① [네트워크] 선택 -> ② 가상머신의 Public network 를위해 [어댑터 1]을 선택 -> ③ [어댑터 1] 네트워크 어댑터를 사용하기 위해 체크박스 체크 -> [11gR2 RAC 설치(ASM ISCSI)] 02. RAC 가상 네트워크 구성 에서 생성한  [VirtualBox Host-Only Ethernet Adapter] 를 사용하기 위해 ④ [호스트 전용 어댑터] 선택 -> ⑤ [VirtualBox Host-Only Ethernet Adapter] 선택(Public Network 용이다)


[RAC 의 Storage 구성 (01.Openfiler 설치)] 12. 가상머신의 network adapter 추가 2.

12. Storage 솔루션 가상머신의 Private network를 설정하기 위해 위와 같이 ① [네트워크] 선택 -> ② 가상머신의 Public network 를위해 [어댑터 1]을 선택 -> ③ [어댑터 1] 네트워크 어댑터를 사용하기 위해 체크박스 체크 -> [11gR2 RAC 설치(ASM ISCSI)] 02. RAC 가상 네트워크 구성 에서 생성한  [VirtualBox Host-Only Ethernet Adapter] 를 사용하기 위해 ④ [호스트 전용 어댑터] 선택 -> ⑤ [VirtualBox Host-Only Ethernet Adapter #2] 선택(Private network 용이다)


[RAC 의 Storage 구성 (01.Openfiler 설치)] 13. Storage 솔루션 설치 01.

13. [RAC 의 Storage 구성 (01.Openfiler 설치)] 13 까지 세팅을완료하고 가상머신 시작버튼을 클릭하면 위와 같이 설치 선택화면이 나타난다. 여기에서 [Enter] 키를 입력하여 다음 화면으로 넘어간다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 14. Storage 솔루션 설치 02.

14.


[RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 15. Storage 솔루션 설치 03.

15. 이화면에는 나타나지 않지만 OS 설치시 사용할 언어를 선택한다 후 다음화면으로 넘어오면 위 [RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 14로 넘어오게 되는데 ① U.S. English 선택해서 시스템 에서 사용할 keyboard type 을 설정 한다. -> ② [Next] 버튼을 클릭하면 아래 [RAC 1번노드 mk01n01 구성 (06.Openfiler 설치)] 15 과 같이 모든 disk 를 초기화시킨다(디스크의 모든 데이터가 삭제된다고 보면됨.)


[RAC 의 Storage 구성 (01.Openfiler 설치)] 16. Storage 솔루션 설치 04.

16. 위와같이 ①[Next] 버튼을 클릭하면 팝업창이 나타나는데 이때 ② Yes를 클릭하면 disk 의 모든 파티션을 초기화 한다. 


[RAC 의 Storage 구성 (01.Openfiler 설치)] 17. Storage 솔루션 설치 05.

17. 앞선 포스트의 [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치) 에서 

[mk01n01 구성] 15. Oracle Linux 64bit 설치 8. (Disk Partition 설정 1.) ~[mk01n01 구성] 16. Oracle Linux 64bit 설치 9. (Disk Partition 설정2. ) 부분을 참고하여 위와 같이 1번 disk 의 파티션을 생성하되 2번째 disk를 가지고 shared storage를 구성할 것이므로 파티션은 생성하지 않고 [Next] 버튼클릭.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 18. Storage 솔루션 설치 06.

[RAC 의 Storage 구성 (01.Openfiler 설치)] 17의 파티션 설정까지 끝나고 나면 위 [RAC 의 Storage 구성 (01.Openfiler 설치)] 18 과 같이 default로 설정되어진다 [Next] 버튼으로 다음으로 넘어간다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 19. Storage 솔루션 설치 07.

19. [RAC 의 Storage 구성 (01.Openfiler 설치)] 18 설정에서 위와 같이 넘어오면 partition 을 재설정한다. ② 설치에 사용할 disk 를 선택 ->   ③어느 disk로 booting할지 선택 -> ④[Next] 버튼을 클릭하여 다음단계로 이동.


※ default 로 이미 선택되어있으므로 ④[Next] 를 클릭하여 다음 단계로 이동하면 된다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 20. Storage 솔루션 설치 08.


20. 여기서는 앞서서 mk01n01에서 설정했었던 서버의 Public 및 Private network 의 설정하는 화면으로

앞서 포스팅 한 [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치)의 [mk01n01 구성] 20. Oracle Linux 64bit 설치 12.(서버 Network 세팅 3. Private IP 세팅) 을 참고하여 세팅하기 바란다. 

① [Edit] 버튼을 클릭하여 나타나는 팝업창에 Public 및 Private IP를 할당하고 나면 

② 와 같이 네트워크가 세팅된것 을 확인 할 수있다. 

※ Public network 로는 192.168.12.5, Private IP 로는 192.168.13.5 로 세팅한 후 확인 할 수 있다.

   netmask 는 255.255.255.0 로 IP뒤에 /24 가 붙는다.

③ storage 서버의 hostname을 설정한다.

④ network 의 gateway 및 1차 및 2차 DNS 를 설정한다.

⑤ 위 모든 사항을 설정했다면 [Next] 버튼을 클릭하여 다음으로 이동한다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 20. Storage 솔루션 설치 09.

20. 위에서는 서버에서 사용할 시간대를 설정 한다. ① 위치를 클릭하게 되면 ②[Asia/Seoul] 로 바뀐다.

[Next]를 클릭하여 다음으로 이동.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 21. Storage 솔루션 설치 10.

21. 이제까지 설정이 완료 되었다면 위 화면을 만난다. 위 화면은 root 패스워드 설정화면이다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 22. Storage 솔루션 설치 11.

22. [Next]


[RAC 의 Storage 구성 (01.Openfiler 설치)] 23. Storage 솔루션 설치 12.


23. 이제까지의 설정대로 설치중.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 24. Storage 솔루션 설치 13.

23. 설치완료후 [Reboot] 버튼 클릭


[RAC 의 Storage 구성 (01.Openfiler 설치)] 25. Storage 솔루션 설치 14.

25. 위 [RAC 의 Storage 구성 (01.Openfiler 설치)] 25 에서 reboot 후 위와 같이 prompt로 나타난다.

여기에서  Crom, Explorer와 같은 Web Browser 의 주소창에 ①과 같이 주소를 입력하게 되면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 26. 과 같이 storage 를 설정할수 있는 웹 화면이 나타난다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 26. Openfiler login

26. 위화면은 ISCSI 스토리지 솔루션인 Openfiler를 웹 브라우저로 login 하는 모습니다.

① ID 는 : openfiler

② 패스워드는 : password

③ 위 ID/패스워드를 각각 입력후 [login] 버튼을 클릭하여 다음으로 이동.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 27. Openfiler 상태 확인.

27. 이 화면은 login 후 바로 나타나는 화면으로 storage 의 status를 확인 할 수 있는 화면이다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 28. Network 구성확인

28. login 후 ① [System] 탭을 클릭하게 되면 ②와 같이 Openfiler 설치시 설정했던 network 구성을 확인 할수 있다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 29. ISCSI 서비스 enable

29. RAC 의 각 노드(mk01n01, mk01n02)에 ISCSI 서비스로 공유스토리지를 공급하기 위해 

① Services 탭 으로 이동

[iSCSI Target][iSCSI Initiator]를 enable 버튼 클릭 후 start 버튼을 차례로 클릭하여 serivce를 start 시킨다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 30. ISCSI 서비스 enable 확인

30. [RAC 의 Storage 구성 (01.Openfiler 설치)] 28. 에서 [iSCSI Target] 및 [iSCSI Initiator]를 enable 후 start 된 것을 확인한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 31. Shared Volumns 구성하기 1.

31. 이제는 Shared Volumn들을 구성할 차례이다. 위 화면과 같이 [Volumns] 탭을 클릭하면 ② Volumn 이 아무것도 잡히지 않은 것을 확인 할수 있다. 여기에서 ③ 의 [create new physical volumns] 링크를 클릭하게 되면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 32와 같이 Storage서버의 스토리지 disk 들이 나타난다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 32. Shared Volumns 구성하기 2.

32. 스토리지 서버에서 Shared disk 로 사용할 ① /dev/sdb 디스크 장치를 선택하면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 33 과 같이 Physical Volumn을 생성하는 화면이 나타난다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 33. Shared Volumns 구성하기 3.

33. Shared Volumn은 logical Volumn 으로 생성하기 때문에 그전에 ① [Create] 버튼을 클릭하여 /dev/sdb 장치의 남아있는 모든 Volumn 을 Physical Volumn 을 생성 한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 34. Shared Volumns 구성하기 4.


34. ① 위와 같이 Physical Volumn 생성하면 생성한 Physical Volumn 을 확인 할수 있다.

     ② 왼쪽 상단으 [Volumn Group] 탭을 클립하여 volumns 을 구성한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 35. Shared Volumns 구성하기 5.

35. 공유할 Volumn 들을 나누기 위해 먼저 Volumn Group을 생성해야 하는에 [RAC 의 Storage 구성 (01.Openfiler 설치)] 33,34 에서 생성한 Pysical Volumn들을 모두 ③ [Add Volumn group] 버튼을 클리릭하여 Volumn Group으로 생성한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 36. Shared Volumns 구성하기 6.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 37. Shared Volumns 구성하기 7.

36. 37. Volumn이 생성되면  과 같이 Physical Volumn 이 생성된다. ② Add Volumn 버튼을 클릭하여 Logical Volumn 생성 해서 각각의 node 에 공급할수 있게 되는것이다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 38. Shared Volumns 구성하기 8.

38. [RAC 의 Storage 구성 (01.Openfiler 설치)] 37 에서 아래로 스크롤을 하면 ①과 같이 shared 할 volumn을 생성할 수있다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 39. Shared Volumns 구성하기 9.

39. [RAC 의 Storage 구성 (01.Openfiler 설치)] 38 에서 생성한 Shared Volumn 은 위와 같다. 


[RAC 의 Storage 구성 (01.Openfiler 설치)] 40. Shared Volumns 구성하기 10.

40. 위에서 생성한 Shared Volumn 은 위 에서 보는 바와 같이 OCR_VOTE Volumn 3개(각 2GB), DATA volumn 3개(각 5GB), RECO volumn 3개(각 5GB) 각각 생성한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 41. Shared Volumns 구성하기 11.

41.  다시 ①[System] 탭을 클릭하여 아래 로 스크롤을 하면 아래 [RAC 의 Storage 구성 (01.Openfiler 설치)] 42과 같이 shared Volumn 을 공급할 IP를 설정하는 곳이 나온다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 42. Shared Volumns 구성하기 12.

42. 각 DB 서버의 Private netowrk 와 통신 시키기 위해 ① 과 같이 각 DB서버의 Private IP를 설정한다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 43. Shared Volumns 구성하기 13.

43. ①[Volumns] 탭을 클릭하면 ② iSCSI Targets 탭이 나오는 데 이텝을 클릭하면 [Target IQN] 을 생성하는 화면이 나타난다. 여기에서 ③IQN을 클릭하여 IQN을 생성한다.


 ※ IQN이란 네트워크로 서로 연결된 장 iSCSI device를 식별할수 있다.

    IQN은 iSCSI 대상을 사용할 OS의 iSCSI Initiator로 찾을 수 있으며 

    IQN에 접근할수 있는 권한을 시스템에 할당하게 되면
    권한을 부여받은 시스템만 iSCSI device에 연결할 수 있다.



[RAC 의 Storage 구성 (01.Openfiler 설치)] 44. Shared Volumns 구성하기 14.

44. [RAC 의 Storage 구성 (01.Openfiler 설치)] 43에서 IQN 생성 이후 ① [LUN Mapping] 탭을 클릭하여 ② 와 같이 모두 매핑을 시킨다. (② 현재는 모두 매핑되어 [Unmap]로 보이지만 매핑시키기 전은 [Map] 버튼이다.


[RAC 의 Storage 구성 (01.Openfiler 설치)] 45. Shared Volumns 구성하기 15.

45. ① [Network ACL] 탭을 클릭하면 위의 ②의 위치에 [Deny] 탭이 있는데 이것을 모두 [Allow] 로 바꾼 이후 ③ [Update] 버튼을 클릭한다. 여기는 위에서 설정한 Shared Volumn들을 각 DB 서버의 private IP로 허용할지를 설정하는 곳이다. 


여기까지가 Openfiler 설치 및 Shared Storage의 기본구성 내용이다.





■ [11gR2 RAC 설치(ASM ISCSI)] 04. RAC 1번노드 mk01n01 구성 (1. OS setup)

DBMS/[Oracle] ■ 01. Installation & Patches 2016.05.26 23:35

■ [11gR2 RAC 설치(ASM ISCSI)] 04. RAC 1번노드 mk01n01 구성 (1. OS setup)


※ Oracle installation Guide

http://docs.oracle.com/database/121/CWLIN/toc.htm


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 01. root user 로그인

01. OS 설치 후 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)01. mk01n01 OS setup 에서 [Username] 에 root 를 입력후 [Enter].


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 02. root user password 입력

02. [RAC 1번노드 mk01n01 구성 (1.OS setup)] 02에서 ① 과 같이 [Password] 입력 박스에 root user OS 설치시 설정 했엇던 root user의 패스워드를 입력 후 [Enter]


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 03. OS 설치 ISO 파일 다시 loading

03. [RAC 1번노드 mk01n01 구성 (1.OS setup)] 03 ①의 [CD-ROM 아이콘]을 우클릭 하면 [디스크 이미지 선택] 을 할수 있는 팝업창이 나타난다. 여기에서 OS 설치시 사용했던 ISO 이미지를 선택해서 재 loading 한다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 04. OS Image Loading

04. CD Image 가 loading 되면 위와같이 CD-ROM 이 자동으로 mount 된다. 

mount 가되면 ① 과 같이 CD-ROM 아이콘이 나타나며 ② 와 같이 CD-ROM 의 내용이 팝업창으로 나타난다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 05. Open Terminal 1.

05. 바탕화면에서 마우스 우 클릭을 하면 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 05 와 같이 팝업창이 나타나는데 ①[Open Terminal]과 을 클릭한다. 


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 06. Open Terminal 2.

06. 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 06 같이 Terminal 창이 나타나면 linux Command로 세팅을 할수 있다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 07. Network Gateway 확인 및 재설정 1. 

07. 터미널에서  과 같이 neat 를 입력하면 GUI 로 network 를 재설정 할수 있는 팝업창이 뜬다. (root user)

② 에서 publc IP 를 세팅한 NIC(Network Interface Card) eth0 (ethernetcard 0 의 의미로 알고 있음) 를 더블 클릭하면 IP 를 세팅할수 있는 팝업창이 나타나는데 여기에서 ③ [Default gateway address] 에 Gateway IP 를 설정하는데 OS 설치시 default Gateway 로 public IP 대역의 Gateway IP 를 넣었기 때문에 자동으로 default 로 Public IP 대역의 Gateway IP가 설정되어 있다. 

④ eth1 을 더블클릭 하게 되면 Private IP 대역의 network 를 설정사항들을 확인 할 수 있다.


※ 물론 다른방법도 있다.(내가 아는 한 2가지 정도가 더 있다. )

   하지만 여기서는 test 머신을 가장 간단히 구성하기 위함이므로 여기까지만 설명을 하도록 하고 나중에 다른 페이지에서 설명 하도록 하겠다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 08. Network Gateway 확인 및 재설정 2.

08. [RAC 1번노드 mk01n01 구성 (1.OS setup)] 08 에서 ①eth1 을 더블클릭하면 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 07 과 같이 IP 설정정보를 볼수 있는 팝업창이 나타나는데 OS 설치시 Default gateway 를 public 대역으로 입력했기 때문에 ② 와같이 public IP 대역의 gateway IP 로 설정되어있을 것이다. 이것을 ③ 과 같이 Private IP 대역대로 변경 후 확인 클릭.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 09. 네크워크 서비스 재 기동

09. [RAC 1번노드 mk01n01 구성 (1.OS setup)] 08 에서 Network 설정사항을 저장 후 적용을 위해  

위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 09 의 ① service network restart 로 네트워크 서비스를 재기동 한다. 


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 10. 터미널 프로그램에서 접속 1. 

09. 터미널 프로그램에서 위와 같이 접속할 수 있다. ssh 및, telnet으로 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 10 과 같이 접속할수 있다. 



[RAC 1번노드 mk01n01 구성 (1.OS setup)] 10. 터미널 프로그램에서 접속 2. 


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 11. 불필요 패키지 disable

[root@mk01n01 ~]# chkconfig --level 123456 sendmail off
[root@mk01n01 ~]# chkconfig --level 123456 cups off
[root@mk01n01 ~]# chkconfig --level 123456 cups-config-daemon off
[root@mk01n01 ~]# chkconfig --level 123456 smartd off
[root@mk01n01 ~]# chkconfig --level 123456 isdn off
[root@mk01n01 ~]# chkconfig --level 123456 iptables off

11. 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 11 과같이 package 들을 runlevel 1~6까지 off 시킨다.

※ 같은 command 로 on 시킬수 있다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 12. 부팅시 runlevel 설정

[root@mk01n01 ~]#vi /etc/inittab

id:3:initdefault:

12. GUI 환경은 필요없는 여러가지 많이 띄우기 때문에 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 12 와 같이 runlevel을 3까지만 설정한다. 

※ 나중에 command 창에서 init 5 로 GUI 모드로 띄울수 있다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 13. 필수 Package 설치
[root@mk01n01 ~]# cd /media/OL5.8\ x86_64\ dvd\ 20120229/

[root@mk01n01 Server]# rpm -Uvh libaio-devel-0.*
warning: libaio-devel-0.3.106-5.i386.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159
Preparing...                ########################################### [100%]
   1:libaio-devel           ########################################### [ 50%]
   2:libaio-devel           ########################################### [100%]

13. 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 03에서 우리는 먼저 OS 설치CD 를 mount 시켰다. 그 CD내의 설치 패키지가 있는 디렉토리로 이동해서 패키지를 설치한다. 위와 같이 패키지를 설치한다.

( url: http://docs.oracle.com/database/121/CWLIN/prelinux.htm#CEGBGACF )


설치되어야 할 필수 패키지목록은 아래와 같으며 위 libaio-devel-0.* 설치방법과 같이 RPM 을 설치 한다.


-- package list

binutils-2.17.50.0.6

compat-libstdc++-33-3.2.3

gcc-4.1.2

gcc-c++-4.1.2

glibc-2.5-58

glibc-devel-2.5-58

ksh

libaio-0.3.106

libaio-devel-0.3.106

libgcc-4.1.2

libstdc++-4.1.2

libstdc++-devel 4.1.2

libXext-1.0.1

libXtst-1.0.1

libX11-1.0.3

libXau-1.0.1

libXi-1.0.1

make-3.81

sysstat-7.0.2

nfs-utils-1.0.9-60.0.2

coreutils-5.97-23.el5_4.1



※ 참고로 설치하는 패키지는 부팅된 OS 의 버전 및 커널버전과 같아야 하며 꼭 같은 버전이 아니라 상위버전이면 설치 가능하다. 


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 14. FTP 및 Telnet 구동
-- gssftp
==============================

[root@mk01n01 ~]# vi /etc/xinetd.d/gssftp

# default: off
# description: The kerberized FTP server accepts FTP connections \
#              that can be authenticated with Kerberos 5.
service ftp
{
        flags           = REUSE
        socket_type     = stream
        wait            = no
        user            = root
        server          = /usr/kerberos/sbin/ftpd
        server_args     = -l                          # -a 옵션을 삭제
        log_on_failure  += USERID
        disable         = no                          # yes 를 no 로 변경
}
==============================

-------- telnet 
==============================

[root@mk01n01 ~]# vi /etc/xinetd.d/telnet

# default: on
# description: The telnet server serves telnet sessions; it uses \
#       unencrypted username/password pairs for authentication.
service telnet
{
        flags           = REUSE
        socket_type     = stream
        wait            = no
        user            = root
        server          = /usr/sbin/in.telnetd
        log_on_failure  += USERID
        disable         = no                         # yes 를 no 로 변경
}
==============================

14. 여기서는 FTP 및 telnet을 사용할 수 있도록 설정을 변경한다.

※ 보통 telnet 은 보안때문에 사용하지 않으며 FTP 또한 SFTP 를 사용하거나 데몬자체를 재설치를 하나 여기서는 OS에 기본으로 있는 기능을 사용해서 설치하는것을 위주로 설명한다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 15. tmpfs 수정
[root@mk01n01 ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda1             7.6G  3.5G  3.7G  49% /
/dev/sda3              18G  173M   17G   2% /u01
tmpfs                1006M     0 1006M   0% /dev/shm
/dev/hdc              3.4G  3.4G     0 100% /media/Enterprise Linux dvd 20120229

# umount tmpfs
# mount -t tmpfs tmpfs -o size=2048M /dev/shm

[root@mk01n01 Server]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda1             6.8G  3.5G  3.0G  55% /
/dev/sda3              38G  177M   36G   1% /u01
/dev/sr0              3.7G  3.7G     0 100% /media/OL5.8 x86_64 dvd 20120229
tmpfs                 2.0G     0  2.0G   0% /dev/shm

15. 여기서는 Linux의 tmp 파티션을 변경한다. 보통 세팅 값은 default 로 부팅마다 약 1G 가량이 mount되는데 나중에 패치 및 upgrade 하려면 최소 2GB 이상이 필요하다.

※ 재부팅시 적용될수 있도록 '/etc/fstab' 에 아래와 같이 tmpfs 변경

tmpfs /dev/shm tmpfs size= 2048m 0 0


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 16. /etc/host 파일 설정

[root@mk01n01 ~]# vi /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
# 127.0.0.1 storage.test.com storage localhost.localdomain localhost storage
# ::1 localhost6.localdomain6 localhost6

127.0.0.1 localhost.localdomain localhost        

# Storage                                    ## 우리가 사용할 Storage의 IP

192.168.13.5          storage.test.com       storage        

# 11gR2 RAC Setting   

# Public                                     ## 앞으로 구성할 RAC의 각 node 의 Public IP
192.168.12.11         mk01n01.test.com         mk01n01
192.168.12.12         mk01n02.test.com         mk01n02

# Private                                    ## 앞으로 구성할 RAC의 각 node 의 Private IP
192.168.13.11         mk01n01-priv.test.com    mk01n01-priv
192.168.13.12         mk01n02-priv.test.com    mk01n02-priv

# Vitural                                    ## 앞으로 구성할 RAC의 각 node 의 Virtual IP
192.168.12.13         mk01n01-vip.test.com     mk01n01-vip
192.168.12.14         mk01n02-vip.test.com     mk01n02-vip

# SCAN                                       ## 앞으로 구성할 RAC의 각 node 의 SCAN IP
192.168.12.15         scan.test.com            mark01-scan

16. 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 과 같이 /etc/hosts 에 우리가 사용할 서버들의 IP들을 형식에 맞게 입력한다. (여기에 서버정보를 와 alias를 입력 하게되면 앞으로 사용하는 여러 서버의 통신에서 이 alias를 사용할수 있다.)


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 17. OS 커널 수정 및 적용

[root@mk01n01 ~]# vi /etc/sysctl.conf           <-- 에 아래 사항 추가

# Oracle 11gR2 RAC Setting

fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 1054504960
kernel.shmmni = 4096
# semaphores: semmsl, semmns, semopm, semmni
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default=262144
net.core.rmem_max=4194304
net.core.wmem_default=262144
net.core.wmem_max=1048586

-- 적용을 위해 sysctl -p 수행


[root@mk01n01 ~]## /sbin/sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax =1054504960
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048586

17. sysctl 은 위와 같이 sysctl.conf 파일에 설정후 /sbin/sysctl -p 명령으로 Online 상에서 kernel 변수를 수정할수 있다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 18. PAM 을 이용한 자원 제한

[root@mk01n01 ~]# vi /etc/pam.d/login                    <-- 에 아래 사항 추가

# Oracle 11gR2 RAC Setting

session    required     pam_limits.so

18. 위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 18  같이 설정을 하면 PAM 을이용한 자원제한을 사용 하겠다는 것이다. (요즘은 OS 설치시 default 로 설정되는 것으로 보인다.)

설정은 아래[RAC 1번노드 mk01n01 구성 (1.OS setup)] 19 에서 설명.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 19. limit.conf 을 이용한 자원제한

[root@mk01n01 ~]# vi /etc/security/limits.conf           <-- 에 아래 사항 추가

# Oracle 11gR2 RAC Setting

grid                 soft    nproc   2047
grid                 hard    nproc   16384
grid                 soft    nofile  1024
grid                 hard    nofile  65536
# grid                 hard    maxlogins  1024      

oracle               soft    nproc   2047
oracle               hard    nproc   16384
oracle               soft    nofile  1024
oracle               hard    nofile  65536
# oracle               hard    maxlogins  1024

19. 위와같이 grid 및 oracle user(OS user임)에 대한 자원 제한을 할수 있다.

※ grid 및 oracle use의 nproc 및 nofile 을 설정한다. (maxlogins 는 보통 잘 설정하지 않는다.)

위에서 말하는 nproc  및 nofile은  접속한 세션에서 grid 및 oracle user 가 한번에 열수 있는 processor 와 file 파일 갯수이다. soft 는 user가 로그인 시 최초로 적용되는 값이며 hard는 시스템에서 사용할 수 있는 최대한의 값을 설정하는 것이다. 

hard는 root user에서 설정을 하며 해당 user는 설정된 값이상으로 변경이 불가능하다.

soft는 해당 user가 hard 값 이하까지  얼마든지 변경가능하다. 

※ 그리고 위에서 주석처리는 했지만 maxlogins 는 하루에 1024번 login 을 하게 되면 설정된 login을 막겠다는 것이다.


이외에 다른 재미있는 설정사항들이 많으나 여긴 RAC 설치를 위한 Post 이므로 필요한 값만 설정하도록 한다.

(OS 쪽도 아는한 포스팅을 할 예정으로 나중에 거기에서 다시 생각해보기로 한다.)


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 20. hangcheck timer 설정

[root@mk01n01 ~]# vi /etc/modprobe.conf                         <-- 아래 사항 추가

# Oracle 11gR2 RAC Setting

options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

-- 아래사항 수행

[root@mk01n01 ~]# modprobe -v hangcheck-timer

insmod /lib/modules/2.6.18-194.el5/kernel/drivers/char/hangcheck-timer.ko hangcheck_tick=30 hangcheck_margin=180

20. hangcheck 모듈은 RAC의 시스템의 상태를 체크하고 장애가 난 노드를 강제로 재부팅하기 위해 설정하는 설정으로 hangcheck_tick=30 은 30마다 hangcheck tick 을 전송하고 hangcheck_margin=180은 장애가 난 노드에 reset 명령을 180초 내에 전송하겠다는 의미이다.

해당 설정사항은 아래 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 21. 와 같이 설정하여 부팅시 항상 수행되도록 한다.

[RAC 1번노드 mk01n01 구성 (1.OS setup)] 20. hangcheck timer 부팅시 자동 실행

[root@mk01n01 ~]# vi /etc/rc.local                               <-- 아래 사항 추가

# Oracle 11gR2 RAC Setting

/sbin/modprobe hangcheck-timer rdate -s 192.168.12.11

20. /etc/rc.local 파일을 부팅시에  정의 된 command 나 스크립트를 수행하도록 하는명령으로 위에서 설정한 hangcheck-timer 를 설정 했다. (서버에 장애가 나더라도 재부팅을 하지 않겠다라고 하면 hangcheck-timer를 설정할 필요가 없다.)

[RAC 1번노드 mk01n01 구성 (1.OS setup)] 20. NTP 를 이용한 시간 동기화

[root@mk01n01 ~]# vi /etc/sysconfig/ntpd 

OPTIONS=" -x -u ntp:ntp -p /var/run/ntpd.pid"                     <-- -x 옵션 추가


[root@mk01n01 ~]# service ntpd start                              <-- ntp 구동
ntpd: Synchronizing with time server:                      [  OK  ]
Starting ntpd:                                             [  OK  ]


[root@mk01n01 ~]# ntpq -p                                         <-- ntp 구동 확인

     remote            refid      st t when poll reach   delay   offset  jitter
===============================================================================
 mk01n01.test.com 192.168.2.11    2 u   31   64    1   39.050    0.599   0.001
 LOCAL(0)        .LOCL.          10 l   28   64    1    0.000    0.000   0.001


ntp 를 모든 runlevel에서 동작하도록 설정

[root@mk01n01 ~]chkconfig --level 123456 ntpd on  

20. NTP를 이용한 시간동기화


위 [RAC 1번노드 mk01n01 구성 (1.OS setup)] 20 에서 나는 ntp 서버를 DB 1번노드로 사용할 mk01n01(192.168.12.11)의 IP 로 생성했지만 NTP 서버가 따로 있다면 NTP 서버를 따로 설정해도된다.

NTP 는 세계여러나라의 Time-server에 주기적으로 접속하여 해당서버 시스템의 시간을 맞춰주는 

Network Time Protocol Service 이다. RAC 를 구성하기 위해서는 각 Node 간 시간이 동기화 되어야 
하는데 이 NTP를 사용해서 시간을 동기화 한다.

NTP 를 구동하기 위해서는 NTP package 가 설치 되어 있어야 하며 '/etc/ntp.conf' 또는 '/etc/ntpd.conf'
의 설정파일이 존재해야 구동이 가능하다. (이미 OS 설치시 패키지를 선택했다.)

NTP 데몬을 이용한 타임서버 동기화 방법을 사용하면 rdate를 이용하는 것보다 오차 범위를 줄일 수있으며
또한 ntp1.epidc.co.kr 의 NTP 서버를 사용하는 것보다 ISP 나 IDC에 다른 서버가 있다면 그것을 사용하는 것이 좋다.

OLE 5.8 에서는 기본 Package에 설치는 되어있지만 설정파일이 없기 때문에 바로 구동되지는 않는다.
-- '/etc/ntp.conf.org' 원본파일이 존재 하기 때문에 NTP를 구동하기 위해 복사해서 사용할 수있다.

※ 나중에 NTP 설정 Post 에서 NTP 설정을 다를 예정이므로 NTP 설정에 대한 자세한 내용은 그때 다루도록 한다.


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 21. OS Group 및 User 생성

[root@mk01n01 ~]# /usr/sbin/groupadd -g 1000 dba
[root@mk01n01 ~]# /usr/sbin/groupadd -g 1001 oinstall
[root@mk01n01 ~]# /usr/sbin/useradd -u 1001 -g dba -G oinstall grid
[root@mk01n01 ~]# /usr/sbin/useradd -u 1002 -g dba -G oinstall oracle

21. OS의 group을 dba와 oinstall 생성하고  grid user 와 oracle user 를 생성한다.

위 command 의 의미는 1000 이라는 gid(group id)를 가지는 dba user 와 1001 의 gid(group id)를 가지는 oinstall user를 생성 한다.


grid user 생성시 에 uid(user id)는 1001 로 primary group 은 dba, supplementary group 은 oinstall 로 생성하며, 마찬가지로 oracle user 의 uid(user id)는 1002 primary group 은 dba, supplementary group 으로는 oinstall로 생성한다.


※ 이렇게 생성하는 이유는 운영에서 permission 으로 보안요소를 적용할수 있는데 이때 유용하게 사용할 수있어서 이다. 


※ TIP. user 삭제 후 같은 user 생성 하기


group 을 삭제할때는 groupdel [그룹명] 으로 삭제가 잘되나

user를 삭제할때는 꼭 -r 옵션을 줘야 한다.

그렇지 않으면 같은 user 생성시 아래와 같은 에러메시지가 나타난다.


/*

-- 에러메시지

[root@mk01n01 ~]# /usr/sbin/useradd -u 1002 -g oinstall -G dba oracle

Creating mailbox file: File exists

*/


생성이 안되고 아래와 같은 메세지가 나타날경우 /var/spool/mail/ 에

생성 user 명이 파일로 존재한다. 그 user 명의 파일을 삭제 해줘야

userdel 로 삭제했던 user와 같은 user를 추가할수 있다.


이유는 user 생성시 각 user 마다 mailbox가 생성되는데 이 위치가  '/var/spool/mail/[user 명]' 이다. 

user 삭세시 -r 옵션을 주지 않으면 이 mailbox가 삭제되지 않기 때문이다.




[RAC 1번노드 mk01n01 구성 (1.OS setup)] 22. User Password 설정

[root@mk01n01 ~]# passwd grid
Changing password for user grid.
New UNIX password: 
BAD PASSWORD: it is based on a dictionary word
Retype new UNIX password: 
passwd: all authentication tokens updated successfully.
[root@mk01n01 ~]# passwd oracle
Changing password for user oracle.
New UNIX password: 
BAD PASSWORD: it is based on a dictionary word
Retype new UNIX password: 
passwd: all authentication tokens updated successfully.

22. 위와 같이 각 user 의 password를 설정한다.

(welcome1 으로 설정 나중에 위와 같은 방법으로 변경가능 하다.)


[RAC 1번노드 mk01n01 구성 (1.OS setup)] 23. 설치에 필요한 디렉토리 생성

#1. Create the Oracle Inventory Directory

[root@mk01n01 ~]# mkdir -p /u01/app/oraInventory
[root@mk01n01 ~]# chown -R grid:dba /u01/app/oraInventory
[root@mk01n01 ~]# chmod -R 775 /u01/app/oraInventory

#2. Creating the Oracle Grid Infrastructure Base & Home Directory

[root@mk01n01 ~]# mkdir -p /u01/app/11.2.0/grid_base
[root@mk01n01 ~]# mkdir -p /u01/app/11.2.0/grid_home
[root@mk01n01 ~]# chown -R grid:dba /u01/app/11.2.0/
[root@mk01n01 ~]# chmod -R 775 /u01/app/11.2.0/

#3. Creating the Oracle Base Directory

[root@mk01n01 ~]# mkdir -p /u01/app/oracle
[root@mk01n01 ~]# mkdir -p /u01/app/oracle/cfgtoollogs
[root@mk01n01 ~]# chown -R oracle:dba /u01/app/oracle
[root@mk01n01 ~]# chmod -R 775 /u01/app/oracle

#4. Creating the Oracle RDBMS Home Directory

[root@mk01n01 ~]# mkdir -p /u01/app/oracle/product/11.2.0/db_1
[root@mk01n01 ~]# chown -R oracle:dba /u01/app/oracle/product/11.2.0/db_1
[root@mk01n01 ~]# chmod -R 775 /u01/app/oracle/product/11.2.0/db_1


23. 여기에서는 Oracle RAC 설치 시 필요한 디렉토리 생성 및 퍼미션 설정을 한다.

#1. Inventory 디렉토리 생성 및 퍼미션 설정.

   - 이 디렉토리는 설치 또는 패치 등을 할때 모든 정보들이 기록되는 중요한 디렉토리이다.

#2. grid_base 및 grid_home 디렉토리 생성 및 퍼미션 설정.

   - 오라클에서는 grid 설치시 grid_base 와 grid_home 의 경로를 따로 설치하도록 권고한다.

     물론 같이 사용해도 상관없으나 나는 편의를 위해서 설정.

#3. 오라클 Base 디렉토리 생성 및 퍼미션 설정.

#4. 오라클 home 디렉토리 생성 및 퍼미션 설정.



[RAC 1번노드 mk01n01 구성 (1.OS setup)] 24. root user 및 grid, oracle user 의 환경변수 설정

#1. root user의 .bash_profile 설정

[root@mk01n01 ~]# vi .bash_profile                   <-- 에 아래사항 추가

# Oracle 11gR2 RAC Settings 

GRID_BASE=/u01/app/11.2.0/grid_base;          export GRID_BASE
GRID_HOME=/u01/app/11.2.0/grid_home;       export GRID_HOME
PATH=$PATH:$HOME/bin:$GRID_HOME/bin;       export PATH

[root@mk01n01 ~]# . ./.bash_profile


#2. grid user의 .bash_profile 설정                                    <-- 에 아래사항 추가

[root@mk01n01 ~]# su - grid
[grid@mk01n01 ~]$ vi .bash_profile

# Oracle 11gR2 RAC Settings

GRID_BASE=/u01/app/11.2.0/grid_base;         export GRID_BASE
GRID_HOME=/u01/app/11.2.0/grid_home;        export GRID_HOME
PATH=$PATH:$HOME/bin:$GRID_HOME/bin;        export PATH

[grid@mk01n01 ~]$ . ./.bash_profile


#3. oracle user의 .bash_profile 설정

[grid@mk01n01 ~]$ su - oracle
Password: 

[oracle@mk01n01 ~]$ vi .bash_profile                  <-- 에 아래사항 추가

# Oracle 11gR2 RAC Settings

TMP=/tmp; export TMP
TMPDIR=$TMP; export TMPDIR

ORACLE_UNQNAME=cafe;                                         export ORACLE_UNQNAME   
ORACLE_BASE=/u01/app/oracle;                                 export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1;                export ORACLE_HOME
GRID_HOME=/u01/11.2.0/grid;                                  export GRID_HOME
ORACLE_SID=cafe01;                                           export ORACLE_SID
ORACLE_TERM=xterm;                                           export ORACLE_TERM
NLS_LANG=american_america.utf8;                              export NLS_LANG
PATH=/usr/sbin:$PATH;                                        export PATH
PATH=$ORACLE_HOME/bin:$PATH:$GRID_HOME:$GRID_HOME/bin;       export PATH
LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;              export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib; export CLASSPATH

if [ $USER = "oracle" ]; then
  if [ $SHELL = "/bin/ksh" ]; then
    ulimit -p 16384
    ulimit -n 65536
  else
    ulimit -u 16384 -n 65536
  fi
fi

[oracle@mk01n01 ~]$ . ./.bash_profile


23. root user 및 grid, oracle user 의 환경변수를 설정한다. 

     #1. #2. root user와 grid user 에는 GRID_BASE와 GRID_HOME 대한 내용만 정의한다.

     #3. 오라클 S/W 설치시 필요한 oracle_home, grid_home, oracle_sid, 프롬프트의 nls_lang 등을 정의한다.

     



★ 1. RAC 는 최소 2개의 DB 노드를 필요로 하기 때문에 ■ [11gR2 RAC 설치(ASM ISCSI)] 04. RAC 1번노드 mk01n01 구성 (1. OS 설치) 와 ■ [11gR2 RAC 설치(ASM ISCSI)] 04. RAC 1번노드 mk01n01 구성 (1. OS setup) 을 다시 한번 반복하여 새로 설치를 하는방법과 

★ 2. Virtual Machine 를 복제하여 2번노드를 생성하는 방법이 있다.

      (Virtual Machine 를 복제 하는 방법은 나중에 다루도록 하겠다.

       ※ [11gR2 RAC 설치(ASM ISCSI)] 01. Oracle 11gR2 RAC TEST Machine 구성 참고)


## 앞으로의 내용들은 2개노드를 모두 설치 한 이후의 내용이다. 




■ [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치)

DBMS/[Oracle] ■ 01. Installation & Patches 2016.05.20 20:50

■ [11gR2 RAC 설치(ASM ISCSI)] 03. RAC 1번노드 mk01n01 구성 (1. OS 설치)


※ Oracle Enterprise Linux download 

이제 우리가 설치해야 할 Database 의 OS 를 설치해야 한다. 

OS 이미지 파일은 아래 link 에서 다운로드 할수 있으며 다운로드 하기 위해서는 회원가입을 해야 한다.

https://edelivery.oracle.com/osdc/faces/Home.jspx


[mk01n01 구성] 01. mk01n01 Virtual Machine 생성 1.

01. 위 그림 [mk01n01 구성] 과 같이 ①[새로만들기] 버튼을 클릭하여 Virtual Machine 생성.


[mk01n01 구성] 02. Virtual Machine 명과 생성할 OS 종류, DB 서버에서 사용할 메모리 설정.

02. [01]에서 새로 만들기 버튼을 클릭하게 되면 위 [mk01n01 구성] 02와 같이 가상머신을 만드들 기본창이 나타나는데 아래와 같이 설정 한다. 

① 가상머신의 이름설정(나는 mark01 node01의 의미로 mk01n01로 했다. 다르게 설정을 해도 무방하다.)

② OS 종류 설정 1. Linux 및 unix, windows 등을 설정할수 있다. (OS 를 Linux로 설치하기 위해 Linux  를 선택.)

③ OS 종류설정 2.  Redhat Linux 의 32bit 또는 64bit 에 설치를 할지 아니면 Oracle 사의 Linux 32bit 또는 64bit를 설치 할지 결정한다. (Oracle Linux 64bit 선택)

④ 가상머신이 사용할 memory  설정 가상머신에서 사용할 memory 를 설정한다. (테스트 머신으로는 노드당 2GB 정도가 적당한 것 같다.)

⑤ 가상머신이 사용할 disk 공간을 지금 생성할지 결정 ([지금 새 가상디스크 만들기] 선택)

 위 사항들을 선택후 [만들기]를 클릭하여 가상머신 생성


[mk01n01 구성] 03. 가상머신 을 생성시 설정 (가상머신을 생성할 위치 및, DB 서버 내장디스크(Internal Disk) size, 가상머신 을 저장할 확장자(나중에 다른 가상머신 S/W와 호환성 때문), 하드디스크에 저장시 사용할 저장 방법 등 설정)   그림을 클릭하여 크게 보기를 권장 함.

03. 아래 [mk01n01 구성] 03 과 같이 설정.

가상머신에서 사용할 internal disk 의 size 를 결정 

하드디스크 파일종류(다른 virtual machine 과의 호환성을 위해 설정한다. 우리는 vmware와의 호환을 위해 vmdk 설정)

가상머신을 물리적 하드디스크에 저장할때 가상머신의 disk 사용량이 늘어날때마다 같이 늘어나는 동적할당을 할지, 고정적으로 먼저 50GB 를 확보하고 사용할지 결정하며, 50GB에 대해서 2GB 단위로 파일을 나누어서 사용을 할지를 결정한다.(2GB 단위로 나누는 이유는 가상머신 S/W가 파일에 접근시 병렬로 접근하게되어 좀더 disk 를 읽는데 빠르다고 한다.)

가상머신의 파일을 저장할 위치를 설정하기 위해 ④ 버튼을 클릭하여 

의 위치에 

mk01n01.vmdk 파일명으로 저장한다.

저장할 확장자 선택버튼이며 VMware 와 호환을 위해 .VMDK 로 설정한다.

[저장(S)] 버튼을 클릭하여 생성

 

[mk01n01 구성] 04. 가상머신의 네트워크 설정 1.그림을 클릭하여 크게 보기를 권장 함.

04. 위 03에서 가상머신을 생성하면 [mk01n01 구성] 04의 ①과 같이 가상머신이 생성된다. 여기에서

① 을 클릭하여 가상머신을 선택한 후

② 설정을 클릭하면 아래 [mk01n01 구성] 04. 처럼 가상머신의 세부사항을 설정할수 있는 팝업창이 뜬다.

③ 팝업창에서 ③ 네트워크 를 클릭하면 오른쪽에 네트워크 어댑터를 설정할수 있는 화면이 나타난다.

    (Virtualbox에서는 1노드당 최대 4개의 network 어댑터 밖에 설정하지 못한다.)

④ [어댑터 1] 탭 선택

⑤ [네트워크 어댑터 사용하기]의 체크박스를 체크하여 네트워크 어댑터를 사용하도록 해야 한다.

    (Public network 을 위한 네트워크 카드 추가.)

⑥ DB설치 또는 사용할때 internet이 필요 없으므로 [호스트 전용 어댑터] [11gR2 RAC 설치(ASM ISCSI)] 02. RAC 가상 네트워크 구

    성에서 생성한 ⑦ [VirtualBox Host-Only Ethernet Adapter] 로 설정한다. (Public Network 용)

     ([VirtualBox Host-Only Ethernet Adapter #2] 도 있지만 이 네트워크 어댑터는 private network 용으로 사용할 것임.)

[확인]버튼을 클릭하여 설정을 완료


[mk01n01 구성] 05. 가상머신의 네트워크 설정 2. 그림을 클릭하여 크게 보기를 권장 함.

05. Private network를 위해 [mk01n01 구성] 04. 에서 설정한 것과 같이 위 [mk01n01 구성] 05. 도 설정한다.

① 네트워크 선택 -> ② [어댑터 2] 탭 선택 ->  [네트워크 어댑터 사용하기] 체크박스 체크 -> ④ [mk01n01 구성] 04.⑥ 과 마찬가지로 [호스트 전용 어댑터] 를 선택 -> ⑤ [VitrualBox Host-Only Ethernet Adapter #2] 를 선택. (Private Network 용) -> ⑥ 각 세팅이 맞는지 확인 후 [확인] 버튼 클릭


[mk01n01 구성] 06. 가상머신에 설치할 ISO Image 선택

06. [mk01n01 구성] 05와 같이 network 구성을 끝내게 되면 위[mk01n01 구성] 06 과 같이

 ① [저장소] 선택 ->  [비어있음] CD-ROM 아이콘선택 -> ③ CD 아이콘 선택 -> ④ ISO image 선택 -> ⑤ 확인

으로 ISO 이미지로 booting 하도록 설정 한다. 

(최초 부팅시만 ISO 이미지로 부팅되며 두번재부터는 가상머신의 bootloader로 부팅된다.)


[mk01n01 구성] 07. 

07. [mk01n01 구성] 01 [mk01n01 구성] 06 까지 구성이 끝나면 위[mk01n01 구성] 07. 와 같이 설정사항들을 확인 할수 있다. 확인 후  [시작] 버튼으로 가상머신을 구동 시킨다.


[mk01n01 구성] 08. Oracle Linux 64bit 설치 1.

08. 가상머신을 부팅하게 되면 위 [mk01n01 구성] 08. 과 같은 화면이 나타나는데 키보드 <Enter> 키 입력해서 Graphical mode 로 설치한다.


[mk01n01 구성] 09. Oracle Linux 64bit 설치 2. 

09. [mk01n01 구성] 09. 화면에서 skip 을 선택 후 [Enter] 키 입력.

(CD disk 검사를 skip 한다.)


[mk01n01 구성] 10. Oracle Linux 64bit 설치 3.

10. [mk01n01 구성] 09 에서 skip 을 선택 하면 위 [mk01n01 구성] 10 과 같이 Oracle Linux 의 Release Note 를 확인할수 있는 화면이 나타나는데 우리는 DB 설치가 우선이므로 [Next] 를 버튼을 클릭하여 다음으로 이동한다.


[mk01n01 구성] 11. Oracle Linux 64bit 설치 4. (OS 설치시 사용할 언어 선택)

11. 위와같이 [mk01n01 구성] 11. 에서는 Installation 시 사용하는 언어를 선택하고 아래 그림 [mk01n01 구성] 12. keyboard 언어를 선택한다.


[mk01n01 구성] 12. Oracle Linux 64bit 설치 5. (Keyboard 언어 선택)

12. OS 설치시 사용할 Keyboard 자판 언어를 선택.


[mk01n01 구성] 13. Oracle Linux 64bit 설치 6. (DISK 의 모든 데이터를 삭제하고 초기화)

13.[mk01n01 구성] 13. 마운트 된 DISK 의 모든 데이터를 삭제하고 초기화 하도록 물어보는 팝업창이 나타나는데 OS 설치를 위해 모든 Insternal Disk 를 초기화 해야 하므로 ① [Yes] -> ② [Next] 를 차례로 클릭.


[mk01n01 구성] 14. Oracle Linux 64bit 설치 7. (Disk partition을 자동/수동 생성 선택)

14. [mk01n01 구성] 14 에서는 [Create custom layout] -> ② [Next] 을 선택해서 내가 필요한 partition을 직접 설정하도록 한다.


[mk01n01 구성] 15. Oracle Linux 64bit 설치 8. (Disk Partition 설정 1.)

15. [mk01n01 구성] 15에서 ① Free 파티션을 더블클릭하여 아래의  [mk01n01 구성] 16 과 같이 각각 생성할 파티션을 설정한다. 

( / : 약7GB , swap : 4GB(memory 2배), /u01 : 나머지 (SW 를 위한 internal disk 공간임)


[mk01n01 구성] 16. Oracle Linux 64bit 설치 9. (Disk Partition 설정2. )

16. OS 및 DBMS S/W 를 설치하기 위해 [mk01n01 구성] 16. 과 같이 partition 을 설정한다. 

( / 파티션에는 OS , /u01 파티션에는 grid 와 oracle DBMS S/W 를 설치할 예정이다.)


[mk01n01 구성] 17. Oracle Linux 64bit 설치 10. (GRUB(Boot loader) 가 설치될 위치 설정)

17. ①,  GRUB(Boot loader) 의 위치를 설정하거나 booting 시 패스워드를 설정한다. default 세팅 그대로 ③[Next] 버튼을 클릭한다.

(boot loader 위 위치와 boot loader 로딩시 패스워드를 설정할수 있지만 왠만해서는 안건드리는게 좋다.)


[mk01n01 구성] 18. Oracle Linux 64bit 설치 10. (서버 Network 세팅 1. )

18. OS 기동시 사용할 서버의 Network 세팅한다. [mk01n01 구성] 18. 서버 Network 세팅 1. 의 ① [Edit] 버튼을 클릭하면 아래 [mk01n01 구성] 19. 서버 Network 세팅 2. 과 같이 서버에서 사용할 IP Address를 입력할 수 있다.


[mk01n01 구성] 19. Oracle Linux 64bit 설치 11.(서버 Network 세팅 2. Public IP 세팅)

19. IP Address를 설정할수 있는 팝업창이 뜨면

IPv4 를 사용할 것이기 때문에 ① [Enable IPv4 support] 체크박스에 체크 한다.

IP 를 Manual 로 지정해서 사용하도록 하기 위해 ② [Manual configuration] 을 선택한다.

사용할 IP Address를 입력한다. [대역은 네트워크세팅에서 이미 설정했다]

사용하는 netmask 를 입력한다.

IPv6 를 사용하지 않을것이기 때문에 ⑤ [Enable IPv4 support] 체크박스를 체크 해제 한다.

사용할 IP 를 위와같이 입력이 완료 되었으면 [OK] 버튼을 클릭하여 설정을 완료 한다.


[mk01n01 구성] 20. Oracle Linux 64bit 설치 12.(서버 Network 세팅 3. Private IP 세팅)

20. 위 [mk01n01 구성] 19. 서버 Network 세팅 2. Public IP 세팅 과 같이 Private IP 를 세팅한다.

(물론 사용할 대역은 틀리다.)


[mk01n01 구성] 21. Oracle Linux 64bit 설치 13.(서버 Network 세팅 3. hostname 및 게이트웨이 DNS 설정)

21. 위 [mk01n01 구성] 19. 서버 Network 세팅 2. Public IP 세팅  [mk01n01 구성] 19. 서버 Network 세팅 3. Private IP 세팅 에서 설정완료 되었다면 [mk01n01 구성] 21. 서버 Network 세팅 3. hostname 및 게이트웨이 DNS 설정 에서 와 같이

①[Active Boot] 체크박스 체크

설정한 IP 확인 (IP/24는 netmask 255.255.255.0를 의미한다.)

서버에서 사용할 Hostname 을 입력한다.

서버에서 사용할 Gateway, Primary DNS IP와, Secondary DNS IP 를 입력한다. (없으면 입력 X)

⑤ [Next] 버튼을 클릭하여 다음으로 진행 한다.


[mk01n01 구성] 22. Oracle Linux 64bit 설치 14.(서버 시간대 설정)

22. 서버에서 사용할 시간 UTC 시간대를 설정


[mk01n01 구성] 23. Oracle Linux 64bit 설치 15. (root 패스워드 설정)

23. 서버에서 사용할 root 패스워드 설정함.


[mk01n01 구성] 24. Oracle Linux 64bit 설치 16.(필요 Package 설치 1.)

24. 필요한 패키지를 설치한다. OS 설치이후 따로 패키지를 설치할수 있다. 

     여기서는 설치시에 필요 패키지를 설치 하며 직접 필요한 패키지를 선택해서 설치하기위해

     [Customize now] -> [Next] 버튼을 차례로 클릭한다.


[mk01n01 구성] 25. Oracle Linux 64bit 설치 17. (필요 Package 설치 2.)

25. [Desktop Environments] 카테고리에서 아래 패키지 선택

① [Desktop Environments] ->  [GNOME Desktop Environment] 선택


[mk01n01 구성] 26. Oracle Linux 64bit 설치 18. (필요 Package 설치 3.)

26. [Application] 카테고리에서 아래 Package 들을 차례로 선택한다.

 

[Application]  -> 

 

[Editors]

                     ->    [Graphical internet]

                     ->    [Office/Productivity]

                     ->    [Text-based internet]


[mk01n01 구성] 27. Oracle Linux 64bit 설치 19. (필요 Package 설치 4.)

27.  [Development] 카테고리에서 아래 패키지들 선택

 

[Development] -> 

② 

[Development Libraries] 

-> 

                      

-> 

   

[Development Tools]

      ->     

 

[Optional packages] 

                                   (클릭후 팝업창에서 gcc 관련 패키지 모두 선택)

                           ->    [Gnome Software Development]

                           ->    [Legacy Software Development]

                           ->   [X Software Developerment] -> ③[Optional packages]

                                  (libXp-devel-패키지 선택)


[mk01n01 구성] 28. Oracle Linux 64bit 설치 20. (필요 Package 설치 5.)

28. [Servers] 카테고리에서 아래 패키지들을 선택

 [Servers] -> ② [FTP Server]

                   ->    [Legacy Network Server] -> [Optional packages]

                            (rsh-server, telnet-server 선택)

                   ->    [Server Configuration Tools]


[mk01n01 구성] 29. Oracle Linux 64bit 설치 21. (필요 Package 설치 6.)

29. [Base System] 카테고리에서 아래 패키지들을 선택

① [Base System] -> ② [Administration Tools]

                          ->     [Base]

                          ->     [Java]

                          ->     [Legacy Software Support]

                           ->     [System Tools]

                           ->     [Xwindow System]


[mk01n01 구성] 30. Oracle Linux 64bit 설치 22. (필요 Package 설치 7.)

30. [Languages] 카테고리에서 한국어 패키지 선택(한국어패키지가 필요 없으면 선택하지 않아도 된다.)

① [Languages-> [Korean Support] 

위 그림들 처럼 OS 설치시 모든 setting 을 끝냈다면 [Next] 버튼을 클릭하여 OS 설치를 시작한다. [Next]클릭하면 아래 [mk01n01 구성] 31과 같이 OS 설치를 시작 하게 된다.


[mk01n01 구성] 31. Oracle Linux 64bit 설치 22. (OS 설치 1.)

31. 위에서 설정한 설정내용대로 OS 설치 중. 


[mk01n01 구성] 32. Oracle Linux 64bit 설치 23. (OS 설치 2.)

32. [mk01n01 구성] 31 까지 설정완료 후 OS 설치가 완료 되면 rebooting 을 하는 데 위 [mk01n01 구성] 32는 rebooting 까지 완료 된 화면이다.


[mk01n01 구성] 33. Oracle Linux 64bit 설치 24. (OS 설치 3.)

33. OS 최초 설치를 하게 되면 rebooting 후 위 [mk01n01 구성] 33 과 같이 나타나는데 라이센스, 보안설정사항, user 생성 등을 마지막으로 설정하게 된다.  ① [Forward] 클릭


[mk01n01 구성] 34. Oracle Linux 64bit 설치 25. (OS 설치 4.)

34. [Firewall(방화벽)] 설정을 해제한다. [Disabled] 선택 후 [Forward] 선택 하여 다음으로 이동.


[mk01n01 구성] 35. Oracle Linux 64bit 설치 26. (OS 설치 5.)

35. SELinux 설정 Linux 보안설정사항인 SELinux 또한 Disable 한다. 

[Disabled] 선택 후 [Foward] 선택하면 아래 [mk01n01 구성] 36 과 같이 팝업창이 나타난다.


[mk01n01 구성] 36. Oracle Linux 64bit 설치 27. (OS 설치 6.)

36. [Yes] 를 클릭하여 다음으로 이동.


[mk01n01 구성] 37. Oracle Linux 64bit 설치 28. (OS 설치 7.)

37. Kdump 를 설치 할것인지 붇는 화면이다. 우리는 DB 설치를 위해 최대한 OS를 가볍게 할것이기 때문에 [Enable kdump] 체크해제 버튼을 클릭하여 Kdump 설치 하지 않도록 하고 ②[Forward] 버튼을 클릭하여 다음 화면으로 이동한다.


[mk01n01 구성] 38. Oracle Linux 64bit 설치 29. (OS 설치 8.)

38. 설정할 서버의 세부시간을 설정한다. 

[Date & Time] 탭을 선택  -> 날짜와 시간을 설정 (보통은 Mainboard 의 설정을 가져오기때문에 맞다.)  -> [Forward]를 선택하여 다음으로 이동한다.

※ 참고 ③ [Network Time Protocol(NTP)] 는 나중에 따로 설정할 예정으로 따로 설정 할 필요가 없으므로 Skip 한다.


[mk01n01 구성] 39. Oracle Linux 64bit 설치 30. (OS 설치 9.)

39. [Create User] user 생성을 위한 화면으로 user 생성시 필요 정보 입력 을 할수 있으나 나중에 command 로 생성할 것이므로 빈 공간으로 놓아두고 ②[Forward] 버튼을 클릭.


[mk01n01 구성] 40. Oracle Linux 64bit 설치 31. (OS 설치 10.)

40. [mk01n01 구성] 39. 에서 ②[Forward] 를 클릭하면 [mk01n01 구성] 40 과 같이 user 생성을 하지 않고 그냥 진행하겠냐는 팝업창이 뜨는데 ① [Continue] 버튼을 클릭하여 다음으로 진행한다.


[mk01n01 구성] 41. Oracle Linux 64bit 설치 32. (OS 설치 11.)

41. 우리가 설치할 Server에서는 사운드가 필요없으므로 [Forward] 버튼을 클릭하여 다음으로 이동한다.(기본적으로 Virtual Box 에서 노트북의 sound card 를 잡아준다.)


[mk01n01 구성] 42. Oracle Linux 64bit 설치 33. (OS 설치 12.)

42. 이 화면은 추가적인 패키지를 설치시 선택하기위해 추가로 설치할 것인지 묻는 화면으로 우리는 따로 더 설치할 필요가 없다. 나중에 직접 CD 에서 패키지를 설치할 예정이다. 

추가적으로 패키지를 설치하려면 ①[Install..] 을 클릭하여 설치하면 되지만 나중에 설치할 예정으로 [Finish] 버튼을 클릭한다. 


[mk01n01 구성] 43. Oracle Linux 64bit 설치 34. (OS 설치 13.)

43. [mk01n01 구성] 42 에서 ②[Finish] 버튼을 클릭하연 [mk01n01 구성] 33 ~ [mk01n01 구성] 42 까지 설정한 설정사항을 설정하려면 rebooting 해야한다는 팝업 창이 뜬다. 

[OK] 버튼을 클릭하여 rebooting 을 하면 OS 설치는 끝이난다. 


[mk01n01 구성] 44. Oracle Linux 64bit 설치 35. (OS 설치 14.)

44. 설치는 완료 되었으며 root로 login 을 한다. 






■ [11gR2 RAC 설치(ASM ISCSI)] 02. RAC 가상 네트워크 구성

DBMS/[Oracle] ■ 01. Installation & Patches 2016.05.20 15:14

※ Virtual Machine Download link

앞으로 설치할 RAC 의 Virtual Machine의 download link 는 아래와 같다.

http://www.oracle.com/technetwork/server-storage/virtualbox/downloads/index.html


■ [11gR2 RAC 설치(ASM ISCSI)] 02. RAC 가상 네트워크 구성

   - VirtualBox의 호스트 전용 네트워크 라우팅 테이블 추가


1. 설치된 virtualbox 에 아래 그림 [네크워크 환경설정 1]과 같이 상위 탭의 [파일] -> [환경설정] 을 차례로 선택하면 [네트워크 환경설정 2] 와 같이 네트워크 환경을 편집할수 있는 창이 나타난다.

[네트워크 환경설정 1].


2. [네트워크 환경설정 2] 창에서 왼쪽 중단의 [네트워크] -> ②[호스트 전용 네트워크] -> ③ [NIC 카드 추가 그림] 을 차례로 선택하여 호스트 전용 네트워크 NIC(Network Interface Card)를 2개 추가 한다. 

NIC 카드를 2개 추가 하게 되면 [네크워크 환경설정 3] 과 같이 VirtualBox Host-Only Ethernet Adapter 과 VirtualBox Host-Only Ethernet Adapter #2 가 추가 된다.

[네크워크 환경설정 2].


[네크워크 환경설정 3].

3. 위의 [네트워크 환경설정 3] 과 같이 NIC 를 2개 추가 한이 후 ①[각각의 Adapter] 선택후 각 Adapter 의 IP 대역을 설정하기 위해 ②[편집 버튼]을 클릭하여 아래 [네크워크 환경설정 4] 처럼 각각의 Adapter 마다 IP router 로 사용할 IP 를 입력한다.


[네트워크 환경설정 4].

4.  [VirtualBox Host-Only Ethernet Adapter] 에는 위의 [네크워크 환경설정 4]와 같이Public IP 대역의 routing IP인 192.168.12.1 으로 

[VirtualBox Host-Only Ethernet Adapter #2] 에는 아래의 [네크워크 환경설정 5]와 같이 Private IP 대역의 routing IP인 192.168.13.1 으로 세팅한다. 

subnet 의 C-class 를 사용할 것임으로 255.255.255.0 를 넣어준다.


[네트워크 환경설정 5].


여기까지 앞으로 설치할 Oracle 11gR2 의 RAC 테스트를 위한 테스트 네트워크 구성을 완료 하였다. 

실제는 Switch 2중화 및 각 서버의 NIC 2개를 2개로 bonding 또는 Tming 을 하여 하나의 장비가 정상적으로 동작하지 않을 때 다른 장비가 자동적으로 동작하도록 하는 구성을 한다.