ODA 기본 OS 상태에서 Grid & DB Installation

   

  • ODA 구성에 있어 Bare Metal,OVM 2가지 구성 방식이 있는대 해당 설치는 OVM을 활용한 ODA 세팅에 대한 내역을 기술하였다.
  • ODA 설치 순서 : DOM0(CPU, Memory 할당) -> ODA_BASE(oakcli 구성) -> oakDom1(GRID, DB 구성)

   

1.XM list 확인

  • XM List로 현재 ODA장비에서 사용 가능한 VMWARE 내역을 확인할 수 있다.

[root@demo0 ~]# xm list

Name ID Mem VCPUs State Time(s)

Domain-0 0 4096 24 r----- 51006.4

oakDom1 1 40960 12 r----- 110634.9

[root@demo0 ~]#

   

2.XM list 접근

  • OVM의 경우에 dom0에서 이동이 가능하며, 추가적으로 OVM을 구성하여 다양한 OS, WAS, DB등을 구성하여 OS Resource를 나누어 구성할 수 있다.

[root@demo0 ~]# xm console oakDom1

   

Oracle Linux Server release 5.11

Kernel 2.6.39-400.245.1.el5uek on an x86_64

   

base0 login: root

Password:

Last login: Fri Aug 14 01:13:00 from 192.168.16.24

[root@base0 ~]# id

uid=0(root) gid=0(root) groups=0(root),1(bin),2(daemon),3(sys),4(adm),6(disk),10(wheel)

[root@base0 ~]# df -k

   

3.Network 설정

  • 초기 Network 설정 시에 아래 명령어를 통하여 설정할 경우에 OS의 Network 설정을 자동으로 해준다.

[root@demo1 ~]# oakcli

Usage: oakcli <command><object>[<options>]

<command>: [show | configure | deploy | start | stop | restart | create | delete]

<object>: [firstnet | oda_base | env_hw | vlan | -changeNetCard | -publicNet]

[<options>]: [force]

   

Examples:

oakcli [show|configure][firstnet]

The command is used to configure | show the firstnet, the dom0 network.

   

oakcli [configure|show|deploy|start|stop|restart][oda_base][force]

The command is used to configure|show|deploy|start|stop|restart the oda_base domain.

You can also use force option with stop command to forceful shutdown of oda_base domain

   

For detailed help on each command use:

oakcli <command><object> -h or

oakcli <command><object> -help

   

[root@demo1 ~]# oakcli configure firstnet

Configure the network for the node(s)(local, global) [global]:

 

4.GRID 설치 및 ASM Disk 구성

  • ODA 장비에서 Grid 및 ASM Disk 구성을 하기 위하여 아래 명령어로 설치를 진행한다. (Xmanager를 활용하여 GUI 실행)
  • 설치 시 세부 설정만 해준다면 자동으로 설치가 완료된다.

[root@base0 ~]# export DISPLAY=192.168.0.9:0.0

[root@base0 ~]# xclock

[root@base0 ~]#

[root@base0 ~]#

[root@base0 ~]# oakcli deploy

Log messages in /tmp/oak_1439487879310.log

Running Oracle Appliance Manager

   

[ODA oakcli deploy Start]

   

   

   

-Database Backup Location (Local, External, REPO 공간)

   

   

   

-사용할 Network 설정 진행, ILOM의 경우에는 DOM0와 동일한 IP로 설정해준다.

-/etc/hosts에도 자동으로 IP 내역이 설정 된다.

   

   

   

   

   

   

   

   

5.DBCA

  • DBCA를 통하여 RAC DB 생성 진행한다

[oracle@base0 ~]$ export DISPLAY=192.168.0.9:0.0

[oracle@base0 ~]$ xclock

   

[oracle@base0 ~]$

[oracle@base0 ~]$

[oracle@base0 ~]$ dbca

   

   

   

   

-Oracle Real Application Clusters (RAC) database 선택

   

   

-GSID 설정

   

   

   

   

   

-ASM Disk 선택

   

   

   

   

   

   

6.DB 상태 확인

  • Oracle 12c가 되면서 부과적인 기능들이 많이 추가 되었다. Oracle 12c 이론 및 기능 테스트를 별도로 포스팅할 예정이다.

[grid@base0 ~]$ crsctl stat res -t

--------------------------------------------------------------------------------

Name Target State Server State details

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.ASMNET1LSNR_ASM.lsnr

ONLINE ONLINE base0 STABLE

ONLINE ONLINE base1 STABLE

ora.DATA.WIN7.advm

ONLINE ONLINE base0 STABLE

ONLINE OFFLINE base1 STABLE

ora.DATA.WINDOW7.advm

ONLINE ONLINE base0 STABLE

ONLINE OFFLINE base1 STABLE

ora.DATA.dg

ONLINE ONLINE base0 STABLE

ONLINE OFFLINE base1 STABLE

ora.LISTENER.lsnr

ONLINE ONLINE base0 STABLE

ONLINE ONLINE base1 STABLE

ora.RECO.DATAFSVOL.advm

ONLINE ONLINE base0 Volume device /dev/asm/datafsvol-480 is online,STABLE

ONLINE OFFLINE base1 STABLE

ora.RECO.dg

ONLINE ONLINE base0 STABLE

ONLINE OFFLINE base1 STABLE

ora.REDO.AWIN7.advm

ONLINE ONLINE base0 STABLE

ONLINE OFFLINE base1 STABLE

ora.REDO.AWINDOW7.advm

ONLINE ONLINE base0 STABLE

ONLINE OFFLINE base1 STABLE

ora.REDO.dg

ONLINE ONLINE base0 STABLE

ONLINE OFFLINE base1 STABLE

ora.data.win7.acfs

ONLINE ONLINE base0 mounted on /u01/app/sharedrepo/win7,STABLE

ONLINE OFFLINE base1 STABLE

ora.data.window7.acfs

ONLINE ONLINE base0 mounted on /u01/app/sharedrepo/window7,STABLE

ONLINE OFFLINE base1 STABLE

ora.net0.network

ONLINE ONLINE base0 STABLE

ONLINE ONLINE base1 STABLE

ora.net1.network

ONLINE ONLINE base0 STABLE

ONLINE ONLINE base1 STABLE

ora.ons

ONLINE ONLINE base0 STABLE

ONLINE ONLINE base1 STABLE

ora.proxy_advm

ONLINE ONLINE base0 STABLE

ONLINE ONLINE base1 STABLE

ora.reco.datafsvol.acfs

ONLINE ONLINE base0 mounted on /odadatafs,STABLE

ONLINE OFFLINE base1 volume /odadatafs offline,STABLE

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.LISTENER_SCAN1.lsnr

1 ONLINE ONLINE base0 STABLE

ora.MGMTLSNR

1 ONLINE ONLINE base0 169.254.66.185 192.168.16.27,STABLE oserial8250: too much work for irq4

ra.asm

1 ONLINE ONLINE base0 Started,STABLE

2 ONLINE ONLINE base1 Started,STABLE

ora.base0.vip

1 ONLINE ONLINE base0 STABLE

ora.base1.vip

1 ONLINE ONLINE base1 STABLE

ora.cvu

1 ONLINE ONLINE base0 STABLE

ora.havip_0.havip

1 ONLINE ONLINE base0 STABLE

ora.havip_1.havip

1 OFFLINE OFFLINE STABLE

ora.mgmtdb

1 ONLINE ONLINE base0 Open,STABLE

ora.oc4j

1 ONLINE ONLINE base0 STABLE

ora.scan1.vip

1 ONLINE ONLINE base0 STABLE

ora.win7_0.export

1 ONLINE ONLINE base0 STABLE

ora.window7_0.export

1 ONLINE ONLINE base0 STABLE

--------------------------------------------------------------------------------

   

7.ILOM

-현재 ODA에 설치된 OS 및 Grid, DB를 모니터링 할 수 있으며 ISO 파일을 가상으로 삽입하여 설치 및 추가적인 작업을 편하게 진행할 수 있다.

   

-ILOM의 세부 기능을 하나씩 확인할 필요가 있을 것으로 보여진다.

   

[참고 문서 및 사이트]

  • Oracle Database Appliance - 12.1.2 and 2.X Supported ODA Versions & Known Issues (문서 ID 888888.1)


블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,


5. Install Database S/W & TEST Database

   

1) ASM Disk 구성

-Grid, Oracle 계정 Path 지정(.bash_profile)

[Grid]

export PATH

export ORACLE_BASE=/home/grid/app

export ORACLE_HOME=/home/grid/11.2.0/grid

export PATH=$PATH:$ORACLE_HOME/bin

export ORACLE_SID=+ASM1

[Oracle]

export PATH

export ORACLE_BASE=/home/oracle/app

export ORACLE_HOME=/home/oracle/11.2.0/db

export PATH=$PATH:$ORACLE_HOME/bin

export ORACLE_SID=EXAORCL1

export ORACLE_UNQNAME=EXAORCL

   

ASMCA

[grid@exadb1 ~]$ ls

11.2.0 app oradiag_grid setup

[grid@exadb1 ~]$

[grid@exadb1 ~]$ asmca

   

-oradata01로 구성된 모든 Disk를 선택해서 External로 구성을 진행하였다.

-Cell Disk를 2개이상으로 구성할 경우에 High, Normal로도 구성이 가능하다.

   

[ASM 추가 내역 확인]

[grid@exadb1 bin]$ ./crsctl stat res -t

--------------------------------------------------------------------------------

NAME TARGET STATE SERVER STATE_DETAILS

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.LISTENER.lsnr

ONLINE ONLINE exadb1

ora.MGMT.dg

ONLINE ONLINE exadb1

ora.ORADATA01.dg

ONLINE ONLINE exadb1

ora.asm

ONLINE ONLINE exadb1 Started

ora.gsd

OFFLINE OFFLINE exadb1

ora.net1.network

ONLINE ONLINE exadb1

ora.ons

ONLINE ONLINE exadb1

ora.registry.acfs

ONLINE ONLINE exadb1

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.LISTENER_SCAN1.lsnr

1 ONLINE ONLINE exadb1

ora.cvu

1 ONLINE ONLINE exadb1

ora.exadb1.vip

1 ONLINE ONLINE exadb1

ora.oc4j

1 ONLINE ONLINE exadb1

ora.scan1.vip

1 ONLINE ONLINE exadb1

[grid@exadb1 bin]$

   

2) Install DB S/W

DB 설치 파일 이관 및 unzip

   

DB S/W Only 설치 진행

install readme.html response rpm runInstaller sshsetup stage welcome.html

[oracle@exadb1 database]$

[oracle@exadb1 database]$ ./runInstaller

Starting Oracle Universal Installer...

   

   

-Install database software only 선택

   

   

-SSH Connectivity 설치 (Oracle)

   

   

-위 해당 에러는 무시하고 진행

   

   

[root@exadb1 ~]# /home/oracle/app/oracle/product/11.2.0/dbhome_1/root.sh

Performing root user operation for Oracle 11g

   

The following environment variables are set as:

ORACLE_OWNER= oracle

ORACLE_HOME= /home/oracle/app/oracle/product/11.2.0/dbhome_1

   

Enter the full pathname of the local bin directory: [/usr/local/bin]:

The contents of "dbhome" have not changed. No need to overwrite.

The contents of "oraenv" have not changed. No need to overwrite.

The contents of "coraenv" have not changed. No need to overwrite.

   

Entries will be added to the /etc/oratab file as needed by

Database Configuration Assistant when a database is created

Finished running generic part of root script.

Now product-specific root actions will be performed.

Finished product-specific root actions.

[root@exadb1 ~]#

   

   

   

3) Create TEST DB

DB 생성

[oracle@exadb1 ~]$

[oracle@exadb1 ~]$ dbca

   

   

-Oracle Real Application Clusters (RAC) database 선택

   

   

-SID 지정

   

   

-ASM DISK 선택 후에 해당 DISK GROUP 선택

   

   

-DB가 구성되는데 시간이 조금 오래 걸릴 수 있으니 기다리면 된다.(alert log를 확인)


4) Oracle Exadata 상태확인

   

Oracle Exadata 구성 상태 확인

[grid@exadb1 ~]$ crsctl stat res -t

--------------------------------------------------------------------------------

NAME TARGET STATE SERVER STATE_DETAILS

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.LISTENER.lsnr

ONLINE ONLINE exadb1

ora.MGMT.dg

ONLINE ONLINE exadb1

ora.ORADATA1.dg

ONLINE ONLINE exadb1

ora.asm

ONLINE ONLINE exadb1 Started

ora.gsd

OFFLINE OFFLINE exadb1

ora.net1.network

ONLINE ONLINE exadb1

ora.ons

ONLINE ONLINE exadb1

ora.registry.acfs

ONLINE ONLINE exadb1

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.LISTENER_SCAN1.lsnr

1 ONLINE ONLINE exadb1

ora.cvu

1 ONLINE ONLINE exadb1

ora.exadb1.vip

1 ONLINE ONLINE exadb1

ora.exaorcl.db

1 ONLINE ONLINE exadb1 Open

ora.oc4j

1 ONLINE ONLINE exadb1

ora.scan1.vip

1 ONLINE ONLINE exadb1

SQL> SELECT NAME, ALLOCATION_UNIT_SIZE AU, STATE, TYPE, TOTAL_MB, COMPATIBILITY FROM V$ASM_DISKGROUP;

   

NAME AU STATE TYPE TOTAL_MB

------------------------------ ---------- ----------- ------ ----------

COMPATIBILITY

------------------------------------------------------------

MGMT 4194304 MOUNTED EXTERN 896

11.2.0.4.0

   

ORADATA1 4194304 CONNECTED EXTERN 4480

11.2.0.4.0

   

   

SQL> SELECT LIBRARY, TOTAL_MB, NAME, FAILGROUP, LABEL FROM V$ASM_DISK ORDER BY FAILGROUP, NAME;

   

LIBRARY TOTAL_MB

---------------------------------------------------------------- ----------

NAME FAILGROUP

------------------------------ ------------------------------

LABEL

-------------------------------

CELL 448

DATA_CD_DISK01_STOCELL1 DATA_CD_DISK01_STOCELL1

DATA_CD_DISK01_STOCELL1

   

CELL 448

DATA_CD_DISK02_STOCELL1 DATA_CD_DISK02_STOCELL1

DATA_CD_DISK02_STOCELL1

   

LIBRARY TOTAL_MB

---------------------------------------------------------------- ----------

NAME FAILGROUP

------------------------------ ------------------------------

LABEL

-------------------------------

   

CELL 448

DATA_CD_DISK03_STOCELL1 DATA_CD_DISK03_STOCELL1

DATA_CD_DISK03_STOCELL1

   

CELL 448

DATA_CD_DISK04_STOCELL1 DATA_CD_DISK04_STOCELL1

   

LIBRARY TOTAL_MB

---------------------------------------------------------------- ----------

NAME FAILGROUP

------------------------------ ------------------------------

LABEL

-------------------------------

DATA_CD_DISK04_STOCELL1

   

CELL 448

DATA_CD_DISK05_STOCELL1 DATA_CD_DISK05_STOCELL1

DATA_CD_DISK05_STOCELL1

   

CELL 448

   

LIBRARY TOTAL_MB

---------------------------------------------------------------- ----------

NAME FAILGROUP

------------------------------ ------------------------------

LABEL

-------------------------------

DATA_CD_DISK06_STOCELL1 DATA_CD_DISK06_STOCELL1

DATA_CD_DISK06_STOCELL1

   

CELL 448

DATA_CD_DISK07_STOCELL1 DATA_CD_DISK07_STOCELL1

DATA_CD_DISK07_STOCELL1

   

   

LIBRARY TOTAL_MB

---------------------------------------------------------------- ----------

NAME FAILGROUP

------------------------------ ------------------------------

LABEL

-------------------------------

CELL 448

DATA_CD_DISK08_STOCELL1 DATA_CD_DISK08_STOCELL1

DATA_CD_DISK08_STOCELL1

   

CELL 448

DATA_CD_DISK09_STOCELL1 DATA_CD_DISK09_STOCELL1

DATA_CD_DISK09_STOCELL1

   

LIBRARY TOTAL_MB

---------------------------------------------------------------- ----------

NAME FAILGROUP

------------------------------ ------------------------------

LABEL

-------------------------------

   

CELL 448

DATA_CD_DISK10_STOCELL1 DATA_CD_DISK10_STOCELL1

DATA_CD_DISK10_STOCELL1

   

CELL 448

DATA_CD_DISK11_STOCELL1 DATA_CD_DISK11_STOCELL1

   

LIBRARY TOTAL_MB

---------------------------------------------------------------- ----------

NAME FAILGROUP

------------------------------ ------------------------------

LABEL

-------------------------------

DATA_CD_DISK11_STOCELL1

   

CELL 448

DATA_CD_DISK12_STOCELL1 DATA_CD_DISK12_STOCELL1

DATA_CD_DISK12_STOCELL1

   

   

12 rows selected.

   

SQL> SELECT NAME, DATABASE_ROLE, PLATFORM_NAME FROM V$DATABASE;

   

NAME DATABASE_ROLE

--------- ----------------

PLATFORM_NAME

--------------------------------------------------------------------------------

EXAORCL PRIMARY

Linux x86 64-bit

   

   

SQL> SELECT INSTANCE_NAME, HOST_NAME, VERSION, DATABASE_STATUS, INSTANCE_ROLE FROM V$INSTANCE;

   

INSTANCE_NAME

----------------

HOST_NAME

----------------------------------------------------------------

VERSION DATABASE_STATUS INSTANCE_ROLE

----------------- ----------------- ------------------

EXAORCL1

exadb1

11.2.0.4.0 ACTIVE PRIMARY_INSTANCE

[root@exadb1 bin]# ./ocrcheck

Status of Oracle Cluster Registry is as follows :

Version : 3

Total space (kbytes) : 262120

Used space (kbytes) : 2932

Available space (kbytes) : 259188

ID : 411888517

Device/File Name : +MGMT

Device/File integrity check succeeded

   

Device/File not configured

   

Device/File not configured

   

Device/File not configured

   

Device/File not configured

   

Cluster registry integrity check succeeded

   

[root@exadb1 bin]# ./crsctl query css votedisk

## STATE File Universal Id File Name Disk group

-- ----- ----------------- --------- ---------

1. ONLINE 8890e5fc853e4fa5bfa8c39090e6cf6d (o/192.168.56.102/DATA_CD_DISK01_stocell1) [MGMT]

Located 1 voting disk(s).

   

[oracle@exadb1 ~]$ free

total used free shared buffers cached

Mem: 2685952 2425212 260740 0 17192 796020

-/+ buffers/cache: 1612000 1073952

Swap: 4095992 112112 3983880

   

Oracle Exadata Smart Scan TEST

alter session set cell_offload_processing=false;

   

select /*+ GATHER_PLAN_STATISTICS WITH_SMART_SCAN */sum(sal) from scott.emp where deptno='20';

   

 

SELECT *

FROM TABLE(DBMS_XPLAN.DISPLAY_CURSOR(NULL,NULL, 'allstats last -rows +predicate'));

   

SQL_ID d8gtt1g1rufkx, child number 1

-------------------------------------

select /*+ GATHER_PLAN_STATISTICS WITH_SMART_SCAN */sum(sal) from

scott.emp where deptno='20'

 

Plan hash value: 2083865914

 

   

Predicate Information (identified by operation id):

---------------------------------------------------

 

2 - filter("DEPTNO"=20)

 

Note

-----

- dynamic sampling used for this statement (level=2)

 

alter session set cell_offload_processing=true;

   

select /*+ GATHER_PLAN_STATISTICS WITH_SMART_SCAN */sum(sal) from scott.emp where deptno='20';

   

 

SELECT *

FROM TABLE(DBMS_XPLAN.DISPLAY_CURSOR(NULL,NULL, 'allstats last -rows +predicate'));

   

SQL_ID d8gtt1g1rufkx, child number 0

-------------------------------------

select /*+ GATHER_PLAN_STATISTICS WITH_SMART_SCAN */sum(sal) from

scott.emp where deptno='20'

 

Plan hash value: 2083865914

 

 

Predicate Information (identified by operation id):

---------------------------------------------------

 

2 - storage("DEPTNO"=20)

filter("DEPTNO"=20)

 

Note

-----

- dynamic sampling used for this statement (level=2)

 

   

   

[참고 문서 및 사이트]

   


블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,


4. Install Grid Infrastructure

   

1) Clone the VM from Storage Cell

Stocell1 복제 진행

   

이름 지정 & 모든 네트워크 카드의 Mac 초기화

   

완전한 복제 진행

 

   

네트워크 및 Disk 구성 수정

-stocell1에서 내부 네트워크 추가진행

   

-stocell1에서 Disk 제거(25GB 기본 공간을 제외한 500MB, 400MB Disk 연결 삭제 후 OS Disk 제거)

   

[OS start]

   

Cell Disk 제거

[root@stocell1 oracle]# rpm -evv cell-11.2.3.2.1_LINUX.X64_130109-1

[root@stocell1 ~]# rm -rf /opt/oracle/cell*

   

Network 제거 및 재구성

-eth0.bak, eth1.bak 제거 진행

   

   

virbr0 Link encap:Ethernet HWaddr 00:00:00:00:00:00

inet addr:192.168.122.1 Bcast:192.168.122.255 Mask:255.255.255.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

RX packets:0 errors:0 dropped:0 overruns:0 frame:0

TX packets:19 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:0

RX bytes:0 (0.0 b) TX bytes:3583 (3.4 KiB)

   

OVM으로 OS를 설치하면 기본적으로 할당되는 IP 대역을 사용하여 내부 네트워크 구성

   

[root@exadb1 ~]# cat /etc/hosts

# Do not remove the following line, or various programs

# that require network functionality will fail.

127.0.0.1 localhost.localdomain localhost

::1 localhost6.localdomain6 localhost6

   

#InfiniBand IPs

192.168.56.102 stocell1 stocell1.exatest

#192.168.10.21 stocell2 stocell2.exatest -- Cell Disk를 2개를 사용할 경우

192.168.122.10 exadb1-ib exadb1-ib.exatest

#Public IPs

   

192.168.56.101 exadb1 exadb1.exatest

192.168.56.130 exadb1-vip exadb1-vip.exatest

192.168.56.100 exadb-cluster-scan exadb-cluster-scan.exatest

   

[root@stocell1 ~]# vi /etc/sysconfig/network

NETWORKING=yes

NETWORKING_IPV6=yes

HOSTNAME=exadb1

   

2) Install Grid Infrastructure

   

Grid 설치 파일 준비

-p13390677_112040_Linux-x86-64_3of7.zip

[/home/grid/setup]

[root@exadb1 ~]# unzip p13390677_112040_Linux-x86-64_3of7.zip

   

Cell disk user 제거

[root@exadb1 ~]# userdel celladmin

[root@exadb1 ~]# userdel cellmonitor

   

OS 환경 변수 추가 수정

[root@exadb1 ~]# cat /etc/sysctl.conf

   

fs.aio-max-nr = 1048576

fs.file-max = 6815744

kernel.shmall = 2097152

kernel.shmmax = 1375207424

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

net.ipv4.ip_local_port_range = 9000 65500

   

   

net.core.rmem_default=262144

net.core.rmem_max=4194304

net.core.wmem_default=262144

net.core.wmem_max=2097152

   

--해당 설정 값 중요.

   

[root@exadb1 ~]# sysctl -p

[root@exadb1 ~]# cat /etc/security/limits.conf

grid soft nofile 131072

grid hard nofile 131072

grid soft nproc 131072

grid hard nproc 131072

grid soft core unlimited

grid hard core unlimited

grid soft memlock 50000000

grid hard memlock 50000000

   

   

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

   

Group 및 User 생성

[root@exadb1 ~]# groupadd oper

[root@exadb1 ~]# groupadd dba

[root@exadb1 ~]# groupadd oinstall

[root@exadb1 ~]# groupadd asmadmin

[root@exadb1 ~]# useradd -g oinstall -G dba,oper,asmadmin grid

   

Cell Disk와 DB Instance 간에 네트워크 설정

[root@exadb1 ~]# mkdir -p /etc/oracle/cell/network-config

   

[root@exadb1 ~]# vi /etc/oracle/cell/network-config/cellinit.ora

ipaddress1 = 192.168.56.101/24 #InfiniBand IP/network of exadb1

   

[root@exadb1 ~]# vi /etc/oracle/cell/network-config/cellip.ora

cell = "192.168.56.102" #InfiniBand IP of stocell1

   

#cell = "192.168.56.103"    #InfiniBand IP of stocell2 -- DISK 확장 가능

   

[권한 할당]

[root@exadb1 ~]# chown -R grid:oinstall /etc/oracle/cell/network-config

[root@exadb1 ~]# chmod -R 775 /etc/oracle/cell/network-config

   

NTP 설정

[root@exadb1 ~]#vi /etc/sysconfig/ntpd

# Drop root to id 'ntp:ntp' by default.

OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid" (-x 추가)

   

#Set to 'yes' to sync hw clock after successful ntpdate

   

SYNC_HWCLOCK=no

NTPDATE_OPTIONS="-t 10″

chkconfig ntpd on

service ntpd start

   

Grid Infrastructure 설치

-설치 진행 전 Disk 연결 상태 확인(설치파일 unzip 이후 사용가능)

[root@exadb1 bin]# export LD_LIBRARY_PATH=/home/grid/setup/grid/stage/ext/lib

[root@exadb1 bin]# ./kfod disks=all op=disks (/tmp/OraInstall2015-08-17_04-34-05PM/ext/bin/kfod)

------------------------------------------------------------------------- -------

Disk Size Path User Group

=====================================================================

1: 448 Mb o/192.168.56.102/DATA_CD_DISK01_stocell1 <unknown> <unknown>

2: 448 Mb o/192.168.56.102/DATA_CD_DISK02_stocell1 <unknown> <unknown>

3: 448 Mb o/192.168.56.102/DATA_CD_DISK03_stocell1 <unknown> <unknown>

4: 448 Mb o/192.168.56.102/DATA_CD_DISK04_stocell1 <unknown> <unknown>

5: 448 Mb o/192.168.56.102/DATA_CD_DISK05_stocell1 <unknown> <unknown>

6: 448 Mb o/192.168.56.102/DATA_CD_DISK06_stocell1 <unknown> <unknown>

7: 448 Mb o/192.168.56.102/DATA_CD_DISK07_stocell1 <unknown> <unknown>

8: 448 Mb o/192.168.56.102/DATA_CD_DISK08_stocell1 <unknown> <unknown>

9: 448 Mb o/192.168.56.102/DATA_CD_DISK09_stocell1 <unknown> <unknown>

10: 448 Mb o/192.168.56.102/DATA_CD_DISK10_stocell1 <unknown> <unknown>

11: 448 Mb o/192.168.56.102/DATA_CD_DISK11_stocell1 <unknown> <unknown>

12: 448 Mb o/192.168.56.102/DATA_CD_DISK12_stocell1 <unknown> <unknown>

[root@exadb1 bin]#

   

-Local에서 진행할 경우, xhost +를 활용하여 설치 진행

[root@stocell1 media]# xhost +

[root@stocell1 media]# su – grid

[grid@stocell1 grid]$ ./runInstaller

   

-xmanager를 통하여 진행할 경우, passive mode를 수행한 뒤에

[grid@exadb1 ~]$ export DISPLAY=192.168.56.1:0.0

[grid@stocell1 grid]$ ./runInstaller

   

   

   

   

-Install and Configure Oracle Grid Infrastucture for a Cluster 선택

   

   

-Advanced Installation 선택

   

   

- /etc/hosts 설정에서 scan ip 설정 중요

   

   

-ssh connectivity를 선택하여 Setup 진행(Grid, Oracle)

   

   

-Public과 Private의 IP 대역대가 달라야 한다.

   

   

-Oracle ASM 선택

   

   

-disk 그룹이 안보일 경우에 change discovery Path에서 o/*/* 로 검색 (AU Size 4MB, External로 선택)

1. Normal

- 2-way mirroring, 2배의 디스크가 필요 (실제 데이터가 저장되는 공간이 100G면, 100G 디스크 2개가 필요)

   

2. High

- 3-way mirroring, 3배의 디스크 필요

   

3. External

- ASM mirroring 기능 사용하지 않음, Hardware RAID 기능으로 디스크를 보호하고 있을 경우에만 사용하길 권장

   

   

   

   

-선택 없이 Next 진행

   

   

   

   

-해당 Check 내역에 나오는 RPM 및 설정을 모두 설정해준다.

-단 Task resolv.conf lntegrity는 무시하고 진행해도 된다.

   

-root.sh까지 수행하면 Grid 구성은 완료된다.

[root@exadb1 ~]# /home/grid/app/oraInventory/orainstRoot.sh

Changing permissions of /home/grid/app/oraInventory.

Adding read,write permissions for group.

Removing read,write,execute permissions for world.

   

Changing groupname of /home/grid/app/oraInventory to oinstall.

The execution of the script is complete.

   

[root@exadb1 ~]# /home/grid/11.2.0/grid/root.sh

Performing root user operation for Oracle 11g

   

The following environment variables are set as:

ORACLE_OWNER= grid

ORACLE_HOME= /home/grid/11.2.0/grid

   

Enter the full pathname of the local bin directory: [/usr/local/bin]:

Copying dbhome to /usr/local/bin ...

Copying oraenv to /usr/local/bin ...

Copying coraenv to /usr/local/bin ...

   

   

Creating /etc/oratab file...

Entries will be added to the /etc/oratab file as needed by

Database Configuration Assistant when a database is created

Finished running generic part of root script.

Now product-specific root actions will be performed.

Using configuration parameter file: /home/grid/11.2.0/grid/crs/install/crsconfig_params

Creating trace directory

User ignored Prerequisites during installation

Installing Trace File Analyzer

OLR initialization - successful

root wallet

root wallet cert

root cert export

peer wallet

profile reader wallet

pa wallet

peer wallet keys

pa wallet keys

peer cert request

pa cert request

peer cert

pa cert

peer root cert TP

profile reader root cert TP

pa root cert TP

peer pa cert TP

pa peer cert TP

profile reader pa cert TP

profile reader peer cert TP

peer user cert

pa user cert

Adding Clusterware entries to inittab

CRS-2672: Attempting to start 'ora.mdnsd' on 'exadb1'

CRS-2676: Start of 'ora.mdnsd' on 'exadb1' succeeded

CRS-2672: Attempting to start 'ora.gpnpd' on 'exadb1'

CRS-2676: Start of 'ora.gpnpd' on 'exadb1' succeeded

CRS-2672: Attempting to start 'ora.cssdmonitor' on 'exadb1'

CRS-2672: Attempting to start 'ora.gipcd' on 'exadb1'

CRS-2676: Start of 'ora.gipcd' on 'exadb1' succeeded

CRS-2676: Start of 'ora.cssdmonitor' on 'exadb1' succeeded

CRS-2672: Attempting to start 'ora.cssd' on 'exadb1'

CRS-2672: Attempting to start 'ora.diskmon' on 'exadb1'

CRS-2676: Start of 'ora.diskmon' on 'exadb1' succeeded

CRS-2676: Start of 'ora.cssd' on 'exadb1' succeeded

   

ASM created and started successfully.

   

Disk Group MGMT created successfully.

   

clscfg: -install mode specified

Successfully accumulated necessary OCR keys.

Creating OCR keys for user 'root', privgrp 'root'..

Operation successful.

CRS-4256: Updating the profile

Successful addition of voting disk 2d929fc5b7f24fd6bfc418ae56169886.

Successfully replaced voting disk group with +MGMT.

CRS-4256: Updating the profile

CRS-4266: Voting file(s) successfully replaced

## STATE File Universal Id File Name Disk group

-- ----- ----------------- --------- ---------

1. ONLINE 2d929fc5b7f24fd6bfc418ae56169886 (o/192.168.56.102/DATA_CD_DISK01_stocell1) [MGMT]

Located 1 voting disk(s).

CRS-2672: Attempting to start 'ora.asm' on 'exadb1'

CRS-2676: Start of 'ora.asm' on 'exadb1' succeeded

CRS-2672: Attempting to start 'ora.MGMT.dg' on 'exadb1'

CRS-2676: Start of 'ora.MGMT.dg' on 'exadb1' succeeded

Configure Oracle Grid Infrastructure for a Cluster ... succeeded

[root@exadb1 ~]#

   

   

-위 에러는 무시하고 진행을 완료 한다. (해당 에러에 대한 상세 로그를 확인해보면 좋다)

   

Grid 구성 확인

[Cell Disk alert log 확인]

Tue Aug 18 20:31:42 2015

Heartbeat with diskmon started on exadb1

Tue Aug 18 20:31:49 2015

Resilvering incompatible ASM instance (exadb1, pid: 15062) connected. Any griddisks with resilvering tables will be dropped and recreated.

Tue Aug 18 20:32:39 2015

Heartbeat with diskmon stopped on exadb1

   

[Grid 확인]

[grid@exadb1 bin]$ ./crsctl stat res -t

--------------------------------------------------------------------------------

NAME TARGET STATE SERVER STATE_DETAILS

--------------------------------------------------------------------------------

Local Resources

--------------------------------------------------------------------------------

ora.LISTENER.lsnr

ONLINE ONLINE exadb1

ora.MGMT.dg

ONLINE ONLINE exadb1

ora.asm

ONLINE ONLINE exadb1 Started

ora.gsd

OFFLINE OFFLINE exadb1

ora.net1.network

ONLINE ONLINE exadb1

ora.ons

ONLINE ONLINE exadb1

ora.registry.acfs

ONLINE ONLINE exadb1

--------------------------------------------------------------------------------

Cluster Resources

--------------------------------------------------------------------------------

ora.LISTENER_SCAN1.lsnr

1 ONLINE ONLINE exadb1

ora.cvu

1 ONLINE ONLINE exadb1

ora.exadb1.vip

1 ONLINE ONLINE exadb1

ora.oc4j

1 ONLINE ONLINE exadb1

ora.scan1.vip

1 ONLINE ONLINE exadb1

[grid@exadb1 bin]$

  

   

구성 시 에러 발생 내역

2015-08-18 20:28:56.305:

[/home/grid/11.2.0/grid/bin/oraagent.bin(13738)]CRS-5019:All OCR locations are on ASM disk groups [MGMT], and none of these disk groups are mounted. Details are at "(:CLSN00100:)" in "/home/grid/11.2.0/grid/log/exadb1/agent/ohasd/oraagent_grid/oraagent_grid.log".

2015-08-18 20:28:57.349:

[/home/grid/11.2.0/grid/bin/oraagent.bin(13738)]CRS-5019:All OCR locations are on ASM disk groups [MGMT], and none of these disk groups are mounted. Details are at "(:CLSN00100:)" in "/home/grid/11.2.0/grid/log/exadb1/agent/ohasd/oraagent_grid/oraagent_grid.log".

   

--Root.sh를 수행할 때 CRS Alert log에서 위 에러가 계속해서 발생되면서 다음 Step으로 진행되지 않을 경우에 /etc/sysctl.con의 설정 값이 정확하게 되었는지 확인

   

[참고 문서 및 사이트]

   


블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,


3. Storage Cell disk

  • Stocell1의 환경 구성을 기반으로 계속해서 진행한다. (CPU 2개, Memory 2Gb, Network 이더넷1,2 구성)

       

1) Install Oracle Linux 5

  • Oracle Linux 5 설치 파일 (V40139-01.iso) 준비해야 하며 다른 버전으로 할 경우에 이슈가 있을 수 있어 되도록이면 Linux 5버전을 추천한다.
  • 게스트 확장 설치를 할 경우에 진행에 있어 설치 파일 이관 및 공유폴더 설정 등 편리한 점이 많다.(하지만 RHEL5의 경우에게스트 확장설치를 할 경우에 OS가 깨지는 현상이 있어 게스트 확장 설치를 하지 않고 진행해도 이상 없다.)

       

[root@stocell1 media]# cd VBOXADDITIONS_4.3.30_101610/

/media/VBOXADDITIONS_4.3.30_101610

[root@stocell1 VBOXADDITIONS_4.3.30_101610]# ls

32Bit autorun.sh runasroot.sh VBoxWindowsAdditions-amd64.exe

64Bit cert VBoxLinuxAdditions.run VBoxWindowsAdditions.exe

AUTORUN.INF OS2 VBoxSolarisAdditions.pkg VBoxWindowsAdditions-x86.exe

[root@stocell1 VBOXADDITIONS_4.3.30_101610]#

[root@stocell1 VBOXADDITIONS_4.3.30_101610]# ./VBoxLinuxAdditions.run

   

OVM 새로 만들기

-OVM 이름 & Oracle Linux 64bit로 설치 진행

   

-파일 설치 위치 및 파일 크기 지정(25GB를 권장, 그 이상으로 할당하면 된다.)

-OVM 만들기 선택

   

ISO 설치 파일 추가

   

Oracle Linux 5 설치

-따로 설정할 것은 없고 아래 세부 설정에서만 선택하면 된다.

-Next를 계속 진행해서 설치를 진행하면 된다.

   

-Software Development

-Virtualization

-Clustering

-Storage Clustering

   

   

-설치가 완료 되면 추가 설정을 진행하게 되는데 여기에서 바오하벽과 SELinux를 모두 비활성화로 진행한다.

   

-설치 완료

   

Network 설정 확인

-DHCP로 자동 할당 받아서 사용

-무선 와이파이로 인터넷을 사용.(192.168.0.* 대역)

   

   

-eth1의 경우에는 VirtualBox Host-Only Ethernet Adapter를 통해서 IP를 할당 받음

-192.168.56.* 대역을 사용

   

   

[root@stocell1 ~]# cat /etc/hosts

# Do not remove the following line, or various programs

# that require network functionality will fail.

127.0.0.1 stocell1 localhost.localdomain localhost

::1 localhost6.localdomain6 localhost6

[root@stocell1 VBOXADDITIONS_4.3.30_101610]# ifconfig -a

eth0 Link encap:Ethernet HWaddr 08:00:27:4A:70:23

inet addr:192.168.0.14 Bcast:192.168.0.255 Mask:255.255.255.0

inet6 addr: fe80::a00:27ff:fe4a:7023/64 Scope:Link

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

RX packets:20133 errors:0 dropped:0 overruns:0 frame:0

TX packets:37 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:0

RX bytes:1263813 (1.2 MiB) TX bytes:10165 (9.9 KiB)

   

eth1 Link encap:Ethernet HWaddr 08:00:27:C2:28:D1

inet addr:192.168.56.102 Bcast:192.168.56.255 Mask:255.255.255.0

inet6 addr: fe80::a00:27ff:fec2:28d1/64 Scope:Link

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

RX packets:338 errors:0 dropped:0 overruns:0 frame:0

TX packets:275 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:35142 (34.3 KiB) TX bytes:37744 (36.8 KiB)

   

lo Link encap:Local Loopback

inet addr:127.0.0.1 Mask:255.0.0.0

inet6 addr: ::1/128 Scope:Host

UP LOOPBACK RUNNING MTU:16436 Metric:1

RX packets:9865 errors:0 dropped:0 overruns:0 frame:0

TX packets:9865 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:0

RX bytes:8315266 (7.9 MiB) TX bytes:8315266 (7.9 MiB)

   

   

불필요한 기능을 Stop

-해당 내역 때문에 OVM이 느려지는 현상이 발생될 수 있으므로 정지 시켜둔다.

[root@stocell1 ~]# service yum-updatesd stop

[root@stocell1 ~]# chkconfig yum-updatesd off

   

2) Install Storage cell S/W

-설치 파일을 전송할 때, 공유폴더에 넣어서도 가능하고 FTP로 전송해서 진행해도 된다.

   

설치 파일 전송

-Oracle Database Machine Exadata Storage Cell 설치 파일 (V36290-01.zip) 설치 파일을 OVM에 넣어준다.

   

알집 풀기

[root@stocell1 ~]# unzip V36290-01.zip

[root@stocell1 ~]# cd dl180/boot/cellbits/

-rwxrwx— 1 root root 245231205 Jan  9  2013 cell.bin

해당 파일을 Copy 해서 다른 공간에 unzip을 해도 된다.

   

[root@stocell1 ~]# unzip cell.bin

Archive:  cell.bin

warning [cell.bin]:  6408 extra bytes at beginning or within zipfile

(attempting to process anyway)

inflating: cell-11.2.3.2.1_LINUX.X64_130109-1.x86_64.rpm

inflating: jdk-1_5_0_15-linux-amd64.rpm

Install jdk

[root@stocell1 ~]# rpm -ivh jdk-1_5_0_15-linux-amd64.rpm

Preparing…                ########################################### [100%]

1:jdk                    ########################################### [100%]

Preparing to install cell rpm (thanks to Lee ..)

   

[권한 설정]

[root@stocell1 ~]# mkdir /var/log/oracle

[root@stocell1 ~]# chmod 775 /var/log/oracle

(It will be used also by celladmin user …)

Install cell sw

[root@stocell1 ~]# rpm -ivh cell-11.2.3.2.1_LINUX.X64_130109-1.x86_64.rpm

Preparing…                ########################################### [100%]

Pre Installation steps in progress …

1:cell                   ########################################### [100%]

Post Installation steps in progress …

Set cellusers group for /opt/oracle/cell11.2.3.2.1_LINUX.X64_130109/cellsrv/deploy/log directory

Set 775 permissions for /opt/oracle/cell11.2.3.2.1_LINUX.X64_130109/cellsrv/deploy/log directory

/

/

   

Installation SUCCESSFUL.

   

-RPM 설치 시에 사전에 필요한 RPM이 있을 수 있어 필요한 RPM은 yum으로 설치하고 진행 하면 된다.

-RPM 2개를 설치하면 끝난다.

   

   

3) Add Virtual Disks

Disk 추가(새 디스크 만들기)

   

   

   

   

-500MB 12개 추가(stocell_disk1~12), 400MB 6개 추가(fd_stocell_disk1~6) 진행

   

4) Start Storage cell S/W

-Disk 추가 이후에 Stocell1 OVM Start 진행

-로그인시에 아래와 같은 에러가 발생하면 export DISPLAY=:0 를 추가해 재 로그인 하면 된다.

[root@stocell1]# vi /etc/bashrc

…..

export DISPLAY=:0

   

-해당 내역을 추가하고 다시 로그인을 진행하면 된다.

   

OS 환경 변수 추가

/etc/sysctl.ctl

   

fs.file-max = 65536

/etc/security/limit.conf 

   

* soft nofile 65536

* hard nofile 65536

   

[root@stocell1 ~]# modprobe rds

[root@stocell1 ~]# modprobe rds_tcp

[root@stocell1 ~]# modprobe rds_rdma

[root@stocell1 ~]# vi /etc/modprobe.d/rds.conf

install rds /sbin/modprobe --ignore-install rds && /sbin/modprobe rds_tcp && /sbin/modprobe rds_rdma

[해당 내역을 삽입]

[설정 확인]

[root@stocell1 ~]# lsmod | grep rds

rds_rdma 106561 0

rds_tcp 48097 0

rds 155561 2 rds_rdma,rds_tcp

rdma_cm 73429 2 rds_rdma,ib_iser

ib_core 108097 7 rds_rdma,ib_iser,rdma_cm,ib_cm,iw_cm,ib_sa,ib_mad

   

Cell disk 추가 및 설정

-500MB 12개, 400MB 6개 Disk 내역 확인

[root@stocell1 ~]# fdisk -l 2>/dev/null |grep "B,"

Disk /dev/sda: 26.8 GB, 26843545600 bytes

Disk /dev/sdb: 524 MB, 524288000 bytes

Disk /dev/sdc: 524 MB, 524288000 bytes

Disk /dev/sdd: 524 MB, 524288000 bytes

Disk /dev/sde: 524 MB, 524288000 bytes

Disk /dev/sdf: 524 MB, 524288000 bytes

Disk /dev/sdg: 524 MB, 524288000 bytes

Disk /dev/sdh: 524 MB, 524288000 bytes

Disk /dev/sdi: 524 MB, 524288000 bytes

Disk /dev/sdj: 524 MB, 524288000 bytes

Disk /dev/sdk: 524 MB, 524288000 bytes

Disk /dev/sdl: 524 MB, 524288000 bytes

Disk /dev/sdm: 524 MB, 524288000 bytes

Disk /dev/sdn: 419 MB, 419430400 bytes

Disk /dev/sdo: 419 MB, 419430400 bytes

Disk /dev/sdp: 419 MB, 419430400 bytes

Disk /dev/sdq: 419 MB, 419430400 bytes

Disk /dev/sdr: 419 MB, 419430400 bytes

Disk /dev/sds: 419 MB, 419430400 bytes

Disk /dev/dm-0: 22.5 GB, 22515023872 bytes

Disk /dev/dm-1: 4194 MB, 4194304000 bytes

(500MB data, 400MB flash)

[root@stocell1 unix]# echo $T_WORK

/opt/oracle/cell11.2.3.2.1_LINUX.X64_130109/disks

cd /opt/oracle/cell11.2.3.2.1_LINUX.X64_130109/disks

--디렉토리가 없을 경우 생성할 것(mkdir disks/raw)

[할당된 disk 설정]

cd /opt/oracle/cell11.2.3.2.1_LINUX.X64_130109/disks/raw

   

ln -s /dev/sdb stocell1_DISK01

ln -s /dev/sdc stocell1_DISK02

ln -s /dev/sdd stocell1_DISK03

ln -s /dev/sde stocell1_DISK04

ln -s /dev/sdf stocell1_DISK05

ln -s /dev/sdg stocell1_DISK06

ln -s /dev/sdh stocell1_DISK07

ln -s /dev/sdi stocell1_DISK08

ln -s /dev/sdj stocell1_DISK09

ln -s /dev/sdk stocell1_DISK10

ln -s /dev/sdl stocell1_DISK11

ln -s /dev/sdm stocell1_DISK12

ln -s /dev/sdn stocell1_FLASH01

ln -s /dev/sdo stocell1_FLASH02

ln -s /dev/sdp stocell1_FLASH03

ln -s /dev/sdq stocell1_FLASH04

ln -s /dev/sdr stocell1_FLASH05

ln -s /dev/sds stocell1_FLASH06

   

Cell Disk Service 설정

[root@stocell1 ~]# su – celladmin

[celladmin@stocell1 ~]$ cellcli -e alter cell restart services all

   

Stopping the RS, CELLSRV, and MS services…

CELL-01509: Restart Server (RS) not responding.

Starting the RS, CELLSRV, and MS services…

Getting the state of RS services… running

Starting CELLSRV services…

The STARTUP of CELLSRV services was not successful.

CELL-01547: CELLSRV startup failed due to unknown reasons.

Starting MS services…

The STARTUP of MS services was successful.

The error in not unknown (as stated) but well known and expected

[InfiniBand Storage Network 설정]

[celladmin@stocell1 ~]$ cellcli -e create cell stocell1 interconnect1=eth1

Cell stocell1 successfully created

Starting CELLSRV services…

The STARTUP of CELLSRV services was successful.

Flash cell disks, FlashCache, and FlashLog will be created…

CellDisk FD_00_stocell1 successfully created

CellDisk FD_01_stocell1 successfully created

CellDisk FD_02_stocell1 successfully created

CellDisk FD_03_stocell1 successfully created

CellDisk FD_04_stocell1 successfully created

CellDisk FD_05_stocell1 successfully created

Flash log stocell1_FLASHLOG successfully created

Flash cache stocell1_FLASHCACHE successfully created

[Cell Disks 설정]

[celladmin@stocell1 ~]$ cellcli -e create celldisk all

CellDisk CD_DISK01_stocell1 successfully created

CellDisk CD_DISK02_stocell1 successfully created

CellDisk CD_DISK03_stocell1 successfully created

CellDisk CD_DISK04_stocell1 successfully created

CellDisk CD_DISK05_stocell1 successfully created

CellDisk CD_DISK06_stocell1 successfully created

CellDisk CD_DISK07_stocell1 successfully created

CellDisk CD_DISK08_stocell1 successfully created

CellDisk CD_DISK09_stocell1 successfully created

CellDisk CD_DISK10_stocell1 successfully created

CellDisk CD_DISK11_stocell1 successfully created

CellDisk CD_DISK12_stocell1 successfully created

[Grid disks 설정]

[celladmin@stocell1 ~]$ cellcli -e create griddisk all harddisk prefix=DATA

GridDisk DATA_CD_DISK01_stocell1 successfully created

GridDisk DATA_CD_DISK02_stocell1 successfully created

GridDisk DATA_CD_DISK03_stocell1 successfully created

GridDisk DATA_CD_DISK04_stocell1 successfully created

GridDisk DATA_CD_DISK05_stocell1 successfully created

GridDisk DATA_CD_DISK06_stocell1 successfully created

GridDisk DATA_CD_DISK07_stocell1 successfully created

GridDisk DATA_CD_DISK08_stocell1 successfully created

GridDisk DATA_CD_DISK09_stocell1 successfully created

GridDisk DATA_CD_DISK10_stocell1 successfully created

GridDisk DATA_CD_DISK11_stocell1 successfully created

GridDisk DATA_CD_DISK12_stocell1 successfully created

[celladmin@stocell1 ~]$ cellcli -e alter cell restart services all

   

Stopping the RS, CELLSRV, and MS services...

The SHUTDOWN of services was successful.

Starting the RS, CELLSRV, and MS services...

Getting the state of RS services... running

Starting CELLSRV services...

The STARTUP of CELLSRV services was successful.

Starting MS services...

The STARTUP of MS services was successful.

   

[cell disk alert log]

[root@stocell1 trace]# cd /opt/oracle/cell11.2.3.2.1_LINUX.X64_130109/log/diag/asm/cell/stocell1/trace

[root@stocell1 trace]# ls -al alert*

-rw-rw---- 1 root celladmin 156850 Aug 21 10:00 alert.log

..

..

[RS] Started Service MS with pid 5390

Fri Aug 21 10:00:51 2015

Smart Flash Logging enabled on FlashLog stocell1_FLASHLOG (1842424628), size=80MB, cdisk=FD_05_stocell1

Fri Aug 21 10:00:51 2015

Smart Flash Logging enabled on FlashLog stocell1_FLASHLOG (3996181628), size=80MB, cdisk=FD_04_stocell1

Fri Aug 21 10:00:51 2015

Smart Flash Logging enabled on FlashLog stocell1_FLASHLOG (3466652180), size=80MB, cdisk=FD_03_stocell1

Fri Aug 21 10:00:51 2015

Smart Flash Logging enabled on FlashLog stocell1_FLASHLOG (1448144612), size=80MB, cdisk=FD_02_stocell1

Fri Aug 21 10:00:51 2015

Smart Flash Logging enabled on FlashLog stocell1_FLASHLOG (2992946252), size=80MB, cdisk=FD_00_stocell1

Smart Flash Logging enabled on FlashLog stocell1_FLASHLOG (1465279500), size=80MB, cdisk=FD_01_stocell1

FlashLog: initialization complete

Fri Aug 21 10:00:51 2015

CELLSRV Server startup complete

[RS] Started Service CELLSRV with pid 5397

Fri Aug 21 10:00:57 2015

Info: Assigning flash CD FD_00_stocell1 to group#1

Info: Assigning flash CD FD_01_stocell1 to group#2

Fri Aug 21 10:00:57 2015

Info: Assigning flash CD FD_02_stocell1 to group#3

Info: Assigning flash CD FD_03_stocell1 to group#0

Info: Assigning flash CD FD_04_stocell1 to group#1

Info: Assigning flash CD FD_05_stocell1 to group#2

   

-stocell1 OVM이 완료된 상태로 해당 내역을 복제하여 exadata 구성을 진행한다.

-해당 stocell1을 바탕으로 DB 1개+Cell Disk 2개 구성, DB 2개+Cell Disk1개 구성(RAC)등 다양하게 활용할 수 있으므로

OVM export(내보내기)로 백업 받아 두고 사용하면 좋다.

   

Cellcli 명렁어

cellcli 명령어

1. check cell status

cellcli -e list cell

cellcli -e list cell detail

   

2. Physical Disk Information

cellcli -e list physicaldisk

cellcli -e list physicaldisk E15SBS detail

   

3. LUN Disks Detail

cellcli -e list lun

cellcli -e list lun 0_0 detail 

cellcli -e list lun 5_3 detail

   

4. Cell Disks Report

cellcli -e list celldisk

cellcli -e list celldisk CD_08_exadatalcel10 detail

cellcli -e list celldisk attributes name, devicePartition where size>200g;

cellcli -e list celldisk attributes name,status,size

   

5. Grid Disk Knowledge

cellcli -e list griddisk

cellcli -e list celldisk CD_02_exadatalcel10 detail

cellcli -e list griddisk DATA_DMORL_CD_02_exadatalcel10 detail

cellcli -e list griddisk DBFS_DG_CD_02_exadatalcel10 detail

cellcli -e list griddisk RECO_DMORL_CD_02_exadatalcel10 detail

   

6. Display Exadate Alerts

cellcli -e list alerthistory

cellcli -e list alerthistory 8_1 detail

cellcli -e  list alerthistory where severity like '[warning|critical]'

cellcli -e  list alertdefinition detail

   

7. Restart Cell Services

cellcli -e list cell detail

cellcli -e alter cell restart services rs

cellcli -e alter cell restart services ms

cellcli -e alter cell restart services cellsrv

cellcli -e alter cell restart services all

cellcli -e alter cell shutdown services rs

cellcli -e alter cell shutdown services ms

cellcli -e alter cell shutdown services cellsrv

   

구성 시에 에러(CELL-01518)

/opt/oracle/cell11.2.3.2.0_LINUX.X64_120713/cellsrv/deploy/config/cellinit.ora

   

[celladmin@cell ~]$ cellcli -e create cell cell1 interconnect1=eth1

CELL-01518: Stop CELLSRV. Create Cell cannot continue with CELLSRV running.

   

[celladmin@cell ~]$ cellcli

CellCLI: Release 11.2.3.2.0 - Production on Tue Jan 20 22:14:40 CST 2015

Copyright (c) 2007, 2012, Oracle.  All rights reserved.

Cell Efficiency Ratio: 1

   

CellCLI> alter cell shutdown services cellsrv

   

Stopping CELLSRV services... 

The SHUTDOWN of CELLSRV services was successful.

   

CellCLI> exit

quitting

   

[celladmin@cell ~]$ cellcli -e create cell cell1 interconnect1=eth1

Cell cell1 successfully created

   

   

[참고 문서 및 사이트]

   

블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,


2.OVM TEST Environment

   

1) 설치 전 준비 파일

2) BASE Environment

  • OVM 환경 구성에서 중요한 요소는 CPU, Memory, Network, Disk로 볼 수 있다. (Disk 구성은 Storage Cell Disk 참조)
  • Oracle Grid & DB S/W 1대, Storage Cell S/W OVM 1대
  • Stocell1을 먼저 구축한 뒤에 Exadata1을 복제하여 사용할 것임으로 Stocell1을 중점적으로 먼저 구성한다.(중요)

       

       

       

    CPU 설정

    - Exadata1 & Stocell1

       

    Memory 설정(중요)

    - Exadata1

     

    - Stocell1

       

    Network 설정(중요)

    - Exadata1(3개)

       

       

     

    - Stocell1(2개)

       

 

   

3) ETC

  • Stocell1을 먼저 구성한 뒤에 해당 내역을 복제하여 Exadata1로 사용하는 형태로 진행된다.(중요)
  • Memory의 경우에 Stocell1은 2GB 정도면 되지만 Exadata1의 경우에는 적어도 3GB는 할당해야 한다.
  • Network 구성 시에 2개의 대역대만(192.168.56.*, 192.168.122.*) 있으면 되며 yum의 사용을 위하여 추가 인터넷 IP(192.168.0.*)를 받아 설정하면 RPM 설치 시 수월하게 진행할 수 있다. (PC 마다 IP할당 설정은 다를 수 있음)
  • Disk 설정의 경우에 OS 설치 이후에 추가적으로 구성되므로 "Storage Cell Disk"에서 이야기 하겠다.

     

[참고 문서 사이트]


블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,


1.OverView

   

 1) Exadata(엑사데이터) 구성

  • Single Instance DB 1개와 Storage Server 1개로 이루어진 구성으로 구축을 진행
  • Local PC에서 OVM을 통하여 장비를 구축하다 보니 최소의 PC Resource를 사용하여 구축하여 Exadata의 Smart Scan을 TEST하기 위해 설치를 진행 함.(Exadata를 간접적으로 경험(Storage Server Software)하고 TEST하는 것이 목적)

       

       [Oracle 자료 참고 이미지]

    Install Oracle Linux

    Install Storage Cell

    Create Storage Cell Disk

    Install Grid Infrastructure

    Install Database

     

 2) Exadata Smart Scan

  • Disk Scan을 수행하는 동안 데이터베이스 서버로 다시 전송해야 할 데이터의 양을 줄여 성능에 있어 최적화를 목표로 한다.
  • Sun을 인수하면서 Hardware + Software를 모두 성능 최적화를 하기 위한 노력을 계속 되어 왔다. CPU와 Memory의 경우에 과거에서부터 큰 수치로 성능이 개선되어 왔지만 Disk의 경우에는 그에 반해 성능적인 측면에서의 발전 속도가 늦어 Hardware에서의 성능 최적화에 대한 그 결과 중 하나인 Exadata가 나오게 된다.

       

    [기본 개념 참조]

   

   [Oracle 자료 참고 이미지]                      

  • Smart Scan의 주요 3가지 요소

       

    Column Projection (DB 서버로의 데이터 전송량 감소를 통한 최적화)

      - 필요한 테이블의 컬럼만 데이터를 반환함으로써 Exadata Storage 계층과 데이터베이스 계층 사이에 전송되는 데이터의 양을 제한하는 기능이다.

    예) 필요한 테이블의 컬럼(Select List에 명시되어 있는 컬럼 내역과 Join시 사용된 컬럼을 이야기함)

       

    Predicate Filtering (DB 서버로의 데이터 전송량 감소를 통한 최적화)

        - 주로 사용되는, 관심 있는 Row의 데이터만 DB 계층으로 반환하는 기능

    - 위 구조에서 iDB에서 데이터 요청 시 Predicate 정보를 바탕으로 DB 계층으로 데이터를 반환하기 전에 표준
    필터링 작업을 수행하여 필요한 데이터만 전송함으로써 데이터 전송 량의 감소에 따른 CPU 사용률의 자원을 절감한다.

       

    Storage Index (Disk I/O 감소를 통한 최적화)

       - 스토리지 셀의 메모리 구조를 만들어 Table 당 최대 8개의 컬럼까지 각각 1MB Disk Storage Unit마다 최대/최소값을 유지하여 Disk I/O의 감소를 통한 최적화를 진행한다.

       

  • Oracle Exadata Single Database TEST 구성을 통하여 Smart Scan의 핵심 요소인 Column Projection, Predicate Filtering, Storage Index를 테스트하는 것이 목적이다.

    (단, Storage Server의 Heap메모리 Size에 의존하는 Storage Index TEST에만 제약이 있음)


[참고 문서 사이트]

  • Exadata Base Document (MOS ID 888828.1]


블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,


직장인 영어 공부 습관 길들이기

  • 단기간의 영어 공부가 아닌 길게 영어를 배우고 자연스럽게 기억하기 위하여 반복해야 한다는 생각이 어느 순간 부터 들면서 영어 습관을 들이기 위하여 다양한 방법을 하던 중에 괜찮았던 내용을 정리한다.
  • 아래 추천 사이트들은 스마트폰으로 언제 어디서든지 볼 수 있다.

   

1.WebToons

http://www.webtoons.com/en/

   

  • 출근 길에 웹툰을 보는 사람들이 많아졌다. 나 역시 웹툰을 많이 보는데 해당 웹툰을 영어로 볼 수 있는 곳이 있다.
  • 네이버의 웹툰을 그대로 영어 버전으로 볼 수 있어 영어에 대하여 친숙하게 만드는 데 좋은 사이트로 생각한다. 문법이나 영어가 어렵지 않고 만화를 같이 보기 때문에 재미도 있어 매일 출,퇴근길에 영어 버전의 웹툰을 보면서 영어를 보고 읽는데 익숙해질 수 있다. (보기, 읽기)

   

2.Finally speak

http://www.finallyspeak.com/kr

  • 해당 영어 사이트는 동영상으로 상대방과 대화하는 형대로 회화를 연습할 수 있는 곳이다.
  • 무료로 해당 내역을 보면서 공부할 수 있고 외국인과 대화하는 형태로 수업을 진행할 수 있으며 단계별로 잘 만들어져 있어 잠자기 전에 1~2가지 표현 정도를 간단하게 연습하고 잠을 잔다.
  • 외국인과 대화를 간접적으로 연습할 수 있고 실생활에 가까운 표현들을 위주로 동영상이 짜여져 있어 영어를 쉽게 접할 수 있다.(말하기)

   

3.아리랑 TV & Radio

http://www.arirang.com/Radio/Radio_Index.asp?sys_lang=Eng

   

  • 아리랑 TV& Radio는 차를 가지고 이동하거나 최신의 한국 노래를 듣고 싶을 때 주로 이용한다. 대부분의 방송이 한류를 기반으로 진행되어 기본적으로 영어로 진행하지만 추천 곡이나 주된 이야기는 한류에 대한 내용을 영어로 이야기해서 가볍게 들을 수 있고 중간중간에 한국의 최신 가요가 나와 음악 방송을 듣는 느낌으로 영어를 접할 수 있다. (듣기)

   

   

4.TED

https://www.ted.com/

   

  • TED의 영어 자막을 이용하여 조금 더 수준 있는 영어 공부가 가능하다. 강연의 내용에 대한 지식도 얻고 영어도 들으면서 자막을 확인할 수 있다. 강의내용이 어려울 수 있으나 자신이 관심이 있는 분야에 대한 강의를 들을 것을 추천한다. (심화)

   

   

5.기타

    

블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,


1. EM 설치

1) Emca -config dbcontrol db -repos recreate

   

   

2. EM 상태확인 및 시작/정지

1) emctl status dbconsole(emctl stop dbconsole, emctl start dbconsole)

   

   

   

   

   

3. EM 시작

   

   

   

1) Em을 사용하기 위해서는 별도의 라이선스가 필요하지만 TEST는 가능합니다.

2) EM을 통해서 전반적인 DB 상태확인 및 관리가 가능합니다. 이번 TEST에서는 Rman backup에 대한 부분에 대해서만 정리하도록 하겠습니다.

   

4. EM을 이용한 Rman backup 설정

   

   

1) 백업 설정 후 -> 백업 일정잡기를 설정하도록 하겠습니다. (백업 설정은 Rman 에서 show all 명령어를 입력했을 때 나오게 되는 기본 환경변수들에 대한 세팅 부분입니다.

   

   

2) 백업 정책에 대한 세밀한 설정을 시각적으로 확인하면서 설정할 수 있습니다. 설정 후 oracle 서버에 자동으로 해당 내용이 반영됩니다.

   

5. 백업 일정 잡기

   

   

1) 사용자 정의 백업을 통해 다양한 형태로 백업을 진행할 수 있습니다.

   

   

   

2) 추가적으로 백업 모드와 백업 유형 그리고 사용되지 않는 백업본 삭제까지 세밀한 설정까지 가능합니다.

   

   

3) 백업이 될 형태와 위치 지정이 가능합니다.

   

4) 백업 일정에 대해서 날짜 시간별로 지정할 수 있습니다.

   

5) 해당 일정이 완료가 되면 Rman backup 스크립트가 완성되어집니다(해당 스크립트에는 일정 및 주기에

대한 내용이 들어가 있지는 않고 backup에 대한 스크립트입니다. )

   

6) 해당 작업설정이 완료가 되면 아래와 같이 실행되는 백업 일정에 대해서 확인 및 편집이 추가로 가능합니다.

   

   

블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,