Oozie instsall

2011/03/09 Leave a comment

Oozie 설치하기

시스템 요구 사항

  • 유닉스
  • 자바 1.6 +
  • 하둡 (0.20.x)
  • 톰켓 6.x

Oozie 다운로드

https://github.com/yahoo/oozie/downloads 에서 최신 버전을 다운 받는다.  (예, 2.2.2)

Ooozie 배포판의 gz.tar 압축을 푼다.

환경변수 설정

자바 JRE 는 PATH에 있어야 한다.
OOZIE_HOME 환경 변수를 설정하고 ${OOZIE_HOME}/bin 을 PATH에 추가한다

Oozie WAR 설치

Oozie WAR 는 하둡 JAR 파일과 ExtjJS 라이브러리가 없이 묶여있다. 하둡 JAR 는 Oozie를 실행하는데 필요하고. ExtJS 라이브러리는 선택사항이다.  (웹 콘솔을 위해서 필요하다)

ExtJS 라이브러리를 다운 받는다. http://extjs.com/deploy/ext-2.2.zip (2.2버전이어야 한다)
ExtJS는 다른 라이센스를 사용하기 때문에 함께 묶이지 않았다.

${OOZIE_HOME}/bin/addtowar.sh 스크립트를 이용하여 하둡 JAR와 ExtJS 라이브러리를 Oozie WAR 파일에 추가한다.

사용법:

 Usage  : addtowar 
 Options: -inputwar INPUT_OOZIE_WAR
          -outputwar OUTPUT_OOZIE_WAR
          [-hadoop HADOOP_VERSION HADOOP_PATH]
          [-extjs EXTJS_PATH]
          [-jars JARS_PATH] (multiple JAR path separated by ':')

오리지널 Oozie WAR 파일은 ${OOZIE_HOME}/oozie.war 에 있다.

예:

${OOZIE_HOME}/bin/addtowar.sh -inputwar ${OOZIE_HOME}/oozie.war -outputwar oozie.war -hadoop 0.20.2 ${HADOOP_HOME} -extjs EXTJS_PATH -jars ${HADOOP_HOME}/*.jar

새롭게 생성된 WAR 파일을 톰켓의 webapps 디렉토리로 복사한다.

데이터베이스 설정

Oozie는 HSQL, MySQL, Oracle 데이터베이스에서 작동한다.

HSQL을 사용하면, oozie는 HSQL JDBC 드라이버를 묶는다. HSQL 은 임베디드 인-메모리 데이터베이스이다. 모든 데이터는 Oozie가 실행을 멈추면 없어진다.

MySQL 또는 Oracle을 사용하면,  알맞는 JDBC 드라이버 JAR 파일들을 Oozie classpath에 위치 시켜야 한다. (Oozie WAR에 추가하거나 톰캐의 common/lib 디렉토리에 추가한다.) Oozie를 위한 데이터베이스가 생성되어야 한다. Oozie는 테이블을 자동적으로 생성한다.

bin/addtowar.sh 스크립트의 -jars 옵션을 이용하여 Oracle 또는 MySQL JDBC 드라이버 JAR 를 Oozie WAR파일에 추가할 수 있다.

Oozie 설정

설정은 ${OOZIE_HOME}/conf 디렉토리로 부터 읽는다.

Oozie 설정은 3가지 다른 파일로 분배된다.

  • oozie-site,xml : Oozie 서버 설정
  • oozie-log4j.properties : Oozie 로깅 설정
  • adminusers.txt : Oozie 관리 유저 리스트

참고

Filed under Hadoop Tagged with , , ,

Leave a comment