본문 바로가기

ETL/Pentaho

(5)
Pentaho 구조 및 특징 Architecture Characteristics Web-Based Components User Console Analyzer Interactive Reports Dashboard Designer CTools Data Source Wizard Data Source Model Editor Design Tools PAD (Pentaho Aggregation Designer) PME (Pentaho Metadata Editor) PRD (Pentaho Report Designer) PSW (Pentaho Schema Workbench) PDI (Pentaho Data Intergration) Comparison CheckList PDI (Pentaho Data Intergration) 대분류 소분류 Func..
Pentaho server 소개 pentaho di 툴의 repository 와 서버 역할을 한다. pentaho 에는 pentaho di 라는 웹 기반의 서버가 있는데 pentaho 에서는 이 서버를 slave 라 한다. master, slave, cluster 라는 개념이 있기 때문에 구분해서 정의를 내려야 한다.( 아직 파악하지 못함 ) client 툴에서 etl 을 작성하여 로컬에서 테스트 후에 repository 에 저장 후 paster, slave 에 실행을 하면 각 서버에 실행 정보가 절달이 되고 실행은 각 서버에서 수행 한다. 홈페이지에서 제공되는 메뉴얼로는 설치를 할 수 없었고, 인터넷어서 자료를 찾았지만 생각보다 많지 않았다. 현재도 repository 에 접속만 되었지 어느 기능까지 될지는 아직 모르고 따라서 ..
Pentaho pan 정의 원격으로 tranformation 을 실행시키는 모듈이다. 설치 data-intergration( carte ) 설치시 bundle 로 들어가 있다. 설정 repository 를 다음처럼 두가지로 나뉠 수 있는데 이게 carte 하고는 또 다름.. kitchen 은 또 다름 file repository database repository 일반적으로 $HOME/.kettle/repository.xml 에 다수의 repository 를 등록할 수 있지만 pan.sh 은 CURRENT_PATH/repogitories.xml 을 인식함 repogitories.xml 의 내용은 carte 서버에서 설정한 $HOME/.kettle/repository.xml 과 동일하다. 실행 repository list [b..
Pentaho kitchen 정의 원격으로 job 을 실행시키는 모듈이다. 설치 data-intergration( carte ) 설치시 bundle 로 들어가 있다. 설정 pan 과 동일 general error random 적으로 발생(같은 명령어 반복시 발생) vfs 안쓰는데.. 어떻게 끄지? 객체를 vfs 단위로 취급하는듯 pentaho 9.1 cetified jdk version 은 jdk 8 (현재 환경과 같음) 미해결 https://jira.pentaho.com/browse/PDI-17149?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aworklog-tabpanel 이미 등록된 버그 이지만 원인을 찾지 못하고 더 많은 cpu 와 ram 이 설치된 머신에서 문제가 없다고..
Pentaho carte server 정의 pentaho 는 모든 작업은 기본적으로 spoon.sh 이라는 client tool 에서 시작된다. 사용자가 execution 서버를 추가하는 경우 해당 작업을 넘길 수 있다. 이러한 서버를 carte 서버라고 한다. 서버의 구분은 다음과 같이 된다. master server slave server carte cluster 작업이 많지 않다면 master 만 사용하여 구축을 진행 한다. spoon 에서 구분할때는 모든 서버를 '슬레이브 서버' 로 통칭한다. 설치 jdk 8 pdi 9.1 기준 jdk 11 에서 정상동작하지 않음 설정 모든 메뉴얼에는 pentsho server repository 에 대한 기준으로 설명되어 있어 현재 설정인 database repository 와 조금 다르게 느껴지고..