PENTAHO Spoon Kettle 작업중 JAVA heap 메모리 부족 해결방법

 PENTAHO ETL 작업중 JAVA Heap 메모리 부족현상중 Lookup을 사용하는 경우 문제 해결방법 

Spoon을 사용하여 작업하는 도중 Heap 메모리 부족을 해결하기 위해 여러 자료를 찾아보면 JAVA 환경설정 파라미터를 

수정하라는 내용이 대부분입니다. 여기서 ETL작업중 사용되는 메모리가 Transaction단위로 볼때 1G를 넘는어 작업하는 

경우가 얼마나 있을까 생각해 봅니다. 

 문제는 메모리 사이즈가 아니라 Spoon 버그 또는 작업 방법에 대한 문제로 보입니다. 

그중에 Lookup 작업의 경우 테스트 결과 아래 그림의 "캐시 활성화" 및 "테이블에서 모든 데이터 로드" 옵션을 설정하지 않고 작업하는 경우 지속적으로 메모리 사용량이 늘어나 결국 메모리 Overflow가 발생하게 됩니다. 

 문제 해결방법은 두 옵션을 활성화 하고 작업을 하면 Heap 메모리 부족이 발생되지 않습니다. 

오류 메시지 - 옵션을 활성화 하지 않고 1G heap memory를 할당하고 1000건당 commit하는 경우 800만건 정도에서 메모리 부족 오류 발생 

UnexpectedError: java.lang.OutOfMemoryError: Java heap space

java.lang.OutOfMemoryError: Java heap space