11. Create Json Form File

테스트 편의를 위해서 DB에서, 그리고 파일시스템에서 데이터를 읽어서 bulk indexing 형태의 json form 파일을 만드는 클래스가 util.jar에 2개 포함되어있습니다.

DB

1. crescent_utils/src/main/resources/jdbc_connection_info.xml 수정하여 별도의 위치에 놓는다.

• fieldMapping : DB의 column과 json 포맷(루씬의 필드)에 사용될 field를 mapping
• jsonFileDir : 파일이 만들어질 디렉토리
• limitRowEachFiels : 하나의 파일에 쓰여질 데이터의 rows (너무 많으면 java oom 발생 할 수 있음)
• sql : DB에서 데이터 select 할 SQL 쿼리

2. mvn 빌드

3. java -classpath crescent_utils-0.5-SNAPSHOT.jar:. com.tistory.devyongsik.utils.MakeJsonFormFileFromDB {connectionInfo.name} {jdbc_connection_info.xml의 full path}

File System

1. crescent_utils/src/main/resources/indexing_file_info.xml을 수정하여 별도의 위치에 놓는다

• srcDir : 색인대상 파일들의 root dir
• outputDir : 만들어진 json Form 파일이 놓일 위치
• limitFileCountOnOutput : json form 파일하나당 몇개의 파일을 json 포맷으로 만들것인지
• fileExtInclude : 대상 파일의 확장자 (java|xml|properties 형태)
• inputEncoding : 파일을 읽을때 사용할 인코딩
• outputEncoding : 파일을 Write할때 사용할 인코딩

2. mvn 빌드

3. java -classpath crescent_utils-0.5-SNAPSHOT.jar:. com.tistory.devyongsik.utils.MakeJsonFormFileFromFiles {indexing_file_info.xml의 full path}