정형 데이터 적재 연습하기 02

 

 

📖 정형 데이터 적재 시나리오 02

 

 

1. FTP 서버의 /nifi_data/raw_dataset 디렉토리에서 이니셜_20161231.csv 데이터파일을 로컬 NiFi로 수집

2. 레코드 건수 측정

3. 오늘날짜 (년도4자리월일 YYYYMMDD) 형태로 time 이름의 속성 생성

3. 레코드의 컬럼 중  구분, 국가명, 진출지역, 회사명(국문), 회사명(영문), 진출년도, 업종1 컬럼 추출 
   + 위에서 측정한 레코드 건수를 데이터 건수 (data_co) 컬럼에 넣기
   + time 속성의 값을 적재일자(load_de)컬럼에 넣기 

 

3번 항목에 대한 힌트)
SELECT
.........
'${속성명}' AS "추가할컬럼명",
.......
FROM flowfile

 

3번 항목의 추출대상 컬럼은 ovs_expns_kor_entprs 테이블의 컬럼명과 매핑하시면 됩니다!

 

4. 서버DB postgresql DB nifi 스키마 내의 ovs_expns_kor_entprs 테이블에 추출한 레코드 적재

5. 레코드 적재 완료 후 파일명을 이니셜_오늘날짜.csv로 변경

6. 적재 완료된 파일을 FTP 서버의 /nifi_data/result_dataset 경로 하위에 본인의 이니셜로 폴더명을 지정하여 해당폴더에 데이터파일 적재

 

 

 

 

 

 

 

 

 

실행된 flow는 아래와 같다.

 

 

 

 

 

 

 

 

로컬로 수집 할 NiFi 데이터

br_20161231.csv 파일

 

 

 

 

 

 

 

 

 

 

GetFTP 프로세스로 FTP 서버의 /nifi_data/raw_dataset 위치에 있는 br_20161231.csv 파일 데이터를 불러온다.

 

CalculateRecordStats 프로세스로 레코드 건수를 측정

 

UpdateAttribute 프로세스로 속성을 설정해주어

오늘날짜(YYYMMDD) 형태로 time 이름의 속성을 생성하여 준다.

 

 

 

 

 

QueryRecord 프로세스로 레코드의 컬럼 중

구분, 국가명, 진출지역, 회사명(국문), 회사명(영문), 진출년도, 업종1 컬럼 7개를 추출한다.

 

• 위에서 측정한 레코드 건수를 데이터 건수(data_co) 컬럼에 넣는다.
  • 1. CalculateRecordStats 프로세스의 View Dadta Provenance
  • 2. Provence Event에서 ATTIBUTE 의 내용에 'read.count' 속성을 확인한다.
• time 속성의 값을 적재일자(load_de) 컬럼에 넣는다.

 

 

 

 

 

SELECT
"구분" AS region_se,
"국가명" AS country_nm,
"진출지역" AS exp_plc_nm,
"회사명(국문)" AS entprs_kor_nm,
"회사명(영문)" AS entprs_eng_nm,
"진출년도" AS exp_yy,
"업종1" AS busns_ty_1,
'${record.count}' AS data_co,
'${time}' AS load_de
FROM flowfile

 

 

 

 

 

ovs_expns_kor_entprs 테이블에 데이터를 적재 시키도록 설정해준다.

 

 

 

 

 

 

UpdateAttribute 프로세스에 FTP서버에 파일명을 '이니셜_오늘날짜.csv' 형식으로 변경되게 속성 설정한다.

 

 

 

 

 

DB에 적재 완료된 파일을 FTP 서버의 /nifi_data/result_dataset/boram 경로에 데이터파일을 적재 시킨다.