정형 데이터 적재 연습하기 01

 

 

 

 

📖 정형 데이터 적재 시나리오 01

 

 

 

1. FTP 서버의 /nifi_data/raw_dataset 디렉터리에서 이니셜_business_data_20230213.csv 데이터파일을 로컬 NiFi로 수집

[ FTP 서버 연결정보 ]
HOST : Host번호
PORT : 21
ID : 서버ID
PW : 서버 PW

2. 레코드 건수 측정

3. 레코드의 칼럼명을 서버 DB postgresql의 postgres DB nifi 스키마 내의 business_dist_data 테이블에 맞게 변경

4. 서버DB postgresql DB nifi 스키마 내의 business_dist_data 테이블에 레코드 적재
[ DB 연결정보 ]
 HOST : Host번호 (서버 Host와 같음)
 PORT : DB Port번호
 DB 명 : postgres
 ID : postgres
 PW : 
 schema : nifi
 table name : business_dist_data

5. 적재 완료된 파일을 FTP 서버의 /nifi_data/result_dataset 경로 하위에 본인의 이니셜로 폴더명을 지정하여 해당폴더에 데이터파일 적재

6. 적재 완료 후 원래 파일이 있던 FTP 서버의 /nifi_data/raw_dataset 의 파일을 /nifi_data/backup_dataset 하위로 옮기기

 

 

 

 

적재 성공시킨 Flow

 

 

 

- GetFTP 속성 설정

 

 

 

 

 

 

 

 

 

- QueryRecord 속성 설정

 

 

SELECT
"상가업소번호" as house_no,
"상호명" as cmpny_nm,
"지점명" as point_nm,
"상권업종대분류코드" as industry_lgcls_cd,
"상권업종대분류명" as industry_lgcls_nm,
"상권업종중분류코드" as industry_mdcls_cd,
"상권업종중분류명" as industry_mdcls_nm,
"상권업종소분류코드" as industry_smcls_cd,
"상권업종소분류명" as industry_smcls_nm,
"표준산업분류코드" as std_cls_cd,
"표준산업분류명" as std_cls_nm,
"시도코드" as sd_cd,
"시도명" as sd_nm,
"시군구코드" as sgg_cd,
"시군구명" as sgg_nm,
"행정동코드" as hd_cd,
"행정동명" as hd_nm,
"법정동코드" as bd_cd,
"법정동명" as bd_nm,
"지번코드" as addr_cd,
"대지구분코드" as site_cd,
"대지구분명" as site_se_nm,
"지번본번지" as addr_main_no,
"지번부번지" as addr_sub_no,
"지번주소" as addr_data,
"도로명코드" as road_cd,
"도로명" as road_nm,
"건물본번지" as bud_main_no,
"건물부번지" as bud_sub_no,
"건물관리번호" as bud_mng_no,
"건물명" as bud_nm,
"도로명주소" as bud_addr,
"구우편번호" as old_zip_cd,
"신우편번호" as new_zip_cd,
"동정보" as dong_info,
"층정보" as flor_info,
"호정보" as room_info,
"경도" as logtd,
"위도" as lattd
FROM flowfile

 

 

 

 

- CalculateRecordStats  속성 설정

 

 

 

 

 

 

- PutDatabaseRecord 속성 설정

 

 

 

 

 

 

 

 

- PutFTP 속성 설정

 

 

 

 

 

 

 

 

 

- FetchFTP 속성 설정

 

 

Remote File : /nifi_data/result_dataset/boram/br_business_data_20230213.csv

경로를 구체적으로 적어준다.

 

 

 

 

 

 

 

 

FTP 서버의 /nifi_data/raw_dataset 디렉터리에서 이니셜_business_data_20230213.csv 데이터파일을 로컬 NiFi로 수집

 

 

 

 

 

 

 

 

레코드의 칼럼명을 서버 DB postgresql의 postgres DB nifi 스키마 내의 business_dist_data 테이블에 맞게 변경

 

QueryRecord에서 설정된 형태로  서버 DB postgresql DB nifi 스키마 내의 business_dist_data 테이블에 레코드 적재

 

 

 

 

 

 

 

 

적재 완료된 파일을 FTP 서버의 /nifi_data/result_dataset 경로 

하위에 본인의 이니셜로 폴더명을 지정하여 해당폴더에 데이터파일 적재

 

 

 

 

 

 

 

적재 완료 후 원래 파일이 있던 FTP 서버의 /nifi_data/raw_dataset 의 파일을 /nifi_data/backup_dataset 하위로 옮기기

→ 이 부분은 window에서 발생되는 경로 오류로 서버에 옮겨지지는 않았지만! 과정과 속성 설정은 맞게 잘 설정된 것이다