NiFi DB와 연결해서 CSV 파일 적재하기

 

 

이전에는 로컬에 csv 파일 옮기는 작업을 해보았는데,

 

이번에는 로컬에 올라가있는 csv 파일을 DB로 넣어 보겠습니다.

 

 

DB 적재하는 fow 입니다.

 

 

 

 

 

PutDatabaseRecord - 데이터베이스에 플로우파일의 데이터를 적재할 때 사용하는 프로세스

 

PutDatabaseRecord 프로세스를 생성하고 속성을 설정합니다.

Statement Type : INSERT, UPDATE, DELETE, INSERT_IGNORE..등 있습니다. 상태에 맞게 사용하면 됩니다.

Database Connection Pooling Service : DBCPConnectionPool  컨트롤러를 연결합니다.

Table Name : 데이터를 적재할 테이블 이름을 적어준다.

 

 

 

DBCPConnectionPool - 데이터를 수집하거나 적재하는 용도로 프로세스를 데이터베이스에 연결하기 위해 사용하는 컨트롤러 서비스 (데이터베이스 드라이버 클래스명, 데이터베이스 연결 URL(jdbc 정보) 입력해야 한다.)

 

DBCPConnectionPool  컨트롤러를 속성 설정해줍니다.

Database Connection URL :  jdbc:postgresql://hody번호/postgres?stringtype=unspecified

Database Driver Class Name : org.postgresql.Driver

Database User : DB에 설정해둔 데이터베이스명 적어줍니다.

 

 

 

 

DB에 테이블을 생성 해줍니다.

flow 흐름대로 실행을 해줍니다

 

 

 

corona.csv 파일이 같은 서버에 있는 test 폴더로 옮겨지게 되고

test폴더(로컬)에 옮겨진 파일을 연결된 DB에 적재됩니다.

 

 

 

DB에 데이터가 적제 되었습니다.

'corona' 테이블에 데이터가 들어가있는 모습.

 

 

 

 

 

 

 

 

 

아래의 링크에서 csv 파일을 다운받아 연습해보았습니다.

https://www.data.go.kr/tcs/dss/selectDataSetList.do

공공데이터 포털