API 데이터 적재 연습하기 03_Open API 호출한 데이터 DB적재 후 수정하기

 

 

📖 API 데이터 적재 시나리오

 

 

1. API로 수집하여 FTP 서버 /nifi_dataset/api_dataset 에 적재한 데이터를 get 하기

2. json포맷의 데이터를 csv로 변환

3. 레코드 건수 추출

4. 추출한 레코드 건수를 data_co 컬럼에, 20230215 값이 load_de 컬럼에 들어가도록 하여
postgres 데이터베이스 내 nifi 스키마의 lfr_price_rate_year 테이블에 적재

5. 레코드 적재 후 level_no 컬럼의 값이 1인 데이터만 load_de 컬럼의 값을 0으로 업데이트

 

 

 

 

 

 

 

실행 된 Flow

 

 

 

 

 

적재된 br_20230215.json 파일을 불러온다.

 

 

 

 

GetFTP 프로세스를 사용해서 파일을 불러온다.

 

 

 

 

 

ConvertRecord를 사용해서 json파일을 읽어와서 csv 파일로 변환한다.

 

 

 

 

 

CalculateRecordstats 프로세스로 레코드 건수 측정한다.

 

 

 

 

 

UpdateAttribute 프로세스로 time속성을 생성한다.

 

 

 

 

 

 

 

 

QueryRecord - 플로우 파일 내의 데이터를 쿼리 할 때 사용하는 프로세스

추출한 레코드 건수를 data_co 컬럼에, 20230215 값이 load_de 컬럼에 들어가게 한다.

 

생성한 속성을 테이블의 컬럼으로 사용한다

 

 

 

record.count는 CalculateRecordstats 프로세스의 Data Provenance를 통해 속성을 확인한다.

 

 

 

 

 

 

 

 

PutDatabaseRecord 프로세스에 DB를 적재시키기 위한 속성값을 입력한다.

 

PostgreSQL 데이터베이스 내 nifi 스키마의 lfr_price_rate_year 테이블에 적재한다.

 

 

 

 

 

DB에 데이터가 적재된 것을 확인한다.

적재 후 level_no 컬럼의 값이 1인 데이터만 load_de 컬럼의 값을 0으로 업데이트 해본다.

 

 

 

 

 

 

PutSQL - 플로우 내에서 데이터베이스의 INSERT 또는 UPDATE 명령을 실행하는 경우 사용하는 프로세스

JDBC Connection Pool : 연결할 데이터베이스의 컨트롤러 서비스 선택

SQL Statement : 실행할 INSERT 또는 UPDATE SQL문 작성

 

 

SQL Statement 속성에 작성한 update 쿼리문

* 스키마가 존재하는 경우

테이블명 앞에 스키마명을 꼭 적어 주어야한다. 

 

 

 

 

 

 

Flow 실행이 모두 완료되고,  DB에서 확인을 한번 해보았다.

level_no의 값이 '1'인 데이터만  load_de 컬럼의 값을 0으로 수정된 것을 확인함.

 

 

 

 

 

 

 

 

 

 

 

후기

 

 

PutSQL 프로세스를 처음 사용하여 연습 해보았다.

Flow를 만들때 어떤 프로세스를 사용해야 적절하고 조금 더 간결하게 사용될지 고민도 해보았다

 

문제점이라고 하면,

PutSQL 프로세스를 설정할 때, SQL statement에 SQL문을 작성해주었는데

이때는 from fileflow 가 아닌 "FROM 테이블명"을 적어 주어 DB에서 수정이 되는지 확인 차 쿼리를 작성하여 실행시켰더니

데이터가 수정됨을 확인 하였다.

그대로 update 쿼리문을 작성 해주었는데, 이때 스키마 명을 적어주지 않아서 flow에서는 에러가 발생하게 되었던 것.

구글을 찾아보았지만 해결이 되지 않아서 사수님에게 질문하여 해결이 완!!!!

스키마가 존재할 때는 꼭 테이블명 앞에 스키마명을 적어주자!