API 데이터 수집 연습하기 03_Open API 호출하여 데이터 수집

 

 

📖 API 데이터 수집 시나리오

1. 공공데이터포털 DATA.GO.KR 가입 후 
   https://www.data.go.kr/tcs/dss/selectApiDataDetailView.do?publicDataPk=15098962
   (한국부동산원_전국지가변동률조사 통계 조회 서비스) Open API 활용신청 후 인증키 발급

2. 파일포맷은 JSON, 1페이지에 페이지당 건수를 100건으로 설정하여 API 호출.

3. 호출한 API데이터에서 data 부분만 추출

4. 수집 및 추출한 데이터의 이름을 이니셜_20230215.json으로 변경 후 FTP서버의 /nifi_data/api_dataset 하위에 저장

 

 

 

 

 

 

공공데이터 포털 회원가입 링크

 

https://www.data.go.kr/

공공데이터 포털

 

 

 

 

가입 후 아래 링크로 이동

한국부동산원_전국지가변동률조사 통계 조회 서비스 Open API 활용신청 후 인증키 발급

 

https://www.data.go.kr/tcs/dss/selectApiDataDetailView.do?publicDataPk=15098962

한국부동산원_전국지가변동률조사 통계 조회 서비스

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

value 칸에 인증키 두개를 복사해서 붙여 넣고 설정버튼을 눌러줍니다.

인증키 설정을 하고 스크롤을 내리면 API목록이 있는데 가져올 API를 하나 선택합니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

URL을 사용해서 NiFi에서 API를 호출 해보도록 하겠습니다.

 

 

 

 

 

 

실행된 Flow

 

 

 

 

 

 

 

- GenerateFlowFile 속성 설정

 

 

 

 

 

- InvokeHTTP 프로세스 속성 설정

 

 

HTTP URL 칸에 아까 복사했던, Request URL을 붙여 넣기 해줍니다.

 

 

 

 

 

- EvaluateJsonPath 프로세스

JSON의 데이터를 수집 및 적재하는 경우 JSON 데이터의 경로 및 값을 분리할 수 있는 프로세스

이 프로세스를 정상적으로 통과하는 경우 지정한 JSON 속성들은 NiFi 플로우 내의 속성으로 등록되거나

추출한 내용이 flowfile로 변경된다.

 

 

 

 

 

아래의 링크에서 JSON 데이터의 내용을 추출해 보았습니다.

 

https://jsonpath.com/

JSONPath Online Evaluator

 

 

 

 

 

 

 

EvaluateJsonPath 프로세스를 거쳐서 데이터가 넘어가는 것을 확인해보았다.

 

 

 

 

 

 

 

- ControlRate 프로세스

InvokeHTTP, EvaluateJsonPath 프로세스와 연결하여 Failure, No Retry, Retry, unmathced 일 때, 

상태를 확인해 볼 수 있다.

 

 

 

 

 

 

- UpdateAttribute

 

속성을 생성하여 FTP 서버로 파일을 저장할 때, 파일명을 바꿔줍니다.

 

 

 

 

 

 

- PutFTP 프로세스

 

Remote Path에 파일을 올릴 경로를 설정한다.

 

 

 

 

 

 

 

Open API 파일을 호출하여 지정한 서버 위치에 파일이 제대로 올려졌는지 확인해보았다.

 

 

 

 

 

 

 

후기

 

NiFi를 연습하면서 오늘 어려웠다. API의 URL만 잘 연결했어도 시간이 오래 걸리지는 않았을 것 같다!

 

 

잘못한 점 :

인증키를 인증키설정에 넣어줬어야 했는데, 공공데이터포털 가이드를 보고 인증키를 다른 것으로 넣었으니

RequestURL을 프로세스에 설정했어도 실행되지 않는 게 당연했다.

 

 

개선해야 할 점 :

프로세스의 기능을 완벽하게 외우지 못하여 어떤 프로세스를 사용할지 생각하는데 시간이 걸리는 부분을 개선해야 한다

 

현재 윈도우에서 실행 중인데, 실행이 제대로 되어도 에러가 발생한다. 얼른 Oracle VM Virtualbox를 설치해서 리눅스 환경에서 연습도 해봐야 할 것 같다!