분류 전체보기 (24) 썸네일형 리스트형 NiFi DB와 연결해서 CSV 파일 적재하기 이전에는 로컬에 csv 파일 옮기는 작업을 해보았는데, 이번에는 로컬에 올라가있는 csv 파일을 DB로 넣어 보겠습니다. DB 적재하는 fow 입니다. PutDatabaseRecord - 데이터베이스에 플로우파일의 데이터를 적재할 때 사용하는 프로세스 PutDatabaseRecord 프로세스를 생성하고 속성을 설정합니다. Statement Type : INSERT, UPDATE, DELETE, INSERT_IGNORE..등 있습니다. 상태에 맞게 사용하면 됩니다. Database Connection Pooling Service : DBCPConnectionPool 컨트롤러를 연결합니다. Table Name : 데이터를 적재할 테이블 이름을 적어준다. DBCPConnectionPool - 데이터를 수집하거.. Processor, Controller 생성하여 실행해보기 (변수 설정 포함) Processor를 생성하고 sample.cvs 파일을 이동 시켜보는 작업을 진행해 보도록 하겠습니다. ⚙️ Processor 생성하기 1. NiFi 실행시켜 Processor 버튼을 드래그 하여 Processor를 생성한다. 2. Filter 부분에 생성할 Processor 명칭을 적어준다. 명칭을 적으면 검색이 자동으로 되는데 생성할 Processor명을 선택하고 'add'버튼을 눌러주면 생성이 된다. 3. Processor 이름 변경 및 설정을 할 수 있는 탭 4. 파일 수집 스케쥴을 설정할 수 있다. Timer driven , CRON driven 형식으로 스케줄을 설정할 수 있다. - Timer driven : 일 단위, 시 단위, 분 단위, 초 단위 스케줄 값을 설정하여 프로세스의 주기를 관리.. Apache NiFi 설치하기(jdk 설치 포함) Apache NiFi를 설치 전에 먼저 자바가 설치되어야 합니다! 🛠 JDK 다운로드와 설치 오라클 홈페이지에서 다운로드를 진행하겠습니다. https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html Java Archive Downloads - Java SE 8u211 and later WARNING: These older versions of the JRE and JDK are provided to help developers debug issues in older systems. They are not updated with the latest security patches and are not reco.. Apache NiFi에 대해 알아보자 https://nifi.apache.org/docs.html Apache NiFi Documentation Copyright © 2022 The Apache Software Foundation, Licensed under the Apache License, Version 2.0. Apache, the Apache feather logo, NiFi, Apache NiFi and the project logo are trademarks of The Apache Software Foundation. nifi.apache.org Apache NiFi는 빅데이터 환경에서 데이터 수집 및 전처리를 할 수 있는 오픈소스 TOOL이다. Apache NiFi는 시스템 간 데이터 전달을 효율적으로 처리, 관리, 모니터링하.. 이전 1 2 3 다음
