분류 전체보기 (24) 썸네일형 리스트형 [NiFi] Failed to rename dot-file to SFTP 서버로 파일을 적재하던 중 발생한 에러 에러의 원인은 Conflict Resolution 부분에 None으로 설정을 해두었기 때문! 실행해서 서버에 올라가는 시간이 발생했는데..참을성 없이 기다리지 않고 계속 적재를 시도 하여 발생한 에러 애초에 replace로 설정해뒀다면, 발생하지 않았을 에러...!!!!!! [NiFi] Cannot convert CHOICE, type must be explicit PutDatabaseRecord[id=77fcd1b5-0186-1000-3412-e3290e4672e0] Failed to put Records to database for FlowFile[filename=br_20161231.csv]. Routing to failure.: org.apache.nifi.serialization.record.util.IllegalTypeConversionException: Cannot convert CHOICE, type must be explicit FTP서버에서 파일을 수집해서 DB에 적재 하려고 하던 중, 에러가 발생했다. 원인은 컨트롤러에 설정을 하나 안해둔 것! CVSReader Controller 설정을 다시 해준다. Use String Fields From H.. [NiFi] Caused by : java.lang.ClassNotFoundException: org.postgresql.Driver: {} DBCPConnectionPool Controller를 생성하고 Enable 상태로 해두었는데, 에러가 계속 생겼다. 이유는 다시 설치할 때, jar 파일을 빼먹었기 때문... 이건 window 환경에 설치된 모습인데, 리눅스 환경에서도 똑같이 jar 파일을 넣어두었다. NiFi 실행을 멈추고 jar 파일 넣고 , 다시 재실행 시켰다. 데이터 적재/변환 연습하기 05_정규식을 사용하여 속성 생성 , 파일 해제 후 속성으로 데이터 수정하고 DB 적재된 데이터 Delete 후 INSERT 하여 데이터 적재 후 파일로 압축하여 SFTP 서버에 적재 📖 데이터 적재 / 변환 시나리오 1. FTP 서버 (172.30.1.3) /nifi_data/raw_dataset/ 디렉토리에서 business_district_data.zip 파일 수집 (원본 유지) 2. 오늘날짜(yyyymmdd) 값이 들어간 time 이름의 속성을 생성 (값을 숫자사용하지 않고 Expression Language 를 사용하여 생성) 3. 수집한 zip 파일 압축해제 4. 파일 명에 오늘 날짜값이 들어간 파일들만 분리 5. 데이터 건수 측정 6. 데이터 수정 1) 파일의 컬럼명을 아래의 값으로 변경 상가업소번호 house_no 상호명 cmpny_nm 지점명 point_nm 상권업종대분류코드 industry_lgcls_cd 상권업종대분류명 industry_lgcls_nm 상권업종중분류.. NiFi encoding 설정과 메모리 용량 설정 [rami@localhost bin]$ cd .. [rami@localhost nifi-1.16.3]$ cd conf/ [rami@localhost conf]$ ls archive bootstrap-notification-services.xml nifi.properties authorizations.xml bootstrap.conf state-management.xml authorizers.xml flow.json.gz stateless-logback.xml bootstrap-aws.conf flow.xml.gz stateless.properties bootstrap-azure.conf keystore.p12 truststore.p12 bootstrap-gcp.conf logback.xml users.x.. 리눅스 MobaXterm, JDK, NiFi 설치하기 MobaXterm 설치하기 원격접속을 할 수 있는 MobaXterm을 설치 합니다. 아래의 링크로 가서 오른쪽 (Installer edition) 버전을 클릭해서 설치해주면 됩니다. https://mobaxterm.mobatek.net/download-home-edition.html MobaXterm free Xserver and tabbed SSH client for Windows The ultimate toolbox for remote computing - includes X server, enhanced SSH client and much more! mobaxterm.mobatek.net 설치해놨던 CentOS 7을 실행 시킵니다. CentOs 7에서 ip를 조회합니다 # ip a MobaXterm.. [Linux] E45: 'readonly' option is set (add ! to override) 데이터 적재 연습하기 04 _ 데이터베이스 적재된 데이터와 FTP서버의 파일데이터 📖 데이터 적재 / 변환 시나리오 _ 데이터베이스 적재된 데이터와 FTP서버의 파일데이터 데이터베이스에 적재된 데이터와 FTP서버의 파일데이터를 합쳐 DB의 nifi 스키마의 company_20230216 테이블에 적재 적재한 데이터를 cvs 형식 변경하여 FTP서버에 파일 지정한다. (DB 데이터 + 파일 데이터) 1. postgres 데이터베이스의 nifi 스키마의 ovs_expns_kor_entprs 테이블에서 나라명이 '라오스'인 데이터만 조회 2. 조회한 데이터를 AVRO 에서 JSON으로 레코드 형식 변환 3. 변환된 JSON 데이터를 한줄씩 분리 ( json 분리 기준은 $.* 로 ) 4. 분리한 JSON 데이터에서 country_nm, exp_plc_nm, region_se 항목을 플로우파.. 오류: INSERT 구문에 target columns 보다 더 많은 표현식이 존재하고 있다 PutSQL[id=5da0c1da-0186-1000-0a0a-09e5160d93e1] Failed to update database for FlowFile[filename=load_20230216.json] due to 오류: 현재 트랜잭션은 중지되어 있습니다. 이 트랜잭션을 종료하기 전까지는 모든 명령이 무시될 것입니다; it is possible that retrying the operation will succeed, so routing to retry: org.postgresql.util.PSQLException: 오류: 현재 트랜잭션은 중지되어 있습니다. 이 트랜잭션을 종료하기 전까지는 모든 명령이 무시될 것입니다 - Caused by: org.postgresql.util.PSQLExceptio.. CentOS 7 설치하기 https://www.centos.org/download/ Download Home Download Architectures Packages Others x86_64 RPMs Cloud | Containers | Vagrant ARM64 (aarch64) RPMs Cloud | Containers | Vagrant IBM Power BE (ppc64) RPMs Cloud | Containers | Vagrant IBM Power (ppc64le) RPMs Cloud | Containers | Vagrant ARM32 (armhf www.centos.org 이전 1 2 3 다음
