멍청해서 기록한다

- HDFS 데이터 블록 단위로 분할하여 분산저장함. 장점으로는 분할 된 저장장치를 각 CPU가 활용할 수 있겠지. 지금 생각해보니 엣지컴퓨팅개념이 생각나네.. 언제까지 IT관련 기술들이 이름만 변경되고 컨셉은 그대로일지.. 생각난 김에 이 글 잠시 저장 후 다른 글 써야겠다. - Map Reduce 분산 저장된 데이터를 맵핑하여 사용하는 기술. 아씨 이건 또 블록체인인가...

--"시작하고 ;로 끝나는 행 출력 grep "\".*;" * >query --grep이 멍청한게 행하나씩 읽더라.. 행 무시 패턴(" ;) 조회 grep -Pzo "\".*;" *

어렵지 않지만 중요하고 짜증나고 귀찮은 놈 --포트 열기 iptables - P INPUT ACCEPT iptables - P OUTPUT ACCEPT iptables - P FORWARD ACCEPT --리스트 확인 iptables -L --저장(경로: /etc/sysconfig/iptables) service iptables save --초기화 iptables -F 사실 iptables 매뉴얼 출력하면 티스토리 안올려도 되는데... 눈요기용

참고로 과거버전은 iptables사용, 현재는 firewalld 현재 iptables를 전혀 배제한 것은 아니긴함 뭐 어쨋든간에 넘어가서 방화벽은 명령어 때려서 오픈, 차단할 수 있긴한데 아래 방법이 편함 아주 그냥 저 삽같은 방화벽 샛기놈 때문에 머리카락 빠지는 줄.. 아 이미 빠졌구나 vi /etc/firewalld/zones/public.xml 명령 수행하고 Public For use in public areas. You do not trust the other computers on networks to not harm your computer. Only selected incoming connections are accepted. 수정 후 저장후 로드 firewall-cmd --reload 삽같..

사실 파일 합치는 방법은 몇가지 존재하긴한다. 그런데 그냥 아래처럼 때려라 ls * | sort -r | xargs cat > 임의파일명 #2020-04-17 추가 파일이 동일한 디렉토리에 있지 않은 경우 연결하기 전에 find 명령을 사용할 수 있습니다.find /path/to/directory/ -name *.csv -print0 | xargs -0 -I file cat file > merged.file 파일이 이미 주문되어 있고 파일을 병합하여 분석하려는 경우 매우 유용합니다. find /path/to/directory/ -name *.csv -exec cat {} + > merged.file 파일 순서를 유지하거나 유지하지 않을 수 있습니다.

--디렉토리 개수 확인 ls -l | grep ^d | wc -l --파일 개수 확인 ls -l | grep ^- | wc -l 본인이 원숭이 지능이면 ls 때려서 하나씩 세어보면된다. 물론 나도 원숭이었었다.

멍청하면 cp를 필요한 파일 개수만큼 때리면 된다. 우리 이제 덜 멍청하게 살아보자 for aaaaa in {파일 개수만큼 니가 알아서 지정해}; do cp 복사할파일명 "aaaaa"; done

빅데이터하다보면 vi 사용하기 싫어짐 그래서 나중엔 명령어로 대충 때우지만 잘 모를때는 vi써야지 뭐 어쩌겠어 vi 실행하자마자 파일 마지막라인 보여지게 하려면 vi + 파일명 끝.