리눅스 자동화 스크립트

4000여개의 파일을 

python download-scannet -o . --type .sens --id scene0000_00 부터 python download-scannet -o . --type .sens --id scene1000_03 까지 저장하는 스크립트

함수 및 변수에 관한 기본 사이트

!/usr/bin/bash
list=$(seq -w 1 1000)
for scene in ${list}
do
        for subscene in 00 01 02 03
        do
                echo "python download-scannet.py -o . --type .sens --id scene${scene}_${subscene}"
        done
done

우선, 필요한 명령문을 출력할 수 있는지 확인. 

0000 부터 1000까지 0으로 문자열을 채우는 함수는 seq라는 명령어임.

 

두번째로, 해당 명령어 결과를 변수로 저장하는 쉘 스크립트 문법은

변수명=$(명령어)

참고 사이트

 

vi 파일 수정하다가 실수로 ctrl+z 를 하게 되면 swap 파일에 임시파일이 저장되어 계속 오류가 난다. 해결법

1. 우선 q나 a를 눌러 빠져나간다.

2. ps를 눌러 vi나 vim이 실행되는 중인지 확인하고,

3. 실행중이면 kill -9 PID(숫자) 로 해당 vi/vim 프로세스를 종료.

4. 다시 vi로 들어가면, swap 파일을 삭제할 수 있는 옵션도 생긴다. d를 눌러 선택해 해당 파일을 삭제하면 다시 오류가 안뜨더라..

 

세번째로, yes | interaction command 로 모든 질문에 대해 yes를 선택하도록 자동화.

참고 사이트

!/usr/bin/bash
list=$(seq -w 1 1000)
for scene in ${list}
do
        for subscene in 00 01 02
        do
                yes | python download-scannet.py -o . --type .sens --id scene${scene}_${subscene}
        done
done

네번째로, 수십개의 쉘창을 띄워 동시에 수십개를 다운로드 하도록 하는 코드.

 

top 명령어를 사용해 cpu, 메모리 사용량 모니터링

top를 설명해주는 참고 사이트

top 명령어 (실시간 CPU 사용률 체크)

내 컴퓨터 상태를 보면, 

Tasks: 459 total,   1 running, 457 sleeping,   0 stopped,   1 zombie

%Cpu(s):  5.1 us,  1.3 sy,  0.0 ni, 93.6 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st

MiB Mem :  31963.1 total,   1165.5 free,   3065.3 used,  27732.4 buff/cache

MiB Swap:  30517.0 total,  30514.0 free,      3.0 used.  28325.5 avail Mem 

 

버퍼메모리에 27GB 정도가 할당되어있는 것이 보인다.

버퍼메모리는 cpu와 ssd같이 처리속도 차이로 인한 지연을 방지하기 위해 도입된 메모리이다. 자주 사용하는 파일 내용이나 파일 위치등을 저장하기 때문에 캐시로 저장되어있으면 디스크의 I/O을 줄여서 빠른 속도를 유지할 수 있지만, 램의 용량이 부족한 경우 성능이 저하될 수 있어, 주기적으로 캐시 메모리를 비운다. 근데 이건 서버 관리자의 경우...

버퍼메모리 삭제 설명 사이트

그리고 더 자세하고 예쁜 Load Average 설명 사이트