gilbert가 쓴 instance segmentation 활용기를 따라하다보면, 문제가 발생할 수 있다. 두 가지 고비가 있는데, 우선 첫번째로 labelme로 경계면을 세세하게 따준 예쁜 라벨링을 coco dataset format으로 변환한 것을 coco dataloader에 register 해주는 데에 생기는 문제다. 1. coco dataloader register 이것은 크게 파일 경로 설정 문제와 파이썬 코드 실행간에 정보 단절이 있다. 파일 경로 설정 문제의 경우, 데이터 라벨링에 적힌 이미지 파일 경로대로 labelme2coco.py가 변환을 할 것인데, 이 변환 결과를 저장하는 train.json에는 이 경로를 그대로 반영한다. 나의 경우, 여러 사람들이 하나의 폴더 구성 규칙을 정하지..
분류 전체보기
1 anaconda의 기능인 프로젝트 내에 environment.yaml 파일을 이용해 가상환경을 설치하고, github 페이지에 써진대로 설치를 진행한다. 2 프로젝트에서 필요로 하는 scannet 데이터를 받았다. 1TB짜리 scene(총 수백개??)를 통째로 받을 수도 있고, 나는 쉘스크립트와 리눅스 파일경로 지정을 경험할 겸 sh 파일로 다운로드 받는 python 파일 실행 코드를 짜서 200개정도 scene들을 받았다. 3 위에서 받은 scene을 github에서 정해준 폴더로 만들어서 넣어준다. 4 data preparation 코드를 실행해준다. 이때에도 에러가 나는 경우가 있다. (1. 신나게 코드가 실행되다가 오류가 나거나, 2. 그냥 실행 자체가 안되거나 3. 부등식 판정 오류 4. 또..
ray 가 메모리를 너무 많이 잡아먹는다. https://zzsza.github.io/mlops/2021/01/03/python-ray/ Python Ray 사용법 - Python 병렬처리, 분산처리 파이썬 병렬처리를 위한 Python Ray 사용법에 대한 글입니다 키워드 : Python Ray for multiprocessing, Python Parallel, Distributed Computing, Python Ray Core, Python Ray for loop, Python ray example 해당 글은 병렬처리에 초점 zzsza.github.io 여기서 레이가 뭔지 알아보고 온다.
You’re ready to ask your first question and the community is here to help! To get you the best answers, we’ve provided some guidance: Before you post, search the site to make sure your question hasn’t been answered. Summarize the problem Provide details and any research When appropriate, describe what you’ve tried
아나콘다 가상환경이라는 개념을 알고는 있다는 가정하에 시작을 한다. 1. Neural Recon github 에서 파일을 다운로드(클론) 2. anaconda의 가상환경 생성 - environment.yaml 이용.(안된다고 마음대로 바꾸지 말기) 3. 그런데,, 만약 torch 버전과 cuda 버전이 맞지 않는다면.. (정답) 자신의 gpu가 지원해주는 cuda 버전을 지원하는...... torch 버전을 확인한다. 그리고 먼저 cuda를 깔아서 제대로 작동하는지 확인한다. 나의 경우 rtx3080ti 였기에 가장 안정적이라고 생각이되는 cuda 11.3을 설치했다. 그리고 그 cuda버전을 지원하는 pytorch 와 그 패거리(torchvision, torchaudio,..)를 공식 홈페이지에서 참고..
4000여개의 파일을 python download-scannet -o . --type .sens --id scene0000_00 부터 python download-scannet -o . --type .sens --id scene1000_03 까지 저장하는 스크립트 함수 및 변수에 관한 기본 사이트 !/usr/bin/bash list=$(seq -w 1 1000) for scene in ${list} do for subscene in 00 01 02 03 do echo "python download-scannet.py -o . --type .sens --id scene${scene}_${subscene}" done done 우선, 필요한 명령문을 출력할 수 있는지 확인. 0000 부터 1000까지 0으로 ..
지금 나는 어떤 사용자/그룹인가? 아니면 게스트인가? 리눅스는 다수의 사용자용 os이다. 운영체제 설계의 가장 기본이 되는 가정이고, 윈도우와 가장 큰 차이점을 드러낸다. 그래서, 디스크 내에 모든 디렉토리와 파일은 소유자/소유자 그룹이 있고, 누구는 실행할수 있고/쓸 수 있고/볼 수 있는지를 다 정할 수 있다. 궁극적으로, 다수의 사용자가 하나의 cpu자원을 우선 순서와 규칙을 지켜가며 사용하게 해주는게 리눅스라는 운영체제가 존재하는 이유이다. 현재 시스템에 로그인한 사용자를 확인하는 법 users 현재 시스템에 접속한 사용자를 확인하는 법 who 현재 로그인되어 있는 사용자 계정을 확인 whoami(users와 똑같음) 현재 사용자가 갖고있는 권한(그룹 포함) 확인 id 이제 각 파일(또는 디렉토리)..
/home/ict-526/anaconda3/envs/neucon/lib/python3.7/site-packages/torch/cuda/__init__.py:125: UserWarning: NVIDIA GeForce RTX 3080 Ti with CUDA capability sm_86 is not compatible with the current PyTorch installation. The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_61 sm_70 sm_75 compute_37. If you want to use the NVIDIA GeForce RTX 3080 Ti GPU with PyTorch, please chec..
쉘 창에서, nvidia driver 버전확인 nvidia-smi cuda 버전 확인 nvcc --version 파이썬 idle 상에서 torch 버전 확인 torch.__version__
nvdia 드라이버 설치 확인 명령어 nvidia-smi: 드라이버가 지원하는 최대 CUDA 버전 nvcc -V: 실제로 설치된 CUDA 버전 설치가 안되어있다면, 이 사이트(ubuntu 20.04)를 참고해서 설치한다. 그리고 cuda를 이 사이트(ubuntu 20.04)를 참고해서 설치한다. 컴퓨터 비전 패키지 Neural Recon을 빌드하던 중에, pycuda 관련 오류가 났다. undefined symbol 오류 undefined symbol: _ZSt28__throw_bad_array_new_lengthv (Fedora 34, gcc 11) 아래 사이트를 참고해서 해결법을 찾았다. https://github.com/stan-dev/pystan/issues/294 Compilation crash..
