안녕하세요.
두가지 여쭤보고 싶은게 있습니다.
첫째, 이미 볼륨 디렉토리에 저장된 모델을 사용하기위해 도커이미지에서는 train.sh는 주석처리후 인퍼런스만 실행되게 해도 되나요?
둘째, 현재 phase2 inference 진행중인데 진행 속도가 너무 더뎌서 질문드립니다.
id :
db34e36a-97b5-43a0-a8cf-e030b9ee5ecf
이 아이디는 공모전 마감 연장 공지 직전에, 제가 phase1 test data까지 인퍼런스 수행하면 제때 마감제출이 불가할 것 같아서 내부적으로 처리 후 phase1 test data는 infer수행 없이 0점이 나오게끔하고 submit하여 phase2에서만 돌아가게 했었기 때문에 phase1 리더보드에는 점수가 최신화되지 않았습니다. 그래서 결과를 확인하는 법은 인퍼런스 종료까지 기다리는 수밖에 없는데 너무 더뎌서요.
해당 아이디에 대하여 100개중 몇번째 파일을 prediction진행중인지 알 ��� 있을까요? (로그는 찍히게 해뒀습니다)
그리고 만약 100개중 75개 이상 진행이 되지 않았다면 중간 정지하고 스코어링 가능한지 여쭤보고 싶습니다.
감사합니다
Created by doyeon Yoon doyeon 종료했습니다. id : db34e36a-97b5-43a0-a8cf-e030b9ee5ecf
종료 부탁드립니다 db34e36a-97b5-43a0-a8cf-e030b9ee5ecf : p1 (gpu1개) running
3377f25e-eb73-450b-a930-12928ce6da15 : p2 (gpu 2개) 09-FEB-20 04:30:14 생성 - gpu 초과로 waiting
20c48a7d-621b-4e06-8cd8-eae29e222ef3 : p1 (gpu 1개) 09-FEB-20 10:40:04 생성 - 이전 요청이 waiting 이어서 waiting
입니다. 현재 phase2 진행중인 gpu는 p2한개뿐이라서 p1 한개가 남는데도 p1은 waiting 이라서요...
만약 phase2 infer를 실행하고있지 않는 gpu에서는 정상적으로 도커 업로드 후 태스크가 실행되어야하는 것이 맞다면 한번만 확인 부탁드립니다.
phase2 infer중인 아이디는
id :
db34e36a-97b5-43a0-a8cf-e030b9ee5ecf 이고,
현재 업로드 후 웨이팅이 걸린 두개 task의 아이디는 각각
p1 ID : 3377f25e-eb73-450b-a930-12928ce6da15
p2 ID : 20c48a7d-621b-4e06-8cd8-eae29e222ef3
입니다
GPU가 최대 2개까지 할당가능하기 때문에 아마 waiting 상태인 듯 합니다. 답변 감사합니다 .
추가적으로, 원래 phase2 inference를 수행할때는 새로 도커 이미지를 업로드해도 진행이 안되는거 맞나요? p1,p2에 올린 이미지 두개 모두 waiting이 걸려서 여쭤봅니다. 첫째 : 어떤 방식을 의미하는지 잘 이해가 안되는데요. 원하시는게 train 과정을 skip하는 것이라면 train.sh에 아무런 command가 없는 docker image를 생성하시면 됩니다.
둘째 : 현재 71번까지 완료된 것으로 나옵니다.
container stop은 가능하지만, 정상 완료가 아니므로 scoring은 되지 않습니다.