안녕하세요. 운영위 이현나 박사입니다. HeLP 챌린지는 인공지능 개발 콘테스트 입니다. 따라서, 정당한 방식의 인공지능 모델 개발이 아닌 정답을 유추하거나 개별 케이스에 대한 높은 metrics 값을 manipulate 하는 식의 일종의 cheating 행위를 불허합니다. (기술적으로 가능하더라도) 상위권에 들더라도 추후 코드 리뷰 과정에서 정상적이지 않은 inference 수행 내용을 발견할 경우, 수상 자격을 박탈할 수 있음을 알립니다. 감사합니다.

Created by Hyunna Lee Hyunna
가장 쉽고(?!) 극단적인 시도로는 binary classification 문제에 대해서 2^(# of test set cases) 모든 조합을 시도해 보면 정답을 알 수 있습니다... (test set 의 크기가 몇십만, 몇백만 단위도 아니기 때문에 그리 오래 걸리지도 않을 것으로 생각...됩니다) 모델을 상용화할 때 성능을 높이는 방식이 정확히 어떤 걸 의미하시는 건지 모르겠긴 하지만 앙상블 등 정상적인 학습 과정과 그 결과로 만들어진 모델에 대한 test set 에 대한 inference 라면 당연히 문제가 되지 않으니 걱정하지 않아도 될 것 같습니다. 감사합니다.
정답을 유추하거나 개별 케이스에 대한 높은 metrics 값을 manipulate 하는 예시를 좀더 구체적으로 설명해주실수 있을까요? 예를 들어 모델을 상용화할때 성능을 높이는 방식도 쓰면 안되는지.. 궁금해서요. 구체적인 사례를 들어주시면 구현에 도움이 될것 같습니다.

[공지] HeLP 운영위원회에서 알립니다. (모든 주제 공통) page is loading…