지금까지 항상 동작한 코드였으나, 혹시나 알 수 없는 원인으로 인해서 이 코드가 동작하지 않았을 수도 있다는 생각에 다음을 테스트해봤습니다.
먼저, offset 두 배 이상의 남은 용량이 있고, 채점 프로그램이 켜있는 채점 서버에 데이터를 33260번부터 차례대로 다운로드를 진행했습니다. 33260번부터 시작한 이유는 제가 기억하는 가장 최근에 올린 셋 중에서 데이터의 용량이 컸던 셋이 몰려있는 출처이기 때문입니다. 더미 파일을 만들어 한 번에 남은 용량을 줄일 수 있지만, 최대한 비슷한 상황을 만들어보고자 채점 프로그램에서 사용하는 데이터를 다운로드 하는 스크립트를 이용했습니다.
남은 용량이 offset 미만이 됨을 확인한 이후 새로운 채점이 시작되기 전에 다운받은 데이터를 모두 제거하는 것을 확인했습니다.
이 코드는 정상적으로 동작하는 것을 확인했으니 다른 가설을 세웠습니다.
2. 데이터를 다운 받는 코드에서 임시 파일 생성
이 가설을 세운 이유는 스택 번호 6427번의 데이터 총 용량의 크기를 size_6427라고 한다면, size_6427 * 2 > offset 이기 때문입니다. 임시 파일을 만들고 이를 복사 하는 방식으로 동작한다면 offset을 넘을 때까지 커질 수 있고 용량이 가득차 채점 프로그램의 작동을 멈추게 할 수 있기 때문입니다.
실행 전부터 실행 후까지 남은 용량을 1초 간격으로 확인 결과 데이터의 크기 만큼 용량을 사용하는 것으로 확인되었기 때문에, 다른 가설을 세웠습니다.
3. 입력/출력 파일 용량이 매우 큰 경우
6427번은 스페셜 저지 문제이기 때문에, 유저 프로그램을 실행시킨 이후 스페셜 저지가 실행되기 전에 다시 한 번 입력 파일을 복사해옵니다. 따라서, 입력 파일의 용량만큼 더 남은 용량이 줄어들 수 있습니다. 하지만, 6427번에서 가장 큰 입력 파일의 크기를 max_6427이라고 했을때, size_6427 + max_6427 < offset 이기 때문에 남은 용량이 줄어드는 다른 경우를 생각해보았고, 원인을 찾게 되었습니다.
4. 언어 복사
BOJ 채점 프로그램은 인터프리터 언어의 경우 언어와 관련된 파일을 모두 복사해서 채점하게 됩니다.
Python3 폴더의 용량을 확인해보니 size_python 이었습니다.
남은 용량이 얼마 없는 상태에서 6427번에 Python 3 제출을 채점한다면 size_6427 + size_python > offset이 되어서 채점이 진행 중인 중에 남은 용량이 없어지게 되어 채점을 진행할 수 없게 됩니다.
단순히 데이터의 용량이 offset을 넘지는 않는다는 생각으로 구현한 코드라 이런 경우가 발생할 것이라는 것을 미리 생각하지 못했습니다.
채점 프로그램 수정 및 개선 후 이런 경우를 대비하고 다른 경우도 조금 생각해보고 미리 대비해보려고 합니다.
지금까지 이런 일이 없던 이유로는 운이 좋았던 것 같습니다. 대회가 있던 시점에 이런 일이 발생한 이유는 이번 대회의 데이터 용량의 크기가 꽤 컸기 때문입니다. 진행 중이던 대회의 데이터 총 용량이 약 3*offset 정도라 채점이 진행되는 동안 남은 용량이 offset과 size_6427 + size_python 에 있는 경우가 매우 높은 확률로 발생했기 때문입니다.
startlink 1년 전 47
안녕하세요.
채점 서버의 용량이 가득차게 된 이유에 대한 디버깅이 끝나 글을 남깁니다.
1. 데이터 삭제 코드 실행 여부 확인
먼저, BOJ 채점 프로그램에는 다음과 같은 코드가 있습니다.
if (free_space < offset) { // 다운 받은 데이터 모두 삭제 }지금까지 항상 동작한 코드였으나, 혹시나 알 수 없는 원인으로 인해서 이 코드가 동작하지 않았을 수도 있다는 생각에 다음을 테스트해봤습니다.
먼저,
offset두 배 이상의 남은 용량이 있고, 채점 프로그램이 켜있는 채점 서버에 데이터를 33260번부터 차례대로 다운로드를 진행했습니다. 33260번부터 시작한 이유는 제가 기억하는 가장 최근에 올린 셋 중에서 데이터의 용량이 컸던 셋이 몰려있는 출처이기 때문입니다. 더미 파일을 만들어 한 번에 남은 용량을 줄일 수 있지만, 최대한 비슷한 상황을 만들어보고자 채점 프로그램에서 사용하는 데이터를 다운로드 하는 스크립트를 이용했습니다.남은 용량이
offset미만이 됨을 확인한 이후 새로운 채점이 시작되기 전에 다운받은 데이터를 모두 제거하는 것을 확인했습니다.이 코드는 정상적으로 동작하는 것을 확인했으니 다른 가설을 세웠습니다.
2. 데이터를 다운 받는 코드에서 임시 파일 생성
이 가설을 세운 이유는 스택 번호 6427번의 데이터 총 용량의 크기를
size_6427라고 한다면,size_6427 * 2 > offset이기 때문입니다. 임시 파일을 만들고 이를 복사 하는 방식으로 동작한다면offset을 넘을 때까지 커질 수 있고 용량이 가득차 채점 프로그램의 작동을 멈추게 할 수 있기 때문입니다.실행 전부터 실행 후까지 남은 용량을 1초 간격으로 확인 결과 데이터의 크기 만큼 용량을 사용하는 것으로 확인되었기 때문에, 다른 가설을 세웠습니다.
3. 입력/출력 파일 용량이 매우 큰 경우
6427번은 스페셜 저지 문제이기 때문에, 유저 프로그램을 실행시킨 이후 스페셜 저지가 실행되기 전에 다시 한 번 입력 파일을 복사해옵니다. 따라서, 입력 파일의 용량만큼 더 남은 용량이 줄어들 수 있습니다. 하지만, 6427번에서 가장 큰 입력 파일의 크기를
max_6427이라고 했을때,size_6427 + max_6427 < offset이기 때문에 남은 용량이 줄어드는 다른 경우를 생각해보았고, 원인을 찾게 되었습니다.4. 언어 복사
BOJ 채점 프로그램은 인터프리터 언어의 경우 언어와 관련된 파일을 모두 복사해서 채점하게 됩니다.
Python3 폴더의 용량을 확인해보니
size_python이었습니다.남은 용량이 얼마 없는 상태에서 6427번에 Python 3 제출을 채점한다면
size_6427 + size_python > offset이 되어서 채점이 진행 중인 중에 남은 용량이 없어지게 되어 채점을 진행할 수 없게 됩니다.단순히 데이터의 용량이
offset을 넘지는 않는다는 생각으로 구현한 코드라 이런 경우가 발생할 것이라는 것을 미리 생각하지 못했습니다.채점 프로그램 수정 및 개선 후 이런 경우를 대비하고 다른 경우도 조금 생각해보고 미리 대비해보려고 합니다.
지금까지 이런 일이 없던 이유로는 운이 좋았던 것 같습니다. 대회가 있던 시점에 이런 일이 발생한 이유는 이번 대회의 데이터 용량의 크기가 꽤 컸기 때문입니다. 진행 중이던 대회의 데이터 총 용량이 약
3*offset정도라 채점이 진행되는 동안 남은 용량이offset과size_6427 + size_python에 있는 경우가 매우 높은 확률로 발생했기 때문입니다.다시 한 번 대회와 BOJ의 이용에 큰 지장을 일으키게 되어서 죄송합니다.