pentagon03   2년 전

[개요]
BOJ의 데이터 추가 환경 개선을 위한 Self-Hack 기능 도입 건의.
Self-Hack: 자신의 AC 소스코드가 동작하지 않는 edge-case를 직접 추가하는 기능

[서론]
현재 데이터추가 요청이 들어왔을 시
1. 해당 문제의 입력이 정확한지 검증하는 Validator를 준비하고, 검증.
2. 해당 문제의 정확한 AC 코드를 준비하고,정확한 출력 검증 또는 생성.
3. 요청된 데이터가 현재 제출된 코드 1개 이상에 영향을 주는지 확인
4. 코드 전체 재채점
최소 4개의 프로세스를 거치는 것으로 알고 있습니다.

문제는 이 프로세스 모두 굉장한 human power가 요구됩니다. 따라서 현재 환경에 대한 개선 방안 1가지를 제안하고자 합니다.

[본론]
현재 문제를 출제할 때 기본적으로 데이터 Validator와 AC Code가 필요한 것으로 알고 있습니다.
따라서 이 문제들을 대상으로 Hack 기능을 추가하는 것을 생각해볼 수 있습니다.
이때 Hack 기능은 AC 판정을 받은 특정 제출번호에 대하여 사용자가 직접 추가한 별도의 테스트케이스를 실행할 수 있게 하는 기능입니다.
현재 BOJ의 소스코드 공개환경을 최대한 유지하기 위해서 자신의 제출에만 hack을 할 수 있는 "Self-Hack" 기능을 BOJ에 시범 운영해보는 것을 제안합니다.

[장점]
- 3번 프로세스: 자동화됩니다.
- 4번 프로세스: 채점 결과가 바뀐 경우 현재 전체 데이터에 추가하고, (threshold)개 이상의 데이터가 추가되었을 때 전체 재채점을 수행하는 방식으로 자원을 아낄 수 있습니다.
- 공식 AC코드와 해당 코드에 대하여 1개의 테스트케이스만 추가적으로 실행하면 되므로, 코드 제출과 대비하여 자원이 적게 듭니다.
- 굉장한 Manpower가 절약되며, 데이터 추가 요청에 대한 feedback이 즉각적으로 이루어지고, 현재 BOJ 문제들의 데이터가 더더욱 정교해집니다.

[Q&A]
Q: 사람들이 코드를 공개하는 것을 꺼릴 수 있지 않은가? 
A: Self Hack 기능으로 해결됩니다. 다만.. 코드를 공개하지 않는 문화가 생기는 우려는 타당합니다. 이는 자신의 소스코드를 (영구히?) 공개해야 다른 사람의 소스 코드를 열람할 수 있는 기능 등의 해결방법이 있다고 생각하나 다른 Thread에서 논의해도 충분합니다.

Q: Hash 풀이가 통과하는 문제의 경우 특정 seed를 저격할 수 있는 것 아닌가?
A: 소스코드 실행 시각이 seed에 들어가는 random Hash를 쓰는 것이 맞다고 생각합니다. 

Q: Interactive, 투 스텝 등의 문제는?
A: 데이터추가를 할 수 있는 형태의 문제만 Hackable하게 설정하면 됩니다.

Q: 공식 AC 코드나 Validator가 없는 문제는?
Startlink에게 검증된 관리자가 Manual하게 설정, or 기존 방법 대로 진행할 수 있습니다.
 

[참고 기능]
https://codeforces.com의 Hack 기능

https://qoj.ac/hacks

startlink   2년 전

안녕하세요.

보내주신 메일로 답장 드렸습니다.

댓글을 작성하려면 로그인해야 합니다.