wpdnjs9335   3년 전

안녕하세요.

백준으로 열심히 알고리즘을 공부하는 개발자입니다.

제가 푼 문제들을 별도로 관리하고 싶어 백준 템플릿 생성기 (우선 js로만) 를 제작해보려고 하는데

1. 웹 스크래핑을 금지하고 있다는 공지

2. 사이트 측에서 올린 크롤링 재가공에 대한 긍정적인 글

두 가지가 혼동되어 조금 헷갈리더라고요. 완성 후에는 이 게시판에다가 공유도 하고 싶었는데 괜찮을까요?

wizardrabbit   3년 전

안녕하세요!

현재로써는 웹 스크래핑은 대부분 허용되어 있지 않다고 봐야 할 것 같습니다. 1번과 2번 두 가지가 혼동되어 헷갈리다고 말씀해 주셨는데, 2번의 경우 상당히 오래 전에 올라온 글이라 최신 정보가 아닙니다. 백준 사이트 내의 robots.txt에서도 이러한 크롤링은 허용되어 있지 않다고 명시되어 있습니다.

따라서 1번에 명시된 웹 스크래핑을 금지하고 있다는 공지가 우선됩니다.

다만 어떻게 스크래핑을 하시느냐에 따라 답변이 완전히 같지는 않을 수 있습니다. "백준 탬플릿 생성기" 라고 말씀해 주셨는데, 이 프로그램이 직접 트래픽을 발생(fetch 등)시키는 것이 아니라 단순히 이미 직접 사이트에 접속하여 다운로드한 HTML 파일에서 js 코드를 통해 특정 정보를 파싱하는 경우에는 트래픽을 발생시키지 않기에 규칙에서 명시한 금지된 웹 스크래핑에 해당하지 않을 수도 있습니다. 저의 경우 백준 그룹에서 그룹원들의 연습 랭킹 정보를 일일이 손으로 적기 귀찮아서 직접 그룹 연습 페이지에 접속한 후 js 코드만 실행시켜 그룹원들의 연습 랭킹 정보만 파싱하는 식으로 이용한 적이 있습니다. 이 경우 백준 서버에 트래픽을 전혀 발생시키지 않기 때문에 피해를 주지 않습니다.

가장 정확한 정보를 얻는 방법은 운영자님께 직접 문의하시는 것입니다. 이 링크에서 문의해 주세요: https://www.acmicpc.net/suppor...

이와 같이 운영자님의 도움을 받아야 하는 종류의 게시글들은 이곳에 적기보다는 문의 기능을 이용하셔야 원하시는 답변을 받으실 수 있습니다!

wpdnjs9335   3년 전

wizardrabbit 님 자세한 답변 주셔서 감사합니다!!

댓글을 작성하려면 로그인해야 합니다.