kjk9704   1년 전

여기서 비교 대상은 Gemini 2.5 Pro, GPT-5 Thinking, Claude Opus 4.1입니다.

여기서 3가지 테스트를 진행했습니다.

1. 일상적인 대화(예시 : 나 힘들어 위로 좀 해줘)에서 과연 누가 공감을 제일 잘해주는지?(결론 : Gemini 2.5 Pro가 일상적인 대화에서 공감을 제일 잘한 것으로 나오고, Claude Opus 4.1에서는 체계적인 공감을 해주는 편이며 GPT-5 Thinking에서 공감 능력이 가장 없는 것으로 결론)

2. 일상적인 대화 뿐만 아니라 조금 더 구체적인 주제(여기서는 Enneagram 이론)를 바탕으로 연구 목적으로 사용할 때 누가 글을 가장 정리 잘해주는지?(결론 : Claude Opus 4.1에서 글을 정말 잘 정리해주고, 코드가 가장 깔끔하며 할루시네이션 현상이 가장 적게 발생한 것으로 보임. 반면 Gemini 2.5 Pro에서 약간의 할루시네이션 현상이 발생했으나 2~3번 시도하니 어느 정도 해결된 것으로 보임. GPT-5에서는 할루시네이션 현상이 심함)

3. 극한의 성능 최적화를 목적으로 정말 매우 어려운 알고리즘 문제를 던져서 문제 해결 능력과 성능 최적화가 어느 정도인지?

여기서 3번째 테스트를 하기 위해 백준 Banks(10350번) 문제를 대상으로 하였습니다.

그 결과는 다음과 같습니다.

[Gemini 2.5 Pro]

1번째 시도에서 엉터리 소스 코드를 생성합니다. 문제에 주어진 예시 입력이 주어지면 5라는 결과가 나왔습니다.

그리고 2번째 시도에서 제가 정답 소스 코드를 제출했지만 (님 소스 코드도 맞지만 제 소스 코드도 맞거든요?)라는 결과가 나와서 성능 극대화 테스트에서 Gemini 2.5 Pro에서는 안 좋은 결과가 나오게 되었습니다.

[GPT-5 Thinking]

1번째 시도에서 무려 9분 35초 동안 계속 분석해서 꽤 오랫동안 걸렸으나 1번째 시도 만에 벌써 정답 소스 코드를 생성했습니다.

그 뿐만 아니라 기존 기록(1464[ms])에서 1400[ms]로 갱신되었습니다. 이것을 통해 GPT-5 Thinking에서 매우 많이 어려운 알고리즘 문제에서 강한 모습을 보였습니다.

[Claude Opus 4.1]

1번째 시도에서 이해하기 쉬운 변수명(ans같은 줄임말인 변수명이 아닌 result로 이해하기 쉬운 변수명)과 그에 어울린 깔끔한 소스 코드 구조가 특징입니다.

하지만 문제에 주어진 예시 입력에서 5라는 결과가 나오고 2번째 시도에서 제가 올바른 소스 코드를 제공하자 올바른 소스 코드를 생성하였으며 자체 피드백 내용도 뛰어난 편입니다.

그러나 성능은 Python3 기준 약 12초 -> 약 15초로 성능이 더 떨어지는 결과가 나왔습니다.

이것을 통해 알 수 있는 결론은 다음과 같습니다.

Gemini : 일상적인 대화 및 감정 상담을 해줄 때, 그리고 구글 서비스 이용할 때 강한 모습이 보입니다.

GPT-5 : 성능 최적화 및 매우 어려운 알고리즘 문제 해결에서 강한 모습이 보입니다.

Claude : 깔끔한 글 정리로 소설, 논문 그리고 깔끔한 코드 생성할 때 강한 모습이 보입니다.

xordl1010234   1년 전

근데 Banks같이 유명한 문제는 AI 스스로 생각해내지 않고 인터넷에 검색한 자료를 기반으로 코드 짜는 경우도 있을 것 같아서 상대적으로 푼 사람도 적고 검색으로 답을 쉽게 찾기 어려운 문제를 풀게 시키는 것도 추천드립니다. 잘 찾아보면 플레티넘 5 문제도 못 푸는 것들 있어요.

kjk9704   1년 전

@xordl1010234 이런 경우는 사용자가 아이디어 발상을 하지 않고 순수하게 AI한테 다 맡기면 골드 문제도 못 푸는 경우도 발생합니다.(3가지 AI 모두 다)

방금 은행 문제는 문제 내용-입력-출력 그리고 문제 해결을 위한 알고리즘 태그(수학/애드 혹/누적 합/불변량 찾기)까지 제공한 상태에서 실험을 진행했습니다.

만약 추가적인 자료가 필요하다면 초콜릿 비긴즈(28262번)를 대상으로 실험을 진행할 수 있습니다. 이 문제는 웹 탐색으로 절대 해결할 수 없는 문제이고 에디토리얼 활용해서 풀어야 하는 문제입니다.

하지만 핵심은 사용자가 어떠한 아이디어 혹은 초기 프롬프트 없이 그냥 무작정 AI한테 다 넘기는 판단은 하나같이 처참한 결과가 나옵니다.

댓글을 작성하려면 로그인해야 합니다.