반환값의 문제는 아닙니다. 이 코드는 모든 분기에서 제대로 값을 반환하고 있습니다.
이 코드의 문제는 n=1일 때 무한히 재귀 호출이 일어난다는 점입니다. m[1]이 0이기 때문에 if에 걸리지 않고 else로 넘어가며, 여기에서 DP(0)이 호출되고, 여기서도 m[0]에 0이 들어있기 때문에 무한히 DP(0)만 재귀 호출이 되어 스택 메모리를 무한정 잡아먹게 되어 메모리 초과가 발생합니다.
"별도의 변수 선언이나 재귀 호출은 없는데 왜 메모리 초과가 발생하는가?"에 대한 답변은, 이 코드는 재귀 호출이 없는 것이 아니라 실제로 무한히 재귀 호출을 하고 있다는 것입니다.

tpdnb4me 2년 전
메모리 초과가 났을 때 변수 메모리를 체크하거나, 또는 재귀로 풀었을 경우 논리가 너무 길어 스택 호출이 너무 많았는지 점검하는데요.
더군다나 저 같은 경우 99%에서 메모리 초과가 발생해서 상한입력값이 문제라고 생각했는데, m[1]을 0으로 초기화해서 n=1일 때 리턴이 없어 오류가 발생했습니다.
=============================================
재귀로 문제를 풀었을 때 메모리 초과가 뜨면 과도한 스택호출을 의심하는 것 말고는 직관적으로 알 수 있는 원인이 없어 엉뚱한 곳을 들여다 보고 있었네요. 원래는 함수의 반환값이 없다고 컴파일 오류가 뜨지만, 함수에 리턴값이 없으면 어떻게 되는지 찾아봤습니다.
출처 : [C언어] 함수에서 값을 리턴 하지 않는다면??
여기서 결론은 '환경에 따라 다를 수 있지만 의도하지 않은 EAX 레지스터 값을 대신 반환한다' 인데, 여기서 제가 하나 궁금한 점은 "별도의 변수 선언이나 재귀 호출은 없는데 왜 메모리 초과가 발생하는가?" 입니다. 심지어 오류코드도 (0xc00000fd) overflow 오류인데 왜 리턴이 없는 함수에서 탈출하지 못하면 메모리 초과가 발생하나요?
이 왜 메