이렇게 귀여운 새를 석탄 광산에 데려가서 카나리아가 기절하면 얼른 광산에서 나오는 식으로 유독가스 누출의 정도를 아는 용도로 사용했다고 하네요. 이처럼 메모리 보호기법인 카나리는 죽기 직전에 광산에서 나오게 하는 것 처럼, 해커가 악의적인 코드 실행을 하기 직전에 프로그램을 강제 종료합니다.

카나리는 어떻게 공격을 막을 수 있나요? 🛡️

Stack Overflow와 Return Address Overwrite 공격을 간단하게 다시 설명하면, 크기가 정해진 버퍼를 벗어나 입력을 계속 받게 되면 Return Address(RET)까지 덮어 해커가 원하는 코드 실행을 할 수 있습니다. 근본적인 취약점의 원인은 버퍼의 크기를 고려하지 않고 입력받는 c언어의 gets(), scanf(), strcpy() 등 의 함수를 사용하거나 버퍼의 크기를 벗어나게 입력을 받기 때문이었죠. 🤔

이처럼 RET를 CCCC로 수정하면 0x43434343로 실행흐름이 변경되어 Segmentation Fault가 발생하거나, 원하는 함수의 주소를 적으면 원하는 함수를 실행하거나 쉘코드도 실행하는 등 해커가 원하는 대로 실행 흐름이 변경됩니다! 이를 막기 위한 방법으로 첫 번째가 바로 카나리인 것이죠.

카나리는 함수의 시작단계(프롤로그)에서 SFP(Stack Frame Pointer)이전에 삽입되고, 함수의 종료단계(에필로그)에서 해당 값이 변조되는지 검사하여 RET가 변조되는 것을 막는 보호 기법입니다.

카나리의 원래 값이 ABCD였을 때, 카나리가 있는 줄 모르던 해커가 RET를 변조하기 위해 버퍼부터 RET까지 쭉 덮을 때 카나리의 값이 AAAA로 변경되면 어떻게 될까요? 광산에서의 카나리새 🐥가 기절해서 얼른 광산에서 나와야 하는 것처럼, __stack_chk_fail() 함수를 호출하여 “stack smashing detected” 오류 메시지 출력 후 프로그램이 강제 종료됩니다.

카나리가 적용되어 있는지 어떻게 알 수 있나요? ✏️

간단히 함수 에필로그 부분에 __stack_chk_fail() 함수를 호출하는 부분이 있는 것으로 카나리가 적용되어 있는지 확인할 수 있습니다. 이 부분이 바로 저장되어 있는 카나리 값과 현재 카나리를 비교해서 같지 않을 때 실행되어 __stack_chk_fail() 함수가 호출되고 프로그램이 종료되는 부분이에요.