해킹짹짹🐤 - 8월 4주차 해킹 알려줄게: Integer Overflow

2021. 8. 24.

해킹 알려줄게

4화: Integer Overflow

'여러분이 아는 가장 큰 정수는 무엇인가요?' 라는 질문을 받으면 어떤 생각이 드시나요? 🙄
아주 바보같은 질문이네요!! 😖 하지만 아직 손가락으로 수를 세는 애기들에게 물어보면 10, 발가락까지 셀 수 있는 애기들은 20이라고 답할 거에요.

그렇다면 과연 우리 똑똑한 컴퓨터에게 물어본다면 뭐라고 답해줄까요? 또 거기에 1을 더하면 어떤 일이 일어나게 되는 걸까요? 🤔

Integer Overflow가 뭐에요? 정수가 흘러 넘친다고요? 😱

네, buffer overflow와 똑같이 넘처흘러서 overflow가 발생했나 봐요! 이번엔 정수로요. 😧

integer overflow는 프로그램에서 선언된 정수 자료형의 범위보다 큰 정수를 저장하려고 할 때 발생합니다. 정수 자료형에 따라서 저장할 수 있는 범위가 다른 것을 알고 계신가요?

unsigned int의 최댓값 4294967295에서 1을 더하면 어떻게 될지 상상해본 뒤에 같이 공부해봐요!

상상중.... 💭💭💭

컴퓨터가 정수를 어떻게 저장하길래 integer overflow가 발생하나요?

사람은 십진법에 익숙하지만 컴퓨터는 1와 0 중 하나의 정보만 저장하는 bit를 사용하기 때문에 이진법으로 정수를 표현해요. 그리고 자료형은 부호가 있어서 양수와 음수를 표현할 수 있는 signed, 부호가 없어서 양수만 표현하는 unsigned로 나눠지게 됩니다.

간단히 4비트만으로 integer overflow가 어떤 식으로 일어나는지 알아볼게요! 🧐

참고로 이진수를 쓸 때는 십진수와 구별하기 위해 앞에 0b를 붙입니다.

부호가 없는 4비트로 저장할 수 있는 가장 큰 수는 15(0b1111)네요. 이때 1을 더하면 어떻게 될까요? 16(0b10000)이지만 4비트까지만 저장할 수 있기 때문에 상위 비트는 버려지고 0(0b0000)만 남아 0이 됩니다!😱 2을 더하면 1(0b0001), 3을 더하면 2(0b0010), 4을 더하면 3(0b0011)...이렇게 다시 세어나가는 거죠.

마찬가지로 32비트인 unsigned int를 보면 저장할 수 있는 가장 큰 수는 4294967295로 1을 더하면 결국 0이 되어버려요. 어때요? 상상한것과 비슷한가요? 💭💭💭

잠시만요... 3을 0b0011이라고 저장할 때, -3은 그럼 어떻게 저장하는거에요?

음수는 Two's complement를 이용해 변환하여 저장할 수 있답니다. 간단하게 설명하면 부호를 빼고 이진수로 변환한 다음, 0과 1을 바꿔주고 1을 더해주는 거에요. -3 → 3 → 0b0011 → 0b1100 → 0b1101

-3은 0b1101이네요. 0b1101은 13 아닌가 헷갈리는 분도 많을 것 같아요. 어떻게 된 일일까요? 😣

부호가 있는 4비트에서 정수를 저장할 때는 -8부터 7까지만 가능합니다. 13은 아예 저장하지 못한다는 거에요! unsigned char의 범위가 0~225인데 비해 signed char는 -128~127까지로 부호는 있지만 절대값은 반으로 줄어드는 이유입니다.

부호가 있는 signed 정수의 결론은 최댓값을 초과하면 음수가 됩니다. 4bit의 최댓값인 7에서 1을 더하면 -8이 되네요! 😆

그럼 선언된 정수 자료형의 범위보다 작은 정수를 저장하려고 할 때는 어떻게 되나요?

integer overflow의 반대개념인 integer underflow가 발생해요. signed int의 최솟값 -2147483648에서 1을 빼면 2147483647가 되고, unsigned int의 최솟값인 0에서 1을 빼면 4294967295이 나와 둘다 다시 최대값이 됩니다.

integer overflow가 왜 중요한가요? 😕

integer overflow는 Buffer Overflow처럼 프로그램의 실행 흐름을 바꾸는 등의 직접적인 Exploit에는 사용되지 않아요. 하지만 ‼️ 중요한 변수에서 예상하지 못한 값으로 integer overflow가 발생하면 Buffer Overflow, out-of-bounds 등의 또다른 취약점으로 이어지기 때문에 주의해야 합니다!!

이전 버전의 OpenSSL에서 integer overflow가 또 다른 취약점으로 이어진 부분을 가져왔어요.

시도 응답 인증 코드로, 사용자가 제어할 수 있는 unsigned int 변수 nresp는 얼마나 많은 응답을 기대하는지 서버에게 알려주기 위해 사용되었습니다. 여기에는 어떤 문제점이 있었을까요?

response = xmalloc(nresp*sizeof(char*));에서 reponse를 할당할 때 nresp 값과 sizeof(char*)인 4를 곱하게 됩니다.

바로 이때‼️ 만약 nresp의 값이 1073741856이면 nresp*sizeof(char*) 연산의 결과가 unsigned int의 최대값인 4294967295보다 129만큼 큰 4294967424가 되어 결국 xmalloc의 인자로 128이 들어가버리네요 😓

response에 128바이트가 할당되지만 뒤의 for loop에서 1073741856 만큼의 문자열을 받아 Buffer Overflow가 발생하여 공격자가 임의 코드를 실행하는데 사용할 수 있게 됩니다. 👿

최근에 발견된 Integer Overflow가 궁금하다면 이번 주 월요일(8월 23일)에 업로드된 Hackyboiz의 [하루한줄] CVE-2021–20082: Integer Overflow to RCE — ManageEngine Asset Explorer Agent 도 봐주세요. 😄

Integer Overflow를 어떻게 막을 수 있나요?

언어에 따라 interget overflow를 방지하고 발견하는데 도움이 되는 라이브러리 또는 내장함수를 사용할 수 있어요. C++의 경우 SafeInt 라이브러리는 interget overflow가 발생하면 오류를 발생시키며 Python은 자체적으로 interget overflow가 발생하지 않는 Arbitrary-precision arithmetic 연산을 사용합니다.

그 외에 정수 자료형의 범위를 확인하여 사용하고, 연산에 정수형 변수를 사용하는 경우 결과값을 검사하는 것으로 방지할 수 있습니다. 또한 외부값을 메모리 할당에 사용하는 경우 적절한 범위 내에 존재하는지 꼭 확인해주세요!

숫자는 역시 헷갈려서 평소보다 글이 길어졌네요. 😢 끝까지 읽어주셔서 감사합니다! 🥺

해킹 가르쳐줄게는 다음 주에 더 재미있는 취약점으로 찾아올게요!

by y00n_nms

오늘 전해드린 내용이 마음에 드셨나요?

주위 친구들에게 뉴스레터를 추천해주세요!

다음주에도 알찬 내용으로 돌아오겠습니다. 😙