드디어 알고리즘의 간택을 받은 건가? 떡상 가즈아!!!! 라며 처음엔 좋아했습니다. 하지만 이날 받은 좋아요 들에 이상한 점들이 정말 많습니다.

우선, 이날 좋아요를 누른 계정들 모두 가계정으로 의심된다는 점이 있습니다. 연락처를 포함한 기본 정보도 쓰여있지 않고, 게시물도 없으며, 친구 수가 적다던가(저도 아싸라 친구수 적긴한데...😭), 가계정의 특징을 다수 보유하고 있었습니다.

무엇보다 모든 계정들이 베트남 이름을 사용하고 있었기 때문에 더더욱 의심스러웠습니다. 저희 카드 뉴스는 한글로 쓰여있는 데다가 이미지로 업로드되기 때문에 크롬이나 페이스북의 자체 번역 기능을 사용하지 못합니다. 이렇게 갑자기 많은 외국인이 유입될 이유가 없다는 뜻이죠. 그래서 일단 베트남에서 저희 페이지를 볼 수 없도록 차단했는데, 얼마 지나지 않아 인도네시아 계정으로 좋아요가 눌리기 시작하더군요. 이때 누군가가 의도를 갖고 행한 공격이라 확신했습니다.

그런데 말이죠... 문제는 도저히 그 의도가 무엇인지 모르겠다는 겁니다.

보안에 대한 속설이 있습니다. "옆집보다 가난하거나 옆집보다 문이 튼튼하면 집에 도둑이 들지 않는다". 투자해야 하는 시간과 자원 대비 얻는 이득이 많은 쪽이 악성 행위의 타겟이 된다는 말입니다. 범죄학의 Motive & Opportunity와 비슷한 개념이죠. 결국 먹고살자고 하는 일인데 개인적인 원한이 있는 게 아니라면 수지타산 안 맞는 짓을 누가 하겠습니까?

그래서 시간과 자원을 들여가면서까지 굳이 저희를 괴롭힌 이유가 뭘까 정말 궁금하더군요. 도대체 어떤 결과를 기대하고 이런 짓을 한 것인지 알아보도록 하죠.

저희가 일부 국가를 차단한 이유도 정책 위반으로 페이지가 삭제당할 수도 있다는 우려 때문이었습니다. 처음엔 뷰봇을 사용해 좋아요 수를 늘린 것처럼 보이게 만들어 페이지를 터뜨리려는 테러라고 예상했죠. 하지만 이번 글을 쓰기 위해 찾아보면서 알게 된 건데 페이스북은 가짜 좋아요를 구매한 것을 이유로 제재를 가하진 않는다고 합니다. 즉, 저희가 악성 행위의 직접적인 타겟이라고 말하긴 힘들 것 같습니다.

 

위 사진처럼 특정 포스트가 관심이 있을 만한 잠재적인 고객에게 도달할 수 있도록 돈을 받고 다리를 놔준다거나 불특정 다수의 사용자에게 광고를 더 많이 노출시켜주는 서비스를 판매합니다.

대부분의 SNS, 영상 플랫폼, 온라인 쇼핑몰 등에서 저마다 서비스에 적합한 사용자 맞춤 시스템을 활용하고 있으며 모두 머신러닝에 크게 의존합니다. 그리고 이렇게 사용자 데이터를 통해 학습하는 머신러닝 모델들은 Data Poisoning 공격이라는 고질병을 갖고 있습니다. 두 번째 가설이 바로 Data Poisoning입니다.

Data Poisoning 또는 Model Poisoning은 머신러닝 모델의 학습 데이터를 오염시키는 것으로 모델의 올바른 예측 출력 능력에 악영향을 주는 무결성(Integrity) 공격입니다. SNS에서 이루어지는 Data Poisoning 공격은 허위 정보 유포, 피싱 사기, 여론 선동, 악성 콘텐츠 홍보, 개인 또는 브랜드 이미지 해치기 등의 목적을 갖습니다.

SNS의 고질병인 만큼 Data Poisoning 공격을 가능성 중 하나로 뽑긴 했지만 저는 이번 공격이 Data Poisoning을 노린 행위는 아니라고 생각합니다. 그 이유는 Data Poisoning 공격이 성공하려면 사용자의 특정 상호작용 데이터가 머신러닝 모델 내부에 어떤 영향을 미치는지 알고 있어야 합니다. 그래야 알고리즘이 공격자가 원하는 대로 행동하겠죠? 이런 측면에서 볼 때 이번 사건에 동원된 계정들의 상호작용 데이터는 너무 단순합니다. 그저 좋아요를 누른 게 끝이니까요. 페이스북은 좋아요 뿐만 아니라 다양한 지표를 사용해 페이지와 사용자 사이의 연관관계를 찾습니다. 따라서 이번 사건은 Data Poisoning이라기엔 너무 단순합니다.

물론 좋아요만으로도 특정 페이지에 악영향을 줄 수 있습니다만...이는 Facebook 모델에 대한 Data Poisoning이 아닐뿐더러 해커 입장에서 수지타산에 맞지 않는 행위이니 배제하겠습니다.

앞서 설명한 대로 사용자 데이터를 이용한 머신러닝 모델이 페이스북 수입 구조의 근간이기 때문에 페이스북은 학습 데이터를 오염시킬 수 있는 가계정을 색출하고 제재하기 위해 노력하고 있습니다. 가계정과 이를 활용한 악성 행위의 특징을 학습하는 솔루션까지 만들 정도니까요.

Facebook Research의 SybilEdge 블로그글에 따르면 일반적으로 가계정을 이용한 어뷰징은 3단계를 거친다고 합니다.

이 중 두 번째 단계는 가계정 색출 시스템의 눈을 피하기 위한 사전 작업을 겸한다고 합니다. 정상적인 활동이 많을수록 정상적인 계정으로 간주될 가능성도 높아지고 실제로 Data Poisoning 공격을 하게 된다면 머신러닝 모델의 학습 데이터로 선택될 가능성이 높아지겠죠. 제가 생각할 때 이번 사건의 가장 가능성 있는 시나리오가 바로 미래의 악성 행위를 위한 사전작업이었다는 겁니다.

—피해도 못주고... 이득도 안 되고... 후일을 도모하고 있다. 이게 내 결론이다.—

오늘 전해드린 내용이 마음에 드셨나요?

주위 친구들에게 뉴스레터를 추천해주세요!

다음주에도 알찬 내용으로 돌아오겠습니다. 😙