[도서] 인프라보안 - 2장: IPS와 웹 방화벽

저자 강병탁

 

IPS가 방화벽 옆에 붙게 된 이유

예전에는 IDS가 방화벽 옆에서 조용히 로그만 남기는 역할이었다. 수상한 트래픽을 발견해도 직접 막을 수는 없으니, 분석하고 방화벽에 알려서 막아달라고 하는 구조였던 거다. 그런데 이 과정이 너무 느리고 사람 손이 많이 탔다. 결국 Detection을 Prevention으로 바꿔서 장비 스스로 차단까지 해버리는 IPS가 나온 배경이 여기 있다.

IPS가 들어오면서 달라진 건 단순히 속도만이 아니었다. 방화벽이 포트와 IP 주소 기준으로 통제하던 것에서, 실제 패킷 페이로드를 들여다보고 SQL 인젝션이나 워드프레스 pingback DDoS 같은 L7 계층 공격 패턴까지 잡아낼 수 있게 됐다. 책에서 실제 캡처 화면을 보여주는데, 전통적인 방화벽으로는 저 HTTP 요청 안에 뭐가 들어있는지 볼 수 없으니 그냥 통과시킬 수밖에 없었던 것들이다.

거기에 커스텀 시그니처 기능도 꽤 유용하다. 악성코드가 외부로 보내는 특정 바이트 패턴을 한 번 확인하고 나면, 그걸 규칙으로 등록해서 같은 패턴이 나오는 즉시 차단할 수 있다. 신고 없이도 이미 감염된 다른 PC들의 악성코드 활동을 막을 수 있다는 게 현장에서 꽤 실용적인 기능이다.

IPS를 어디에 붙일지가 생각보다 훨씬 중요하다

이 챕터에서 가장 인상 깊었던 부분은 IPS의 기능 설명보다 위치 설계 얘기였다. 책에서 실제 사례로 제시하는 네트워크는 VLAN 10(웹 서버), VLAN 20(직원 PC), VLAN 30(파트너사 웹 서버), VLAN 40(게임 스트리밍)으로 나뉜 구조다. 여기서 IPS를 라우터와 방화벽 사이, 즉 네트워크 최상단에 놓으면 모든 트래픽을 다 커버할 수 있어 보인다. 근데 사실 이건 함정이다.

회사 전체 트래픽이 1Gbps인데 IPS도 1G짜리 장비를 쓴다면, 평소엔 괜찮아도 DDoS 공격이 조금만 들어와도 IPS 자체가 다운될 수 있다. 방화벽보다 먼저 죽어버리는 거다. 그래서 DDoS를 막으려면 오히려 방화벽 위쪽, 즉 라우터 바로 뒤에 IPS를 놓는 게 낫다고 설명한다.

반면 웹 서버만 보호하면 되는 상황이라면 얘기가 달라진다. VLAN 10으로 들어오는 트래픽이 100Mbps 수준이라면 1G IPS로도 충분히 감당할 수 있으니, 코어 스위치 아래 VLAN 10 쪽에만 IPS를 연결해도 된다. 직원 PC망은 커버 못 하는 단점이 있지만, 예산이나 용량 제약이 있다면 이쪽이 현실적인 선택이다.

직원 PC 보호가 더 급한 회사라면 반대로 VLAN 20 쪽에 IPS를 붙인다. 책에서 드는 예가 재미있는데, 웹 서버는 딱히 해킹당할 구멍이 없는 반면 직원들이 쓰는 PC에 기업 기밀이 잔뜩 있는 상황이라면 사내망 쪽 보호가 우선이 된다는 거다. 어떤 위협이 더 무거운지에 따라 장비 하나의 위치가 바뀐다.

룰 쓰레기통이 되지 않으려면

방화벽 룰 관리 얘기가 나오는 부분도 짚고 넘어갈 만하다. 현실에서는 누가 넣었는지 알 수도 없는 룰들이 쌓이고, 맨 마지막에 permit tcp any any any any가 떡하니 박혀있는 경우가 생긴다. 위에 규칙이 뭐가 있든 결국 다 열어주는 셈이 되는 거다.

이런 일이 생기는 건 대부분 급하게 처리하느라 일단 열어두고 나중에 정리하겠다고 했다가 그냥 방치되는 패턴이다. 방화벽은 컴파일러가 아니라서 문법 오류를 잡아주지 않으니, 논리적으로 엉킨 룰이 있어도 그냥 통과한다. 결국 오래된 룰을 주기적으로 정리하고, 룰이 겹치지 않게 효율적으로 튜닝하는 게 장비를 제대로 운용하는 기본이라는 이야기다.

성능 문제도 마찬가지 맥락인데, 룰이 수백 개씩 쌓이면 당연히 처리 부하가 늘어난다. 세션 처리 수나 레이턴시를 사전에 확인하고, 장비 도입 전에 네트워크 엔지니어와 충분히 논의해서 보안 시스템이 오히려 서비스 장애 원인이 되는 상황을 막아야 한다고 책은 강조한다. 장비를 사고 나서 뒤늦게 성능 얘기를 꺼내는 건 이미 늦은 거다.