DNS over TLS (DoT): 도메인 조회를 비공개로 유지하기

브라우저에 웹사이트 주소를 입력할 때마다, 기기는 DNS 쿼리를 전송합니다. 이는 본질적으로 서버에 "이 도메인의 IP 주소가 무엇인가요?"라고 묻는 것입니다. 전통적으로 이러한 쿼리는 평문(plain text) 형태로 인터넷을 통해 전송되기 때문에, 인터넷 서비스 제공업체(ISP), 네트워크 관리자, 또는 연결을 모니터링하는 누구든 사용자가 방문하려는 웹사이트를 정확히 볼 수 있습니다. 일반적으로 DoT로 약칭되는 DNS over TLS는 바로 이 문제를 해결하기 위해 설계되었습니다.

DoT란 무엇인가

DNS over TLS는 DNS 쿼리를 TLS(Transport Layer Security) 암호화 연결로 감싸는 네트워킹 프로토콜입니다. 이는 인터넷 뱅킹 웹사이트나 이메일 로그인을 보호하는 것과 동일한 기술입니다. "이 웹사이트는 어디에 있나요?"라는 요청을 공개적으로 전송하는 대신, DoT는 기기를 떠나기 전에 해당 요청을 암호화합니다. DoT는 2016년 RFC 7858에 따라 공식적으로 표준화되었으며, 이후 Cloudflare(1.1.1.1), Google(8.8.8.8) 등 주요 DNS 리졸버에서 채택되었습니다.

작동 방식

일반적으로 DNS 트래픽은 포트 53에서 실행되며, 암호화 없이 UDP 또는 TCP를 사용합니다. DoT는 포트 853을 통해 전용 TLS 연결을 설정함으로써 이를 변경합니다. 기본적인 흐름은 다음과 같습니다:

  1. 기기(또는 DNS 리졸버)가 DNS 서버와 TLS 핸드셰이크를 시작하여 디지털 인증서로 서버의 신원을 확인합니다.
  2. 암호화된 터널이 설정되면, DNS 쿼리가 그 터널을 통해 전송되어 외부 관찰자로부터 완전히 숨겨집니다.
  3. DNS 서버가 요청을 처리하고 동일한 암호화된 채널을 통해 응답을 돌려보냅니다.
  4. 기기가 반환된 IP 주소를 사용하여 웹사이트에 연결합니다.

DoT는 전용 포트(853)에서 작동하기 때문에, 네트워크 관리자와 방화벽이 DoT 트래픽을 쉽게 식별하고, 원한다면 차단할 수 있습니다. 이것이 가까운 관계인 DNS over HTTPS(DoH)와의 주요 차이점입니다. DoH는 DNS 트래픽을 포트 443의 일반 웹 트래픽과 혼합하여 차단하기가 더 어렵습니다.

VPN 사용자에게 중요한 이유

이미 VPN을 사용하고 있다면 DoT에 대해 신경 쓸 필요가 있을지 의문이 생길 수 있습니다. 합리적인 질문입니다. VPN은 올바르게 라우팅될 경우 DNS 쿼리를 포함한 모든 트래픽을 암호화합니다. 그러나 몇 가지 중요한 세부 사항이 있습니다:

  • DNS 누출(DNS leaks): VPN 클라이언트가 올바르게 구성되지 않은 경우, DNS 요청이 암호화된 VPN 터널을 우회하여 평문으로 ISP의 리졸버에 직접 전달될 수 있습니다. DNS 누출은 보호받고 있다고 생각하는 상황에서도 브라우징 활동을 노출시킬 수 있습니다. DoT는 이를 방지하는 데 도움이 되는 추가 암호화 레이어를 제공합니다.
  • VPN을 사용하지 않는 환경: 항상 VPN을 사용하는 것은 아닙니다. 개방형 Wi-Fi 네트워크, 직장, 또는 모바일 데이터 환경에서 DoT는 VPN과 독립적으로 DNS 쿼리를 보호합니다.
  • ISP 감시 및 속도 제한: DNS가 암호화되지 않으면 ISP가 사용자가 방문하는 모든 도메인을 기록하고, 해당 메타데이터를 판매하거나 특정 서비스를 제한하는 데 사용할 수 있습니다. DoT는 ISP가 그러한 쿼리를 읽지 못하도록 방지합니다.

실용적인 예시 및 활용 사례

홈 네트워크 보안: 라우터나 로컬 DNS 리졸버가 DoT를 사용하도록 구성하고(Cloudflare나 Quad9와 같은 프라이버시 중심 리졸버를 지정), 네트워크의 모든 기기가 각 기기에 별도로 설치하지 않고도 암호화된 DNS 조회의 혜택을 받을 수 있습니다.

모바일 프라이버시: Android 9 이상에는 DoT를 기본적으로 지원하는 "비공개 DNS(Private DNS)" 기능이 내장되어 있습니다. 설정에서 활성화하면 서드파티 앱 없이도 모든 DNS 쿼리를 암호화된 리졸버를 통해 라우팅할 수 있습니다.

기업 네트워크: IT 팀은 DoT를 사용하여 네트워크상의 직원이나 공격자가 내부 DNS 쿼리를 가로채는 것을 방지하고, DNS 스푸핑(DNS spoofing)이나 중간자 공격(man-in-the-middle attacks)의 위험을 줄입니다.

언론인 및 활동가: 인터넷 감시가 심한 지역에서 DNS 쿼리를 암호화하면 의미 있는 프라이버시 레이어가 추가되어, 감시 시스템이 DNS 트래픽만을 기반으로 온라인 행동의 전체적인 그림을 파악하기 어렵게 만듭니다.

DoT 자체만으로는 완전한 프라이버시 솔루션이 아닙니다. 실제 웹 트래픽을 완전히 보호하려면 여전히 HTTPS나 VPN이 필요합니다. 그러나 DoT는 일상적인 인터넷 보안에서 자주 간과되는 허점을 해결합니다.