Как тормозят Telegram.
Регулирование сети Интернет в России
ИНТЕРНЕ́Т (англ. INTERconnected NETworks – МЕЖсоединённые сети), всемирная компьютерная сеть, по сути, это «сеть сетей», соединяющая миллиарды устройств — от персональных компьютеров и смартфонов до серверов и промышленных систем.
Интернет состоит из независимых пакетных сетей с различными архитектурами, техническими характеристиками и территориальным размещением.
Если какая-то страна изолирует свою сеть от других и эта сеть становится уже не всемирной, ее уже нельзя называть Интернетом с большой буквы. Как пример Кванмён – изолированная внутренняя сеть Северной Кореи. В этом случае лучше использовать слово «интранет» происходит от английского «intranet» и буквально переводится как «внутренняя сеть». Часто также этот термин используется для обозначения частных сетей предприятий, исключающих доступа к сети посторонних лиц.Инет
Некоторые интернет сайты запрещались на основе DNS-фильтрации и на основе блокировки IP-адресов. В 2000-е годы с развитием отрасли ИБ появились первые системы Deep Packet Inspection (DPI).
История развития межсетевых экранов и появление DPI
На первом этапе своего развития файрволы разрешали только нужные tcp/udp порты, а все остальное запрещали. Делается это с помощью так называемых access-lists (списки доступа). Применялся подход “запрещен весь трафик, который явно не разрешен”. Типовые порты, которые обычно разрешали в файрволах:
● tcp/80 — HTTP трафик
● tcp/443 — HTTPS трафик
● tcp/25 — SMTP трафик (электронная почта)
● tcp/udp/53 – DNS
Представьте, что вы работаете курьером в доставке и вам надо доставить пакеты с пиццей, роллами. Сначала вам надо найти дом получателя (это как найти нужный компьютер/сервер в сети). Для этого мы используем IP адрес, у каждого компьютера/сервера он свой уникальный в сети, поэтому мы не ошибемся. После того как по адресу мы нашли нужный дом (компьютер), мы должны понять, а в какую квартиру доставить пакеты с пиццей, роллами. Только в компьютере/сервере вместо множества квартир у нас множество приложений/программ и нам надо понять, какой именной программе на компьютере предназначаются доставленные пакеты. Номер квартиры (номер порта – номер двери к нужной программе на компе) указывается в заголовке TCP/UDP протоколов.
Изначально эти системы использовались для предотвращения сетевых атак (хакерских атак), но их возможности были ограничены вычислительной мощностью того времени. Вообще надо понимать, что DPI являются следствием развития брандмауэров (или другими словами файрволов или другими словами межсетевых экранов – это все одно и то же).
Понятие "порт"
"Порт" указывается в заголовке TCP/UDP
Курьер считывает из заголовков посылки IP адрес и порт TCP/UDP и остается только вручить получателю (приложению) содержимое пакета
Рисунок «Пакета данных» с IP-адресом в заголовке Пакета и номером порта в Заголовке TCP
Представьте, что доставщик принес пакеты в дом, но есть два корпуса — первый TCP и второй UDP. Есть номера портов TCP и независимо номера портов UDP, это как номера квартир в каждом корпусе.
Например протокол DNS изначально работал только с UDP с портом 53. Однако позже был добавлен порт TCP для обеспечения надёжности и повторного использования соединений. Поэтому сейчас протокол DNS для разных соединений может одновременно передавать данные через порт №53 в TCP и через порт №53 в UDP. Это как два отдельных порта.
В скором времени стало очевидно, что недостаточно на файрволах закрывать неиспользуемые порты. Атаки могли совершаться и через открытые разрешенные порты. Для устранения этого недостатка перешли к созданию UTM-платформ (Unified Threat Management) — это устройства, обеспечивающего комплексную защиту от сетевых угроз и сочетающего в себе:
● Классический Firewall — межсетевой экран, который может ограничивать трафик на основе ip-адресов и портов.
Включая технологию Stateful Packet Inspection (SPI) – отслеживает состояние активных соединений и проверяет пакеты, проходящие через сеть, на корректность и исключает возможность подмены пакетов в открытом соединении.
● IPS — система предотвращения вторжений (Intrusion Prevention System), которая позволяет выявлять вредоносный трафик на основе сигнатурного или поведенческого анализа.
● URL filtering — фильтрация интернет ресурсов. При этом блокировка может выполняться как по категориям сайтов (социальные сети, стриминговые сервисы, сайты для взрослых), так и по конкретным адресам.
● Web Antivirus — антивирус, который позволяет проверять безопасность скачиваемого контента с любых веб-ресурсов.
● Anti—Spam — фильтрация СПАМ сообщений. По статистике, более 80% всех email сообщений в мире являются спамом.
● Mail Antivirus — антивирус для файлов или ссылок полученных по почте
В UTM установлено несколько различных компонентов защиты, которые последовательно анализируют проходящий через устройство трафик. Ядром UTM является L4 firewall, система предотвращения атак (IPS), антивирус, анализ категорий URL в HTTP и HTTPS. Часто UTM еще реализуют функции VPN шлюза. Сегодня, несмотря на заявленные хорошие функции, никто не включает в UTM весь функционал, чтобы исключить задержки трафика.
Довольно долго UTM решения обеспечивали надежную защиту периметра. Пока не эволюционировала сеть Интернет и не стала возможной работа тысячи “приложений” через один единственный порт.
Для примера возьмем HTTPS (443 порт). Вы не можете его запретить, т.к. на его основе работают более 90% интернет ресурсов:
Развлекательные сервисы (Rutube, YouTube, KION, КИНОПОИСК)
● Файлообменники (Google Drive, Yandex Disk и т.д.)
● Онлайн браузерные игры
● Социальные сети и мессенджеры (Вконтакте, Instagram, WhatsApp, Telegram и т.д.)
Здесь может возникнуть логический вопрос: “UTM решения имеют функцию URL Filtering, которая позволяет отфильтровать эти категории сайтов.
Разве этого недостаточно?”. Нет, недостаточно. Дело в том, что даже в рамках одного веб-ресурса может работать несколько микро-сервисов и виджетов. Для примера возьмем Вконтакте. Кроме основного сайта, где мы можем просматривать профили людей или компаний (что весьма важно для некоторых сотрудников), есть еще такие микро-сервисы как:
— ВК видео;
— создание публикаций;
— чаты с другими пользователями (messaging);
— игры на платформе Вконтакте;
— ВК музыка;
— и многое другое.
Плюс добавьте к этому популярные десктопные приложения типа Telegram, которые используют динамически изменяемые URL для подключения к серверам. Вы просто не сможете их “поймать” механизмами классического веб-фильтра.
Так появлялись «Файрволы нового поколения (Next—generation firewalls — NGFW) — это файрволы глубокого анализа пакетов (deep—packet inspection — DPI), которые выходят за рамки проверки портов/протоколов и блокировки, добавляя проверку на уровне приложений, предотвращение вторжений и предоставление информации из-за пределов файрвола.
Deep-Packet Inspection - DPI
С ростом вычислительных мощностей и появлением специализированных сетевых процессоров эволюционировали и методы анализа пакетов в файрволах.
Базовый анализ заголовков (SPI) пакетов трафика основывается на информации в заголовке IP-пакета. Как правило – это IP-адрес (Layer 3), MAC-адрес (Layer 2), используемый протокол. Этот подход имеет ограниченные возможности, так же как ограничены методы Layer 4 – для обхода файрвола можно использовать не по назначению открытые стандартные порты.
Сравните запись в журнале файрвола L4, который анализирует только заголовок транспортного Layer 4 уровня:
Видно IP источника и получателе, можно догадаться по номеру порта 443, что внутри, с большой степенью вероятности (но не точно) соединение SSL. Можно ли увидеть в этой записи какой-то инцидент информационной безопасности? Скорее нет.
Сравните запись в журнале файрвола Layer 7 для того же самого TCP соединения, где разбирается еще и сам контент передаваемый в поле данных TCP/IP:
Здесь вы видите, что сотрудник компании Иванов из отдела маркетинга выложил на Slideshare файл с пометкой «не для распространения». Это пример реального инцидента, где сотрудник выложил конфиденциальные планы развития компании на год в Интернет. И это совершенно другой подход к анализу трафика.
Системы DPI (глубокого анализа трафика) позволяют выявлять в трафике ту информацию, которые невозможно определить на Layer 3 и Layer 4, например URL внутри пакета, что передаются сообщения мессенджеров или голосовой трафик Skype или пакеты BitTorrent. Другими словами становится возможно в громадном потоке пакетов идентифицировать от каких приложений они исходят и к какому протоколу относятся.
DPI — технология, которая позволяет анализировать не просто адреса веб-сайтов (на уровне заголовков пакетов), но и содержимое трафика (payload) в реальном времени.
DPI работает на основе анализа сигнатур
Основным механизмом идентификации приложений в DPI является анализ сигнатур (Signature Analysis). Каждое приложение имеет свои уникальные характеристики, которые занесены в базу данных сигнатур. Сопоставление образца из базы с анализируемым трафиком позволяет точно определить приложение или протокол. Но так как периодически появляются новые приложения, то базу данных сигнатур также необходимо обновлять для обеспечения высокой точности идентификации.
Например, анализ по количественным характеристикам пакетов, такие как размер блока данных, время отклика пакета, интервал между пакетами: к примеру в версии Skype всегда запрос от клиента имел размер 18 байт, а ответ, который он получал, – 11 байт. По такому признаку можно было определять, что трафик относится к Skype.
Другой пример: BitTorrent генерирует трафик с определенной последовательностью пакетов, обладающих одинаковыми признаками (входящий и исходящий порт, размер пакета, число открываемых сессий в единицу времени), и по такой поведенческой модели пакеты BitTorrent можно идентифицировать в общем потоке.
Представьте, что каждый пакет данных в интернете – это почтовая посылка. Файрволы первых версий смотрели только на адрес отправителя и получателя, как почтальон, проверяющий наклейки. А DPI — это как рентген на таможне, который просвечивает содержимое насквозь.
Например для того же Torrent сигнатурой внутри пакета является байт равный 0x13 (00010011) и за ним следующие 19 байт содержат строку BitTorrent protocol.
YouTube (по TLS SNI)
Значения поля: Server Name Indication (SNI) при использовании протокола TLS
— «*.googlevideo.com»
— «*.youtube.com»
— «*.ytimg.com»
— «youtubei.googleapis.com»
Протокол QUIC в веб страницах HTTP новой версии 3
Что ищем:
UDP‑пакет с длиной > 1200 байт.
Первые 4 байта payload — 0xC0A8 (магическое число QUIC).
В payload присутствует строка QUIC.
Telegram
Сигнатура: DNS‑запросы к Telegram‑серверам
Что ищем: DNS‑запросы к доменам:
telegram.org
t.me
core.telegram.org
Minecraft
Длина пакета рукопожатия TCP: «16 00 00 00 00»
Строка: после длины идет «MC|» или версия типа «1.18.2»
Порт: 25565 (стандартный), но может быть любой
Steam
В начале пакета UDP сигнатура: «FF FF FF FF»
Пример запроса: «FF FF FF FF 54 53 6F 75 72 63 65 20 45 6E 67 69 6E 65 20 51 75 65 72 79 00»
VoIP протокол SIP (Session Initiation Protocol)
Методы в начале пакета:
— «INVITE sip:» (исходящий вызов)
— «SIP/2.0 200 OK» (ответ)
— «REGISTER» (регистрация клиента)
Порт: 5060 (TCP/UDP)
Замедление и блокировка Telegram, YouTube, Instagram
Перенесемся от сетей организаций к сетям операторов мобильной связи и домашнего интернета
Рассмотренные выше наработки, которые
первоначально разрабатывались для обеспечения информационной безопасности сети и защиты от хакеров, как раз и применяют для блокировки Instagram, Discord, WhatsApp на территории России, для торможения YouTube и Telegram.
Всех интернет провайдеров, мобильных операторов связи обязали устанавливать в ключевых точках своей сети специализированные «ящики», так называемые ТСПУ (технические средства противодействия угрозам). Установка и эксплуатация ТСПУ обязательны для операторов связи в соответствии с Федеральным законом №149-ФЗ «О связи» и находятся под контролем Роскомнадзора. Место установки ТСПУ в своей сети операторы также должны и согласовывать с Роскомнадзором.
Чёрные «ящики» ТСПУ от Роскомнадзора операторы связи должны размещать с подведением электропитания в отдельных стойках на своих площадка по всей стране, но доступа к устройствам операторы не имеют.
Если оператор обеспечивает передачу данных со скоростью до 10 Гбит/с, он не обязан устанавливать ТСПУ в своей сети. Но он обязан присоединиться к сети «вышестоящего» оператора и пропускать свой трафик через эту сеть, где он пройдёт через установленное у вышестоящего оператора ТСПУ. В схеме пропуска трафика должны быть указаны адреса узлов сети оператора и сведения о том, через какого вышестоящего оператора и точки обмена трафиком направляется трафик оператора.
Разрешение не устанавливать ТСПУ в сети небольшого оператора позволяет обеспечить однократное прохождение трафика через ТСПУ.
Установка ТСПУ в собственной сети – предусмотрен в точках обмена трафиком и для операторов, которые пропускают 10 Гбит/с или больше.
Согласованная схема прохождения трафика может модифицироваться в процессе строительства сети оператора – и если эти изменения существенны (меняются адреса узлов, входящие в схему, изменяется объём трафика), требуется повторное согласование.
Блокировка по IP, DNS и HTTPS
Три основных метода блокировки, которые вероятно применяются с помощью ТСПУ:
1. Блокировка по IP: Каждый мессенджер, сайт в интернете располагается на определенных сервах, которые имеют свои уникальные IP-адреса. Роскомнадзор может просто приказать провайдерам блокировать определённые IP-адреса. Но тут есть проблема: если на сайт использует тот же IP, что и другие сайты, то заблокированными могут оказаться и они. Например, если на одном сервере хостится несколько сайтов, все они могут попасть под удар, даже если только один из них нарушает закон. Этот вариант блокировки самый рисковый для пользователя, потому что в процессе блокировки под раздачу попадают сторонние сервисы и сайты. Так, при блокировке Telegram ведомство заблокировало все подряд и даже бойлер.
2. Блокировка по DNS: DNS — это как телефонная книга интернета. Когда вы вводите адрес сайта (например, youtube.com), DNS переводит его в IP-адрес. Роскомнадзор может приказать провайдерам изменить или заблокировать DNS-запросы на определённые сайты. Вы пытаетесь зайти на сайт, а DNS вам возвращает пустой результат — сайт как будто не существует. Схема следующая: пользователь вбил в браузере адрес сайта, например, rutracker.org. Его компьютер отправляет запрос на соответствие этого имени IP-адресу-либо DNS-серверу провайдера. DNS-запросы перехватываются провайдерами, они в свою очередь блокируют сайт.
Первые тренировки блокировки Роскомнадзора по DNS были не совсем удачные из-за непродуманности решения. Так 10 марта 2021 года Роскомнадзор начал «замедлять» сервис микроблогов Twitter. Однако пострадал не только Twitter, более 113 тыс. доменов с символами в домене «t.co» тоже по ошибке подверглись блокировке.
Блокировка по DNS сейчас применяется, если Роскомнадзор решил заблокировать весь домен целиком. Например, Rutracker или LinkedIn.
3. Блокировка по HTTPS: Многие сайты используют HTTPS для защиты данных, которые вы передаёте (например, логинов и паролей). Но Роскомнадзор и тут может вмешаться, заставив провайдеров блокировать сертификаты HTTPS для определённых сайтов. В итоге, когда вы пытаетесь зайти на сайт, браузер выдает предупреждение о «недействительном сертификате», и доступ к сайту блокируется.
Замедление (Throttling)
ТСПУ с помощью DPI и например SNI распознает видеотрафик YouTube или Telegram и начинает понижать скорость передачи данных до того уровня, когда например видео начинает бесконечно буферизоваться.
Положительное заключение Роскомнадзора получили девять программных и программно-аппаратных систем фильтрации трафика (UBIC, EcoFilter, СКАТ DPI, Тиксен-Блокировка, SkyDNS Zapret ISP, Carbon Reductor DPI, ZapretService и ADM Filter, «Барьер»).
К примеру, аппаратный комплекс EcoDPI российской компании RDP.
Решение EcoDPI (Deep Packet Inspection) предназначено для анализа пакетов на уровнях вплоть до уровня приложений (Layer 7) модели OSI. EcoDPI способен выявлять трафик более чем 3200 различных приложений.
Вот такие ТСПУ ставятся на стороне провайдеров интернета и через них замедляют YouTube и Telegram, блокируют Instagram, Discord, WhatsApp.