Резидентные прокси я начинаю подключать в парсерах не сразу, а обычно после того, как проект уже словил первую волну банов на дата-центровых IP. Разница в цене между обычным прокси и резидентным ощутимая, и переплачивать за трафик, который выглядит как обычный домашний интернет, есть смысл далеко не всегда. Разбираю, сколько это стоит на практике, где без резидентных прокси парсер просто не доедет до данных, и какие риски продавцы трафика в описании тарифа обычно не пишут.
Что такое резидентные прокси и чем они отличаются от дата-центровых
Дата-центровый прокси - это IP-адрес, который выдаёт облачный провайдер вроде обычного VPS-хостинга. Такие адреса лежат в диапазонах, которые легко вычисляются по базам ASN: сайт видит подсеть провайдера и понимает, что перед ним не живой посетитель с домашнего роутера.
Резидентный прокси - это IP реального абонента: домашний интернет от обычного провайдера связи или мобильная сеть. Продавцы такого трафика получают доступ к IP-адресам пользователей через партнёрские SDK в приложениях (обычно это встроено в бесплатные VPN и расширения браузера, на что пользователь соглашается в лицензионном соглашении) и потом продают доступ к этому пулу IP клиентам вроде меня.
Для сайта запрос с резидентного IP выглядит как обычный визит человека из дома. Он не привязан к диапазону дата-центра, у него есть история как у обычного абонента, и системы антифрода реже помечают такой трафик как подозрительный. Это не значит, что резидентный IP невидим для защиты сайта, просто у него ниже базовая вероятность попасть под фильтр, который блокирует запросы по одному признаку «IP из дата-центра».
Сколько стоят резидентные IP на практике
Цена у резидентных прокси считается почти всегда за объём трафика в гигабайтах, а не за штуку IP, как у дата-центровых. Ниже ориентировочные рыночные цифры по моим наблюдениям за последний год работы с разными провайдерами, у конкретного сервиса тарифы могут отличаться в разы, поэтому актуальный прайс смотрите на сайте провайдера перед покупкой.
| Тип прокси | Кому принадлежит IP | Рыночная цена трафика, ориентировочно | Типичный риск блокировки |
|---|---|---|---|
| Дата-центровый | Облачный провайдер или обычный хостинг | около $0,5-2 за гигабайт у большинства провайдеров | Высокий на маркетплейсах и в соцсетях: диапазоны серверов легко распознаются |
| Резидентный | Домашний или мобильный провайдер, IP выдан реальному абоненту | около $4-15 за гигабайт, тарифы у провайдеров сильно отличаются | Низкий: запрос выглядит как обычный посетитель |
| Мобильный | Сотовый оператор, IP из пула 4G или 5G | обычно дороже резидентных, у части провайдеров тариф за порт в сутки, а не за трафик | Самый низкий, но и самый дорогой вариант |
Дополнительно у большинства провайдеров резидентных прокси есть отдельная доплата за гео-таргетинг по конкретному городу, а не только по стране, и за sticky-сессию, когда нужно держать один и тот же IP дольше нескольких минут. Это не зависит от того, парсите вы маркетплейс или соцсеть, доплата одна и та же за саму функцию.
Для разового парсинга пары тысяч страниц резидентный трафик обычно обходится дороже, чем стоит сама разработка скрипта. Если задача разовая, я считаю трафик отдельно от стоимости написания парсера (разработка парсинга и автоматизация на Python у меня идёт от 20 000 ₽), и часто оказывается дешевле обойтись дата-центровыми IP с осторожным лимитом запросов в минуту, чем сразу закладывать резидентный пул.
Бесплатный материал
🎁 Полезный скрипт в подарок
Подпишитесь на Telegram - пришлю готовый скрипт по этой теме.
Без спама. Отписка в 1 клик.
Три сценария, где без резидентных прокси парсер не поедет
Есть задачи, где дата-центровый IP не помогает вообще, сколько ни снижай частоту запросов. Вот 3 сценария из практики, где резидентные прокси не роскошь, а рабочая необходимость.
| Сценарий | Что происходит на дата-центровых IP | Почему помогает резидентный IP |
|---|---|---|
| Мониторинг цен на маркетплейсах | IP быстро уходит в бан или капчу | Запрос выглядит как трафик обычного покупателя, ротация IP снижает число ложных блокировок |
| Сбор объявлений с классифайдов | Сайт быстро определяет паттерн запросов с одного диапазона IP | Каждый запрос может идти с нового IP из пула реальных абонентов |
| Проверка выдачи по регионам | Дата-центровый IP не привязан к нужному городу или стране | Резидентный пул с гео-таргетингом даёт IP именно нужного региона |
На одном из проектов с мониторингом цен конкурентов дата-центровый IP уходил в капчу уже после первых 50-70 запросов подряд к одному каталогу, а с резидентным пулом и ротацией IP на каждый запрос тот же объём проходил без единой блокировки за сутки. Это не значит, что резидентный IP гарантирует ноль банов, просто порог срабатывания защиты у него ощутимо выше.
Риски резидентных прокси, о которых молчат продавцы трафика
Резидентные прокси снимают проблему бана по одному признаку, но добавляют свои сложности.
Качество пула нестабильно. IP реального абонента может в любой момент уйти в офлайн, попасть под собственный бан на целевом сайте от предыдущего пользователя пула или оказаться не в той стране, что указана в настройках гео-таргетинга. Процент неудачных запросов у резидентных прокси на практике всегда выше, чем у дата-центровых, поэтому в скрипте обязательно нужны повторные попытки и таймауты.
Скорость ниже и менее предсказуема. Запрос идёт через домашний канал связи реального человека, а не через канал дата-центра, поэтому задержки скачут сильнее, и для парсинга больших объёмов за ограниченное время это нужно закладывать в расчёт времени работы скрипта.
Законность зависит от того, что именно вы собираете, а не от типа прокси. Резидентный IP сам по себе не даёт права игнорировать условия использования сайта или собирать персональные данные без оснований. Я работаю с прокси только для сбора открытых данных без авторизации на стороне клиента: цены, наличие товара, характеристики, публичные объявления, и стараюсь укладываться в разумный rate-limit, проверяя robots.txt перед тем, как настраивать частоту запросов.
Стоимость трафика может незаметно вырасти. Резидентные прокси считаются по факту переданных гигабайт, и если в скрипте нет ограничения на повторную загрузку одной страницы или на скачивание лишних ресурсов вроде картинок, счёт от провайдера в конце месяца удивит.
Как подключить резидентные прокси к парсеру на Python
Для парсинга на Python я обычно беру requests, а если запросов много и важна скорость - aiohttp с асинхронными задачами, он отрабатывает быстрее на больших объёмах. Резидентный прокси подключается так же, как обычный HTTP-прокси: провайдер даёт шлюз с логином и паролем и список портов или параметр сессии для ротации IP.
Простой пример с ротацией IP через список шлюзов резидентного провайдера:
import random
import requests
PROXIES = [
"http://user:pass@residential-gw.example.com:10001",
"http://user:pass@residential-gw.example.com:10002",
"http://user:pass@residential-gw.example.com:10003",
]
def get_session():
session = requests.Session()
proxy_url = random.choice(PROXIES)
session.proxies = {"http": proxy_url, "https": proxy_url}
return session
session = get_session()
response = session.get("https://example.com/catalog", timeout=15)
print(response.status_code)
Часть провайдеров резидентных прокси сами ротируют IP на каждый новый запрос через один и тот же шлюз, достаточно один раз указать прокси в session.proxies. Другие требуют явно менять порт или параметр session_id в логине для каждой новой сессии. Это стоит уточнять в документации конкретного сервиса перед тем, как закладывать логику ротации в скрипт, формат у каждого провайдера свой.
Для длительного парсинга по расписанию скрипт с прокси я запускаю на отдельном сервере (VPS), а не на хостинге сайта клиента: такой сервер арендуется отдельно, требует настройки окружения и обновлений и оплачивается каждый месяц, зато он не зависит от того, на чём стоит основной сайт, будь то Tilda или WordPress.
Автоматизация мониторинга прокси и алерты в Telegram
Пул резидентных прокси со временем «протухает»: часть IP перестаёт отвечать, часть попадает под блокировку на целевом сайте. Проверять это руками неудобно, поэтому логи ответов парсера я обычно завожу в n8n: сценарий раз в час дёргает эндпоинт со статистикой (сколько запросов прошло, сколько вернули ошибку или капчу) и, если процент ошибок выше порога, шлёт сообщение в Telegram-бота с алертом.
Настраиваю такую услугу автоматизации на n8n отдельно от самого парсера: сценарий получается независимым от кода скрипта, и его проще менять, если провайдера прокси или логику алертов нужно поменять без переписывания парсера. Такая настройка автоматизации в n8n у меня идёт от 25 000 ₽, парсер на Python с интеграцией прокси считается отдельно от 20 000 ₽.
Частые вопросы
Чем резидентные прокси отличаются от дата-центровых?
Дата-центровый прокси - это IP облачного провайдера, лежит в диапазоне, который легко определить по базе ASN. Резидентный прокси - это IP реального абонента у обычного интернет-провайдера или мобильного оператора, для сайта такой запрос выглядит как визит живого человека, а не сервера.
Сколько стоит трафик резидентных прокси?
По моим наблюдениям рыночная цена резидентного трафика у большинства провайдеров около $4-15 за гигабайт, у дата-центровых прокси ощутимо дешевле, около $0,5-2 за гигабайт. Точный тариф зависит от объёма пакета, гео-таргетинга и конкретного провайдера, актуальные цифры смотрите в прайсе сервиса перед покупкой.
Законно ли использовать резидентные прокси для парсинга?
Сам по себе прокси не нарушает закон, вопрос в том, что именно вы собираете. Сбор открытых данных без авторизации, вроде цен, наличия товара или публичных объявлений, в пределах разумного rate-limit и с уважением к robots.txt - обычная практика. А вот сбор персональных данных без оснований или доступ к платному контенту без оплаты резидентный IP не оправдывает и не легализует, это зависит от того, что вы собираете и как используете, а не от типа прокси.
Как выбрать провайдера резидентных прокси?
Смотрю на три вещи: размер и живость пула, то есть сколько реальных активных IP, а не просто заявленное число, наличие гео-таргетинга по нужной стране или городу и формат ротации - можно ли настроить, сколько запросов идёт с одного IP до смены. Пробный период на небольшой объём трафика перед покупкой крупного пакета тоже беру почти всегда, чтобы проверить процент рабочих запросов на конкретном целевом сайте.