1. 1. Респект Robots.txt
2. 2. Сделайте сканирование медленнее, не хлопайте сервером, относитесь к веб-сайтам хорошо
3. 3. Не следуйте той же схеме сканирования
4. 4. Замаскируйте свои запросы, вращая IP-адреса или прокси-сервисы.
5. 5. Поверните Агенты пользователя
6. 6. Проверьте, если сайт меняет макеты
7. 7. Используйте безголовый браузер
8. 8. Остерегайтесь ловушек с медом
9. 9. Избегайте очистки данных за логином
10. Как веб-сайты могут обнаружить веб-соскоб?
11. Как легко узнать, не поддерживает ли сайт очистку данных?
12. Что происходит, когда вас забанят?
13. Как узнать, заблокировал ли вас сайт?
14. Резюме

Очистка веб-страниц - это задача, которую необходимо выполнять ответственно, чтобы она не оказывала вредного влияния на очищаемые сайты. Web Crawlers могут извлекать данные гораздо быстрее, глубже, чем люди, поэтому плохие методы очистки могут оказать некоторое влияние на производительность сайта.

Если программа-обходчик выполняет несколько запросов в секунду и загружает большие файлы, недостаточно загруженный сервер будет не справляться с запросами от нескольких программ-обходчиков. Поскольку веб-сканеры, скребки или пауки (слова, используемые взаимозаменяемо) на самом деле не стимулируют трафик веб-сайта человека и, по-видимому, влияют на производительность сайта, некоторые администраторы сайта не любят пауков и пытаются заблокировать их доступ. Большинство веб-сайтов могут не иметь механизмов защиты от взлома, поскольку это может повлиять на работу пользователей, но некоторые сайты блокируют взлом, потому что не верят в открытый доступ к данным.

В этой статье мы поговорим о том, как веб-сайты обнаруживают и блокируют пауков и методы для преодоления этих барьеров.

Вот некоторые из лучших практик, которые вы можете использовать, чтобы преодолеть обнаружение.

1. Респект Robots.txt

В идеале веб-пауки должны следовать файлу robot.txt для веб-сайта, просматривая его. У него есть определенные правила для хорошего поведения, такие как то, как часто вы можете очищать, какие страницы разрешают очищать, а какие нет. Некоторые веб-сайты позволяют Google очищать свои веб-сайты, не позволяя другим веб-сайтам очищать их. Это идет вразрез с открытой природой Интернета и может показаться несправедливым, но владельцы сайта имеют право прибегнуть к такому поведению.

Вы можете найти файл robot.txt на веб-сайтах. Обычно это корневой каталог сайта - http://example.com/robots.txt ,

Если он содержит строки, подобные тем, которые показаны ниже, это означает, что сайт не нравится и не хочет быть удаленным.

Пользователь-агент: *

Disallow: /

Тем не менее, поскольку большинство сайтов хотят быть в Google, возможно, крупнейшем скребке сайтов в мире, они разрешают доступ к ботам и паукам.

Что, если вам нужны какие-то данные, это запрещено Robots.txt. Вы все еще можете пойти и почистить его. Большинство инструментов для защиты от соскобов включаются, когда вы очищаете страницы, которые не разрешены Robots.txt.

Что ищут эти инструменты - это клиент, бот или человек. И как они это находят? Ищите несколько индикаторов, которые делают люди, а боты - нет. Люди случайны, а боты - нет. Люди не предсказуемы, боты.

Вот несколько простых подарков, которые вы бот / скребок / гусеничный -

• чистит слишком быстро и слишком много страниц, быстрее, чем когда-либо может человек
• следуя той же схеме во время ползания. Например - просмотреть все страницы результатов поиска и переходить к каждому результату только после получения ссылок на них. Ни один человек никогда не делает это.
• слишком много запросов с одного и того же IP-адреса за очень короткое время
• не идентифицируется как популярный браузер. Вы можете сделать это, указав «User-Agent».
• используя строку агента пользователя очень старого браузера

Приведенные ниже пункты помогут вам преодолеть большинство основных и промежуточных механизмов защиты от взлома, используемых веб-сайтами.

2. Сделайте сканирование медленнее, не хлопайте сервером, относитесь к веб-сайтам хорошо

Боты-скребки в Интернете извлекают данные очень быстро, но сайт легко обнаруживает ваш скребок, так как люди не могут просматривать его так быстро. Чем быстрее вы ползете, тем хуже для всех. Если веб-сайт получает слишком много запросов, чем он может обработать, он может перестать отвечать.

Сделайте так, чтобы ваш паук выглядел настоящим, подражая человеческим действиям. Поместите несколько случайных программных спящих вызовов между запросами, добавьте некоторые задержки после сканирования небольшого количества страниц и выберите наименьшее количество одновременных запросов. В идеале, между щелчками кликайте задержку в 10–20 секунд, а нагрузка на сайт не будет большой, что будет приятно для вас.

Используйте механизмы автоматического регулирования, которые автоматически регулируют скорость сканирования в зависимости от нагрузки как на паука, так и на веб-сайте, который вы сканируете. Настройте паука на оптимальную скорость ползания после нескольких пробных заездов. Делайте это периодически, потому что среда со временем меняется.

3. Не следуйте той же схеме сканирования

Люди обычно не выполняют повторяющихся задач, когда они просматривают сайт случайными действиями. У роботов-скребков, как правило, одинаковый режим сканирования, потому что они запрограммирован таким образом, если не указано иное. Сайты, которые имеют интеллектуальные механизмы предотвращения сканирования, могут легко обнаружить пауков, обнаруживая закономерности в их действиях.

Включите несколько случайных кликов на странице, движения мыши и случайные действия, которые сделают паука похожим на человека.

4. Замаскируйте свои запросы, вращая IP-адреса или прокси-сервисы.

При очистке ваш IP-адрес может быть виден. Сайт будет знать, что вы делаете и собираете ли вы данные. Они могут взять данные, такие как - пользовательские шаблоны или опыт если они впервые пользователи.

Несколько запросов с одного и того же IP-адреса приведут вас к блокировке, поэтому нам нужно использовать несколько адресов. Когда мы отправляем запросы с прокси-сервера, целевой веб-сайт не будет знать, откуда исходный IP-адрес, что затрудняет обнаружение.

Создайте пул IP-адресов, которые вы можете использовать и использовать случайные для каждого запроса. Наряду с этим вам нужно распределить несколько запросов по нескольким IP-адресам.

Существует несколько способов изменить исходящий IP-адрес.
Могут помочь такие службы, как VPN, общие прокси и TOR. Кроме того, различные коммерческие провайдеры также предоставляют услуги для автоматической ротации IP. Многие компании сейчас предоставляют жилые IP-адреса, чтобы сделать процесс очистки еще проще, но большинство из них дорогие.

5. Поверните Агенты пользователя

Пользовательский агент - это инструмент, который сообщает серверу, какой веб-браузер используется. Если пользовательский агент не установлен, веб-сайты не позволят вам просматривать контент. Вы можете получить свой User-Agent, набрав «что такое мой пользовательский агент» в строке поиска Google.

Вы также можете проверить свою строку пользователя здесь:
http://www.whatsmyuseragent.com/

Каждый запрос, сделанный из веб-браузера, содержит заголовок пользовательского агента, и использование одного и того же пользовательского агента постоянно приводит к обнаружению бота. Единственный способ заставить ваш User-Agent выглядеть более реальным и обходить обнаружение - это подделать user agent.

Как подделать User-Agent:

Создайте список пользовательских агентов и выберите случайный для каждого запроса, чтобы предотвратить блокировку. Установите в качестве пользовательского агента общий веб-браузер вместо пользовательского агента по умолчанию.

Установите в качестве пользовательского агента общий веб-браузер вместо использования пользовательского агента по умолчанию (например, wget / version или urllib / version). Вы даже можете притвориться роботом Google: Googlebot / 2.1, если хотите повеселиться! ( http://www.google.com/bot.html )

Список строк пользовательского агента, с которого можно начать, можно найти здесь:
http://www.useragentstring.com/pages/useragentstring.php
https://developers.whatismybrowser.com/useragents/explore/

6. Проверьте, если сайт меняет макеты

Некоторые веб-сайты делают это сложным для скребков, обслуживая немного разные макеты.

Например, на страницах веб-сайта 1-20 будет отображаться макет, а на остальных страницах может отображаться что-то еще. Чтобы предотвратить это, проверьте, если вы получаете данные очищаются с помощью XPath или CSS селекторы. Если нет, проверьте, как отличается макет, и добавьте условие в свой код, чтобы по-разному обрабатывать эти страницы.

7. Используйте безголовый браузер

В зависимости от используемых веб-браузеров, веб-сайты могут отображать контент по-разному. Возьмите результаты поиска Google. Если браузер (идентифицированный пользовательским агентом) имеет расширенные возможности, веб-сайт может представлять «более богатый» контент - что-то более динамичное и стилизованное, что может в значительной степени зависеть от Javascript и CSS.

Проблема заключается в том, что при выполнении любого вида очистки веб-содержимого содержимое обрабатывается кодом JS, а не необработанным ответом HTML, который доставляет сервер.

Чёрный список можно предотвратить с помощью безголового браузера. Безголовый браузер - это тот, который работает как любой другой браузер; только они не визуальные на рабочем столе. Это означает, что нет графического интерфейса. Вместо взаимодействия с элементом вы можете автоматизировать все с помощью интерфейса командной строки. Это может помочь вам остаться незамеченным при просмотре веб-страниц.

Селен , PhantomJS и последний участник - Google без головы хром Есть несколько вариантов для дальнейшего изучения.

Имейте в виду, что безголовые браузеры, такие как Selenium и Puppeteer, используют много ресурсов (RAM, CPU, Bandwidth и т. Д.) По сравнению со скриптовыми подходами. Вы можете проверить эти веб-учебники по использованию безголовых браузеров:

8. Остерегайтесь ловушек с медом

Honeypots - это системы, созданные для приманки хакеров и обнаружения любых попыток взлома, которые пытаются получить информацию. Обычно это приложение, которое имитирует поведение реальной системы. Некоторые веб-сайты устанавливают honeypots, которые являются невидимыми для обычных пользователей ссылками, но могут быть просмотрены веб-скребками.

При переходе по ссылкам всегда следите за тем, чтобы ссылка имела правильную видимость без тега nofollow . Некоторые ссылки honeypot для обнаружения пауков будут отображаться в стиле CSS : ни один из них или не будет замаскирован, чтобы сливаться с цветом фона страницы.

Это обнаружение, очевидно, не легкое и требует значительного объема работы по программированию для правильного выполнения, в результате этот метод не широко используется ни на стороне сервера, ни на стороне бота или скребка.

9. Избегайте очистки данных за логином

Вход в систему - это в основном разрешение на получение доступа к веб-страницам. Некоторые сайты, такие как «В действительности» и «Фейсбук», не допускают разрешения.

Если страница защищена входом в систему, скребок должен будет отправлять некоторую информацию или файлы cookie вместе с каждым запросом для просмотра страницы. Это позволяет целевому веб-сайту видеть запросы, приходящие с одного и того же адреса. Они могут забрать ваши учетные данные или заблокировать вашу учетную запись.

Как правило, предпочитают избегать очистки веб-сайтов, на которых есть логин, поскольку вас легко заблокировать, но одну вещь, которую вы можете сделать, это имитировать браузеры-люди всякий раз, когда требуется аутентификация, вы получаете нужные данные.

Как веб-сайты могут обнаружить веб-соскоб?

Веб-сайты могут использовать различные механизмы для обнаружения скребка / паука от обычного пользователя. Некоторые из этих методов перечислены ниже:

1. Необычный трафик / высокая скорость загрузки, особенно с одного клиента или IP-адреса за короткий промежуток времени.
2. Повторяющиеся задачи, выполняемые на веб-сайте, основанные на предположении, что пользователь не будет выполнять одни и те же повторяющиеся задачи все время.
3. Обнаружение через honeypot - эти honeypots обычно являются ссылками, которые не видны обычному пользователю, а только пауку. Когда скребок / паук пытается получить доступ к ссылке, аварийные сигналы отключаются.

Как легко узнать, не поддерживает ли сайт очистку данных?

Проверьте файл robots.txt , который обычно находится в корневом каталоге веб-сайта, например, http://example.com/robots.txt .
Если он содержит строки, подобные тем, что показаны ниже, это означает, что сайт не любит и хочет удалить.

Тем не менее, поскольку большинство сайтов хотят быть в Google (возможно, крупнейшим шаблоном сайтов в мире), они разрешают доступ к ботам и паукам.

Пользователь-агент: *
Disallow: /

Эта строка предназначена для предотвращения ботов с хорошим поведением или ботов, которые уважают robots.txt.

Что происходит, когда вас забанят?

Существует два простых способа запретить веб-паук / веб-браузер - либо запретив все обращения с определенного IP-адреса, либо запретив все обращения, которые используют определенный идентификатор для доступа к серверу (большинство браузеров и веб-пауков идентифицируют себя всякий раз, когда запрашивают страницу пользователя агенты. Например, браузер Chrome использует Mozilla / 5.0 (X11; Linux x86_64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 33.0.1750.149 Safari / 537.36

Запрет может быть временным или постоянным.

Временные блоки могут длиться минуты или часы.

Постоянные запреты идут вразрез с открытой природой Интернета, но некоторые сайты прибегают к этой мере «обжигающего интернета».

Как узнать, заблокировал ли вас сайт?

Если на просматриваемом вами сайте появляется какой-либо из следующих признаков, это, как правило, признак того, что он заблокирован или заблокирован.

• CAPTCHA страницы
• Необычные задержки доставки контента
• Частый ответ с ошибками HTTP 404, 301 или 50x

Частое появление этих кодов состояния HTTP также является признаком блокировки

• 301 перемещено временно
• 401 Несанкционированный
• 403 Запрещено
• 404 Не Найдено
• 408 Время ожидания запроса
• 429 Слишком много запросов
• 503 Служба Недоступна

Полный список кодов возврата HTTP (успехи и неудачи) можно найти Вот , Это будет стоить вашего времени, чтобы прочитать эти коды и ознакомиться с ними.

Резюме

Все вышеперечисленные идеи служат отправной точкой для создания собственных решений или усовершенствования существующих решений. Если у вас есть идеи или предложения, присоединяйтесь к обсуждению в разделе комментариев.

Спасибо за чтение.

Похожие

Комментарии