Блокировка парсера со стороны сайта.

[ruchki-v-teple]

Здравствуйте.
Парсер Совместных покупок не видит товары. Ниже ответ от компании.
"Тех отдел Турбопарсера рассмотрел парсинг сайта http://ruchki-v-teple.7910.org . На данный момент выполняется блокировка действий парсера со стороны Вашего сайта. Просим добавить наши IP адреса в белый список.

IP с которых парсим:

95.217.75.164 95.217.75.165 95.217.75.166
После добавления напишите нам и мы перенастроим парсинг сайта. Без добавления парсинг сайта будет постраничным.Вероятно сначала работала так как не было большого потока запросов. Вам необходимо обратиться к Вашему программисту, чтобы он прописал это в коде сайта."

Как сделать что бы парсер заработал? Где код, куда вставляется адрес?

Спасибо

[admin]

IP адреса турбопарсера попадают в черный список из-за того, что создают очень большую нагрузку на сервер. С одного IP адреса создается более 30 подключений в секунду и аппаратная система Cisco по защите сервера от атак блокирует такие IP адреса.

[ruchki-v-teple]

Это если одновременно много человек хотят им воспользоваться, или сама программа прасера грузит ?

В общем, что делать ? парсер может работать, хот в какие то периоды ?

[admin]

Это сам парсер создает более 30 подключений в секунду. Ни в какое время суток невозможен доступ парсера с такой нагрузкой. Есть аппаратные ограничения в серверных системах Cisco по защите сервера от атак, которые не допускают такую нагрузку на сервера. На подавляющем большинстве хостингов, особенно зарубежных, установлены аппаратные защиты Cisco, также и на наших серверах. Разработчики парсеров должны учитывать этот факт и писать корректный программный код парсера так, как это сделано у роботов поисковых систем, делать секундные паузы между запросами страниц сайта.

[ruchki-v-teple]

Сделали, но даже постранично не видит товар. Может куда их ip добавить?
"
Тех отдел рассмотрел Ваш запрос. Добавили задержку между запросами, но без добавления адресов в белый список парсинг сайта возможен только постраничный."

[admin]

Данных IP адресов: 95.217.75.164 95.217.75.165 95.217.75.166 на данный момент нет в черном списке и доступ к страницам сайта открыт. Если будет хотя бы полусекундная задержка между запросами, то индексация сайта возможна.

[ruchki-v-teple]

Спасибо.
Заработал парсер.