Forum вход|регистрация
 Бесплатные магазиныУслугиДокументацияУправление магазиномСтатистикаДоска объявленийФорумКонтакты 

расширенный поиск
→ создать интернет-магазин
→ вопрос техподдержке
→ демо-режим
→ панель управления
→ примеры магазинов
→ FAQ
Блокировка парсера со стороны сайта.
Начать новую тему   Ответить    Список форумов компании 7910 e-commerce // Прочие вопросы
Предыдущая тема :: Следующая тема  
Автор Сообщение
ruchki-v-teple
user


Зарегистрирован: 08.01.2016
Сообщения: 12

СообщениеДобавлено: Вт Ноя 05, 2019 6:34 am    Заголовок сообщения: Блокировка парсера со стороны сайта. Цитировать

Здравствуйте.
Парсер Совместных покупок не видит товары. Ниже ответ от компании.
"Тех отдел Турбопарсера рассмотрел парсинг сайта http://ruchki-v-teple.7910.org . На данный момент выполняется блокировка действий парсера со стороны Вашего сайта. Просим добавить наши IP адреса в белый список.

IP с которых парсим:

95.217.75.164 95.217.75.165 95.217.75.166
После добавления напишите нам и мы перенастроим парсинг сайта. Без добавления парсинг сайта будет постраничным.Вероятно сначала работала так как не было большого потока запросов. Вам необходимо обратиться к Вашему программисту, чтобы он прописал это в коде сайта."

Как сделать что бы парсер заработал? Где код, куда вставляется адрес?

Спасибо
В начало
Профиль В приват E-mail Сайт автора
admin
admin


Зарегистрирован: 07.08.2007
Сообщения: 5157
Откуда: Kiev

СообщениеДобавлено: Вт Ноя 05, 2019 3:06 pm    Заголовок сообщения: Цитировать

IP адреса турбопарсера попадают в черный список из-за того, что создают очень большую нагрузку на сервер. С одного IP адреса создается более 30 подключений в секунду и аппаратная система Cisco по защите сервера от атак блокирует такие IP адреса.
В начало
Профиль В приват E-mail Сайт автора ICQ
ruchki-v-teple
user


Зарегистрирован: 08.01.2016
Сообщения: 12

СообщениеДобавлено: Ср Ноя 06, 2019 9:17 am    Заголовок сообщения: Цитировать

Это если одновременно много человек хотят им воспользоваться, или сама программа прасера грузит ?

В общем, что делать ? Smile парсер может работать, хот в какие то периоды ?
В начало
Профиль В приват E-mail Сайт автора
admin
admin


Зарегистрирован: 07.08.2007
Сообщения: 5157
Откуда: Kiev

СообщениеДобавлено: Ср Ноя 06, 2019 2:57 pm    Заголовок сообщения: Цитировать

Это сам парсер создает более 30 подключений в секунду. Ни в какое время суток невозможен доступ парсера с такой нагрузкой. Есть аппаратные ограничения в серверных системах Cisco по защите сервера от атак, которые не допускают такую нагрузку на сервера. На подавляющем большинстве хостингов, особенно зарубежных, установлены аппаратные защиты Cisco, также и на наших серверах. Разработчики парсеров должны учитывать этот факт и писать корректный программный код парсера так, как это сделано у роботов поисковых систем, делать секундные паузы между запросами страниц сайта.
В начало
Профиль В приват E-mail Сайт автора ICQ
ruchki-v-teple
user


Зарегистрирован: 08.01.2016
Сообщения: 12

СообщениеДобавлено: Чт Ноя 07, 2019 12:34 pm    Заголовок сообщения: Цитировать

Сделали, но даже постранично не видит товар. Может куда их ip добавить?
"
Тех отдел рассмотрел Ваш запрос. Добавили задержку между запросами, но без добавления адресов в белый список парсинг сайта возможен только постраничный."
В начало
Профиль В приват E-mail Сайт автора
admin
admin


Зарегистрирован: 07.08.2007
Сообщения: 5157
Откуда: Kiev

СообщениеДобавлено: Чт Ноя 07, 2019 7:26 pm    Заголовок сообщения: Цитировать

Данных IP адресов: 95.217.75.164 95.217.75.165 95.217.75.166 на данный момент нет в черном списке и доступ к страницам сайта открыт. Если будет хотя бы полусекундная задержка между запросами, то индексация сайта возможна.
В начало
Профиль В приват E-mail Сайт автора ICQ
ruchki-v-teple
user


Зарегистрирован: 08.01.2016
Сообщения: 12

СообщениеДобавлено: Вс Ноя 10, 2019 5:33 pm    Заголовок сообщения: Цитировать

Спасибо.
Заработал парсер.
В начало
Профиль В приват E-mail Сайт автора
Начать новую тему   Ответить    Список форумов компании 7910 e-commerce // Прочие вопросы Часовой пояс: GMT
Страница 1 из 1

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


конструктор интернет-магазинов|система управления интернет-магазином|сервис интернет-статистики|доска объявлений|форум|контакты
Powered by phpBB © 2001, 2002 phpBB Group
7910 e-commerce ©2007-2018 Все права защищены.