Как узнать, парсят ли мой сайт?
На страницу 1, 2  След.
Новая тема Написать ответ
# Ср Май 04, 2016 9:00 pmThomasRio Зарег.: 14.03.2016 ; Сообщ.: 38Ответить с цитатой
Всем привет.Собственно вопрос, как узнать парсит ли какой **** мой контент. Знаю что смотреть нужно в файле log, но там куча ipшников, вот собственно и хочу понять парсит ли кто мой сайт ?

:oldher:
# Чт Май 05, 2016 9:18 amСтранник Зарег.: 28.06.2010 ; Сообщ.: 4617Ответить с цитатой
Лучше стразу настроить защиту: http://blog.geek.km.ua/2013/08/28/zashhishhaem-sayt-ot-http-flood-s-pomoshhyu-nginx-i-fail2ban/
# Чт Май 05, 2016 11:46 amSkyworker Зарег.: 25.12.2013 ; Сообщ.: 11416Ответить с цитатой
А зачем тебе это знать? Сильно грузят сервак или что?
# Пт Май 06, 2016 7:48 amСтранник Зарег.: 28.06.2010 ; Сообщ.: 4617Ответить с цитатой
Цитата:
А зачем тебе это знать?


А что хорошего в том, что твой контент будет на сотне ГС?
# Пт Май 06, 2016 2:42 pmblogmatic Зарег.: 10.08.2010 ; Сообщ.: 4775Ответить с цитатой
"Крестьянский" способ, прошу сильно не бить Smile. В общем, ищешь через поисковики двойники своего сайта. Потом пишешь их хостерам абузы по поводу воровства контента. Как-то так.
# Пн Май 09, 2016 5:02 pmYabuti Зарег.: 28.11.2008 ; Сообщ.: 16263Ответить с цитатой
Один и тот же айпишник или айпи одной подсети часто в логах, скорее всего, это либо сильный поклонник сайта, часто его посещающий, или какой-нибудь скрипт-парсер. А если айпи из подсети хостинг-провайдера, то, скорее всего, это парсер.
Защищаться, как уже blogmatic написал, абузами, если контент ценный, либо заранее в webmaster-панели Google и Яндекса добавить как авторство нужного сайта и тогда копирование становится не очень перспективным занятием.
# Пт Май 13, 2016 1:52 pmIngritt Зарег.: 09.07.2013 ; Сообщ.: 1253Ответить с цитатой
А если контент все-таки скопировали, может ли он оказаться в поиске выше уника?
# Сб Май 14, 2016 5:50 amnarolskay Зарег.: 11.06.2009 ; Сообщ.: 1038Ответить с цитатой
Конечно может, на одном из моих сайтов пошла просадка, проверила контент - весь скопипастили, особенно фильтранул гугл.
# Пн Май 16, 2016 9:07 amDoff Зарег.: 21.12.2015 ; Сообщ.: 1745Ответить с цитатой
narolskay писал(а):
Конечно может, на одном из моих сайтов пошла просадка, проверила контент - весь скопипастили, особенно фильтранул гугл.


Неужели сложно сделать сервис, куда можно добавлять свежезалитые статьи и закреплять за собой авторство!
# Ср Май 18, 2016 5:06 pmLorer Зарег.: 25.02.2008 ; Сообщ.: 87Ответить с цитатой
Задротский метод: скачать на адвего ихний АдвегоПлагиатус и прогонять каждую статью через него спустя какое-то время после публикации.
# Чт Май 19, 2016 1:07 pmGraf Зарег.: 14.07.2014 ; Сообщ.: 2004Ответить с цитатой
# Пт Май 27, 2016 12:33 pmMiss Content Зарег.: 05.03.2010 ; Сообщ.: 7881Ответить с цитатой
Ingritt писал(а):
А если контент все-таки скопировали, может ли он оказаться в поиске выше уника?


Джон Мюллер о ранжировании копипаста
«Иногда случается, что мы обнаруживаем страницы с идентичным содержимым. Тогда мы пытаемся определить, какая из этих страниц является оригиналом, и вносим её в индекс. С другой стороны, если на вашем сайте содержатся описания товаров, и кто-то скопировал эти описания на eBay, тогда эти страницы выглядят очень разными. В таком случае мы можем воспринимать их как уникальные и индексировать их по отдельности. В зависимости от того, что ищут пользователи, мы можем показать им первую или вторую страницу. Если мы видим, что человека интересует что-то, имеющее отношение к eBay, мы покажем ему версию из eBay. Если же пользователь ищет товар в магазине поблизости, тогда мы можем показать ему вашу версию. Таким образом, это вопрос поисковых алгоритмов, которые пытаются определить, какая из этих страниц более релевантна в ситуации каждой поисковой сессии».
# Пт Май 27, 2016 3:15 pmPlanetweb Зарег.: 25.05.2016 ; Сообщ.: 92Ответить с цитатой
По логам если вы даже найдёте и вычислите какой-то IP адрес, то не факт что на его
смену не придёт другой. Сейчас парсеры работают и через прокси.
Вставляйте в ваш текст ссылки, делайте перелинковку статей, что бы потом можно было написать
(не хостеру), а лучше регистратору домена и зафиксировать факт воровства.
Парсер может просто затягивать всё вместе с ссылками.
Advego Plagiatus, вам в помощь для поиска краденного контента.
# Вт Июн 21, 2016 3:16 amfaster Зарег.: 20.06.2016 ; Сообщ.: 4Ответить с цитатой
Я бы предложил след вариант, парсят обычно последовательно страницы, составить карту обхода и если ходил последовательно то оно, или с помощью js за мышью следить, если уж совсем не двигается то тоже оно.
# Ср Июн 22, 2016 9:01 amDoff Зарег.: 21.12.2015 ; Сообщ.: 1745Ответить с цитатой
А если связаться с владельцем сайта и попросить удалить сворованное? У кого-нибудь это давало результат?
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ
 На страницу 1, 2  След.
Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.