|
|
|
|
|
В последнее время спам в Google Analytics стал представлять серьезную проблему. В попытках оградить себя от бесполезного спама идущего с кнопок социальных сетей, адалт сайтов и множества других источников, люди нагромождают все новые и новые фильтры.
В этой статье я расскажу о наиболее распространенных ошибках, которые люди делают в борьбе со спамом в Google Analytics и поделюсь самым эффективным способом его удалить.
Для начала, немного о том, как работает рефспам и о его видах.
Виды спама
1. Призраки. Подавляющее большинство спама именно этого типа. Они так называются, потому что никогда не заходят на ваш сайт. Это важно иметь ввиду, т.к. это ключевой момент для эффективной борьбы с таким спамом. На самом деле, такой спам не оказывает никакого влияния на ваш сайт. Как им удается обмануть GA, основной целью которой как раз является отслеживание посетителей сайта? Они делают это с помощью протокола измерения, который позволяет людям передавать данные непосредственно серверам Google Analytics. Используя этот метод и вероятно случайно генерируемые коды отслеживания (UA-XXXXX-1), спамеры оставляют поддельные данные, даже не зная, кто будет их жертвой.
2. Боты. Эти спам-боты сканируют ваши страницы, не обращая внимания запрещающие правила в файле robots.txt, которые должны остановить их от чтения вашего сайта. Ботов сложнее идентифицировать, потому что они преследуют собственные цели и используют реальные данные. При этом новые боты появляются редко. Поэтому, если вы обнаружили подозрительные данные в GA, сверьтесь с этим списком и проверьте, действительно ли это спам.
Самые распространенные ошибки.
Я исследую проблему рефспама на протяжении уже нескольких месяцев. Изучив комментарии к моим статьям и обсуждения на форумах, я выделил 3 самые распространенные ошибки, которые делают вебмастеры имея дело со спамом в Google Analytics.
1. Блокирование призрачного спама в файле .htaccess
Зачем нужен файл .htaccess? В данном файле задается ряд важных настроек безопасности, кеширования, редиректов, сжатия файлов, в том числе и блокирование доступа к вашему сайту. Поскольку призраки никогда не заходят на ваш сайт, их блокировка не принесет никакого эффекта.
Этот вид спама активен в течение нескольких дней, а затем исчезает сам собой. В результате, некоторые люди думают, что им помогла блокировка, хотя на самом деле это просто совпадение.
В действительности, блокировка .htaccess файле эффективна только против ботов, таких как buttons-for-website.com и некоторых других. Большая часть спама не может быть заблокирован с помощью этого метода, так что нет никакого другого пути, как использование фильтров.
2. Составление списка исключений.
Еще одной распространенной ошибкой является использование списка исключений. У него совсем другое предназначение. Например, когда клиент что-либо покупает, он перенаправляется на другую страницу для оплаты. После оплаты он возвращается обратно на сайт и GA засчитывает его как нового посетителя. В этом случае целесообразно использовать список исключений, чтобы предотвратить это.
3. Беспокойство о том, что показатель отказов ухудшит позиции.
Когда вебмастеры видят, как показатель отказов резко возрастает, они начинают волноваться о том, что это негативно отразится на позициях в выдаче.
Вне зависимости от того, присутствует спам или нет, Гугл не рассматривает показатели Google Analytics как фактор ранжирования. Об этом говорил сам Мэтт Каттс, возглавлявший департамент Гугла по борьбе со спамом. Он объяснял это следующим образом: хотя GA установлена на многих сайтах, далеко не все ее используют.
Возможно, сайт был взломан.
Очень часто, когда люди видят странные ссылки, начинают думать, что их сайт был взломан.
В действительности, данных страниц из отчета не существует и когда вы попытаетесь на них перейти, вы получите ошибку 404. Ваш сайт не был взломан.
О чем же стоит волноваться?
Теперь, когда вы поняли, что не нужно беспокоиться о безопасности вашего сайта и позициях, единственной реальной проблемой являются недостоверные данные в вашей статистике.
Все сайты в той или иной степени страдают от спама. В большей степени это касается небольших сайтов. Не только потому что спам может составлять подавляющую часть трафика, но еще и потому что эти сайты управляются и поддерживаются непрофессионалами.
Всего 1 фильтр для борьбы со спамом
Обычно рекомендуют добавить реферала в список исключений. Плюсом этого способа является простота, однако он имеет ряд недостатков.
Создание каждую неделю новых фильтров — трудоемкое и утомительное занятие, особенно если у вас несколько сайтов. К тому времени, когда фильтр начнет работать у вас уже будет недостоверная информация.
Некоторые спамеры маскируются под прямые переходы, что может ввести вас в заблуждение относительно реального числа переходов.
К счастью, есть способ решить все эти проблемы. Большая часть спама (призраки) работает путем подделки рандомных идентификаторов GA, а это значит, что спамеры не знают, кто станет их очередной жертвой и по этой причине имя хоста не обозначено или используется поддельное.
Как вы можете убедиться, они иногда используют довольно странные имена. Несмотря на то, что в списке встречаются и известные бренды, они тоже используются спамерами.
С другой стороны, настоящие посетители будут использовать реальное имя хоста, чаще всего это будет домен.
На основе этого мы можем создать фильтр, который будет отслеживать трафик на основе настоящих имен хостов. Для создания этого фильтра вам нужно найти отчет об именах хостов. Вот как это сделать:
Перейдите на вкладку «Отчеты» в GA
Нажмите на «Посетители» в левой панели
Разверните «Технология» и выберите «Сеть»
В верхней части отчета, нажмите на «Именя хоста»
Вы увидите целый список, включая спамеров. Создайте список настоящих хостов, включающих:
yourmaindomain.com
blog.yourmaindomain.com
es.yourmaindomain.com
payingservice.com
translatetool.com
anotheruseddomain.com
Для небольших сайтов этот список скорее всего будет состоять из основного домена и пары поддоменов. После того, как вы все их соберете, создайте регулярное выражение, подобное этому:
yourmaindomain \ .com | anotheruseddomain \ .com | payingservice \ .com | translatetool \ .com
Нет необходимости добавлять туда все поддомены. Основной домен будет соответствовать всем из них.
Создайте затем пользовательский фильтр. Убедитесь, что вы выбрали «Включить», затем выберите "Имя хоста" и скопируйте выражение в поле шаблона.
Важно: каждый раз, когда вы добавляете код отслеживания к какому-либо сервису, вам нужно добавить его к фильтру.
Теперь пришло время заняться бот спамом. Вы можете заблокировать ботов, добавляя эти строки в файле .htaccess:
## STOP REFERRER SPAM
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website\.com [NC]
RewriteRule .* - [F]
Помните, что изменение даже одного символа может привести к сбою всего сайта, поэтому не забудьте создать резервную копию файла .htaccess до редактирования.
Есть и другой способ. Если не хотите заморачиваться с файлом .htaccess, вы можете составить выражение со всеми ботами и добавить его в список исключений.
Буду раз услышать ваши способы решения этой проблемы.
Оригинал статьи на английском языке: https://moz.com/blog/stop-ghost-spam-in-google-analytics-with-one-filter |
|
|
|
|
|
| Цитата: |
| В попытках оградить себя от бесполезного спама идущего с кнопок социальных сетей, адалт сайтов и множества других источников, люди нагромождают все новые и новые фильтры.
|
На blogspot'e на новых блогах постоянно трафик с порносайтов, дают 1000-15000 просмотров в месяц. |
|
|
|
|
|
про ботов вообще угар, реферрер даже сейчас сам гугл-бот меняет, подтверждено пробами и испытаниями, сам же полный список реферреров из статьи я что-то не нашёл, линк ведёт в какую тьму тараканью 
за статью и труды - карманул |
|
|
|
|
|
| Цитата: |
| сам же полный список реферреров из статьи я что-то не нашёл, линк ведёт в какую тьму тараканью
|
Ты про это?
Spam list - Updated July 17th, 2015
Crawler Referral Spam
buttons-for-website.com
buttons-for-your-website.com
videos-for-your-business.com
success-seo.com
semaltmedia.com
dailyrank.net
sitevaluation.org
100dollars-seo.com
forum69.info
best-seo-solution.com
best-seo-offer.com
semalt.semalt.com
semalt.com
7makemoneyonline.com
anticrawler.org
baixar-musicas-gratis.com
descargar-musica-gratis.net
Ghost Spam
chinese-amezon.com / referral
satellite.maps.ilovevitaly.com / referral
traffic2money.com / referral
site#.floating-share-buttons.com / referral
e-buyeasy.com / referral
wpsecuritycheck.co.uk / referral
wpthemedetector.co.uk / referral
erot.co / referral
webmonetizer.net / referral
howtostopreferralspam.eu / referral
trafficmonetizer.org / referral
wpsecuritycheck.co.uk / referral
wpthemedetector.co.uk / referral
trafficmonetize.org / referral
непереводимая.рф / referral
непереводимая.рф / organic
websites-reviews.com / referral
sanjosestartups.com / referral
4webmasters.org / referral
site1.floating-share-buttons.com
site3.floating-share-buttons.com
s.click.aliexpress.com/e/ay3rfmzfi /organic
www.event-tracking.com / referral
webmaster-traffic.com / referral
vitaly rules google / organic
torture.ml / referral
amanda-porn.ga / referral
generalporn.org / referral
depositfiles-porn.ga / referral
youporn-forum.ga / referral
site2.floating-share-buttons.com
rapidgator-porn.ga / referral
meendo-free-traffic.ga / referral
buy-cheap-online.info / referral
www.Get-Free-Traffic-Now.com / referral
addons.mozilla.org / referral
googlsucks.com / referral
simple-share-buttons.com / referral
social-buttons.com / referral
s.click.aliexpress.com / referral
o-o-8-o-o.com / referral
humanorightswatch.org / referral
o-o-6-o-o.com / referral
bestwebsitesawards.com / referral
resellerclub scam / organic
darodar.com / referral
hulfingtonpost.com / referral
ilovevitaly.com / referral
blackhatworth.com / referral
resellerclub scam / referral
forum20.smailik.org / referral
http://www.ohow.co/what-is-referrer-spam-how-stop-it-guide/#Using-Campaign-Source-for-the-filter |
|
|
|
|
|
| Сомневаюсь что этот список полный, у спамхауса он намного длинней, только вот спам-хаус уступает гуглу в мощностях и резервах, в общем проигрывает в технической базе, следует вывод что Гугл говорит но не договаривает.... |
|
|
|
|
|
| Цитата: |
| угл не рассматривает показатели Google Analytics как фактор ранжирования. Об этом говорил сам Мэтт Каттс, возглавлявший департамент Гугла по борьбе со спамом. Он объяснял это следующим образом: хотя GA установлена на многих сайтах, далеко не все ее используют.
|
А у Яндекса все наоборот? Прочитала:
Счетчиками Яндекс.Метрики пользуется огромное множество вебмастеров. Продукт Яндекса становится единственным источником данных о посещаемости сайта и поведении пользователей. И если он начинает сбоить (к примеру, при смене шаблона в CMS), вебмастер не только теряет ценную информацию, но и может столкнуться с необоснованной пессимизацией. |
|
|
|
|
|
| Специалист в области поискового маркетинга и SEO Пол Шапиро разработал скрипт, который позволяет выгружать данные отчёта Google Search Analytics по сайту и хранить их на собственном сервере. С помощью скрипта данные можно будет хранить дольше, чем 90 дней. |
|
|
|
|
|
|
|
Похожий способ спама используется и в сервисах Гугл. Его заваливают миллионами фальшивых жалоб на нарушение Закона об авторском праве, рекламируя при этом дженерик виагру.  Только спамеры не подозревают, что их жалобы не индексируется Гуглом. Число таких фальшивых жалоб уже достигло 7,8 млн, по 13 таких жалоб ежесекундно. |
|
|
|
|
|
|
|
|
