Учимся устранять проблему с репутацией ip-адреса

КАК ЭТО РАБОТАЕТ

Для того, чтобы корреспонденция проверялась на наличие в ниже перечисленных базах, необходимо указать их в качестве спам-фильтров при конфигурации почтового сервера.

SBL (The Spamhaus Block List) – хранит в себе информацию о так называемых «верифицированных источниках спама» — IP-адресах, с которых велась рассылка, а также сервисах, осуществляющих для них определенную поддержку.

XBL (The Exploits Block List) – список хостов, являющихся открытыми прокси-серверами, а также компьютеров, которые были вовлечены в рассылку путем заражения эксплойтами (компьютерными программами, фрагментами программного кода или последовательностью команд, использующими уязвимости в ПО для атаки на вычислительную систему) или вирусами. Информация в данном списке собирается как непосредственно Спамхаузом, так и другими организациями схожего рода деятельности. Данный блэклист также опирается на информацию CBL (Composite Blocking List), который в свою очередь является списком компьютерных «инфекций», вирусов, подозреваемых в рассылке спама. Содержит в себе открытые прокси, черви, вирусы, ботнеты, трояны.

PBL (The Policy Block List) – имеет схожесть с DUL (Dialup/Dynamic Users List – список IP-адресов, временно-присваиваемых ISP своим клиентам, обычно с помощью DHCP), однако, хранит также и статические IP-адреса хостов, которые не должны отправлять письма напрямую серверам третьих сторон. Примерами могут служить IP-адреса корневых маршрутизаторов ISP, неприсвоенные IP-адреса, а также адреса хостов, которые в силу корпоративной политики или других обстоятельств должны отправлять почту через другие серверы.

DBL (The Domain Block List) – созданная в 2010-м году база доменных имен и URL-ов, содержащая доменные имена, с которых велась спам-рассылка, фишинговые сайты, а также службы, распространяющие вирусы и другое вредоносное ПО.

SWL (The Spamhaus White List) – вайтлист, созданный в 2010-м году (хранит информацию как об адресах IPv4, так и об IPv6). DWL (The Domain White List) – аналогичный, параллельно начавший свою работу вайтлист, но посвященный доменным именам. Оба этих списка имеют строгие правила, лишь тщательное соблюдение которых может гарантировать занесение и хранение доменного имени или IP- адреса в нем.

Компания также поддерживает комбинированные списки, одним из которых является ZEN, объединяющий в себе XBL и SBL.

Еще одна база данных, созданная Spamhaus, – это ROKSO (Register of Known Spam Operations). В ней содержится информация о спамерах и их сообществах, три и более раз уличенных во вредоносной деятельности, чьи аккаунты были удалены провайдером услуг хостинга. Данный источник информации является публичным, и также включает сведения о деятельности упомянутых лиц и организаций. Некоторые провайдеры даже включили успешную проверку клиентов по ROKSO в условия предоставления своих услуг.

Какими должны быть сроки на осуществление поставленных целей

Чтобы правильно ставить перед собой цели, необходимо устанавливать четкие временные границы на их осуществление. Конкретные даты помогут вам стать собраннее и ответственнее в достижении желаемого результата.

Нельзя ставить цели на длительный отрезок времени, так как вы не можете дать гарантий, что ничто вам не помешает их осуществить. То есть если вы сделаете установку на то, что спустя 10 лет накопите на квартиру, то цель подвергается риску остаться нереализованной.

Как проверить свой IP

Вводим свой адрес и ждем до конца, пока около всех списков появятся значки. Если они все зеленые, как на картинке ниже, то у Вас все отлично. А вот если есть хоть один красный или более (как на картинке в самом начале), то дела плохи.

Каждый список отвечает за определенные сервера. И насколько я понял, чем больше черных списков в которых есть ваш домен, тем больше Ваших подписчиков просто не получат Ваше письмо.

Мой домен находился в одном черном списке всего. Я свою проблему решил довольно просто. У каждого хостинга есть дополнительные услуги и к примеру у моего Таймвеба выделенный IP стоит всего 55 рублей в месяц. Если Вы занимаетесь интернет-бизнесом, то 55 рублей не великие деньги, а польза от этого огромная.

Проверьте технические настройки

Аутентификация домена – как паспорт в мире писем. Перед тем, как пропустить рассылку до ящика получателя, почтовый сервис проверяет все ли в порядке с документами (аутентификация) и что в багаже (содержание письма). Естественно, до багажа не дойдут, если проблемы обнаружатся на этапе с документами. 

Чтобы настроить аутентификацию, нужно внести две TXT-записи в доменную зону сайта:

1. SPF — подтверждает права отправки сообщений от вашего домена конкретным сервисом.
2. DKIM — добавляет в письмо цифровую подпись, благодаря которой вам как отправителю присваивается репутация.

Эти записи автоматически сформирует рассыльщик. Вам останется только скопировать и вставить их.

Процедура удаления IP-адреса из чёрных списков

IP-адрес могут удалить из чёрных списков автоматически после того, как будет полностью ликвидирована причина, по которой он там оказался. Например, если в течение 30 дней не осуществляется рассылка с адреса, ранее проявлявшего подозрительную активность, этого может оказаться достаточно, чтобы из исключить адрес из блеклиста. Но случается такое довольно редко: в большинстве случаев нужно не просто устранить причину попадания в чёрный список, но и отправить специальный запрос на вывод адреса из блеклиста той или иной базы.

Сервис Spamhaus

Одна из наиболее авторитетных компаний, формирующих чёрные списки – Spamhaus. На сайте компании можно проверить свой IP-адрес на наличие в нескольких списках. Обычному пользователю прежде всего следует убедиться в том, что его адреса нет в списках:

• SBL (Spamhaus Block List) – перечень адресов, замеченных в рассылке спама;
• XBL (Exploits Block List) – список адресов с вирусной активностью, а также публичные прокси-сервисы, которые могут использоваться для атак.

Последовательность шагов по удалению адреса из блеклиста Spamhaus выглядит следующим образом:

• Открываем сайт Spamhaus.

• Во вкладке Home находим ссылку Blocklist Removal Center и кликаем по ней.

• Указываем свой IP-адрес и домен.

• Если адрес внесён в чёрный список, в открывшемся окне видим его в красной рамке. Нажимаем на ссылку, расположенную ниже адреса.

• На следующей странице нажимаем кнопку Remove an IP from PBL.

• Подтверждаем ознакомление с условиями серсиса и нажимаем кнопку Remove IP Adress…

После этого откроется форма, в которой нужно указать:

• IP-адрес;
• email;
• страну;
• тип адреса (статический или динамический);
• принадлежность IP-адреса к ПК (personal computer) или почте (mail server).

В конце нажимаем кнопку Submit и ожидаем результат запроса. Следует сказать, что процедура удаления адреса из спам-баз другими инструментами во многом совпадает с описанной выше.

Другие способы

Помимо Spamhaus, существует множество других специализированных сервисов с функцией удаления адреса из блеклиста. Основные из таких служб можно увидеть, воспользовавшись инструментом https://2ip.ru/spam/. Вам нужно указать свой IP-адрес и нажать кнопку «Проверить». После этого откроется список сервисов, которые могли внести ваш адрес в свой чёрный список. В числе таких служб:

• Barracuda;
• Lashback;
• Invaluement;
• DNSBL и др.

Barracuda

• IP-адрес, который вы желаете удалить из списка;
• электронный адрес;
• телефон;
• причину удаления.

Последний пункт не является обязательным, но лучше его заполнить: практика показывает, что любая дополнительная информация послужит в этом случае дополнительным бонусом в вашу пользу. На сайте сервиса Barracuda можно найти информацию о том, что:

• ваш запрос будет рассмотрен в течение 12 часов;
• указанная информация о себе должна соответствовать действительности.

Lashback

Около миллиона IP-адресов из чёрного списка компании Lashback обновляются ежечасно. Один раз в 30 дней можно удалить свой адрес из этого списка бесплатно. Создатели Lashback утверждают, что их «разведывательная база», существующая более 10 лет, самая крупная в мире. Чтобы сделать запрос на удаление адреса из блэк листа Lashback, достаточно указать свой IP в строке Delist Request и нажать кнопку Submit.

Invaluement

Спам-базу сервиса Invaluement чаще используют, как дополнительный фильтр при репутационной проверке IP-адреса. Эта служба способна улавливать спам, недоступный для других подобных сервисов. Для удаления адреса из чёрного списка Invaluement, необходимо заполнить поле «Type a domain name or IP address below» и нажать кнопку «Check for Listing».

DNSBL

Для удаления адреса из спам базы DNSBL необходимо:

• Заполнить поле «Search for the IP address» и нажать кнопку»Search». Если адрес будет обнаружен в чёрном списке, нужно действовать согласно открывающимся инструкциям.

• Или отправить письмо на E-Mail, указав адрес, который нужно удалить из списка.

Независимо от того, каким инструментом вы пользуетесь для удаления адреса из спам-базы, следует знать, что:

• Перед тем, как оформить запрос на удаление, нужно устранить возможные причины попадания в чёрный список, то есть вы должны убедиться, что с адреса не осуществляется массовая рассылка и ваш компьютер на заражён вирусом;
• На удаление адреса из блеклиста может потребоваться до 72 часов.

Если вы хотите защитить себя от случайного попадания в блеклисты, оформите выделенный IP-адрес, который обойдётся вам в определённую сумму, но будет исключительно ваш. На динамическом IP-адресе могут находиться несколько пользователей, и попадание одного из них в чёрный список может негативно отразиться на всех остальных.

Как ваш IP-адрес мог оказаться в чёрном списке?

Может случиться так, что в какой-то момент ваш IP-адрес окажется в чёрном списке одного или нескольких интернет-сервисов. Как такое могло произойти? Скорее всего, раньше с этого адреса осуществлялась массовая рассылка. Но это не единственная причина попадания в Blacklist.

Ваш адрес могут внести в чёрный список, если:

• На вашем компьютере наблюдается вирусная активность. Проверить ПК на наличие вирусов можно с помощью бесплатных антивирусных программ Avast antivirus, Avira Antivirus или любого другого инструмента.
• Ваш провайдер ограничил активность динамически выдаваемых IP-адресов своих клиентов. В этом случае нужно связаться с провайдером и сделать запрос на использование SMTP сервера.
• Компьютер с этим адресом не имеет защиты от атак, то есть стало известно об уязвимости вашего ПК, позволяющей преступникам контролировать его и использовать в своих целях.

Как узнать, что сайт в чёрном списке?

Нужно проверить домен на спам-листы и узнать, не попал ли он в чёрный список DNS. Перечислим основные причины:

• подозрение на спам;
• размещение запрещённого контента;
• размещение ссылок на другие сайты с запрещённым контентом.

Любой, даже незначительный, прокол в работе может привести к данной проблеме. Алгоритмы проверки постоянно меняются, даже «чистый» сайт с легальным контентом иногда может попасть под санкции.

Рассмотрим основные варианты. Можно воспользоваться сервисом ХостТрекер. Здесь доступна бесплатная функция проверки наличия домена в DNSBL (DNS Blacklist – списки хостов, которые хранятся с применением архитектуры DNS). Также есть сервис Mxtoolbox, где предлагается подобное. На этом список сервисов не ограничивается, можете выбрать любой удобный. Я же разберу этот вопрос на примере ХостТрекер:

1. зайдите на сайт http://www.host-tracker.com
2. справа в окне выберите «проверить свой сайт»
3. ставим галочку на «DNSBL»;
4. введите адрес сайта;
5. нажмите на «проверить сейчас».

После этого Ваш адрес проверят по нескольким десяткам списков и появится результат, вот пример:

Если домен присутствует в блэклистах

Когда обнаруживаются проблемы, причина в обязательном порядке указывается. Есть несколько способов удаления из черного списка:

• Проверка на спам-рассылку. Необходимо убедиться, что сервер почты не используется злоумышленниками. Также выполните настройку обратного запроса DNS (доменная зона для определения имени сетевого узла по IP) почтового сервера. Настройте SPF (инфраструктура политики отправителя, специальное расширение для протокола отправки почты).
• Выяснить обстоятельства. Перейдите по ссылкам, докажите, что не являетесь роботом. Вводите адрес сайта и нажимайте на «разблокировать». В отдельных ситуациях придётся писать письмо с просьбой о разблокировке, преждевременно устранив причину попадания в ЧС.

Notice

После того, как удастся проверить домен на АГС и спам-листы, необходимо сразу исправить ситуацию и чем быстрее, тем лучше, а потом можно заниматься продвижением своего сайта в прежнем режиме.

Последние статьи раздела SEO и реклама

09.04.2020

Seo продвижение корпоративных сайтов: ориентир на решение задач и потребности бизнеса

…

05.08.2019

Отраслевые решения CRM для бизнеса

Customer Relationship Management (CRM) — особая система, облегчающая работу специалистов в процессе общения с клиентами, обеспечивающая достижение……

30.12.2018

Что такое блог и зачем он нужен?

Блог – это особый сайт, на котором можно ознакомиться с полезной тематической информацией…

01.01.2018

Сетка сайтов сателлитов: эффективное продвижение сайта

Создание тематических сателлитов обеспечивает высокие показатели…

API возвращает JSON строку, например:

Copy all

{"data":{"127.0.0.1":{"network_type":"unknown","country":"","appears":0,"frequency":0,"sha256":"12ca17b49af2289436f303e0166030a21e525d266e209267433801a8fd4071a0"},"stop_email@example.com":{"frequency":1001,"updated":"2021-02-22 12:06:14","spam_rate":0,"exists":1,"frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":1,"disposable_email":1,"sha256":"6d42ca0235d72b01a2b086ad53b5cfac24b5a444847fad70250e042d7ca8bf59"}}}

Copy all

{"data":{"email_08c2495014d7f072fbe0bc10a909fa9dca83c17f2452b93afbfef6fe7c663631":{"frequency":4,"updated":"2018-10-31 00:07:21","spam_rate":1,"exists":1,"frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":0,"disposable_email":1}}}

Для хэша адреса IP v4:

Copy all

{"data":{"ip4_f46604ded89bbd0e8e478172a9a650f4825a763053ad2e3582c8286864ec4074":{"frequency":13626,"updated":"2019-05-15 05:01:23","spam_rate":1,"network_type":"hosting","country":"GB","frequency_time_10m":0,"frequency_time_1h":0,"frequency_time_24h":0,"appears":1}}}

Расшифровка ответа:

data — обычно массив проверенных записей представлен в следующем формате: «record»: {массив проверенных результатов}. Иногда ответ «data» возвращает строку «In progress», это означает, что параллельный PHP-процесс работает с точно такими же параметрами — auth_key, method_name и records.

Важно! Ответ «In progress» является значимым его следует учитывать, так как если вызов API содержит большое количество элементов, то они могут быть проверены частично и выдастся ответ «In progress». Только при повторном вызове будут проверены все оставшиеся элементы

Массив с проверенными записями содержит следующие поля:

• appears — флаг присутствия в черных списках (показывает блокировку на настоящий момент),

• sha256 — хэш sha256 адреса
• network_type — принадлежность к определенному типу сети (возможно в дальнейшем добавятся новые типы):

• spam_rate — спам-рейтинг от 0 до 100%. 100 означает точно спам (отношение спам запросов к общему количеству запросов),
• country — буквенный код страны, которой принадлежит IP адрес, в формате ISO 3166-1 alpha-2
• exists — существует ли данный email (0 — не существует, 1 — существует, null — пустой статус, адрес не находится в списках в данный момент),
• disposable_email — является ли данный email временным (0 — обычный, 1 — временный, null — пустой статус, адрес не находится в списках в данный момент),
• frequency — количество сайтов отметивших запись как спам. Может быть от 0 до 9999 (показывает всю активность с самого начала обнаружения адреса),
• frequency_time_10m — активность за 10 минут (показывает сколько попыток спама было зафиксировано),
• frequency_time_1h — активность за 1 час (показывает сколько попыток спама было зафиксировано),
• frequency_time_24h — активность за 24 часа (показывает сколько попыток спама было зафиксировано),
• in_antispam — IP адрес найден в чёрном списке антиспама,
• in_security — IP адрес найден в чёрном списке безопасности (brute-force),
• domains_count — число доменов, найденных на IP адресе.

В случае указания параметра «date» данные ответа приводятся только на указанную дату. Посредством POST запроса можно за один раз отправить на проверку до 1000 записей.

Если не было активности с адреса в течение 14 дней, то запись удаляется из черных списков, но вся история остаётся.

Все тарифы включают

100% защита от спам-ботов

Для определения спам-ботов сервис использует серию проверок, незаметных посетителю, в том числе и соответствие сообщения тематике статьи или сайта. Это позволяет обеспечить 100% защиту от спам-ботов. Вам не потребуется установка дополнительной защиты.

Регулярные обновления

Мы регулярно выпускаем обновления анти-спам модулей. Наши модули всегда соответствуют новым версиям CMS, и мы постоянно расширяем поддерживаемые CMS.

Техническая поддержка

Техническая поддержка 24/7 поможет вам освоиться с работой анти-спам сервиса. Если у вас есть вопросы, вы можете связаться с нашей службой поддержки в любое время дня и ночи. Мы стараемся отвечать на все письма в течение 12 часов и на большиство из них мы отвечаем даже за меньшее время.

Без Captcha, без вопросов, без пазлов

Метод защиты сайтов от спама, предлагаемый компанией CleanTalk, позволяет отказаться от способов защиты, затрудняющих общение посетителей на сайте (CAPTCHA, вопрос-ответ и т.д.).

Мобильное приложение

Мы разработали приложение для своевременного оповещения администраторов сайтов об активности посетителей на веб-сайте. Все данные о комментариях, регистрациях посетителей вашего сайта, сразу поступают на ваше устройство и включают в себя информацию, необходимую для администраторов веб-сайтов.

Детальная статистика

CleanTalk — это прозрачная анти-спам защита, мы предоставляем детальную статистику по всем поступившим комментариям/регистрациям. Вы всегда будете уверены в отсутствии ошибок. Мы разработали мобильное приложение для того, чтобы вы могли получить статистику анти-спам плагина в любом месте и в любое время.

Ограничения

Если вы превысите максимальное количество вызовов, API вернет ошибку, например,

Copy all

{"error_message":"Calls limit exceeded.","error_no":10}

Сейчас максимальное количество вызовов установлено в 100 вызовов за 60 секунд.

Если вы превысите максимальное количество элементов данных в методе spam_check вызовов, API вернет ошибку, например,

Copy all

{"error_message":"Recevied 1001 records to check, maximum 1000 records check perl call.","error_no":8}

Сейчас максимальное количество элементов данных установлено в 1000.

Рекомендуемый таймаут — не более 180 секунд.

Ошибки при анализе и обработке данных возвращаются индивидуально для каждой записи, например,

Copy all

{"data":{"10.0.0.3":{"error":"Database error"}}}

Copy all

{"data":{"10.0.0.266":{"error":"Can't check this record: Wrong format"}}}

Примечание: Если в запросе передается дата, то время выполнения этого запроса будет немного увеличено.

Проверить IP, Email, домен в черных списках

Новые спамботы

• 92.38.171.221
• 179.181.25.114
• 113.119.118.104
• 93.196.64.110
• 92.240.135.137
• 172.98.86.184
• 54.91.105.214
• 18.212.114.219
• 118.172.158.16
• 120.42.188.240
• 46.243.223.25
• 183.130.12.150
• 182.46.100.169
• 45.131.47.61
• 5.143.72.236
• 143.202.136.24
• 3.81.6.250
• 102.164.210.236
• 101.109.220.239
• 54.80.240.143
• 110.78.145.108
• 1.83.113.33
• 52.90.235.170
• 125.24.14.230
• 3.84.208.46
• 52.91.6.15
• 221.227.103.140
• 54.81.225.119
• 112.66.64.118
• 49.49.223.162
• 95.208.144.185
• 52.91.65.85
• 34.228.212.199
• 185.95.157.8
• 119.128.112.224
• 46.243.223.12
• 103.144.146.210
• 92.37.173.218
• 46.41.117.147
• 46.243.223.50
• 144.202.106.128
• 1.4.149.228
• 94.23.69.88
• 181.192.25.53
• 117.68.171.163
• 37.147.71.81
• 14.227.241.31
• 77.35.141.121
• 117.252.217.210
• 5.143.52.72
• 104.27.130.229
• 188.162.43.113
• 213.246.110.70
• 95.154.192.123
• 103.97.101.10
• 5.8.48.106
• 103.76.211.43
• 88.209.200.91
• 103.81.20.211
• 124.6.145.58
• 139.59.239.193
• 212.44.113.16
• 167.86.67.182
• 45.144.30.41
• 209.86.89.62
• 82.26.119.14
• 192.116.105.66
• 161.97.122.30
• 107.158.123.167
• 107.158.123.165
• 107.158.123.164
• 107.158.123.163
• 107.158.123.162
• 107.158.123.161
• 107.158.123.160
• 173.174.159.206
• 161.77.224.13
• 173.230.18.146
• 101.53.136.246
• 46.8.53.49
• 46.8.53.107
• 46.8.53.237
• 199.244.73.45

Проверка спам активности домена

• Это будет полезно при определение спама в сообщениях, если в тексте сообщения есть ссылка с доменом из списка, то с большой вероятностью это сообщение является спамом.
• Так же вы можете проверить свой домен, что бы убедиться что он не продвигается с использованием черного SEO. Некоторые SEO компании могут использовать черное SEO для продвижения сайта и размещают ссылки с помощью рассылки спама. В результате вы получите отчет о наличии тысяч ссылок, но потом можете потерять репутацию и получить санкции от поисковых систем.
• При покупке домена, так же будет полезно проверить историю и репутацию домена. Вполне возможно что перед продажей домена, его продвигали с помощью размещения ссылок в спам комментариях.

Методы которые можно использовать при работе с CleanTalk

• Плагины и модули для автоматической защиты от спама для самых популярных CMS и помогает незаметно предотвращать спам атаки. В том числе WordPress, Joomla, Drupal, и т.д.
• API-для автоматической проверки мы предлагаем несколько простых методов API с примерами кода.

How Does the CleanTalk Database of Spam IP & Email Work

Information about blacklisted records is very accurate as data of spam activity were received from different websites simultaneously.

Чем это полезно для хостинг компаний

Хостинг компании мониторят активность сайтов клиента на рассылку емейл спама, но не все хостинги мониторят рассылку спама на другие веб сайты, это спам в виде комментариев, постов, сообщений через контактные формы на других сайтах. В случае рассылки спама на другие веб сайты, могут быть две причины по которым это происходит:

1. Сервер был куплен спамерами для рассылки сапама.
2. Сайт клиента или сервер имеют вредоносное ПО, через которое спамеры рассылают спам.

Это достаточно трудно обнаружить, так как надо мониторить все исходящие POST и GET запросы с сайта/сервера и разбирать их, чтобы понять, был это спам или работа веб приложения.

Как проще всего обнаружить спам активность на веб сайте/сервере? Проверить IP адреса в черных списках.

Чем это полезно для сервисов емейл маркетинга

Клиенты предоставляют списки емейл адресов своих клиентов, которые подписались на их рассылки, но среди этих подписок есть и подписки сделанные спамерами. Спамеры при этом часто используют базы данных емейл адресов реальных пользователей или емейлы которых не существует. Компания не проверившая емейлы из списка, рискует тем, что IP адреса будут добавлены в различные черные списки или письма начнут попадать в папку спам. Что вы можете сделать, проверить списки емейл адресов в нашей базе данных и если емейл имел спам активность, то вероятность что эта подписка на рассылку была спамом, очень большая и этот емейл стоит удалить из рассылки.

5.60.0.0/16 новые спам активные IP адреса

#	Адрес (DNS имя)	Обнаружен	Last seen	Атакованные сайты
1	5.60.103.204(apn-5-60-103-204.dynamic.gprs.plus.pl)	Feb 10, 2016 16:46:11	Feb 11, 2016 10:16:25	8
2	5.60.106.75(apn-5-60-106-75.dynamic.gprs.plus.pl)	Dec 04, 2016 01:36:16	Dec 04, 2016 01:46:19	3
3	5.60.134.231(apn-5-60-134-231.dynamic.gprs.plus.pl)	Dec 22, 2019 06:20:46	Jan 15, 2020 11:38:45	5
4	5.60.135.219(apn-5-60-135-219.dynamic.gprs.plus.pl)	Dec 12, 2019 20:20:18	Dec 15, 2019 02:34:54	6
5	5.60.140.117(apn-5-60-140-117.dynamic.gprs.plus.pl)	Oct 29, 2015 14:53:17	Oct 31, 2015 16:25:29	7
6	5.60.146.164(apn-5-60-146-164.dynamic.gprs.plus.pl)	Dec 06, 2018 04:08:30	Dec 26, 2018 19:00:09	4
7	5.60.148.159(apn-5-60-148-159.dynamic.gprs.plus.pl)	Jul 07, 2020 06:15:43	Jul 27, 2020 21:50:49	6
8	5.60.152.59(apn-5-60-152-59.dynamic.gprs.plus.pl)	Nov 06, 2016 05:18:41	Nov 22, 2016 23:15:59	6
9	5.60.153.51(apn-5-60-153-51.dynamic.gprs.plus.pl)	May 17, 2014 13:53:59	May 17, 2014 14:46:23	3
10	5.60.161.184(apn-5-60-161-184.dynamic.gprs.plus.pl)	Mar 30, 2020 10:16:37	Apr 20, 2020 21:43:54	6

Проверяем на АГС

Что такое АГС? Это фильтр Яндекса, который предназначен для обнаружения и блокировки сайтов с бесполезным для пользователей контентом. Обычно это происходит с сайтами, разработанными для продажи ссылок. Вместо исключения подобных страниц из поиска – аннулируется тИЦ. Итак, причины:

• торговля ссылками;
• на сайте множество всплывающих окон и баннеров для интенсивной монетизации;
• отсутствие ценности в контенте сайта и уникальности;
• очевидное создание сайта исключительно в целях монетизации.

Предлагаю несколько рабочих способов по определению наложенных санкций:

1. В поисковике Яндекса введите: site:nazvanie.ru (nazvanie.ru – адрес проверяемого сайта). Если отобразилось меньше 10 страниц (при условии, что на Вашем сайте их столько же или больше) – возможно, наложен фильтр.
2. Заходим в Яндекс.Каталог и вводим: https://yandex.by/yaca/cy/ch/nazvanie.ru. Если тИЦ отображается (он может быть «0» для нового «здорового» сайта) – всё в порядке. Если он «не определён» – это свидетельствует о наличии фильтра АГС.
3. Сделать это можно с помощью удобного сервиса . Введите адрес, проверьте «Основные параметры» и «Индексацию». тИЦ должен определяться. Перейдите к разделу «Санкции», чтобы проверить домен на АГС, там есть прямые данные о нём.
4. Возможна и массовая проверка сервисом Seo-inf по данной ссылке: http://seo-inf.ru/dtools/mass_url/

Решаем проблему

Если сайт попал под АГС-фильтр – ситуация решается обращением в службу технической поддержки Яндекса. Опишите проблему и получите рекомендации, следуя которым можно его снять.

Notice

Чтобы прояснить ситуацию и быть более уверенными, делайте проверку всеми возможными способами, не ограничиваясь каким-то одним.

Проверьте базу через Mailvalidator

Если вы собирали адреса больше года и не отправили по ним ни одного письма – базу необходимо проверить. Так вы очистите ее от несуществующих и дублирующихся адресов, но главное – защитите от спам-ловушек.

Спам-ловушка – это адрес, который используют почтовые сервисы, чтобы определить вашу добросовестность. Если в базе такой адрес есть – вы окажетесь в спаме. Даже одна спам-ловушка из тысячи правильных приведет к блокировке домена. Значит, даже личные письма ваших менеджеров перестанут доходить до клиентов.

Если вы собираете базу на сайте – используйте двойное подтверждение подписки (double opt-in). Это защитит вас от спам-ловушек, неверных адресов и ботов.

Важно понимать, что проверка базы через валидатор не панацея — программа не сможет очистить базу на 100%. Но известные ловушки и несуществующие адреса покажет

Значит, алгоритмы mail, yandex и gmail отреагируют на вашу рассылку лучше.

Если большинство адресов в базе — корпоративные, то чистка с помощью валидатора не поможет. К сожалению, программа рассчитана на обычные адреса.

Перегрузка сети, неполадки на станции

Поводом для нарушения работы оборудования может стать и вина самого интернет-провайдера. Задаваясь вопросом, почему Yota не работает сегодня, стоит позвонить на горячую линию по бесплатному номеру 8-800-550-00-07. Возможно, на одной из близкорасположенных станций проводится ремонт или сеть на данный момент просто перегружена. Все это может стать причиной того, что скорость становится медленной или Internet пропадает вовсе. К прочим косякам по вине самой компании можно отнести:

• Поломка станционного оборудования;
• Непосильная для вышек нагрузка, из-за чего сеть может исчезать, затем снова появляться, а скоростные показатели могут упасть до минимума;
• Профилактические работы, что приводит к возникновению незначительных, временных перебоев.

В таком случае от вас требуется только ждать, пока сигнал наладится.

Как узнать, что сайт в чёрном списке?

Нужно проверить домен на спам-листы и узнать, не попал ли он в чёрный список DNS. Перечислим основные причины:

• подозрение на спам;
• размещение запрещённого контента;
• размещение ссылок на другие сайты с запрещённым контентом.

Любой, даже незначительный, прокол в работе может привести к данной проблеме. Алгоритмы проверки постоянно меняются, даже «чистый» сайт с легальным контентом иногда может попасть под санкции.

Рассмотрим основные варианты. Можно воспользоваться сервисом ХостТрекер. Здесь доступна бесплатная функция проверки наличия домена в DNSBL (DNS Blacklist – списки хостов, которые хранятся с применением архитектуры DNS).

Также есть сервис Mxtoolbox, где предлагается подобное. На этом список сервисов не ограничивается, можете выбрать любой удобный.

Я же разберу этот вопрос на примере ХостТрекер:

1. зайдите на сайт http://www.host-tracker.com
2. справа в окне выберите «проверить свой сайт»
3. ставим галочку на «DNSBL»;
4. введите адрес сайта;
5. нажмите на «проверить сейчас».

После этого Ваш адрес проверят по нескольким десяткам списков и появится результат, вот пример:

Если домен присутствует в блэклистах

Когда обнаруживаются проблемы, причина в обязательном порядке указывается. Есть несколько способов удаления из черного списка:

Проверка на спам-рассылку.

Необходимо убедиться, что сервер почты не используется злоумышленниками. Также выполните настройку обратного запроса DNS (доменная зона для определения имени сетевого узла по IP) почтового сервера.

Настройте SPF (инфраструктура политики отправителя, специальное расширение для протокола отправки почты).

Выяснить обстоятельства.

Перейдите по ссылкам, докажите, что не являетесь роботом. Вводите адрес сайта и нажимайте на «разблокировать». В отдельных ситуациях придётся писать письмо с просьбой о разблокировке, преждевременно устранив причину попадания в ЧС.

Необязательные GET параметры:

• ip — ip адрес для проверки (IPv4 или IPv6 в стандартном текстовом виде виде)

• email — email адрес для проверки (Результат выдается за последние 6 месяцев)

• date — дата в формате YYYY-MM-DD, используется при необходимости указания конкретного дня, за который требуется подсчитать статистику (только для IP адресов.)
• email_<SHA256> — хэш SHA256 адреса email
• ip4_<SHA256>- хэш SHA256 адреса IPv4
• ip6_<SHA256>- хэш SHA256 адреса IPv6

Пример запроса c IP:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&email=stop_email@example.com&ip=127.0.0.1

Пример запроса c date:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&ip=127.0.0.1&date=2017-01-31

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=123456&email=email_08c2495014d7f072fbe0bc10a909fa9dca83c17f2452b93afbfef6fe7c663631

Пример с хэшем адреса IP v4:

Copy all

https://api.cleantalk.org/?method_name=spam_check&auth_key=12345&ip=ip4_f46604ded89bbd0e8e478172a9a650f4825a763053ad2e3582c8286864ec4074

ТОП популярных блэклистов

Предлагаем вашему вниманию ТОП-5 черных списков, которые являются самыми востребованными и авторитетными. Именно они больше всего влияют на доставляемость ваших писем из рассылок:

1. Spamcop. Это масштабный сервис, в котором пользователи могут не только получить информацию, но и оставить жалобу на рассылку. 

1. ProofPoint. Этим списком пользуется корпорация Apple. Если ваш IP попадет в него, письма не будут приходить на адреса пользователей @me.com и @icloud.com. 

1. Spamhaus – один из самых достоверных листов, которые не делает осечек. При попадании в него домена или IP адреса письма перестаюь доставляться на все основные почтовые сервера (Mail.ru, Яндекс, Google, Microsoft, Yahoo). Огромный плюс этого проекта в хорошей технической поддержке. Она оперативно реагирует на каждое обращение. Если вы исправите выявленную проблему, то вас исключат из блэклиста.

1. Черный список для доменных имен URIBL! Если вы окажетесь тут несколько раз, то почти нет шансов выбраться. 

1. SORBS. Интересно, что на этот сервис почти не обращают внимания крупные почтовики. Главный его контингент – это организации. SORBS тщательно отслеживает внедрение адресов-ловушек и радует отличной техподдержкой. При быстром и адекватном реагировании можно выбраться из блэклиста с минимальными потерями. 

Как не попасть в СПАМ

Давайте теперь перейдем к главному и поговорим о черных списках, о том как не попасть в спам и о IP-адресах ваших сайтов.

Все сейчас говорят, что почта должна быть на Вашем домене и это правильно. Но Ваш домен может быть в черных списках СПАМа и не факт, что это Ваша вина. Просто IP-адрес Вашего сайта можете быть быть еще у кучи других сайтов Вашего хостинга и если хотя бы один из сайтов попадет в черный список, то все сайты с этим IP, также будут в этом списке.

В таком случае, Ваши письма просто не будут доходить до Ваших подписчиков. Вот такие дела.

Ниже на картинке Вы увидите как выглядит список сервисов, которые формируют блек-листы (Blacklist) и то что указано стрелочками, это нам и говорит, что наш IP-адрес сидит в СПАМе. То есть если есть хотя-бы один красный значок, то это уже плохо.

Здесь я взял сайт, который делит один IP-адрес с 18 другими сайтами. Кто из этих 18 сайтов виноват, это вопрос другой. Главное то, что все эти 18 доменов будут в СПАМе, вот такие дела.

«И ты попал в блэк лист» — как работают черные списки?

Для начала обозначим особенности работы черных списков. В эту базу данных попадают доменные имена и IP-адреса, занимающиеся рассылкой спама. Их перечень находится в постоянном доступе на серверах, к которым обращаются почтовые провайдеры. Представим, что какой-то абстрактный отправитель есть в одном из черных списков. Это гарантирует минус к карме его репутации, а, значит, есть большая вероятность, что отправления с этого адреса или даже его упоминания в контенте письма будут приводить к попаданию в спам или вовсе к блокировке отправки. 

Существует очень много таких black lists! Какие-то являются общепризнанными и крупными, поэтому на них ориентируются даже самые авторитетные и крупные провайдеры. Есть и локальные списки для маленьких организаций, платные и бесплатные. Наш сервис мониторит все доступные базы данных, чтобы исключить любые несостыковки.