V návaznosti na svůj článek o tom, jak jsem vyřešil penalizaci ze Seznamu, jsem se jal řešit vytížení multihostingu. Přece jen jsem řešil důsledek, ne příčinu.

Přesun webů na jiný hosting

Sice jsem hostingu uvolnil systémové prostředky přesunem některých svých webů, ale stále mi na něm zůstaly některé docela klíčové weby a ty se také v posledních 7 měsících potýkají s mizernou návštěvností ze Seznamu.

Začal jsem tedy jít po příčině vytížení hostingu. K této myšlence mě přivedl můj bratránek, který má multihosting u stejné firmy, jako já, a také se potýkal s mizernou návštěvností. Začal procházet logy svých webů a zjistil, že jsou jeho stránky (také postavené na WordPressu) opakovaně napadány ze stále stejných IP adres, které se neustále snaží (naštěstí neúspěšně) přihlásit. Opakovanými pokusy o přihlášení ale bohužel docházelo k pádu webu, který byl následně delší dobu nedostupný.

Dané IP adresy zablokoval a během krátké doby mu vzrostla návštěvnost ze Seznamu o 20% a zisky o 30%.

Prostě, když je web nedostupný pro uživatele, a co je možná horší, i pro vyhledávače, postupně se web přestane vyhledávačům líbit a pomalu jej začnou ve fulltextu penalizovat.

Vyzbrojen touto informací, začal jsem procházet statistiky přenosu na svých webech. Narazil jsem hned na 5 problematických, které se potýkají se stejným problémem, jako můj bratránek.

Opakované neúspěšné přihlášení robotů

Opakované neúspěšné přihlášení robotů

Zjistil jsem, že se stejná situace objevuje nahodile na více mých webech. V grafu vždy vyskočí „židlička“, spadne hosting, robot odejde. Web se postupně zmátoří a tak stále dokola :-).

Na základě tohoto grafu jsem začal zkoumat logy, které mapují různé přístupy botů, ale i návštěvníků.

Opakovaný login k WordPressu

Opakovaný login k WordPressu

Tenhle robot včera (19.5.2015) dokázal za 50 minut vyzkoušet 16 500 přihlášení, pak hosting spadl a robot odešel :-D.

Jak robotům zamezit přístup?

Nejjednodušší variantou je zablokování IP adresy pomocí souboru .htaccess, kam stačí vložit řádek deny from IP adresa. Více info na webujakpsatweb.

Toto řešení však je pouze dočasné, protože zablokuje pouze určitý blok IP adres a pokud na Vaše stránky dorazí robot s IP rozsahem jiným, máte opět smůlu.

Vyřešil jsem to tedy pomocí instalace pluginu iThemes Security. Tento plugin mě zaujal díky svým rozsáhlým možnostem a také díky relativně jednoduché správě.

Zabezpečení jsem tedy upravil hned v několika krocích.

  • zatrhnul jsem možnost zablokování přístupu k mému webu pro IP adresy, které se snaží k webu přihlásit pomocí uživatelského jména admin (toto uživatelské jméno samozřejmě sami nesmíte používat)
  • povolil jsem možnost blokování uživatele, pokud zadá 3x nesprávný login – teď si jen pamatovat ten svůj :-)
  • v dalším kroku jsem vytvořil blacklist, kam jsem přidal rozsahy IP adres, které mi napadaly mé weby
  • změnil jsem adresu pro přihlášení k WordPressu z defaultní wp-admin

A jestli mé počínání mělo smysl?

To ještě uvidíme. Budu návštěvnost týden sledovat a následně připravím článek, kde ukáži, zda výše uvedené kroky pomohly.

Polemika na závěr

Mnoho mých webů je vytěžováno přístupy robotů. Nejvíce mě navštěvují tyto:
Ahrefs.com
http://www.majestic12.co.uk
http://search.msn.com
http://fulltext.sblog.cz
http://www.bing.com/bingbot.htm
http://www.exabot.com/go/robot
http://www.google.com/bot.html

Co myslíte, má smysl některé z nich blokovat? Přece jen v situaci, kdy mám na některých webech několik tisíc a víc podstránek, mi může takový robot hosting docela slušně vytížit.

Pro začátek přemýšlím, že bych zablokoval přístup Seznam a Google bota :-D :-P.