Skocz do zawartości
  • Cześć!

    Witaj na forum RootNode - aby pisać u nas musisz się zarejestrować, a następnie zalogować. Posty pisane z kont niezarejestrowanych nie są widoczne publicznie.

Rekomendowane odpowiedzi

Opublikowano

Witam. 

Dostałem maila od hostingu superhost że obciążenie procesora jest powyżej 100%. Zalogowałem się do panelu i czasem jest nawet 1200%. Ogólnie od 12 dni mam dużo powyżej 200% i za 2 dni wyłączą mi stronę ze względu na obciążenie procesora. Czy ktoś może pomóc? Poniżej wklejam przykładowe logi. Więcej w załączniku. Jak zablokować to g... Dodam że poinstalowałem wtyczki zabezpieczające. Wpisałem IP które mnie atakowało, ale po chwili ataki są już nie z IP a z zestawu znaku + IP tak jak widać w pierwszej linijce obu ataków. Nie wiem jak to zablokować. Przykładowe logi
ec2-34-229-55-110.compute-1.amazonaws.com - - [12/Apr/2018:09:51:58 +0200] "GET
/index.php/galeria/?type_18=gallery&album_gallery_id_18=8&bwg_previous_album_id_18=7%2C7&bwg_previous_album_page_number_
18=0%2C0&type_8=gallery&album_gallery_id_8=18&bwg_previous_album_id_8=18%2C18&bwg_previous_album_page_number_8=0%2C0&typ
e_11=gallery&album_gallery_id_11=15&bwg_previous_album_id_11=14,14&bwg_previous_album_page_number_11=0,0 HTTP/1.1" 200 -
"-" "MauiBot ([email protected])"

crawl-66-249-64-83.googlebot.com - - [12/Apr/2018:09:51:22 +0200] "GET
/index.php/galeria/?type_13=gallery&album_gallery_id_13=13&bwg_previous_album_id_13=12%2C12&bwg_previous_album_page_numb
er_13=0%2C0&type_15=gallery&album_gallery_id_15=11&bwg_previous_album_id_15=10%2C10&bwg_previous_album_page_number_15=0%
2C0&type_2=gallery&album_gallery_id_2=24&bwg_previous_album_id_2=24,24&bwg_previous_album_page_number_2=0,0 HTTP/1.1"
200 708766 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

 

 

Dzwoniłem do superhosta, kazali przysłać zgłoszenie mailowe i dostałem taką wiadomość:
"z tego co mogę zauważyć na serwerze występuje problem z nadmierną ilością analiz strony poprzez boty.
Możemy poradzić zlimitowanie botów, poprzez dodanie do pliku robots.txt następującej wartości:
User-Agent: Googlebot-Image
Crawl-Delay: 300
Ograniczy to odwiedzanie strony przez boty google'a."
 

 

Czy tak powinna zareagować taka firma? Dołączam jeszcze logi w pliku

 

 

groningen.org.pl-access.log-20180412

Opublikowano
1 minutę temu, gutozaur napisał:

Czy tak powinna zareagować taka firma?


W gruncie rzeczy mogli zablokować konto, więc źle nie zareagowali.
Fakt jednak tak dużego obciązenia przy zwykłej galerii może wynikać z nieprawidłowego działania mechanizmu cache lub jego całkowitego braku.

Opublikowano
41 minut temu, theqkash napisał:


W gruncie rzeczy mogli zablokować konto, więc źle nie zareagowali.
Fakt jednak tak dużego obciązenia przy zwykłej galerii może wynikać z nieprawidłowego działania mechanizmu cache lub jego całkowitego braku.

Ale oni to zrobią czyli zablokują konto, ale to się dzieje po 14 dniach i do tego czasu zostały 2 dni. Przez kilka miesięcy był spokój i 1.04 nagle się zaczęło.  Jak mogę sobie z tym poradzić? Już bez znaczenia czy poprzez naprawę cache czy zablokowanie tego syfu. Chodzi tylko o to żeby się tego pozbyć, żeby procesor był obciążony poniżej 100%.

Opublikowano
1 minutę temu, gutozaur napisał:

Ale oni to zrobią czyli zablokują konto, ale to się dzieje po 14 dniach i do tego czasu zostały 2 dni. Przez kilka miesięcy był spokój i 1.04 nagle się zaczęło.  Jak mogę sobie z tym poradzić? Już bez znaczenia czy poprzez naprawę cache czy zablokowanie tego syfu. Chodzi tylko o to żeby się tego pozbyć, żeby procesor był obciążony poniżej 100%.


Zainstaluj i skonfiguruj w WordPressie np. W3 Total Cache i sprawdź jak to będzie wyglądało.

Opublikowano
15 minut temu, theqkash napisał:


Zainstaluj i skonfiguruj w WordPressie np. W3 Total Cache i sprawdź jak to będzie wyglądało.

Mam zainstalowane W3 Super Cache ale podmieniłem na polecaną przez Ciebie i nic się nie zmieniło. Co 30 sekund mam kolejny log o takim wyglądzie
 

ec2-34-229-55-110.compute-1.amazonaws.com - - [12/Apr/2018:11:07:12 +0200] "GET
/index.php/galeria/?type_19=gallery&album_gallery_id_19=7&bwg_previous_album_id_19=6%2C6&bwg_previous_album_page_number_
19=0%2C0&type_20=gallery&album_gallery_id_20=6&bwg_previous_album_id_20=5%2C5&bwg_previous_album_page_number_20=0%2C0&ty
pe_23=gallery&album_gallery_id_23=3&bwg_previous_album_id_23=2,2&bwg_previous_album_page_number_23=0,0 HTTP/1.1" 200 -
"-" "MauiBot ([email protected])"
Opublikowano
1 minutę temu, gutozaur napisał:

Mam zainstalowane W3 Super Cache ale podmieniłem na polecaną przez Ciebie i nic się nie zmieniło. Co 30 sekund mam kolejny log o takim wyglądzie

 

To że jest cos takiego w logach to nie jest duży problem. Grunt żeby nie powodowało to obciążenia, a brak lub niepoprawnie skonfigurowane cache może do tego doprowadzać.

 

Opublikowano
13 minut temu, theqkash napisał:

 

To że jest cos takiego w logach to nie jest duży problem. Grunt żeby nie powodowało to obciążenia, a brak lub niepoprawnie skonfigurowane cache może do tego doprowadzać.

 

a czyli to nie jest jednoznaczne z obciążeniem. To poczekam godzinę i zobaczymy bo co godzinę mam update obciążenia procesora

Opublikowano
12 minut temu, gutozaur napisał:

a czyli to nie jest jednoznaczne z obciążeniem. To poczekam godzinę i zobaczymy bo co godzinę mam update obciążenia procesora


Nie, to jest info o tym że jakaś podstrona została otworzona przez bota. Jeśli cache działa dobrze, nie powinno to powodować obciążenia.

Aczkolwiek widzę po adresie tego co bot sprawdza, że jest tam jakiś problem chyba. Sprawdź za godzinę.

Opublikowano
1 minutę temu, theqkash napisał:


Nie, to jest info o tym że jakaś podstrona została otworzona przez bota. Jeśli cache działa dobrze, nie powinno to powodować obciążenia.

Aczkolwiek widzę po adresie tego co bot sprawdza, że jest tam jakiś problem chyba. Sprawdź za godzinę.

Mam update bo widocznie nie jest to update o równych godzinach. Obciążenie wzrosło. Ale nie wiem czy to wina wtyczki bo równolegle dodałem do pliku htaccess taki kawałek kodu
 

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(MauiBot|BUbiNG).*$ [NC]
RewriteRule .* - [F,L]

Teraz  ze 150% obciążenie wskoczyło na 230% :/

Opublikowano
2 minuty temu, gutozaur napisał:

Teraz  ze 150% obciążenie wskoczyło na 230% :/


Poczekajmy jeszcze - przy uruchomieniu cache może na chwilę wzrosnąć obciążenie, potem powinno być nieco niższe.

Opublikowano (edytowane)

Podejrzewam ,że obciążenie generowane jest przez jakąś infekcje wordpressa/wtyczki/szablonu. Zapewne wkradło Ci sie coś przez wtyczkę. Po prostu malware :)

 

Przeskanuj stronę tą wtyczką: https://pl.wordpress.org/plugins/gotmls/ i przejrzyj znalezione pliki czy nie ma w nich jakiegos podejrzanego kodu (evale, pełno znaków %z cyferkami itp)

Edytowane przez Rafiki
Opublikowano (edytowane)
46 minut temu, Rafiki napisał:

Podejrzewam ,że obciążenie generowane jest przez jakąś infekcje wordpressa/wtyczki/szablonu. Zapewne wkradło Ci sie coś przez wtyczkę. Po prostu malware :)

 

Przeskanuj stronę tą wtyczką: https://pl.wordpress.org/plugins/gotmls/ i przejrzyj znalezione pliki czy nie ma w nich jakiegos podejrzanego kodu (evale, pełno znaków %z cyferkami itp)

Przeskanowałem i wytypowało takie pliki

 

Godzinę temu, theqkash napisał:


Poczekajmy jeszcze - przy uruchomieniu cache może na chwilę wzrosnąć obciążenie, potem powinno być nieco niższe.

Jest kolejny update. Niestety spadek niewielki z 235% na 208%. Ktoś na innym forum zwrócił uwagę że te logi które wklejam wykazują że jest odpytanie ale wyskakuje temu botowi status 403 (dostęp zabroniony). No niestety nic się nie zmieniło więc już nie wiem jak to ugryźć. 

 

Edytowane przez gutozaur
Opublikowano (edytowane)

Wygląda na to ,że wordpress jest czysty na pierwszy rzut oka. Pokazuje "standardowe" pliki....

 

Co do bota nie upatrywałbym wcale w tym przyczyny, tym bardziej jeśli ma ograniczony dostęp.

Problem tkwi po stronie skryptu ale ciężko stwierdzić gdzie.

 

Jakiej galerii używasz? NextGen? Jeśli tak to sprawdz czy w pliku wp-config.php posiadasz:

 

define('PHOTOCRATI_CACHE', true);

jeśli nie to dodaj albo jeśli false to zmień na true i obserwuj czy coś się zmieni.

 

Edytowane przez Rafiki
Opublikowano
34 minuty temu, Rafiki napisał:

Wygląda na to ,że wordpress jest czysty na pierwszy rzut oka. Pokazuje "standardowe" pliki....

 

Co do bota nie upatrywałbym wcale w tym przyczyny, tym bardziej jeśli ma ograniczony dostęp.

Problem tkwi po stronie skryptu ale ciężko stwierdzić gdzie.

 

Jakiej galerii używasz? NextGen? Jeśli tak to sprawdz czy w pliku wp-config.php posiadasz:

 


define('PHOTOCRATI_CACHE', true);

jeśli nie to dodaj albo jeśli false to zmień na true i obserwuj czy coś się zmieni.

 

Używam photo gallery ikonka niebieskie g przechodząca w aparat.
Czy chodzi o główny plik wp-config.php? Nic takiego nie ma, a we wtyczce nie ma takiego pliku.
Teraz mam hardcore. Obciążenie procesora skoczyło do 1120%

Opublikowano (edytowane)

Możesz spróbować też wyrzucić na chwile pluginy poprzez zmianę katalogu i zobaczyć czy się coś poprawi.  Ewentualnie może jakiś strace albo co tam w procesach wisi o ile masz taką możliwość przez support np ;)

Edytowane przez oneone
Opublikowano
1 minutę temu, Rafiki napisał:

Nextgallery to https://pl.wordpress.org/plugins/nextgen-gallery/ Nie wiem jaką Ty masz galerie, myslałem ,że next bo to jedna z popularniejszych :)

 

Możliwe ,że jedynym sposobem to wyłączenie wszystkich wtyczek (przez panel albo jak pisał @oneone zmiane nazw folderów wtyczek) i po kolei włączanie ich aby dowiedzieć się gdzie tkwi problem.

ja używam tej https://pl.wordpress.org/plugins/photo-gallery/ bo to jest jedyna jaką znalazłem która dobrze pokazuje duże ilości zdjęć. Zresztą Gdybym miał teraz przerabiać na inną to ogromne ilości czasu by mi to zajęło bo tych galerii mam 25 i w każdej dużo zdjęć.
Jak zmienię nazwę folderu z wtyczkami to się strona nie wysypie? Rozumiem, że to mam zmienić i obserwować logi? /wp-content/plugins
na np. /wp-content/wtyczki ?
A druga opcja to wyłączanie każdej wtyczki po kolei i patrzenie w logi czy ataki ustały? To wystarczy na minutę wyłączyć wtyczkę?

Opublikowano (edytowane)

nie masz zmieniać nazwy folderu z wtyczkami czyli wp-content/plugins na wp-content/wtyczki, masz zmieniać nazwy folderów będące w wp-content/plugins ....czyli wp-content/plugins/photo-gallery na wp-content/plugins/_photo-gallery# ... a później po kolei włączać każdą i obserwować obciążenie (włączać poprzez powrót do oryginalnej nazwy folderu).

Gdy będziesz wiedział jaka wtyczka sprawia problemy usuwasz slash czy tam inny znak który dodałeś z wszystkich folderów pozostawiając tylko przy tej problematycznej aby dalej nie działała.

Jeśli okaże się ,że problemem jest wtyczka photo-gallery to raczej i tak zostanie Ci wybranie innej, bardziej optymalnej lub na własną rekę zoptymalizowanie tego pluginu, co widać po Twojej wiedzy w tym temacie będzie raczej niemożliwe :(

 

25 galerii to wcale nie jest dużo...gorzej jakbyś miał 2,5 tysiąca albo 25tysięcy....a w każdej po kilkaset zdjęć :) Tym bardziej dla tak małej galerii dlaczego nie skorzystasz z podstawowej funkcjonalności wordpressa? Brakuje Ci w niej czegoś ,że użyłeś wtyczki?

Edytowane przez Rafiki
Opublikowano
26 minut temu, Rafiki napisał:

nie masz zmieniać nazwy folderu z wtyczkami czyli wp-content/plugins na wp-content/wtyczki, masz zmieniać nazwy folderów będące w wp-content/plugins ....czyli wp-content/plugins/photo-gallery na wp-content/plugins/_photo-gallery# ... a później po kolei włączać każdą i obserwować obciążenie (włączać poprzez powrót do oryginalnej nazwy folderu).

Gdy będziesz wiedział jaka wtyczka sprawia problemy usuwasz slash czy tam inny znak który dodałeś z wszystkich folderów pozostawiając tylko przy tej problematycznej aby dalej nie działała.

Jeśli okaże się ,że problemem jest wtyczka photo-gallery to raczej i tak zostanie Ci wybranie innej, bardziej optymalnej lub na własną rekę zoptymalizowanie tego pluginu, co widać po Twojej wiedzy w tym temacie będzie raczej niemożliwe :(

 

25 galerii to wcale nie jest dużo...gorzej jakbyś miał 2,5 tysiąca albo 25tysięcy....a w każdej po kilkaset zdjęć :) Tym bardziej dla tak małej galerii dlaczego nie skorzystasz z podstawowej funkcjonalności wordpressa? Brakuje Ci w niej czegoś ,że użyłeś wtyczki?

Dziękuję za odpowiedź. Faktycznie nie ma tego dużo, 25 galerii po 50 zdjęć średnio, ale jakby nie patrzeć kilka godzin roboty. Już nie mówię że problem wraca co kilka miesięcy. Już zmieniałem galerię kilka razy i wróciłem do tej. Tu nie ma reguły. Teraz ta galeria wisiała i przez 3 miesiące miałem spokój z obciążeniem serwera.

Dobrze będę zmieniał nazwy folderów tylko jak sprawdzić czy to działa? W logach mam nadal ataki kilka razy na sekundę.  Obciążenie procesora aktualizowane jest co godzinę więc mogę sprawdzić jedną wtyczkę na godzinę? To czasu mi nie starczy.  Bo zapytania i tak będą szły od bota nawet jak wyłączę wtyczkę? Zresztą czy on się nie odbija?
34.229.55.110 - - [12/Apr/2018:15:08:17 +0200] "GET
/index.php/galeria/?type_0=gallery&album_gallery_id_0=28&bwg_previous_album_id_0=28%2C28&bwg_previous_album_page_number_
0=0%2C0&type_2=gallery&album_gallery_id_2=24&bwg_previous_album_id_2=24%2C24&bwg_previous_album_page_number_2=0%2C0&type
_22=gallery&album_gallery_id_22=4&bwg_previous_album_id_22=3%2C3&bwg_previous_album_page_number_22=0%2C0&type_19=gallery
&album_gallery_id_19=7&bwg_previous_album_id_19=6,6&bwg_previous_album_page_number_19=0,0 HTTP/1.1" 403 220 "-" "MauiBot
([email protected])"

 

Końcówka tego ciągu znaków nie mówi że wyskakuje błąd 403?? 403 220 "-" "MauiBot
([email protected])"

Opublikowano (edytowane)

w logach nie zapisują Ci się "ataki" - a  po prostu kto i jaki adres o której godzinie odwiedzał... to ,że masz pełno wywołan jakiegoś skomplikowanego adresu galerii to nic nie znaczy.... tym bardziej jeśli ten bot jest zablokowany to zwraca mu brak dostępu więc nie ma to większego wpływu na obciążenie serwera.

Cały czas pokazujesz logi dostępu (kto, kiedy i co wczytywał) ale czy zajrzałeś do error logów i je przeanalizowałeś czy tam nic nie ma? error logi są dużó wazniejsze od access logów ;)

Edytowane przez Rafiki
Opublikowano
10 minut temu, gutozaur napisał:

Obciążenie procesora aktualizowane jest co godzinę więc mogę sprawdzić jedną wtyczkę na godzinę? To czasu mi nie starczy.  Bo zapytania i tak będą szły od bota nawet jak wyłączę wtyczkę? Zresztą czy on się nie odbija?

Możesz też zmienić nazwę dla całego katalogu plugins - dzięki temu będziesz miał jasność czy wina wtyczek czy nie, jak tak to potem zabawa po kolei ;)

Opublikowano

Chyba jest jakaś poprawa, Od godziny 14 jest spadek z 1160% na 59%.
Nie wiem co pomogło bo robię kilka rzeczy jednocześnie. Wydaje mi się że pomogło dodanie kodu do htaccess choć pewności nie mam. Poobserwuję jeszcze ze 2 godziny i zobaczymy

 

RewriteEngine On  
RewriteBase /  
SetEnvIfNoCase Referer "^$" bad_user
SetEnvIfNoCase User-Agent "^MauiBot" bad_user
SetEnvIfNoCase User-Agent "^BUbiNG" bad_user
Deny from env=bad_user
10 minut temu, Rafiki napisał:

w logach nie zapisują Ci się "ataki" - a  po prostu kto i jaki adres o której godzinie odwiedzał... to ,że masz pełno wywołan jakiegoś skomplikowanego adresu galerii to nic nie znaczy.... tym bardziej jeśli ten bot jest zablokowany to zwraca mu brak dostępu więc nie ma to większego wpływu na obciążenie serwera.

Cały czas pokazujesz logi dostępu (kto, kiedy i co wczytywał) ale czy zajrzałeś do error logów i je przeanalizowałeś czy tam nic nie ma? error logi są dużó wazniejsze od access logów ;)

Ok, chyba znalazłem errory. Wygląda to tak
 

[Thu Apr 12 15:33:41.759970 2018] [access_compat:error] [pid 9348:tid 139705645459200] [client 34.229.55.110:56414]
AH01797: client denied by server configuration: /users/groninge/www/test.groningen.org.pl/index.php
[Thu Apr 12 15:33:41.629183 2018] [access_compat:error] [pid 9348:tid 139705645459200] [client 34.229.55.110:56414]
AH01797: client denied by server configuration: /users/groninge/www/test.groningen.org.pl/index.php
[Thu Apr 12 15:33:41.498420 2018] [access_compat:error] [pid 9348:tid 139705645459200] [client 34.229.55.110:56414]
AH01797: client denied by server configuration: /users/groninge/www/test.groningen.org.pl/index.php
[Thu Apr 12 15:33:41.365940 2018] [access_compat:error] [pid 9348:tid 139705645459200] [client 34.229.55.110:56414]
AH01797: client denied by server configuration: /users/groninge/www/test.groningen.org.pl/index.php
[Thu Apr 12 15:33:41.233290 2018] [access_compat:error] [pid 9348:tid 139705645459200] [client 34.229.55.110:56414]
AH01797: client denied by server configuration: /users/groninge/www/test.groningen.org.pl/index.php
[Thu Apr 12 15:33:41.102863 2018] [access_compat:error] [pid 9348:tid 139705645459200] [client 34.229.55.110:56414]
AH01797: client denied by server configuration: /users/groninge/www/test.groningen.org.pl/index.php
[Thu Apr 12 15:33:10.844891 2018] [access_compat:error] [pid 7843:tid 139705781827328] [client 34.229.55.110:48086]
AH01797: client denied by server configuration: /users/groninge/www/test.groningen.org.pl/index.php
[Thu Apr 12 15:33:10.714115 2018] [access_compat:error] [pid 7843:tid 139705781827328] [client 34.229.55.110:48086]
AH01797: client denied by server configuration: /users/groninge/www/test.groningen.org.pl/index.php
[Thu Apr 12 15:33:10.583549 2018] [access_compat:error] [pid 7843:tid 139705781827328] [client 34.229.55.110:48086]
AH01797: client denied by server configuration: /users/groninge/www/test.groningen.org.pl/index.php
[Thu Apr 12 15:33:00.401477 2018] [access_compat:error] [pid 9348:tid 139705372722944] [client 83.10.252.135:63858]
AH01797: client denied by server configuration:
/users/groninge/www/test.groningen.org.pl/wp-content/plugins/gotmls/images/question.gif

Jeszcze jeden update. To chyba nie ten kod który wcześniej napisałem naprawił sytuację bo okazało się że on wysypał stronę. Strona nie była widoczna przez 2 godziny. Dopiero jak usunąłem to zaczęło działać. Teraz w htaccess mam coś takiego. Drugą godzinę z rzędu pokazuje obciążenie 55% więc jeżeli to się utrzyma to super. Nie wiem co jest powodem naprawy bo ten kod poniżej wkleiłem przed chwilą bo napisała mi to pomoc superhosta. Może wtyczka W3 Total Cache którą polecił theqkash bo tak to się zbiegło w czasie? Będę obserwował i napisze jak dalej to idzie

AddHandler application/x-httpd-php71 .php



RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} MauiBot [NC]

RewriteRule .* - [F,L]


 

Opublikowano

Sugeruję:

- zablokować znaczą część chin,rosji i innych adresów za pomocą rewrite

- zablokować za pomocą rewrite złośliwe user-agent (tak jak podane wyżej)

- schować domenę za cloudflare'em

Jeśli chcesz dodać odpowiedź, zaloguj się lub zarejestruj nowe konto

Jedynie zarejestrowani użytkownicy mogą komentować zawartość tej strony.

Zarejestruj nowe konto

Załóż nowe konto. To bardzo proste!

Zarejestruj się

Zaloguj się

Posiadasz już konto? Zaloguj się poniżej.

Zaloguj się
×
×
  • Dodaj nową pozycję...

Powiadomienie o plikach cookie

Korzystając z forum, wyrażasz zgodę na: Warunki użytkowania, Regulamin, Polityka prywatności.