sebak

To właśnie różni projekty hobbistyczne, od komercyjnych, że tutaj zmian zazwyczaj dokonuje się w dni wolne i po pracy .

Faktycznie, naprawione. Dzięki za czujność.

Żaden operator nie spada poniżej 500ms z średnią, wiec każdy byłby pomarańczowy lub czerwony. Z racji na filtrowanie rankingów łatwiej zastosować per operator 3 progi, bo łatwo można je opisać: szybko, wolno, średnio. Podobnie jak sortowanie po zmianie ilości obsługiwanych domen, tez ma 3 progi: wzrost, spadek, bez zmian.

@Tom X zerknij na to w wolnej chwili, zostało to zmienione zgodnie z Twoją sugestią. Dzięki.

@Tom X to nie subdomena, ale średnia z wszystkich stron wordpress dla home.pl . Trzeba było użyć jakiegoś klucza, pod którym moglibyśmy zapisywać te dane. Tutaj mamy problem i w sumie nie wiem jeszcze jak do niego podejść. Co innego przedziały dla konkretnej witryny, a co innego średnia per operator. Stosując się do tych samych wytycznych tu i tu, żaden operator nie załapałby się na kolor zielony, mimo iż około 22% stron Wordpress i 52% Prestashop wczytuje się poniżej 400 ms. Obecne przedziały dla operatorów to: 0-750 ms - szybko 750 ms - 1,5 sekundy - średnio powyżej 1,5 sekundy - wolno Jesteśmy otwarci na wszelkie propozycje, więc jeśli masz pomysł jak to najlepiej rozwiązać, z chęcią skorzystamy.

Śledząc nasz rankingi, to kondycja cyberfolks prezentuje się bardzo dobrze: https://webspeed.pl/rankingi/wordpress Więc raczej to jest kwestia tak jak napisał @Tom X zwiększenia zaangażowania klientów, lub myślą o jakiejś ekspansji ;-).

W przytoczonym przez Ciebie screenie z Twojej przeglądarki widać, że masz rozbieżność na poziomie ~40% między dwoma odczytami z małym przedziałem czasowym. Serwer z zależności od obciążenia, może serwować stronę w różnym czasie, może trafiliśmy na czas gdy akurat serwer nie domagał. Pytanie czy problem dotyczy jednego zapytania, czy jest to trend ciągły? Pytając o stronę, pytamy zawsze o stronę główną na potrzeby czasów. Z /feed brana jest tylko wersja Wordpress, o ile taka występuje w /feed. Nasze zapytanie stara się odpytywać stronę bez cache.

Kod odpowiadający za wykrywanie CMS’a przewinął się kilka postów temu. Jeśli masz lepsza propozycję, z chęcią ją zastosujemy.

Od 0 do 6 robi się proces discovery, który wykrywa CMS’a, operatora oraz wszystkie inne zmienne witryny. Więcej możesz poczytać tutaj: https://webspeed.pl/about Od 6 do 24 robi się proces sprawdzania wydajności www, który bazuje już wcześniej przygotowanych danych. W najnowszej wersji check-url nie korzystamy już z serwera DNS, tak by aspekt odpowiedzi DNS nie wpływał na zaburzenia pomiarów. PS: @Kapitan_Bomba dzięki wykrywaniu stron Wordpress, powstał ranking operatorów pod względem ilości hostowanych stron tego typu: https://webspeed.pl/rankingi/wordpress

Nie prowadzaliśmy obsługi subdomen i nie mamy tego w planach.

Chciałem go ulepszyć, a pogorszyłem ;-). Naprawione.

Twoje pytania, są ciekawe pewnie nie tylko dla Ciebie . Dla mnie takie dane też są interesujące i o ile da się je wydobyć, to z chęcią je wyliczę. Tak naprawdę, wydobycie tych danych nie jest skomplikowane, ani zasobożerne, bo wszystko mamy w bazie redis. Wystarczy napisać prosty skrypcik, który to policzy. Jedyny problem który występuje, to czas który jest potrzebny na przetrawienie takiej ilości danych jednowątkowo. Rzeczy na potrzeby core webspeed przeliczają się wielowątkowo, ale to już jest bardziej skomplikowane... W ramach ciekawostek wrzucam skrypcik który policzył dla Ciebie te dane.

@Tom X wracam do Ciebie z danymi: https://pastebin.com/r3FhHJMN Listę skróciłem do minimum 500 domen na firmę, same domeny polskie. Łączna liczba domen na potrzeby tego rankingu to 2 044 687 domen. Duża część z tych domen nie posiada pod sobą treści, (stąd np. druga pozycja aftermarket.pl). Mogę przygotować też osobny ranking dla domen aktywnych z pomięciem domen które oznaczamy jako duchy. Mogę przygotować taki ranking dla samych wordpressów, lub dowolnych innych kryteriów.

Nie mamy jeszcze takich statystyk, ale zlecę zaraz przeliczenie takich danych. Na wynik pewnie kilka godzin będziemy musieli poczekać. Pytanie tylko, czy chcesz wynik dla domen aktywnych(pod którą jest jakaś strona), czy wszystkich(uwzględniających przekierowania 301, czy parkingu domen? Domen .pl, czy wszystkich jakie mamy w naszej bazie (dodaliśmy ostatnio .com, .net .info .biz .eu)? Obecnie stworzyliśmy bazę IP wraz z przypisaniem operatora. Później licząc różne statystyki odwołujemy się do niej.

Dziękuję za Twoją odpowiedź, zawsze dobrze widzieć, że ktoś się interesuje i wprowadza do dyskusji swoje zdanie. Rozumiem Twój punkt widzenia, ale też nie traktujemy tych danych jako wyrocznię, prędzej jest to ciekawostka. Ponieważ zbieramy sporo różnych danych, to czasem pokazują one – być może – interesujące dane, przynajmniej dla części osób. Na przykład adaptacja najnowszej wersji WordPressa per firma. Z jednej strony np. firma nie ma z tym nic wspólnego, bo to sami właściciele stron odpowiedzialni są za aktualizację silników, na których pracują. Z drugiej zaś strony, to może być wskazówka, by np. tworzyć kampanie, które klientów uświadamiają np. co wiąże się z nieaktualizowaniem skryptów. Chcemy wierzyć, że te i inne dane mogą sprawić, by w dłuższej perspektywie polski internet stał się szybszy, bezpieczniejszy, bardziej świadomy. Klient nie zawsze rozumie co oznaczają różne parametry, typy usług, całe produkty i jakie to ma przełożenie na jego stronę. Nie będzie to dla niego zrozumiałe, ale rozumie wolno wczytującą się stronę i wyłożone prostym językiem bezpieczeństwo. Stąd uważam, że nie ma osób, które świadomie chcą, by ich strona wczytywała się wolno, są tylko osoby, które nie zostały odpowiednio wyedukowane, a to zadanie dla branży. Stąd też ogólna średnia, to prosta i czytelna informacja dla takich osób, jest zrozumiała, a to, że różne firmy, oferują różne pakiety, typy usług ma w tym wypadku znaczenie drugorzędne. Niemniej jednak oczywiście jest to projekt, który do serca bierze sobie merytoryczne uwagi, sporo zresztą zmieniliśmy po sugestiach społeczności. Daj znać, jak Ty to widzisz, co trzeba zmienić, dodać do takich statystyk, żeby były według Ciebie bardziej przydatne?

Jeśli szukasz szybkiego samochodu, nie patrzysz na spalanie, bo to inny parametr. Jeśli potrzebujesz skorelować informacje o szybkości i pojemności bagażnika, to łączysz kilka rodzajów danych, wedle zapotrzebowania. Dla każdego ważne są inne parametry, dla jednych będzie to cena, dla innych wydajność, a jeszcze innych kopie zapasowe wykonywane co godzinę. Naszym celem jest dostarczenie informacji w jak najbardziej przejrzysty i obiektywny sposób na temat jednego aspektu usługi hostingowej, jakim jest szybkość generowania się stron. Chyba jako pierwszy projekt agregujemy i prezentujemy tego typu dane. Jeśli masz sugestie, jak możemy poprawić nasze raporty, chętnie wysłuchamy i weźmiemy pod uwagę. Jesteśmy tu, aby służyć społeczności i ciągle się rozwijać. Ponownie dziękujemy za Twoje uwagi!

@Tom X dziękujemy za Twoją opinię i szczegółową analizę naszych statystyk! Rozumiemy Twoje obawy i zdajemy sobie sprawę z różnorodności ofert hostingowych dostępnych na rynku. Nasze statystyki mają na celu dostarczenie ogólnego przeglądu rynku, a nie szczegółowego porównania poszczególnych ofert w ramach jednej firmy. Uważamy, że nawet w takiej formie mogą być one przydatne dla wielu użytkowników, chociażby jako punkt wyjścia do dalszych analiz. Mimo wszystko cenimy sobie wszelkie uwagi i będziemy dążyć do jeszcze większej precyzji w przyszłości. Dziękujemy za zaangażowanie!

Jest ;-). Masz przykład curl'a do ustalania adresu URL. Tam masz parametr odpowiadający za przekierowania: -L --max-redirs 5 Gdzie przy procesie sprawdzania strony te parametry nie występują. Można było by pominąć, ale z racji tego, że wychodziliśmy od sprawdzania dns, a dopiero później dopisywaliśmy dodatkowe weryfikacje, to było by to trudne do pominięcia, bez przepisywania dużej części kodu.

Zacznę może od początku. Akceptujemy 301 tylko w procesie discovery(odpalany raz na dobę). Proces ten po wejściu na stronę główną np. http://nazwa.pl sprawdza czy następuje przekierowanie, jaką ma formę oraz gdzie prowadzi docelowy adres URL. Jeśli adres URL wychodzi poza sprawdzaną domenę, taką domenę oznaczamy jako "ghost" i nie sprawdzamy dla niej danych na poziomie procesu check-url (pracującego co 2 godziny). Taka domena nie jest brana pod uwagę w rankingu, jak też nie zbieramy dla niej żadnych informacji, gdyż było by to bezcelowe. Sam proces sprawdzania czasów generowania stron nie pozwala na przekierowania, oraz wczytuje stronę już po docelowym adresie URL, który został uzyskany procesem discovery. Dlatego też problem o którym mówisz, nie będzie u nas występował, bo zabezpieczyliśmy się na taką ewentualność. Schemat działania opisałem Ci powyżej. Mam nadzieję, że to rozwiało Twoje wątpliwości. Tak, dlatego cały mechanizm wykrywania zmiany hostingu został mocno przebudowany. Jeśli wykryliśmy zmianę DNS, weryfikujemy adresy IP przed i po zmianie. Tylko jeśli należą do innych firm, wtedy wyświetlamy informację o zmianie operatora. Datę zmiany ustalamy na podstawie daty zmiany adresu IP i weryfikacji czy zmienił się właściciel danego adresu IP. Firmy przed i po zmianie ustalamy na podstawie adresu IP na który wskazuje domena, nie po adresach DNS. Dla każdej domeny w historii zmian masz informację o Adresie IP, DNS oraz do kogo przyporządkowaliśmy adres IP. Wzięliśmy to pod uwagę już od samego początku projektu i taki problem nie powinien występować. Przekierowanie na inną domenę z automatu powoduje, że strona jest nie uwzględniona w rankingu. A teraz kilka liczb, dla osób które lubią liczby by przytoczyć jak to wygląda: - 2 685 152 - tyle domen mamy w bazie - 2 288 028 - tyle domen po ostatnim discovery poprawnie odpowiadało na zapytanie dns - 576 096 - tyle domen mamy oznaczone jako domeny duchy. Aby stać się duchem trzeba spełnić jednej z następujących warunków: 301 na zewnętrzną domenę lub NS oraz IP parkingu domen. - 1 711 932 - dla tylu domen dzisiaj robimy proces check-url (wartość mniejsza niż poniższą, bo czasem ktoś np. nie odnowi domeny na czas, wtedy wypada z dziennego sprawdzania, ale dane historyczne pozostają) - 1 797 697 - dla tylu domen mamy dane o historii strony W razie wszelkich pytań, będę starał się odpowiadać na bieżąco. PS: Założyliśmy Instagram projektu i zachęcamy do obserwowania nas: https://www.instagram.com/webspeed.pl/ Będziemy dzielić się tam ciekawymi danymi statystycznymi.

@itomek chciałbym się przypomnieć. Czy udało Ci się porozmawiać z szefostwem? Nie ukrywamy, że zależy nam na zwiększeniu transparentności naszego projektu i Wasza pomoc byłaby dla nas nieoceniona.

@itomek zgodnie z nasza obietnicą i po gruntownych testach rozpoznawanie operatora zostało zmienione. Obecnie operatora rozpoznajemy na podstawie rekordu A (poprzednio na podstawie delegacji dns). Jednocześnie generując wykres przed i po zmianie operatora, za dzień zmiany bierzemy zmianę adresu IP (poprzednio zmianę delegacji dns). W widoku "historia zmian" dodaliśmy też zmiany adresów IP. Zerknij teraz, wszystko powinno być już poprawnie, dla tej, jak i innych domen . Jeśli masz jeszcze jakieś sugestie, czekamy na nie z niecierpliwością , a za dotychczasowe ślicznie dziękujemy .

Oczywiście, że nie, dzięki Tobie stajemy się lepsi . Dziękujemy i poprawione.

@Tom X dlatego też dzięki za sugestie, na podstawie których wprowadziliśmy poprawki. Poza toltipem, masz na stornie link do pełnego opisu sposobu działania listy.

@Tom X już odpowiadam: 1. Liczba 6 oznacza ilość oddanych głosów na daną propozycję. Strzałka w górę i kliknięcie na przycisk oznacza głos na daną propozycję. Jest to klasyczne działanie tego typu narzędzi. 2. Jest to klasyczne działanie tego typu narzędzi, więc wydawało nam się, że dla większości osób jest to zrozumiałem i logiczne. Wychodząc na przeciw Twoim oczekiwaniom, zmodyfikowaliśmy stronę i dodaliśmy tooltip z informacją co się stanie po kliknięciu. 3. Jest jedna pozycja, bo tylko ta jedna pozycja została obecnie dodana przez naszą społeczność. Propozycje może dodać każdy, od tego masz formularz powyżej. Jeśli społeczność doda więcej propozycji, będzie ich więcej na liście. 4. Jak już pisałem, jest to klasyczne podejście do tematu(branżowy standard), ale idąc za Twoją sugestią dodaliśmy szczegółowy opis. Dzięki za sugestie, jak coś jeszcze znajdziesz daj znać, poprawimy.

@psz z tego co przeglądam polski rynek hostingowy, to to o czym mówisz występuje w bardzo niewielkim stopniu. Owszem masz pełną rację, że w takim przypadku dane będą bezwartościowe, ale jednak 90% firm u nas nie korzysta z tego typu rozwiązań. Pracujesz u lidera technologicznego, więc myślę, że patrzysz przez ten pryzmat na całą branżę, która jest miejscami dość mocno zacofana ;-).