sebak

Nie prowadzaliśmy obsługi subdomen i nie mamy tego w planach.

Chciałem go ulepszyć, a pogorszyłem ;-). Naprawione.

Twoje pytania, są ciekawe pewnie nie tylko dla Ciebie . Dla mnie takie dane też są interesujące i o ile da się je wydobyć, to z chęcią je wyliczę. Tak naprawdę, wydobycie tych danych nie jest skomplikowane, ani zasobożerne, bo wszystko mamy w bazie redis. Wystarczy napisać prosty skrypcik, który to policzy. Jedyny problem który występuje, to czas który jest potrzebny na przetrawienie takiej ilości danych jednowątkowo. Rzeczy na potrzeby core webspeed przeliczają się wielowątkowo, ale to już jest bardziej skomplikowane... W ramach ciekawostek wrzucam skrypcik który policzył dla Ciebie te dane.

@Tom X wracam do Ciebie z danymi: https://pastebin.com/r3FhHJMN Listę skróciłem do minimum 500 domen na firmę, same domeny polskie. Łączna liczba domen na potrzeby tego rankingu to 2 044 687 domen. Duża część z tych domen nie posiada pod sobą treści, (stąd np. druga pozycja aftermarket.pl). Mogę przygotować też osobny ranking dla domen aktywnych z pomięciem domen które oznaczamy jako duchy. Mogę przygotować taki ranking dla samych wordpressów, lub dowolnych innych kryteriów.

Nie mamy jeszcze takich statystyk, ale zlecę zaraz przeliczenie takich danych. Na wynik pewnie kilka godzin będziemy musieli poczekać. Pytanie tylko, czy chcesz wynik dla domen aktywnych(pod którą jest jakaś strona), czy wszystkich(uwzględniających przekierowania 301, czy parkingu domen? Domen .pl, czy wszystkich jakie mamy w naszej bazie (dodaliśmy ostatnio .com, .net .info .biz .eu)? Obecnie stworzyliśmy bazę IP wraz z przypisaniem operatora. Później licząc różne statystyki odwołujemy się do niej.

Dziękuję za Twoją odpowiedź, zawsze dobrze widzieć, że ktoś się interesuje i wprowadza do dyskusji swoje zdanie. Rozumiem Twój punkt widzenia, ale też nie traktujemy tych danych jako wyrocznię, prędzej jest to ciekawostka. Ponieważ zbieramy sporo różnych danych, to czasem pokazują one – być może – interesujące dane, przynajmniej dla części osób. Na przykład adaptacja najnowszej wersji WordPressa per firma. Z jednej strony np. firma nie ma z tym nic wspólnego, bo to sami właściciele stron odpowiedzialni są za aktualizację silników, na których pracują. Z drugiej zaś strony, to może być wskazówka, by np. tworzyć kampanie, które klientów uświadamiają np. co wiąże się z nieaktualizowaniem skryptów. Chcemy wierzyć, że te i inne dane mogą sprawić, by w dłuższej perspektywie polski internet stał się szybszy, bezpieczniejszy, bardziej świadomy. Klient nie zawsze rozumie co oznaczają różne parametry, typy usług, całe produkty i jakie to ma przełożenie na jego stronę. Nie będzie to dla niego zrozumiałe, ale rozumie wolno wczytującą się stronę i wyłożone prostym językiem bezpieczeństwo. Stąd uważam, że nie ma osób, które świadomie chcą, by ich strona wczytywała się wolno, są tylko osoby, które nie zostały odpowiednio wyedukowane, a to zadanie dla branży. Stąd też ogólna średnia, to prosta i czytelna informacja dla takich osób, jest zrozumiała, a to, że różne firmy, oferują różne pakiety, typy usług ma w tym wypadku znaczenie drugorzędne. Niemniej jednak oczywiście jest to projekt, który do serca bierze sobie merytoryczne uwagi, sporo zresztą zmieniliśmy po sugestiach społeczności. Daj znać, jak Ty to widzisz, co trzeba zmienić, dodać do takich statystyk, żeby były według Ciebie bardziej przydatne?

Jeśli szukasz szybkiego samochodu, nie patrzysz na spalanie, bo to inny parametr. Jeśli potrzebujesz skorelować informacje o szybkości i pojemności bagażnika, to łączysz kilka rodzajów danych, wedle zapotrzebowania. Dla każdego ważne są inne parametry, dla jednych będzie to cena, dla innych wydajność, a jeszcze innych kopie zapasowe wykonywane co godzinę. Naszym celem jest dostarczenie informacji w jak najbardziej przejrzysty i obiektywny sposób na temat jednego aspektu usługi hostingowej, jakim jest szybkość generowania się stron. Chyba jako pierwszy projekt agregujemy i prezentujemy tego typu dane. Jeśli masz sugestie, jak możemy poprawić nasze raporty, chętnie wysłuchamy i weźmiemy pod uwagę. Jesteśmy tu, aby służyć społeczności i ciągle się rozwijać. Ponownie dziękujemy za Twoje uwagi!

@Tom X dziękujemy za Twoją opinię i szczegółową analizę naszych statystyk! Rozumiemy Twoje obawy i zdajemy sobie sprawę z różnorodności ofert hostingowych dostępnych na rynku. Nasze statystyki mają na celu dostarczenie ogólnego przeglądu rynku, a nie szczegółowego porównania poszczególnych ofert w ramach jednej firmy. Uważamy, że nawet w takiej formie mogą być one przydatne dla wielu użytkowników, chociażby jako punkt wyjścia do dalszych analiz. Mimo wszystko cenimy sobie wszelkie uwagi i będziemy dążyć do jeszcze większej precyzji w przyszłości. Dziękujemy za zaangażowanie!

Jest ;-). Masz przykład curl'a do ustalania adresu URL. Tam masz parametr odpowiadający za przekierowania: -L --max-redirs 5 Gdzie przy procesie sprawdzania strony te parametry nie występują. Można było by pominąć, ale z racji tego, że wychodziliśmy od sprawdzania dns, a dopiero później dopisywaliśmy dodatkowe weryfikacje, to było by to trudne do pominięcia, bez przepisywania dużej części kodu.

Zacznę może od początku. Akceptujemy 301 tylko w procesie discovery(odpalany raz na dobę). Proces ten po wejściu na stronę główną np. http://nazwa.pl sprawdza czy następuje przekierowanie, jaką ma formę oraz gdzie prowadzi docelowy adres URL. Jeśli adres URL wychodzi poza sprawdzaną domenę, taką domenę oznaczamy jako "ghost" i nie sprawdzamy dla niej danych na poziomie procesu check-url (pracującego co 2 godziny). Taka domena nie jest brana pod uwagę w rankingu, jak też nie zbieramy dla niej żadnych informacji, gdyż było by to bezcelowe. Sam proces sprawdzania czasów generowania stron nie pozwala na przekierowania, oraz wczytuje stronę już po docelowym adresie URL, który został uzyskany procesem discovery. Dlatego też problem o którym mówisz, nie będzie u nas występował, bo zabezpieczyliśmy się na taką ewentualność. Schemat działania opisałem Ci powyżej. Mam nadzieję, że to rozwiało Twoje wątpliwości. Tak, dlatego cały mechanizm wykrywania zmiany hostingu został mocno przebudowany. Jeśli wykryliśmy zmianę DNS, weryfikujemy adresy IP przed i po zmianie. Tylko jeśli należą do innych firm, wtedy wyświetlamy informację o zmianie operatora. Datę zmiany ustalamy na podstawie daty zmiany adresu IP i weryfikacji czy zmienił się właściciel danego adresu IP. Firmy przed i po zmianie ustalamy na podstawie adresu IP na który wskazuje domena, nie po adresach DNS. Dla każdej domeny w historii zmian masz informację o Adresie IP, DNS oraz do kogo przyporządkowaliśmy adres IP. Wzięliśmy to pod uwagę już od samego początku projektu i taki problem nie powinien występować. Przekierowanie na inną domenę z automatu powoduje, że strona jest nie uwzględniona w rankingu. A teraz kilka liczb, dla osób które lubią liczby by przytoczyć jak to wygląda: - 2 685 152 - tyle domen mamy w bazie - 2 288 028 - tyle domen po ostatnim discovery poprawnie odpowiadało na zapytanie dns - 576 096 - tyle domen mamy oznaczone jako domeny duchy. Aby stać się duchem trzeba spełnić jednej z następujących warunków: 301 na zewnętrzną domenę lub NS oraz IP parkingu domen. - 1 711 932 - dla tylu domen dzisiaj robimy proces check-url (wartość mniejsza niż poniższą, bo czasem ktoś np. nie odnowi domeny na czas, wtedy wypada z dziennego sprawdzania, ale dane historyczne pozostają) - 1 797 697 - dla tylu domen mamy dane o historii strony W razie wszelkich pytań, będę starał się odpowiadać na bieżąco. PS: Założyliśmy Instagram projektu i zachęcamy do obserwowania nas: https://www.instagram.com/webspeed.pl/ Będziemy dzielić się tam ciekawymi danymi statystycznymi.

@itomek chciałbym się przypomnieć. Czy udało Ci się porozmawiać z szefostwem? Nie ukrywamy, że zależy nam na zwiększeniu transparentności naszego projektu i Wasza pomoc byłaby dla nas nieoceniona.

@itomek zgodnie z nasza obietnicą i po gruntownych testach rozpoznawanie operatora zostało zmienione. Obecnie operatora rozpoznajemy na podstawie rekordu A (poprzednio na podstawie delegacji dns). Jednocześnie generując wykres przed i po zmianie operatora, za dzień zmiany bierzemy zmianę adresu IP (poprzednio zmianę delegacji dns). W widoku "historia zmian" dodaliśmy też zmiany adresów IP. Zerknij teraz, wszystko powinno być już poprawnie, dla tej, jak i innych domen . Jeśli masz jeszcze jakieś sugestie, czekamy na nie z niecierpliwością , a za dotychczasowe ślicznie dziękujemy .

Oczywiście, że nie, dzięki Tobie stajemy się lepsi . Dziękujemy i poprawione.

@Tom X dlatego też dzięki za sugestie, na podstawie których wprowadziliśmy poprawki. Poza toltipem, masz na stornie link do pełnego opisu sposobu działania listy.

@Tom X już odpowiadam: 1. Liczba 6 oznacza ilość oddanych głosów na daną propozycję. Strzałka w górę i kliknięcie na przycisk oznacza głos na daną propozycję. Jest to klasyczne działanie tego typu narzędzi. 2. Jest to klasyczne działanie tego typu narzędzi, więc wydawało nam się, że dla większości osób jest to zrozumiałem i logiczne. Wychodząc na przeciw Twoim oczekiwaniom, zmodyfikowaliśmy stronę i dodaliśmy tooltip z informacją co się stanie po kliknięciu. 3. Jest jedna pozycja, bo tylko ta jedna pozycja została obecnie dodana przez naszą społeczność. Propozycje może dodać każdy, od tego masz formularz powyżej. Jeśli społeczność doda więcej propozycji, będzie ich więcej na liście. 4. Jak już pisałem, jest to klasyczne podejście do tematu(branżowy standard), ale idąc za Twoją sugestią dodaliśmy szczegółowy opis. Dzięki za sugestie, jak coś jeszcze znajdziesz daj znać, poprawimy.

@psz z tego co przeglądam polski rynek hostingowy, to to o czym mówisz występuje w bardzo niewielkim stopniu. Owszem masz pełną rację, że w takim przypadku dane będą bezwartościowe, ale jednak 90% firm u nas nie korzysta z tego typu rozwiązań. Pracujesz u lidera technologicznego, więc myślę, że patrzysz przez ten pryzmat na całą branżę, która jest miejscami dość mocno zacofana ;-).

@psz dla mnie z kolei to wydaje się bardzo ciekawe. W większości IP mówi na którym jesteś serwerze w przypadku hostingu współdzielonego. A co za tym idzie, jeśli masz problem z ładowania się strony, możesz zweryfikować, czy nie dotyczyło to wszystkich stron z danego serwera.

@ksk dzięki za propozycję. Chwilowo chcemy skupić się na dopracowaniu tego co jest oraz zrobieniu tego w taki sposób, aby nie było wątpliwości co do sposobu działania. Jak przebrniemy przez ten etap, będziemy myśleć o rozbudowie projektu o nowe funkcjonalności. Sam skrypt jest zrobiony tak, że rozbudowanie go o dodatkowe lokalizacje nie powinno stanowić problemu.

Mam pewien pomysł i chciałbym go z wami przedyskutować. Chciałbym liczyć średnią per adres IP. W związku z tym mam kilka pytań: Od jakiej ilości domen na danym adresie IP liczenie takiej średniej ma sens? Liczymy średnią dla wszystkich stron, czy średnie dla konkretnej kategorii stron np. Wordpress? Liczymy i podajemy tylko aktualną średnią, czy zapisujemy też dane historyczne? Sugestie nie związane też z pytaniem są mile widziane. @itomek napisaliśmy już mechanizm do weryfikacji operatora po IP rekordu A (nie delegacji dns). Całość przechodzi testy i zostanie zaimplementowana w przyszłym tygodniu.

Jak by pojawiły się jakiekolwiek pytania z chęcią wyjaśnię, czy pokaże jak to działa.

@Tom X Dokonałem pewnych zmian w sprawie dokładności wykrywania WordPress. Zmiany powinny być widoczne na webspeed.pl 19 sierpnia po godzinie 6.

Mechanizm ustalania CMS nie jest zbyt skomplikowany i działa tylko na statusach http. Poniżej masz fragment kodu na jakiej zasadzie to sprawdzamy. Całość sprawdzamy z każdym procesem discovery, ale operując tylko na kodach http, musimy iść na pewne uproszczenia.

Dzięki, mam nadzieje, że znajdziesz argumenty na ich przekonanie ;-).

Jeśli możesz spytaj o to górę, taki ruch zwiększyłby transparentność Waszego rankingu i przyczynił się do tego samego w przypadku webspeed.pl. Jednocześnie poprawi wiarygodność danych w przypadku wyliczania średnich na webspeed, na czym Ci zależało. Myślę, że to obopólna korzyść, a razem przyczynimy się do poprawy transparentności polskiego internetu.

@itomek gratulację zmian. Czy wasza baza danych jest tajemnicą handlową, czy możecie ją udostępnić na potrzeby projektu webspeed.pl ?