TOP100 - Publiczna beta

[theqkash]

Dzień dobry,

W dniu dzisiejszym światło dzienne ujrzała publiczna beta naszego Top100 i jest dostępna pod adresem top100.rootnode.pl, została również podpięta do górnej belki forum. 

 

W chwili obecnej top100 opiera się wyłącznie na sprawdzaniu rekordów NS domen i przypisywaniu ich do konkretnego operatora. Dla przedstawienia bardziej rzeczywistych wyników, zostaną dodatkowo uruchomione dwie dodatkowe metody wyświetlania danych:

 

• w oparciu o rejestratorów domen
• w oparciu o to kto jest właścicielem adresu IP do którego domena kieruje

 

Na dzień pisania tego tematu, baza liczy 1 840 515 domen i jest stale aktualizowana przez przygotowane do tego celu narzędzia. Posiadamy także spory wykaz domen, które w obecnej chwili nie posiadają żadnych rekordów NS, w sumie baza ma około 2,3mln domen. Zachęcam operatorów do uzupełniania list domen poprzez przesyłanie lub udostępnianie domen utrzymywanych na swoich serwerach.  Zgłoszenia można dokonać za pomocą zakładki Kontakt na stronie top100. Przypominam, że rozwiązanie opiera się wyłącznie o domeny z końcówką .pl oraz o domeny funkcjonalne i regionalne udostępniane przez NASK.

 

Rozwiązanie na tym etapie zbiera już dane historyczne, które w przyszłości posłużą do publikowania zmian w czasie na niedostępnych jeszcze publicznie podstronach z informacjami o poszczególnych usługodawcach. Uzupełniając je o dodatkowe dwie wyżej wspomniane metody sprawdzania, będzie można uzyskać szczegółowe informacje na temat rynku domen oraz rynku hostingowego w Polsce.

 

Dziękuję wszystkim, którzy przyczynili się do powstania tego narzędzia i łączę nadzieję na dalszy rozwój narzędzia również we współpracy z usługodawcami.

 

Zachęcam wszystkich do wyrażania opinii oraz przesyłania propozycji i pomysłów. 

[Matix8981]

Fajna inicjatywa aby stworzyć rzetelny ranking nie powiązany z żadną firmą hostingową

[Pół człowiek pół admin]

A co jak różne usługi są na tej samej domenie u kilku różnych hostingowców?

Edytowane 17 Kwietnia 2018 przez Pół człowiek pół admin

[theqkash]

Godzinę temu, Pół człowiek pół admin napisał:

A co jak różne usługi są na tej samej domenie u kilku różnych hostingowców?

 

Niestety nie da się wszystkiego przewidzieć, zwłaszcza w takim przykładzie jaki tu podajesz, który może być z kolei podstawą do nadużyć i przekłamań wartości w topliście.

[spex]

A da się sprawdzić swoje domeny, gdzie zostały zindeksowane?

[Pół człowiek pół admin]

3 minuty temu, theqkash napisał:

 

Niestety nie da się wszystkiego przewidzieć, zwłaszcza w takim przykładzie jaki tu podajesz, który może być z kolei podstawą do nadużyć i przekłamań wartości w topliście.

 

Rozumiem. Byłem ciekaw czy jest to brane pod uwagę.

[theqkash]

10 minut temu, spex napisał:

A da się sprawdzić swoje domeny, gdzie zostały zindeksowane?

Możesz podesłać na priv, sprawdzimy.

 

 

10 minut temu, Pół człowiek pół admin napisał:

Rozumiem. Byłem ciekaw czy jest to brane pod uwagę.

Rozumiem generalnie co miałeś na myśli, ale w praktyce nie da się tego zliczać, żeby było choć minimalnie uczciwe dla wszystkich. Ewentualnie rozważamy jeszcze oddzielne zliczanie rekordów MX i to wszystko w tym zakresie.

[Pół człowiek pół admin]

Tak swoją drogą jaka jest idea  tego typu rankingu? Bo ilość domen, a ilość klientów to dwie odrębne sprawy (jak ktoś zezwala na X domen, albo nawet nie stawia limitów i jakiś klient mający 30 serwisów pod indywidualnymi domenami skasuje sobie jakąś wizytówkę na domenie przykładowo twojhudraulikjestdebest.biz to zmieni się udział firmy w rynku?).  No i jeszcze co innego typ tego co jest hostowane (9000 statycznych wizytówek hydraulików vs 200 poważniejszych sklepów).  Nic to nie mówi jaki ruch się obsługuje i jaka jest infrastruktura. Ani jaki jest obrót gotówki. Im dłużej się zastanawiam tym mam więcej pytań.

Edytowane 17 Kwietnia 2018 przez Pół człowiek pół admin

[theqkash]

8 minut temu, Pół człowiek pół admin napisał:

Tak swoją drogą jaka jest idea  tego typu rankingu?

Podstawową ideą jest oszacowanie realnych rozmiarów poszczególnych usługodawców i procentu rynku jaki pod sobą posiadają. Nie da się niestety z prawie 3mln domen odróżnić tych które są poważnymi sklepami, a które wizytówkami hydraulików. Da się natomiast określić z dużą wiarygodnością jaki procent domen polskich jest utrzymywany na jakich nameserverach i finalnie u jakiego operatora są uruchomione te sklepy czy strony.

 

Docelowo pozwoli to także oszacować jaka część domen z polskiego internetu jest hostowana w datacenter X, jaka w datacenter Y, lub że usługodawca Z utrzymuje strony swoich klientów w serwerowni Ż - możliwości jest tutaj bardzo dużo. 

 

 

Jeżeli masz pomysł na jakiekolwiek inne kryteria, bardzo chętnie je poznamy.

[Pół człowiek pół admin]

2 minuty temu, theqkash napisał:

Podstawową ideą jest oszacowanie realnych rozmiarów poszczególnych usługodawców i procentu rynku jaki pod sobą posiadają. Nie da się niestety z prawie 3mln domen odróżnić tych które są poważnymi sklepami, a które wizytówkami hydraulików. Da się natomiast określić z dużą wiarygodnością jaki procent domen polskich jest utrzymywany na jakich nameserverach i finalnie u jakiego operatora są uruchomione te sklepy.

 

Docelowo pozwoli to także oszacować jaka część domen z polskiego internetu jest hostowana w datacenter X, jaka w datacenter Y, lub że usługodawca Z utrzymuje strony swoich klientów w serwerowni Ż - możliwości jest tutaj bardzo dużo. 

 

 

Jeżeli masz pomysł na jakiekolwiek inne kryteria, bardzo chętnie je poznamy.

 

Co by nie wybrać to w sumie będą zgrzyty przy percepcji danych. 300 antyterrorystów uzbrojonych po zęby trudno porównać z 1000 oficerów śledczych. A i to policja i to policja.

 

Może jakieś sortowania po jakichś kryteriach lub cechach (tagach)? Może to by potencjalnie wprowadziło jakąś wymierną korzyść? Ale to już niekoniecznie będzie niosło jakąś informację "rynkową", bo i kryteria trudno określić "z góry", więc by musiała to być dynamiczna sprawa kształtowana przez odpowiednie osoby (pytanie kto by był "odpowiedni") na bieżąco.

[theqkash]

Teraz, Pół człowiek pół admin napisał:

Może jakieś sortowania po jakichś kryteriach lub cechach (tagach)?

Nadal nie wiem jakie kryteria chcesz założyć przy semi-automatycznym analizowaniu prawie 3mln domen.

[Pół człowiek pół admin]

Teraz, theqkash napisał:

Nadal nie wiem jakie kryteria chcesz założyć przy semi-automatycznym analizowaniu prawie 3mln domen.

 

firm, nie domen

[theqkash]

1 minutę temu, Pół człowiek pół admin napisał:

firm, nie domen

Przybliż jak miałoby to działać. Co i w jaki sposób miałoby być oceniane?

[Pół człowiek pół admin]

4 minuty temu, theqkash napisał:

Przybliż jak miałoby to działać. Co i w jaki sposób miałoby być oceniane?

 

 

Coś w stylu tagujemy firmę X,Y,Z, jako limitującą per user/konto ilość domen,a A,B,C,D i F jako nie limitującą, dodatkowo część z nich może limitować transfer, inne zaś nie, co też można odzwierciedlić tagiem. I patrzymy sobie filtrując po tagach jak się układa ilość domen w jednej i drugiej grupie. Z tym, że tagowanie by musiało być czymś na zasadzie wiki, zmieniającego się dynamicznie, bo odgórnie to może być problem z określeniem jakiegoś sensowniejszego sztywnego zbioru cech. Ale to by już mogło przekraczać granice sensowności implementowania tego w stosunku do korzyści.

Edytowane 17 Kwietnia 2018 przez Pół człowiek pół admin

[oui]

6 minut temu, Pół człowiek pół admin napisał:

 

Co by nie wybrać to w sumie będą zgrzyty przy percepcji danych. 300 antyterrorystów uzbrojonych po zęby trudno porównać z 1000 oficerów śledczych. A i to policja i to policja.

 

Może jakieś sortowania po jakichś kryteriach lub cechach (tagach)? Może to by potencjalnie wprowadziło jakąś wymierną korzyść? Ale to już niekoniecznie będzie niosło jakąś informację "rynkową", bo i kryteria trudno określić "z góry", więc by musiała to być dynamiczna sprawa kształtowana przez odpowiednie osoby (pytanie kto by był "odpowiedni") na bieżąco.

Zawsze możemy opracować własny algorytm pageRank, parsować internet i ważyć które hostingi serwują największą ilość zsumowanego wyniku z algorytmu. 

[Pół człowiek pół admin]

6 minut temu, Pół człowiek pół admin napisał:

 

 

Coś w stylu tagujemy firmę X,Y,Z, jako limitującą per user/konto ilość domen,a A,B,C,D i F jako nie limitującą, dodatkowo część z nich może limitować transfer, inne zaś nie, co też można odzwierciedlić tagiem. I patrzymy sobie filtrując po tagach jak się układa ilość domen w jednej i drugiej grupie. Z tym, że tagowanie by musiało być czymś na zasadzie wiki, zmieniającego się dynamicznie, bo odgórnie to może być problem z określeniem jakiegoś sensowniejszego sztywnego zbioru cech. Ale to by już mogło przekraczać granice sensowności implementowania tego w stosunku do korzyści.

Chociaż w sumie może to by pozwoliło szacować jakie mniej więcej modele  hostingu "przyciągają domeny".

[smarthost]

Dobrze byłoby oznaczyć, które hostingi przekazały domeny do rankingu w formie listy swoich domen. A które są crawlowane, bo te crawlowane pewnie będą miały mniej lub bardziej zaniżone wartości. 

 

Wojtek

[theqkash]

9 minut temu, smarthost napisał:

Dobrze byłoby oznaczyć, które hostingi przekazały domeny do rankingu w formie listy swoich domen. A które są crawlowane, bo te crawlowane pewnie będą miały mniej lub bardziej zaniżone wartości. 

 

Wojtek

Dzięki za opinię. Niebawem pojawią się podstrony ze szczegółami dotyczącymi usługodawców, pojawi się także wspomniana tutaj informacja. Póki co firm, które przesłały swoje bazy domen jest zaledwie kilka.

[Juvenito]

Hmm wydaje mi się, że mało firm wie o takim rankingu. Może spróbuj odezwać się do tych najpopularniejszych na naszym rynku by przekazały takie listy. 

[Kapitan_Bomba]

Myślę, że szczególnie jednej firmie powinno zależeć wyjątkowo na tym, by udowodnić swoją pozycję w podobnym rankingu. W przeciwnym razie można będzie uznać, że ten podobny ranking będzie miał wartość kolekcjonerską

[theqkash]

4 godziny temu, Juvenito napisał:

Może spróbuj odezwać się do tych najpopularniejszych na naszym rynku by przekazały takie listy.

Już to zrobiłem, jak na razie jedna z większych firm (nie największych) oraz kilka mniejszych firm przekazało bazy.

[Piotr GRD]

Na marginesie, odnośnie detali, drobiazgów, mniej znaczących...

 

Pomyślcie czy chcecie uwzględniać i w jaki sposób "własne" DNSy klientów (domenaklienta.pl obsługiwana przez ns1./ns2.domenaklienta.pl) - czy będziecie badać je pod względem lokalizacji w konkretnej serwerowni lub wykorzystania usługi "vanity NS" (nie pamiętam polskiej nazwy dla tej usługi).

 

Pomyślcie czy chcecie uwzględniać i w jaki sposób DNSy dla jednej domeny w różnych lokalizacjach - "master" gdzie indziej niż "slave".

 

Pomyślcie czy chcecie uwzględniać i w jaki sposób "nie-hostingi" takie jak freedns.42.pl czy CloudFlare. Nie tyle przy liczeniu liczb bezwględnych, ile przy obliczaniu procentowego udziału "prawdziwych" hostingodawców. Czy te "inne" odrzucamy i nie są wliczane do całości, czy też jakiś procent "innych nie-hostingów" (bez ich nazw) pojawi się na końcu listy (podobnie jak w ankietach odpowiedź "nie mam zdania", albo "w ogóle nie głosuję" - czasem to jest zliczane do procentów, czasem wyrzucane z zestawienia).

edycja: Przepraszam, przed napisaniem nie zauważyłem, że są one pełnoprawnie uwzględnione.

 

 

W dniu 17.04.2018 o 18:33, theqkash napisał:

w oparciu o to kto jest właścicielem adresu IP do którego domena kieruje

 

Ta metoda moim zdaniem będzie najbardziej zbliżona do rzeczywistego rozmieszczenia domen u określonych usługodawców hostingowych. Oczywiście, nie uwzględni tego, że poczta jest gdzie indziej, nie uwzględni tego, że jakieś subdomeny są gdzie indziej, nie wyeliminuje też "przekłamania / nie-przekłamania" odnośnie witryn wykorzystujących chociażby CDN od CloudFlare itp., nie rozróżni też domen na "małe" i "duże" ("wizytówki" i "duże sklepy" jak to wcześniej zostało określone), ale próby większego komplikowania i uściślania nie są moim zdaniem warte końcowego efektu, bo im bardziej zagmatwamy, tym więcej różne strony będą miały wątpliwości i pretensji (czemu różnica "wagi" małej i dużej domeny jest taka a nie inna itp.), im prościej i przejrzyściej, tym lepiej i mniej podejrzeń o jakiekolwiek manipulacje.

 

Jest to lepsze, bardziej rzeczywiste moim zdaniem dlatego, że część domen utrzymywanych jest na DNSach od rejestratora, choć hostowanych zupełnie gdzie indziej. Opieranie rankingu wyłącznie o DNSy daje pewne "dodatkowe punkty" dużym rejestratorom domen z wystarczająco dobrą usługą DNS - choć nie wiem jak dużo - jak również firmom oferującym wyłącznie usługę DNS - bez hostingu (debatować można czy to wystarczające, żeby istnieć w takim zestawieniu).

 

 

Edytowane 19 Kwietnia 2018 przez Piotr GRD

[theqkash]

59 minut temu, Piotr GRD napisał:

Jest to lepsze, bardziej rzeczywiste moim zdaniem dlatego, że część domen utrzymywanych jest na DNSach od rejestratora, choć hostowanych zupełnie gdzie indziej. Opieranie rankingu wyłącznie o DNSy daje pewne "dodatkowe punkty" dużym rejestratorom domen z wystarczająco dobrą usługą DNS - choć nie wiem jak dużo - jak również firmom oferującym wyłącznie usługę DNS - bez hostingu (debatować można czy to wystarczające, żeby istnieć w takim zestawieniu).

Z tego właśnie powodu chcemy urzeczywistnić ranking i porównywać rekordy A oraz MX - pozwoli to na pełen przekrój tego ile domen utrzymywanych jest u jakiego operatora fizycznie.

[theqkash]

Uruchomiliśmy możliwość samodzielnego dodawania domen, bez konieczności przesyłania/zgłaszania pliku.

Jeżeli więc chcesz pomóc projektowi, masz jakąś listę domen i możesz podesłać - formularz jest tutaj. Możesz też wrzucić swoje domeny, przy okazji sprawdzając czy zostały już skatalogowane.

[smarthost]

jak domana jest skatalogowana, to pokazuje, że jest pominięta ?

 

Wszystkich prawidłowych domen: 2 
Dodanych domen: 0 
Pominiętych domen: 2

 

skrypt mógłby pokazać, którą pominął :-)