nowe top100 firm hostingowych

[nrm]

Dzięki ale ostatnie co chciałbym robić to modyfikować klientom rekordy DNS dla własnych potrzeb. Już widzę jak hosterzy to robią.

[samu]

2 godziny temu, lokoz.com napisał:

 

2. dla każdej utrzymywanej domeny należało by dodać w DNS-ie rekord-token (unikalne pole TXT czy nawet zwykły CNAME o unikalnej nazwie i adresie IP np. 1.2.3.4

 

 

Nie wyobrażam sobie, żeby hostingodawca dodawał sobie do mojej domeny wpis, żeby mógł uczestniczyć w jakimś rankingu. 

[lokoz.com]

To tylko jakiś tam pomysł - nie mówię, że jest dobry

 

Można tokena zrobić na zasadzie:

- każdy serwer DNS zawiera strefę bot.rootnode

- w strefie tworzymy rekord np. CNAME z nazwą unikalny-token-hostingu z wartością 1.2.3.4

- bot rootnode sprawdza jeden z serwerów DNS badanej domeny pod kątem istnienia rekordu unikalny-token-hostingu.bot.rootnode

- jeżeli istnieje to przypisujemy domenę do hostingu

 

Takie rozwiązanie eliminuje grzebanie w rekordach domen Klientów i wyklucza możliwość podania domen, które nie należą do danego hostingu. Znika też problem z resellerami.

 

Listę domen do sprawdzenia dostarcza do systemu hosting.

Edytowane 14 Września 2017 przez lokoz.com

[behemoth]

A nie łatwiej dostarczyć listę domen i zakres lub listę adresów IP używanych przez daną firmę?

[nrm]

Z jakąkolwiek opcją dostarczania należy pamiętać, że tylko jakiś % (i to wcale nie wielki patrz WHT, 32% z TOP100) zdecyduje się cokolwiek dostarczać. 

[behemoth]

Zgadza się, ale to zawsze 32% domen mniej do crawlowania.

[SomeGuy]

Jak dają to warto wziąć jako dodatek. 

Brainstorming jest fajny, należy tylko pamiętać o tym, żeby nie przekombinować i skupić na celu.

[smarthost]

@behemoth napisał najlepiej. Panel gdzie każdy z deklaruje że to jego. Choć trzeba pomyśleć nad ew. fraudami. Choć ryzyko bana może być wystarczającą karą.

[lokoz.com]

1 godzinę temu, behemoth napisał:

A nie łatwiej dostarczyć listę domen i zakres lub listę adresów IP używanych przez daną firmę?

 

Z tokenem potwierdzasz, że jesteś właściwym operatorem tego hostingu. Do tego system robi się bezobsługowy - nikt nie musi sprawdzać czy dane dostarczone przez hosting są prawdziwe - zrobi to bot i powinien wykonać to praktycznie bezbłędnie z bardzo dużą dokładnością.

 

1 godzinę temu, nrm napisał:

Z jakąkolwiek opcją dostarczania należy pamiętać, że tylko jakiś % (i to wcale nie wielki patrz WHT, 32% z TOP100) zdecyduje się cokolwiek dostarczać. 

 

To już sprawa właściciela hostingu czy chce uczestniczyć w takiej zabawie czy nie.

[nrm]

3 minuty temu, lokoz.com napisał:

To już sprawa właściciela hostingu czy chce uczestniczyć w takiej zabawie czy nie.

 

Oczywiście. Mi chodziło, że planując działania najpierw trzeba założyć mechanizm obejmujący szacowanie dla wszystkich, a następnie dodać coś co dla części chętnej zrobi wyniki bardziej prawidłowymi. W sensie, że nie planować, że każdy coś dostarczy i na tym się opieramy tylko na odwrót: nie mamy danych ale dla jakiejś części je dostaniemy.

[Kasjan]

Jeśli chodzi o aliasy na serwery DNS trzeba sobie zadać jedno pytanie:

 

skoro to ma być ranking firm hostingowych to czy firma która korzysta u kogoś z resellera i sprzedaje "sharedy" to nie jest firmą hostingową?

 

Pierwsza opcja z podaniem nazw domen wydaje mi się bardzo dobra, wówczas jeśli ktoś jest aliasem i chce brać udział w top100 to zgłasza swój dns,

jeśli nie zgłosi bo mu nie zależy - domeny są liczone na rzecz firmy nadrzędnej która jest właścicielem DNS

 

[Piotr GRD]

Oczywiście żaden system nie będzie doskonały. Podam przykład swojej domeny. Utrzymuję ją na ... czterech różnych serwerach. Jeden serwuje część subdomen, drugi część subdomen, trzeci kolejną część subdomen, ale każdy skonfigurowany jest również dla samej domeny głównej. Ponadto czwarty - akurat darmowy - hosting, choć w praktyce nic nie serwuje, ale też jest w pełni skonfigurowany i w razie awarii trzech pierwszych wystarczy, że zmienię rekordy A i będzie służył w sposób aktywny. I teraz...

 

Teoretycznie wszystkie cztery hostingi mogłyby zgłosić do rankingu moją domenę jako obsługiwaną u siebie i byłoby to zgodne z prawdą. Ale rozpoczynamy sprawdzanie, na przykład według tego jakie DNSy są dla domeny ustawione. Czego się dowiemy? Że moja domena obsługiwana jest przez freedns.42.pl i buddyns.com - a to przecież nawet nie są hostingi, a tylko usługodawcy DNS.

 

Mój przypadek pewnie nie jest zbyt częsty i można traktować go jako margines, ale z pewnością sprawdzając domeny według DNSów dowiemy się, że sporo z nich utrzymywanych jest np. w CloudFlare - co nie do końca jest prawdą, jak wiemy. W każdym razie...

 

 

Żaden system nie będzie doskonały. Ważne, aby reguły były jasne, przejrzyste, i aby każdy - zarówno hosting-uczestnik jak i zwykły użytkownik przeglądający - wiedział co dokładnie jest przedmiotem rankingu. Dlatego uważam za istotne, aby - gdy już dojdzie do jego utworzenia - wyraźnie opisane było co jest w rankingu ujęte, na jakich zasadach i z jakich najczęściej występujących powodów ranking nie jest i nigdy nie będzie odzwierciedleniem 1:1 sytuacji faktycznej, a tylko pewnym mniej lub bardziej dokładnym szacunkiem. Czyli np. w nagłówku coś w rodzaju: "ranking polskich hostingów wg ilości obsługiwanych domen", a gdzieś niżej dla przykładu: "obejmuje domeny zgłoszone przez usługodawców oraz odnalezione przez naszego robota w sieci, zweryfikowane na podstawie DNSów używanych dla danej domeny, może nie zawierać domen nie podanych / nie znalezionych (jeszcze), nie zawiera domen używających DNSów innych niż te od hostingu (np. CloudFlare, freedns.42.pl itp.), domeny resellerów zaliczane są do hostingu-matki (albo jak tam to zostało ustalone) itd. itd.". W ten sposób można liczyć na uniknięcie - przynajmniej większości, choć pewnie nie wszystkich - kontrowersji co do tego, "czemu ten ma tyle a ten tyle, choć np. według innych źródeł (...)". Nie powinno - moim zdaniem - być to opisywane po prostu jako "ranking" bez wspomnianych przeze mnie zastrzeżeń, gdyż ktoś wówczas może zechcieć to odebrać jako stan 1:1 zgodny ze stanem faktycznym i podejrzewać, że coś jest nie tak widząc pewne niezgodności.

[Kapitan_Bomba]

Temat umarł?

[Artur Pajkert Hekko.pl]

Nie no... raczej czekaliśmy, że Ty zrobisz? Tzn. zdania były podzielone, ale ja tak bardzo, bardzo w Ciebie wierzyłem... to mówisz, że nie zrobiłeś? 
Hm. No nic. Żarty na bok. Jak to często bywa: chyba nie poszło do przodu "wspólnymi siłami" - więc ja zrobiłem co-nieco samodzielnie w międzyczasie, coraz bliżej do oficjalnej prezentacji, choć jeszcze moment trzeba będzie na nią poczekać. Na razie mam z milion domen i całkiem sporą wiedzę o każdej z nich... akurat odnosząc do top100 - będę miał raport chyba nieco mniej dokładny z rozkładu na operatorów, ale za to ocean dodatkowych i naprawdę ciekawych informacji. Natomiast oficjalna publikacja w planie dopiero za ok. 2 miesiące. Jakieś szczątkowe info można znaleźć już w jednym wątku tutaj, tym o silnikach sklepowych.

Ale jak ktoś chętny do skoordynowania budowy lepszego top100 - to zgłaszam się chętnie do takiej ekipy  Pewnie jednak każdy dość zajęty swoimi tematami, a zadanie wcale nie jest trywialne, bo trzy strony wątku a "produktu" jeszcze nie ma. 

[Kapitan_Bomba]

Pewnie Twoje pytanie to taki tylko pretekst, żeby zrewanżować się za posty sprzed paru dni (oj Ty dyżurny śmieszku forum, hehe), ale odpowiem Projekt był z mojej strony rozpoczęty w momencie "upadku" WHT, ale jak zobaczyłem, że tutaj zebrała się grupa ludzi, która zrobi to lepiej, to odpuściłem temat. Moim skromnym zdaniem nie powinna tego robić żadna firma hostingowa (szczególnie taka, która np. planuje wzrost wydatków na marketing o 1 mln zł), w ostateczności żeby było ich kilka (bo jednak ciężko jest znaleźć ludzi z całkowicie czystą kartą), aby pole do naciągnięć liczb było jak najmniejsze. Dlatego zmartwiło mnie, że temat umarł.

[smarthost]

Powiem - tak - ja też o tym myślałem. Mam zaplecze programistów. Jedynie kłopot jest jak dla mnie z zebraniem domen. Niemniej ja też chętnie bym pogadał z kimś, kto by chciał to nadal robić

 

Wojtek

[sylver74]

Ja zrobiłem sobie coś takiego, na samym początku "śmierci" WHT, ale uważam, że niestety wyniki są nie miarodajne. pozostaje tu kilka kwestii.
Rozumiem że ranking, który właściwie nie jest żadnym miarodajnym wykładnikiem "jakości" usług , poza ilością zarejestrowanych domen jedynie dobrze wygląda on marketingowo. Z moich wyników wyszło, że nigdy 100% wyników się nie uzyska.

[Kapitan_Bomba]

Cytuj

Z moich wyników wyszło, że nigdy 100% wyników się nie uzyska.

Jeśli chodzi o liczbę domen, to oczywiste że do 100% się nie zbliżysz. Natomiast procentowy udział rynku przy kilkudziesięciu milionach zebranych domen (zakładamy, że nie będą to tylko peelki) będzie już miał bardzo wysoką dokładność. No i cały czas zakładamy, że nikt nie majstruje przy wynikach, że ot z dnia na dzień pojawia się komuś 200 tys. domen

[smarthost]

9 minut temu, Kapitan_Bomba napisał:

Jeśli chodzi o liczbę domen, to oczywiste że do 100% się nie zbliżysz. Natomiast procentowy udział rynku przy kilkudziesięciu milionach zebranych domen (zakładamy, że nie będą to tylko peelki) będzie już miał bardzo wysoką dokładność. No i cały czas zakładamy, że nikt nie majstruje przy wynikach, że ot z dnia na dzień pojawia się komuś 200 tys. domen

 

Też zauważyłeś wczoraj na nazwa.pl  ?

 

Wojtek

[Kapitan_Bomba]

Bardziej miałem na myśli sam moment przejęcia forum, ale w ostatnich dniach updaty były i chociaż dotyczyły faktycznie większości firm, to duże wzrosty zaliczyła przede wszystkim jedna firma

[oui]

@samu zaczął pisać już aplikację django. Jeżeli nie ma nic przeciwko, osoby które są chętne dołączyć do projektu proszę o kontakt na kanale #top100  w discordzie. 

[theqkash]

... czekajcie cierpliwie ;-) 

[theqkash]

Program do zbierania rekordów NS został napisany i działa całkiem wydajnie.

W tej chwili budujemy listę domen .pl ("wysokiego poziomu" oraz domenyfunkcjonalne/regionalne). Chcemy zbliżyć się jak najbardziej do liczby aktywnych domen, która widnieje na stronie NASKu https://www.dns.pl/zonestats.html . Zależy nam aby firmy, które nie dostarczą listy domen, nie były poszkodowane. 

Na tą chwilę w naszej bazie widnieje ponad 2 mln rekordów domen, z czego trochę ponad 1,7 mln ma skonfigurowane rekordy NS. Zostaje również powolutku budowana lista providerów wraz z ich nazwami serwerów NS.

W najbliższym czasie jest planowane wystartowanie z pracami nad frontendem

Firmy, które chciałyby wyrazić chęć udostępniania listy domen, prosimy o kontakt z administracją. Pozwoli to budować jeszcze bardziej precyzyjne zestawienia.

W tym miejscu chciałbym serdecznie podziękować za pracę nad tym narzędziem @mrViperoo @samu @szarik oraz wszystkim, którzy w mniejszym lub większym stopniu przyczynili się do budowy tego narzędzia. 

[Obrońca Internetu]

Przydało by się na pewno  

[oui]

Hej,

 

Dzisiaj będę przepinał obecną topkę na nowy "silnik", niestety parę funkcjonalności nie zostało przepisanych (wyszukiwarka, filtrowanie po tagach) jeszcze. Chcemy przeprojektować niektóre rzeczy i przygotować topkę pod różne rankingi (nie tylko ranking po serwerach DNS) oraz dodać wparcie do dodawania np. cenników.

 

Dziękuje wszystkim, którzy dodawali domeny, @samu za napisanie pierwszej wersji silniku topki, który działał po dzień dzisiejszy i zapraszam wszystkich do feedbacku