mcbarlo

W Cephie przy randomach jest niewielki spadek wydajności, ale to pewnie zależy też od ilości placement groups. Jeśli chodzi o iopsy to realnie wyciągnąlem około 10k choć nie prowadziłem testów w celu uzyskania największego stresu pod tym kątem.

Obecnie mam jeden taki dysk jako cache i wyniki ma bardzo dobre. Raczej nie potrzebuję tych dysków instalować w serwerze więcej niż dwóch, maksymalnie czterech, więc przepustowość szyny PCIe nie ma takiego znaczynia. Tym bardziej, że w sumie tylko stosuje serwery z E5, bo E3 zwyczajnie są w stosunku do nich za drogie. O U.2 wiem, ale ile jest serwerów, który ma taki backplane w stosunku do serwerów mających sloty PCIe? W ostateczności można zrobić replikację ZFS na inny serwer i zaopatrzyć je w pojedyncze dyski.

Dodam, że dyski talerzowe też nie stoją w miejscu i są coraz sztybsze. Budowaliśmy ostatnio klaster Ceph z 27 dysków HGST He10 i wydajność jest naprawdę dobra. Akurat jego funkcja jest taka, że potrzeba było wiele miejsca i relatywnie szybkiego odczytu sekwencyjnego (osiąga 1.7 GB/s), a zapis nie ma większego znaczenia.

Spotkalem się z wieloma opiniami, że dysków opartych na protokole NVMe nie powinno się używać w jakich kolwiek mirrorach gdyż degraduje to ich wydajność co też potwierdzają niektóre testy. Chodzi głównie o to, że sloty PCI-E współdzielą jedną magistralę. Ponadto jeśli dysk jest w postaci karty i tak ciężko zapewnić hot-swap, więc lepiej w razie padu odzyskiwać system z kopii. Nie powiem - dość odważna hipoteza. Trzecim powodem jest to, że podobno te dyski są nie do zajechania, mają wewnętrzne algorytmy replikacji. Tylko co jak trafi nam się wadliwa sztuka? Czy macie jakieś praktyczne doświadczenia związane z RAID-em na tego typu dyskach?

Różnica jest mniej więcej taka jak w zwykłym komputerze, czyli ogromna. Nie wyobrażam sobie już maszyn pod serwery www bez dysków SSD.