Dyski NVMe, a RAID

[mcbarlo]

Spotkalem się z wieloma opiniami, że dysków opartych na protokole NVMe nie powinno się używać w jakich kolwiek mirrorach gdyż degraduje to ich wydajność co też potwierdzają niektóre testy. Chodzi głównie o to, że sloty PCI-E współdzielą jedną magistralę.

 

Ponadto jeśli dysk jest w postaci karty i tak ciężko zapewnić hot-swap, więc lepiej w razie padu odzyskiwać system z kopii. Nie powiem - dość odważna hipoteza.

 

Trzecim powodem jest to, że podobno te dyski są nie do zajechania, mają wewnętrzne algorytmy replikacji. Tylko co jak trafi nam się wadliwa sztuka?

 

Czy macie jakieś praktyczne doświadczenia związane z RAID-em na tego typu dyskach?

[bybunny]

Nie testowałem jeszcze ale przymierzam się do poskładania serwera z wykorzystaniem nvme, we wtorek będę rozmawiał w tej sprawie z HP. na początek przeczytaj jako ciekawostka (EN): 

https://community.spiceworks.com/topic/1764787-how-are-people-using-nvme-in-servers

Zależy mi na czymś naprawdę szybkim i niezawodnym pod pewien projekt więc może nvme okaże się wybawieniem dla mnie.  

[sebak]

@mcbarlo nvme jest tak naprawdę protokołem komunikacyjnym, tak jak AHCI. Dyski takie mogą być w formacie PCIe, M.2, U.2(SFF- 8639). O ile PCIe, czy M.2 nie wymienisz w locie, to dyski U.2 są już w pełni do tego przystosowane.

 

PS: Pamiętam jeszcze kilka lat temu, że prawie wszystkie dyski PCIe były w standardzie AHCI. Na Karcie miałeś 4 dyski, połączone RAID 0 ;-).

 

Moim zdaniem, problem z nvme nie jest na poziomie RAID'u, ale ograniczenia obsługiwanych linii PCIe przez platformę. Taka platforma pod Xeon E3 obsługuje tylko PCIe 16x, natomiast każdy dysk PCIe zajmuje 4 linie. Łatwo tutaj policzyć, że przy RAID 10 z 4 dysków wykorzystujemy już pełną przepustowość PCIe. A do tego procesora musi być podłączona jeszcze grafika, sieć, usb itp. Trzeba więc dość dobrze zaplanować dobór odpowiedniej platformy pod wiele dysków PCIe ;-).

 

Dysk SSD PCIe, nie różną się aż tak bardzo jak dyski SATA SSD. Jedne i drugie korzystają z podobnych kości pamięci i posiadają podobne konstrukcje, główną różnicą jest zastosowany kontroler. Wiec jeśli kupisz tani dysk PCIe, to będzie można go łatwo zajechać, podobnie jak w przypadku dysków SATA. Jeśli kupisz dysk PCIe enterprise, to jeśli nie będzie wady fabrycznej to taki dysk jest praktycznie nie do zajechania. Tutaj wszystko tak naprawdę zależy od obciążenia i przeznaczenia. Jeśli robisz 10TB zapisu rocznie, to bez sensu kupować dysk który wytrzyma 10 PB zapisu ;-).

 

Dyski SSD PCIe stosuję od około 2-3 lat, zarówno w RAID jak i bez.

[mcbarlo]

Obecnie mam jeden taki dysk jako cache i wyniki ma bardzo dobre. Raczej nie potrzebuję tych dysków instalować w serwerze więcej niż dwóch, maksymalnie czterech, więc przepustowość szyny PCIe nie ma takiego znaczynia. Tym bardziej, że w sumie tylko stosuje serwery z E5, bo E3 zwyczajnie są w stosunku do nich za drogie.

 

O U.2 wiem, ale ile jest serwerów, który ma taki backplane w stosunku do serwerów mających sloty PCIe?

 

W ostateczności można zrobić replikację ZFS na inny serwer i zaopatrzyć je w pojedyncze dyski.

[gb1]

Dyski dostępne po NVMe można jak najbardziej łączyć w różnego rodzaju kombinacje z wykorzystaniem raid, to jest storage jak każdy inny. 

 

W kwestii magistrali PCIe to wszystko zależy od budowy fizycznej sprzętu, w szczególności płyty oraz procesora. Ogólnie jeśli dobrze przemyślane rozwiązanie to nie ma żadnych wąskich gardeł. 

 

Czy korzystać z więcej aniżeli jednej sztuki NVMe zależy wyłącznie od tego jakie dane przechowujemy na tych zasobach dyskowych. Jeśli istotne to należy je zabezpieczyć przez raid, ponieważ hot swap tutaj nie jest istotny tylko ochrona danych. W przypadku awarii jednego z nośników, możesz dokonać migracji "live" zasobów dyskowych na inny fizyczny host, po czym wyłączyć i dokonać naprawy.

 

Co do "zajechania" nośników po NVMe to zwykle są to nośniki na bazie nand, a one mają ograniczoną swoją żywotność.