Jakie konkretnie dyski SSD do serwerów?

[Adam Szendzielorz]

No dobrze, nikt nie napisał jakie macie TBW, bo to przecież mimo wszystko podstawa w szacowaniu długości życia?

 

U mnie na maszynach z hostingiem współdzielonym średnio mam 10 TBW / rok.

Samsungi 850 evo 500/1000GB mają gwarantowane 150 TBW, a Samsungi 850 pro - 300 TBW.  Wymiana przy połowie TBW czyli u nas średnio po 7/14 latach.  Po 14 latach to te dyski już pójdą prosto na złom, chyba, że będą miały jakąś wartość historyczną

[sebak]

@Adam Szendzielorz pełna zgoda, dyski dobiera się pod planowane obciążenie i również uważam, że nie ma nic złego w stosowaniu optymalnego dysku do planowanego obciążenia.

 

Ja niestety często generuje duże obciążenia na poziomie 50-250 TB zapisu na dysk 1 TB rocznie, ale to zasługa głównie charakterystyki usługi jaką jest serwer VPS.

[Tomek]

@Adam Szendzielorz

 

10TBW? Ładnie, wydaje mi się dość mało. Ja na 850 PRO i samych bazach danych mam średnio 15-20 TBW rocznie. Fakt faktem - licząc sobie według danych producenta bałbym się tyle trzymać dyski w serwerach. 

[Adam Szendzielorz]

Teraz, Tomek napisał:

@Adam Szendzielorz

 

10TBW? Ładnie, wydaje mi się dość mało. Ja na 850 PRO i samych bazach danych mam średnio 15-20 TBW rocznie. Fakt faktem - licząc sobie według danych producenta bałbym się tyle trzymać dyski w serwerach. 

 

Wiesz, to jest rozłożone na 8 dysków (faktycznie na 4, bo to RAID10 z 8 dysków), więc wychodzi fizycznie mniej per dysk :-)

[sebak]

Hej, jak podajecie endurance, to podajcie też powierzchnie na jaką się to rozkłada.

[Adam Szendzielorz]

1 minutę temu, sebak napisał:

Hej, jak podajecie endurance, to podajcie też powierzchnie na jaką się to rozkłada.

 

U mnie standard to 8 x 500GB RAID10 lub 4 x 1TB RAID10

[Tomek]

@sebak

Byłem pewny, że napisałem..  RAID 1 z 500GB

 

@Adam Szendzielorz

Fakt, więcej dysków daje mniejsze użycie per dysk, aczkolwiek i tak wydawało mi się że będzie tego więcej.

[Adam Szendzielorz]

20 godzin temu, sebak napisał:

Ja powiem tylko tyle, że mam bardzo negatywne doświadczenie z samsungami 850 PRO. Są to jedyne dyski, które mi fizycznie padły. Co prawda po wyjęciu już z serwerów, ale jednak. Endurace który te dyski wytrzymywały, niewiele przekraczał ten na który była przewidziana gwarancja. Był to jedyny model który miałem i zdecydowałem się na całkowite zastąpienie go innymi rozwiązaniami.

 

Jeszcze mnie naszło pytanie -> czy w tym 850 pro używałeś może trima w linuxie z kernelem poniżej 4.0.5? I jak miałeś ten dysk podpięty - za jakimś HW RAIDem, czy bezpośrednio?

[chmiel0ne]

20 godzin temu, sebak napisał:

Dyski Samsung 850, które mi padły zawsze zachowywały się podobnie. Były zupełnie nie widoczne przez serwer/komputer. Więc wydaje mi się że odzyskanie danych z nich mogły by być problematyczne ;-).

 

Padają po to zeby paść.

Można zrobić upgrade firmware przez hotswap i wówczas magicznie ożywały. 

 

 

[sebak]

@Adam Szendzielorz to były stare czasy, około 3-4 lata temu. Wtedy działało to via hw RAID 10, ext4 (bez trim’a), kernel 2.6.32. Nie twierdze, że była to optymalna konfiguracja dla dysków SSD, ale przy analogicznych warunkach Crucial m550 nie stwarzał takich problemów. Wydajnościowe samsung wygrywał, jeśli chodzi o żywotność, Crucial. Ale jak pisałem wyżej, moje dyski SSD raczej dostają w kość jeśli chodzi o zapis.

[Adam Szendzielorz]

3 godziny temu, sebak napisał:

@Adam Szendzielorz to były stare czasy, około 3-4 lata temu. Wtedy działało to via hw RAID 10, ext4 (bez trim’a), kernel 2.6.32. Nie twierdze, że była to optymalna konfiguracja dla dysków SSD, ale przy analogicznych warunkach Crucial m550 nie stwarzał takich problemów. Wydajnościowe samsung wygrywał, jeśli chodzi o żywotność, Crucial. Ale jak pisałem wyżej, moje dyski SSD raczej dostają w kość jeśli chodzi o zapis.

 

Samsungi radzą sobie całkiem nieźle nawet bez trima - mają dobry wewnętrzny "garbage collection". A powiedz mi - możesz wyciągnąć ze SMARTa wartości 177 Wear_Leveling_Count i 241 Total_LBAs_Written dla jakichś Twoich dysków?

 

Mamy w sumie kilkadziesiąt maszyn - część śmiga na ext4, część (większa) na ZFSie. Większość hw RAID10 "kontrolerowy".  Przy identycznych konfiguracjach i zajętościach dysków - maszyny z ZFSem mają znacznie gorszy parametr WL przy niższym TLW. Spotkałeś się z czymś takim?  Np. mam dwie identyczne maszyny, dwa identyczne kontrolery, konfiguracja, dyski. Na jednym /home jest na ZFS, na drugim /home jest ext4. Podobna ilość przepracowanych godzin i zapisanych TLW, a wear leveling ten na ZFSie ma dużo gorszy (np. ma 30% VS 70%).

 

Mam też np. 850 EVO który ma Wear Leveling = RAW VALUE 3023 (VALUE 1%) i wszystko działa bez najmniejszego problemu - 0 zużytych bloków zapasowych, żadnych błedów w odczycie etc. A przecież to jest TLC, który powinien wytrzymać ~1000 cykli P/E. Pracujemy nad tym obecnie, osobiście narazie nie mam żadnego pomysłu o co chodzi 

[sebak]

Wartości o których mówiłem poprzednio wyciągam właśnie z wartości smart, w zależności od dysków parametry 225, 241, 246.

 

Przykład dla jednego z storage, w załączniku, oraz czysty smart dla dyski da0 z tego storage. Obecnie na żadnym serwerze nie posiadam już hw.

 

Nigdy nie analizowałem tego, ze względu na fakt, że ZFS'a używam dla innej wirtualizacji niż ext4. Wszystkie OpenVZ mam na ext4, wszystkie KVM'y na ZFS'ie.

KVM'y stoją też częściowo na innych dyskach niż OpenVZ(KVM wszedł do oferty 1,5 roku temu).

 

Wcześniej pisałem, że wiele rzeczy może mieć wpływ na zużycie dysku. EXT4 na ZFS to nadal COW (copy on write), czyli zapis następuje na wolnej przestrzeni. Podczas gdy EXT4 modyfikuje dane na dysku. Pewnie to wpływa na różnice WL. Ewentualnie mam jeszcze jeden trop, ZFS na linuksie nie wspiera TRIM.

[Adam Szendzielorz]

12 godzin temu, sebak napisał:

Wcześniej pisałem, że wiele rzeczy może mieć wpływ na zużycie dysku. EXT4 na ZFS to nadal COW (copy on write), czyli zapis następuje na wolnej przestrzeni. Podczas gdy EXT4 modyfikuje dane na dysku. Pewnie to wpływa na różnice WL. Ewentualnie mam jeszcze jeden trop, ZFS na linuksie nie wspiera TRIM.

 

Akurat obie te maszyny działają bez TRIMa, bo są za kontrolerem RAIDowym bez obsługi TRIMa. Niemniej jak pisałem - akurat w samsungach wewnętrzny GC radzi sobie bardzo dobrze nawet bez tego.  Tak czy inaczej - ZFS on Linux rzeczywiście TRIMa w ogóle nie wspiera - są przymiarki, są póki co nieoficjalne łaty ale narazie to wszystko jest w powijakach

[sebak]

U mnie na hw, dyski dużo szybciej się zużywały niż w trybie jbod. Jeśli robisz małe obciążenie, to ma małe znaczenie czy stosujesz hw czy jbod, oraz jakich dysków używasz.

 

Zfs on Linux trima nie wspiera, ale posiada różne zmienne konfiguracyjne których nie posiada freebsd. Freebsd z kolei posiada funkcje których nie posiada solaris i tak natywny ZFS posiada ich najmniej.

Edytowane 28 Września 2017 przez sebak

[Marekxbx]

Poruszyliście ciekawy temat. Na zużywane dysków SSD ma wiele czynników zaczynając od systemu plików i nawet atrybutów montowania, oraz wielu dodatkowych ustawień po stronie systemu oraz samego tryb zastosowania. Odpowiedni kontroler sprzętowy oczywiście potrafi oszczędzać jeszcze takie dyski jednak tutaj dla wielu kontrolerów musi być dodatkowa licencja czy też odpowiednie ustawienia aby fastpath i/o był aktywny.

 

Jak pokazuje Intel czy Samsung nawet nie serwerowych potrafią wytrzymać dużo intensywnego zapisu i odczytu ponad gwarantowane TBw. Dużym minusem jest to, że te dyski nawet jak nie wykazują problemów jak 850 PRO potrafią po przekroczeniu kilku razy gwarantowanego TBW same z siebie po restarcie się już nie pokazać  Na zagranicznych forach wiele takich przypadków było opisywanych i sam też miałem 2 razy taką sytuację przy PRO (może to być coś ukrytego w firmware), jednak w takiej sytuacji samsung bez problemu wymienia dyski na nowe, mimo przekroczenia TBW. 

 

Przy SM, PM czy nawet SV nie ma takich problemów nawet w skrajnych sytuacjach i warunkach. 

Kiedyś ekspert z Kingstona wypowiadał się na temat TBW, że jest to czynnik gwarantowany  a od warunków pracy i zastosowania taki dysk może nawet kilkanaście razy przekroczyć TBW.

[chmiel0ne]

W dniu 12.10.2017 o 16:38, Marekxbx napisał:

TBW same z siebie po restarcie się już nie pokazać

 

A to jest IMO planowane postarzanie produktu przez samsunga, 

gdyż metodą aktualizacji firmware via hotswap (na czas weryfikacji wrzucasz sprawny dysk, potem podmieniasz) udało mi się kilka takich zdechłych samsungów odzyskać.

 

Samsung nie robi problemów z wymianą dysków, chyba nikt nie robi bo drożej jest zatrudnić technika / soft który to będzie weryfikował niż wymienić dyski.

 

840stek, 850tek pro przewijają mi się setki przez ręce ;-)

[Marekxbx]

Czyli blokada, mechanizm w firmware się potwierdza bo zapewne kości zniosą więcej czy też osiągały nawet wartości jakie są dla SM.

[gb1]

7 godzin temu, Marekxbx napisał:

czy też osiągały nawet wartości jakie są dla SM.

 

Tutaj bym nie był tak optymistycznie nastawiony ponieważ oba modele mają zupełnie inny "overprovisioning" nandu który wpływa na "endurance" oraz wydajność (performance).

[Marekxbx]

gb1 zaznaczyłem pamięci, wiadomo, że pozostałe wartości mają wpływ co podkreślają w wersjach typowo sm, pm. Sama pamięci o ile nie jest identyczna to jest bardzo podobna montowana .

Ciekawie jest też w modelach Intela gdzie różnica na technologii jak np. HET między seriami podwyższa trwałość.

 

 

 

[sebak]

@Marekxbx pamięci NAND mimo że takie same, mogą się trochę różnić. W zależności od rozłożenia na waflu krzemowym, pamięci NAND mogą się charakteryzować trochę inną żywotnością. Myślę, że takie firmy jak Samsung, potrafią je wyłuskać i pewnie stosują je w modelach enterprise. Dodatkowo overprovisioning i mamy różnicę w cenach i endurance.

[gb1]

@marekxbx jeśli masz na myśli PM863 oraz SM863 to zupełnie inny nand w nich siedzi, w PM jest to TLC, natomiast jak przystało na SM jest to MLC. 

[Marekxbx]

gb1 PM a SM to całkiem inne pamięci i co za tym idzie zastosowanie dla nich, odnosiłem się do 850 PRO a SM. 

 

Sebak myślę, że technologia danych pamięci jak podają np. Samsung 32-layer MLC V-NAND to czy użyte do PRO850 czy do SM863 są takie same a różnica już powstaje na ich osadzeniu czy też dalszych elementach całego dysku i to właśnie przesądza o stosowaniu dysków do DC.

 

 

 

 

[sebak]

Pamięci mogą i pewnie są te same. Jednak pamięci NAND podobnie jak procesory tworzone są z wafli krzemowych. A to podobnie jak w procesorach, oznacza że w każdym waflu są produkty o lekko różnej charakterystyce. Producenci procesorów testują rdzenie i te lepsze wrzucają do wyższych modeli. Myślę że podobnie jest w przypadku NAND.

[Marekxbx]

Myślę, że zaraz z tematem zboczymy do pierwiastków jakie są wykorzystywane  

Producenci dają TBW jakie jest założone do danej technologii. Można tak wiele różnic się doszukiwać jak fakt, że np. na mimo tych samych modeli to tworzone są w Korei oraz Chinach. Czy to rzutuje na trwałość danego dysku mimo tego samego modelu? Cieżko odpowiedzieć wiele pierwiastków przecież tylko Chiny dostarczają do produkcji dysków. 

 

 

[gb1]

@Marekxbx w przypadku obu wymienionych przez Ciebie to technologia ta sama, jednak nand różny, w 850 pro w zależności od pojemności także masz inny nand. Jednak co tutaj jest istotne to zupełnie inne klasy kontrolerów nand w obu wymienionych seriach. Także dla samego 850 pro masz różne także w zależności od pojemności. Jednak najbardziej istotny element to jak wspomniałem wcześniej overprovisioning co przekłada się na endurance. 

 

Nawet pomijając kwestie performance i realne osiągi 850pro po preconditioningu to mnożąc enudrance przez trzy nadal mamy poniżej 1PB, trochę mało (choć punkt widzenia zależy od punktu siedzenia).

Tak na marginesie to dla obu modeli już sam interfejs sata jest dużym ograniczeniem na początku, ale klienci kupują to producenci produkują :-)