[SONDAGE] ZFS / ZIL / Type SSD

TheMartel
Messages : 7550
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par TheMartel »

La perte est donc potentiellement 5s d'écriture de données, ça dépend ce que l'on est près à perdre.
Même si je le voit plus en réglage à 10/30s pour avoir un véritable intérêt. C'est vrai que c'est plus risqué que le ssd. Mais je pars du principe que si ma Ram plante, je perd la machine quoi qu'il arrive, ou bien, pire, j'écris des données corrompues sur les disques: donc le risque est présent en sdd. Avec une vrai machine (onduler au moins, double alimentation redondees en pro) les risque des plantages hard peuvent être ramenés aujourd'hui aux risques de plantage disque...
Mais tu as raison, c'est pour ça que selon moi un ramdisk est envisageable sur du 24go de ram (20*4gbit=80gbit=10go).
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

[SONDAGE] ZFS / ZIL / Type SSD

Message par poulpito »

sachant en plus que tu as des bécanes qui gèrent bien mieux la perte de ram que d'autres ^^ non je fais pas de pub pour ibm mais faut admettre que vu le vent de poweronlinux + la récupération / déconfiguration dynamique des dimms mémoire + mirroring de la zone mémoire de l'hyperviseur
avant de crasher à cause de la mémoire tu peux y aller !

mais même sur des bécanes classiques avec l'ecc très efficaces tu aura plein de warning avant qu'un chip entier de ta dimm soit en rad
il reste que la coupure secteur et la comme dit them un onduleur et ca fait le job -et surtout ca coupe la machine au moindre signe au pire -

plus de chance de crasher par panne d'alim / disque / contrôleur
que par une panne dimm / secteur pour le coup
TheMartel
Messages : 7550
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par TheMartel »

Le rapport perf/prix reste vraiment excellent, et pour certaines situations extrêmes la seule manière d'augmenter encore un peu les perfs (dans ces cas là en effet, on est sur du mirroring ram, souvent avec remplacement des barrettes à chaud, voire de l'AECC, enfin de la très grosse machine).

Mes réflexions sont purement théoriques, et je pense que tu as beaucoup plus de connaissances que moi là dessus. Je suis bien plus orienté hardware de mon coté. je me contente ici juste de souligner la possibilité, et le fait que la perte de fiabilité n'est pas forcement aussi importante que l'on peut croire.


En tout cas ça fait plaisir de voir de nouveaux membres un peu calés venir, j'espère qu'on aura le plaisir de te croiser souvent.
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

[SONDAGE] ZFS / ZIL / Type SSD

Message par poulpito »

ouaip tout pareil :D

Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

[SONDAGE] ZFS / ZIL / Type SSD

Message par poulpito »

oui mais ici tu sais on fait pas dans les conf $$$$ (au boulot pour certains d'entre nous si )

donc augmenter des perfs pour du privé ^^ ça reste envisageable
surtout pour se faire plaisir ! :D

et oui zfs c'est pas mal :D mais y'a pas grand monde qui l'utilisait y'a encore quelques années :lol:
sur smp-fr en tout cas
TheMartel
Messages : 7550
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par TheMartel »

les cartes pciex restent TRES à la trainent par rapport au ramdisk...
Moimemeici
Messages : 454
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Moimemeici »

(heu je suis un converti en attendant BTRFS :x)

question: j'ai 20go de ram pour mon filer a combien dois je limiter Sys_zfs_arc_max ?
mosie
Messages : 3024
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par mosie »

'''- la formule pour la taille du ZIL de 1/2 la RAM je ne vois pas l’intérêt ? le ZIL sert uniquement de tampon pour les écritures synchrone afin d'accélérer l'acquittement (c'est pourquoi ZIL sur du SSD c'est mieux, sinon aucun intêret), et ces données sont ensuite écrites sur les disques à plateaux beaucoup plus lents. Sachant que ZFS commit les données toutes les 5 sec par défaut, la formule c'est plutôt : débit max d'entrée des data par seconde * 5. Dans le cas d'un pipe en 1G, ça fait en théorie 120*5 = 600Mo, et encore il faut que se soit du full sync. (async = no ZIL). Perso pour une pipe de 2Gb je met 8Go pour être vraiment *large*, mais bon ... '''
Atention, spa si simple, un peut la fléme de rentré dans le détail apré 11H de bus ... mais entre les debit max réel, la latence en E/S et les temps de monté en débit un caching ram des E/S plus un acces temps réel des data on ram j'ai zapé le therme thechnique du truc ... c'est quand meme un gros plus, quand on peut ce le permétre .

Comme j'ai dit plus haut coter perf/prix le top reste un backup régulier re la ram sur SSD en écrasement de l'ancienne image.
""Sachant que ZFS commit les données toutes les 5 sec par défaut"" Pour ma MAJ zill oui, pas pour les E/S en cours.
''iSCSI : c'est l'application qui écris qui défini si sync ou async, la demande doit *normalement* être honorer par toute la chaine de stockage jusqu’au disque lui même. (les HDD ont eux aussi du cache ..) ''
Oui c'est pas faux, mais tu profite quand meme d'une acceleration gérérale avec ZIL et L2Arc on ram, faudrai que je me replonge dans la doc ZFS pour mieux argumenté le truc, la fléme.

Coté sécu, bah je me répéte de backup du ZIL on ram sur SSD, apré le mirroring voir AECC ou techno proprio de save/rescu ram oui mais apré les cout sont plus les méme.
""oui mais ici tu sais on fait pas dans les conf $$$$ ""
heuu ;)
""PCIE, genre 100k iops *en random 4k* ... =>""
http://smpfr.mesdiscussions.net/smpfr/H ... 1690_1.htm
:D

Par contre mes futur 4 controleur SAS12 saturé en BP par SSD sas12 aussi avec raid0 hard plus raid0 soft des 4 volume, la a la rigeur, et encore ... avant de poutré de la ram ca va etre dur.
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

[SONDAGE] ZFS / ZIL / Type SSD

Message par poulpito »

mosie pour les conf $$$$$ je parlais en général :D
t'es pas la seule exception :D
mosie
Messages : 3024
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par mosie »

hihi, apré le probleme est toujours le meme, en milieux pro, le build d'archi @made reste maleuresement rare ;(
guigux
Messages : 568
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par guigux »

"""""""7. Je n'utiliserais pas de SSD pour ce genre de config autant donner du caviar à Mosie""""""""""
mosie a 67% de vote , hé ben ! :lol:
guigux
Messages : 568
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par guigux »

mosie aux europeenes !
mosie
Messages : 3024
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par mosie »

''Il n'y a rien de personnel croit moi""
NP, on debat juste , s'tout, est c'est cool de tomber sur QQ qui gére aussi. ;)

Quand je parle de backup du ZIL on ram sur SSD, je parle plus d'un system de mirroring sur SSD, tes ES sont géré en simultané sur RAM ET SSD mais volule rame et privilégier dans les E/S si cach ram; resto en ram avant reprise des E/S.
Meme si c'est diferant j'utilise deja ce system pour mon volume principale de stockage pur, en NTFS, je fait du caching ram ''selectif" pas un simple bufer, avec backup des data cacher sur SSD. quand reboot ou crach, restau de ces data on ram.
Vu que le chois de ces data cacher et fait a partir d un lago qui prend en compte l'usage, la taile et le temps. c'a a un intéré de les cacher et resto a chaque boot.

Faut en effet que je me replonge aussi la-dedant pour argumenté sur le sync/asyn, me rappelle plus trop du truc mais pas evident en voyage, ...

""Keep It Simple and Stupid. ""
and uneficient :na:
""Idem pour L2ARC on RAM, ça ne sert à rien puisque que sans L2ARC, le ARC par défaut de ZFS utilise déjà la RAM pour mettre en cache. ''
Pas dutout le meme principe de mise en cach, en ZFS par defaut c'est plus un simple bufering béte des E/S .... faut prendre en compte quel type de data/metadata sont foutu en cash ... arf je repondrais plus en detail ,plus tard sur ce point aussi.
''RAID 0 hard + raid 0 soft, où est l’Intérêt ?''
Raid O soft te permet de cumulé la BP saturé des 4 controleur, t'inquiéte chaque proc gére 56GB cumulé sur les PCIE. Donc 4 controleur pour 1 proc ... est au pire 2 controleur par proc (curieux de voir l'influance sur la latence) ...

Un controleur raid sas 12 fait du 1.8GB réel en BP MAX donc en gros j'aurai ca X4-un ti % ...
la BP réel max sera telement enorme que la monté en débit sera rapide, donc IOPS réel sur ti fichier devrais pas etre trop degeux, enplus avec le bufer des controleur en + ...
+ mon archi de caching ram spé NTFS pour ce volume ...
Coté usage PROC je pense que géré un raid logique de 6.x GB réel ne devrais pas telement posé probleme a ma tite paire de 2690 V2.


$note interessante: (je prend des LSI, j'atend pas areca, car sur les controleur RAID LSI ils n'utilise pas de chip d'xpention de port, donc moin de latence).
Atention, pas mal de controleur SAS 12 sont sorite MAIS peut de model gére le raid.

''tu sais que un bus PCI-E 4.0''
3.0 et 4 existe pas encore :(

Coter BP PCIE, meme en 2.0 avant de saturé un 8X donc 8X 512MB ... meme dans mon cas, avec 1.8GB réel par controleur j'en suis loin.

Pourquoi 4 cpu ? 1 peut sufire dans cette archi, comme dit plus haut.

Ma CM SM a l avantage d avoir 10 pcie 8X géré direct par proc, et pas multiplexer par PLX ou autre, donc coter latence j'ai encore un ti gain.
" 4 cartes 12G sachant qu'une carte 12G sas peut gérer déjà 4/6 SSD"
Ben pour avoir une plus grosse BP. :sol: Le chip sas 12 ''j'ai zaper le nom de model'" de chez LSI peut nativement géré un max de 8 SSD sans recourt a des chip de multiplexage.

""Je vais être un peu rude, mais sérieux faut vraiment arrêter de raconter que des conneries ... ""

La tu y va un peut fort, ca deviendrais personnel ?





Pas de correcteur d'orto a porté donc désoler; oui j'ecris comme un pied et avec plein d'abreviation a la con ...

$j'écris d'un station de train a Dali, j'atend ce putain de train depuis deja 3H arggggg connerie de samedi sans train.
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

[SONDAGE] ZFS / ZIL / Type SSD

Message par poulpito »

\o/ profite mosie :)
TheMartel
Messages : 7550
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par TheMartel »

Aux dernières interrogations concernant mosie, oui il a tout ca... les ssd c'est plus par grappe de 12/18 qu'il les utilise.
Actuellement son système est à base de iram et equivalent.
Niveau config, c'est toujours de la dernière génération (sa cm actuelle est une SM avec 11 ports pciex 8x). Cà doit être une des seules personne à être limité en nombre de gpu par la limite bios...
Et il a une petit quad cpu dell aussi...
Clairement chez lui c'est pas le cpu qui va limiter...

Pour le reste, je ne suis pas totalement d'accord avec toi. Je pense que tu n'as pas forcément conscience de l'énorme limitation des ssd et hdd que l'on a actuellement. Et du bon monstrueux de performance avec les data en ram. La réflexion ici est plus tournée vers cela, avec en plus la problématique de la fiabilité plus ou moins grande des ssd, et leur prix supérieur au prix de la ram sir les ssd vraiment intéressants pour notre utilisation.

Bon la duplication du cache vers le ssd je vois pas trop l'intérêt non plus... j'ai un problème avec ta présentation d'écriture simultanée ram/slog, si je comprend bien il n'y aurai strictement aucun intérêt à utiliser la ram: il me paraît bizarre que du matos soit utilisé en pure perte... si on doit écrire en même temps sur a ram et sur le ssd. et que les écritures ssd doivent être entièrement terminées pour que le.reste continue, la ram est useless. A part bouffer du cpu ça sert à rien...
TheMartel
Messages : 7550
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par TheMartel »

Tin comment j'ai été cramé :D
mosie
Messages : 3024
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par mosie »

Vi j'ai amélioré l'explication coter bacup du zil on SSD,

Mais j'expliquerait précsement comme cela marche on ZFF.

Car en ZFS selon a quel stade et ou sont les data, l'etat des data n'est pas le meme c'a complique pas mal les explication ...


Heu je MAJ de temps en temp mon post, comme d'ab quoi ;D
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

(Mystérieuse X camouflée? ^^)

en tout cas intéressant!
Répondre