[SONDAGE] ZFS / ZIL / Type SSD

Avatar de l’utilisateur
Zedoune
Messages : 15343
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

Tout ceci ne répond pas à la question : si ça réagit comme du iscsi en sync ou smb en async...
De quoi vers quoi ?
Quelle version de osx ?
Connecté à un volume en smb:// ou afp:// ?

T'as testé en NFS aussi ?

Maverick truc je sais plus le nom exact :) le volume connecté en afp:// pour le AFP... :P

Le NFS j'ai pas testé puisque je ne l'active pas sur le NAS vu qu'on peut pas mettre d'identification
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Tu peux me montrer un "zpool get all" + "zfs get all" ?
NAME    PROPERTY               VALUE                                     SOURCE
BACKUP  size                   9,06T                                     -
BACKUP  capacity               85%                                       -
BACKUP  altroot                -                                         default
BACKUP  health                 ONLINE                                    -
BACKUP  guid                   106499912840251595                        local
BACKUP  version                28                                        local
BACKUP  bootfs                 -                                         default
BACKUP  delegation             on                                        default
BACKUP  autoreplace            off                                       default
BACKUP  cachefile              -                                         default
BACKUP  failmode               wait                                      default
BACKUP  listsnapshots          off                                       default
BACKUP  autoexpand             off                                       default
BACKUP  dedupditto             0                                         default
BACKUP  dedupratio             1.00x                                     -
BACKUP  free                   1,36T                                     -
BACKUP  allocated              7,71T                                     -
BACKUP  readonly               off                                       -
BACKUP  comment                -                                         default
BACKUP  expandsize             0                                         -
BACKUP  freeing                0                                         local
BACKUP  feature@async_destroy  disabled                                  local
BACKUP  feature@empty_bpobj    disabled                                  local
rpool   size                   55,5G                                     -
rpool   capacity               23%                                       -
rpool   altroot                -                                         default
rpool   health                 ONLINE                                    -
rpool   guid                   4576094139151106442                       default
rpool   version                -                                         default
rpool   bootfs                 rpool/ROOT/after_Update_2012.11.07_20h50  local
rpool   delegation             on                                        default
rpool   autoreplace            off                                       default
rpool   cachefile              -                                         default
rpool   failmode               wait                                      default
rpool   listsnapshots          off                                       default
rpool   autoexpand             off                                       default
rpool   dedupditto             0                                         default
rpool   dedupratio             1.00x                                     -
rpool   free                   42,5G                                     -
rpool   allocated              13,0G                                     -
rpool   readonly               off                                       -
rpool   comment                -                                         default
rpool   expandsize             0                                         -
rpool   freeing                0                                         default
rpool   feature@async_destroy  enabled                                   local
rpool   feature@empty_bpobj    disabled                                  local
rpool/ROOT/openindiana-backup-1                               usedbydataset                   105K                                                          -
rpool/ROOT/openindiana-backup-1                               usedbychildren                  0                                                             -
rpool/ROOT/openindiana-backup-1                               usedbyrefreservation            0                                                             -
rpool/ROOT/openindiana-backup-1                               logbias                         latency                                                       default
rpool/ROOT/openindiana-backup-1                               dedup                           off                                                           default
rpool/ROOT/openindiana-backup-1                               mlslabel                        none                                                          default
rpool/ROOT/openindiana-backup-1                               sync                            standard                                                      default
rpool/ROOT/openindiana-backup-1                               refcompressratio                1.00x                                                         -
rpool/ROOT/openindiana-backup-1                               written                         105K                                                          -
rpool/ROOT/openindiana-backup-1                               org.openindiana.caiman:install  ready                                                         inherited from rpool
rpool/ROOT/openindiana-backup-1                               org.opensolaris.libbe:uuid      8408886c-8c3e-eeee-dfaa-f30ea55b54e3                          local
rpool/ROOT/openindiana-backup-1                               org.opensolaris.libbe:policy    static                                                        local
rpool/ROOT/pre_napp-it-0.8l3                                  type                            filesystem                                                    -
rpool/ROOT/pre_napp-it-0.8l3                                  creation                        sam. sept. 29 16:31 2012                                      -
rpool/ROOT/pre_napp-it-0.8l3                                  used                            38K                                                           -
rpool/ROOT/pre_napp-it-0.8l3                                  available                       41,5G                                                         -
rpool/ROOT/pre_napp-it-0.8l3                                  referenced                      2,86G                                                         -
rpool/ROOT/pre_napp-it-0.8l3                                  compressratio                   1.00x                                                         -
rpool/ROOT/pre_napp-it-0.8l3                                  mounted                         no                                                            -
rpool/ROOT/pre_napp-it-0.8l3                                  origin                          rpool/ROOT/after_Update_2012.11.07_20h50@2012-09-29-14:31:44  -
rpool/ROOT/pre_napp-it-0.8l3                                  quota                           none                                                          default
rpool/ROOT/pre_napp-it-0.8l3                                  reservation                     none                                                          default
rpool/ROOT/pre_napp-it-0.8l3                                  recordsize                      128K                                                          default
rpool/ROOT/pre_napp-it-0.8l3                                  mountpoint                      /                                                             local
rpool/ROOT/pre_napp-it-0.8l3                                  sharenfs                        off                                                           default
rpool/ROOT/pre_napp-it-0.8l3                                  checksum                        on                                                            default
rpool/ROOT/pre_napp-it-0.8l3                                  compression                     off                                                           default
rpool/ROOT/pre_napp-it-0.8l3                                  atime                           on                                                            default
rpool/ROOT/pre_napp-it-0.8l3                                  devices                         on                                                            default
rpool/ROOT/pre_napp-it-0.8l3                                  exec                            on                                                            default
rpool/ROOT/pre_napp-it-0.8l3                                  setuid                          on                                                            default
rpool/ROOT/pre_napp-it-0.8l3                                  readonly                        off                                                           default
rpool/ROOT/pre_napp-it-0.8l3                                  zoned                           off                                                           default
rpool/ROOT/pre_napp-it-0.8l3                                  snapdir                         hidden                                                        default
rpool/ROOT/pre_napp-it-0.8l3                                  aclmode                         discard                                                       default
rpool/ROOT/pre_napp-it-0.8l3                                  aclinherit                      restricted                                                    default
rpool/ROOT/pre_napp-it-0.8l3                                  canmount                        noauto                                                        local
rpool/ROOT/pre_napp-it-0.8l3                                  xattr                           on                                                            default
rpool/ROOT/pre_napp-it-0.8l3                                  copies                          1                                                             default
rpool/ROOT/pre_napp-it-0.8l3                                  version                         5                                                             -
rpool/ROOT/pre_napp-it-0.8l3                                  utf8only                        off                                                           -
rpool/ROOT/pre_napp-it-0.8l3                                  normalization                   none                                                          -
rpool/ROOT/pre_napp-it-0.8l3                                  casesensitivity                 sensitive                                                     -
rpool/ROOT/pre_napp-it-0.8l3                                  vscan                           off                                                           default
rpool/ROOT/pre_napp-it-0.8l3                                  nbmand                          off                                                           default
rpool/ROOT/pre_napp-it-0.8l3                                  sharesmb                        off                                                           default
rpool/ROOT/pre_napp-it-0.8l3                                  refquota                        none                                                          default
rpool/ROOT/pre_napp-it-0.8l3                                  refreservation                  none                                                          default
rpool/ROOT/pre_napp-it-0.8l3                                  primarycache                    all                                                           default
rpool/ROOT/pre_napp-it-0.8l3                                  secondarycache                  all                                                           default
rpool/ROOT/pre_napp-it-0.8l3                                  usedbysnapshots                 0                                                             -
rpool/ROOT/pre_napp-it-0.8l3                                  usedbydataset                   38K                                                           -
rpool/ROOT/pre_napp-it-0.8l3                                  usedbychildren                  0                                                             -
rpool/ROOT/pre_napp-it-0.8l3                                  usedbyrefreservation            0                                                             -
rpool/ROOT/pre_napp-it-0.8l3                                  logbias                         latency                                                       default
rpool/ROOT/pre_napp-it-0.8l3                                  dedup                           off                                                           default
rpool/ROOT/pre_napp-it-0.8l3                                  mlslabel                        none                                                          default
rpool/ROOT/pre_napp-it-0.8l3                                  sync                            standard                                                      default
rpool/ROOT/pre_napp-it-0.8l3                                  refcompressratio                1.00x                                                         -
rpool/ROOT/pre_napp-it-0.8l3                                  written                         38K                                                           -
rpool/ROOT/pre_napp-it-0.8l3                                  org.openindiana.caiman:install  ready                                                         inherited from rpool
rpool/ROOT/pre_napp-it-0.8l3                                  org.opensolaris.libbe:uuid      f1481740-8689-c243-e97f-cea53eca4f29                          local
rpool/dump                                                    type                            volume                                                        -
rpool/dump                                                    creation                        sam. sept. 29 16:08 2012                                      -
rpool/dump                                                    used                            1,98G                                                         -
rpool/dump                                                    available                       41,5G                                                         -
rpool/dump                                                    referenced                      1,98G                                                         -
rpool/dump                                                    compressratio                   1.00x                                                         -
rpool/dump                                                    reservation                     none                                                          default
rpool/dump                                                    volsize                         1,98G                                                         local
rpool/dump                                                    volblocksize                    128K                                                          -
rpool/dump                                                    checksum                        off                                                           local
rpool/dump                                                    compression                     off                                                           local
rpool/dump                                                    readonly                        off                                                           default
rpool/dump                                                    copies                          1                                                             default
rpool/dump                                                    refreservation                  none                                                          local
rpool/dump                                                    primarycache                    all                                                           default
rpool/dump                                                    secondarycache                  all                                                           default
rpool/dump                                                    usedbysnapshots                 0                                                             -
rpool/dump                                                    usedbydataset                   1,98G                                                         -
rpool/dump                                                    usedbychildren                  0                                                             -
rpool/dump                                                    usedbyrefreservation            0                                                             -
rpool/dump                                                    logbias                         latency                                                       default
rpool/dump                                                    dedup                           off                                                           local
rpool/dump                                                    mlslabel                        none                                                          default
rpool/dump                                                    sync                            standard                                                      default
rpool/dump                                                    refcompressratio                1.00x                                                         -
rpool/dump                                                    written                         1,98G                                                         -
rpool/dump                                                    org.openindiana.caiman:install  ready                                                         inherited from rpool
rpool/export                                                  type                            filesystem                                                    -
rpool/export                                                  creation                        sam. sept. 29 16:08 2012                                      -
rpool/export                                                  used                            1,07G                                                         -
rpool/export                                                  available                       41,5G                                                         -
rpool/export                                                  referenced                      32K                                                           -
rpool/export                                                  compressratio                   1.00x                                                         -
rpool/export                                                  mounted                         yes                                                           -
rpool/export                                                  quota                           none                                                          default
rpool/export                                                  reservation                     none                                                          default
rpool/export                                                  recordsize                      128K                                                          default
rpool/export                                                  mountpoint                      /export                                                       local
rpool/export                                                  sharenfs                        off                                                           default
rpool/export                                                  checksum                        on                                                            default
rpool/export                                                  compression                     off                                                           default
rpool/export                                                  atime                           on                                                            default
rpool/export                                                  devices                         on                                                            default
rpool/export                                                  exec                            on                                                            default
rpool/export                                                  setuid                          on                                                            default
rpool/export                                                  readonly                        off                                                           default
rpool/export                                                  zoned                           off                                                           default
rpool/export                                                  snapdir                         hidden                                                        default
rpool/export                                                  aclmode                         discard                                                       default
rpool/export                                                  aclinherit                      restricted                                                    default
rpool/export                                                  canmount                        on                                                            default
rpool/export                                                  xattr                           on                                                            default
rpool/export                                                  copies                          1                                                             default
rpool/export                                                  version                         5                                                             -
rpool/export                                                  utf8only                        off                                                           -
rpool/export                                                  normalization                   none                                                          -
rpool/export                                                  casesensitivity                 sensitive                                                     -
rpool/export                                                  vscan                           off                                                           default
rpool/export                                                  nbmand                          off                                                           default
rpool/export                                                  sharesmb                        off                                                           default
rpool/export                                                  refquota                        none                                                          default
rpool/export                                                  refreservation                  none                                                          default
rpool/export                                                  primarycache                    all                                                           default
rpool/export                                                  secondarycache                  all                                                           default
rpool/export                                                  usedbysnapshots                 0                                                             -
rpool/export                                                  usedbydataset                   32K                                                           -
rpool/export                                                  usedbychildren                  1,07G                                                         -
rpool/export                                                  usedbyrefreservation            0                                                             -
rpool/export                                                  logbias                         latency                                                       default
rpool/export                                                  dedup                           off                                                           default
rpool/export                                                  mlslabel                        none                                                          default
rpool/export                                                  sync                            standard                                                      default
rpool/export                                                  refcompressratio                1.00x                                                         -
rpool/export                                                  written                         32K                                                           -
rpool/export                                                  org.openindiana.caiman:install  ready                                                         inherited from rpool
rpool/export/home                                             type                            filesystem                                                    -
rpool/export/home                                             creation                        sam. sept. 29 16:08 2012                                      -
rpool/export/home                                             used                            1,07G                                                         -
rpool/export/home                                             available                       41,5G                                                         -
rpool/export/home                                             referenced                      32K                                                           -
rpool/export/home                                             compressratio                   1.00x                                                         -
rpool/export/home                                             mounted                         yes                                                           -
rpool/export/home                                             quota                           none                                                          default
rpool/export/home                                             reservation                     none                                                          default
rpool/export/home                                             recordsize                      128K                                                          default
rpool/export/home                                             mountpoint                      /export/home                                                  local
rpool/export/home                                             sharenfs                        off                                                           default
rpool/export/home                                             checksum                        on                                                            default
rpool/export/home                                             compression                     off                                                           default
rpool/export/home                                             atime                           on                                                            default
rpool/export/home                                             devices                         on                                                            default
rpool/export/home                                             exec                            on                                                            default
rpool/export/home                                             setuid                          on                                                            default
rpool/export/home                                             readonly                        off                                                           default
rpool/export/home                                             zoned                           off                                                           default
rpool/export/home                                             snapdir                         hidden                                                        default
rpool/export/home                                             aclmode                         discard                                                       default
rpool/export/home                                             aclinherit                      restricted                                                    default
rpool/export/home                                             canmount                        on                                                            default
rpool/export/home                                             xattr                           on                                                            default
rpool/export/home                                             copies                          1                                                             default
rpool/export/home                                             version                         5                                                             -
rpool/export/home                                             utf8only                        off                                                           -
rpool/export/home                                             normalization                   none                                                          -
rpool/export/home                                             casesensitivity                 sensitive                                                     -
rpool/export/home                                             vscan                           off                                                           default
rpool/export/home                                             nbmand                          off                                                           default
rpool/export/home                                             sharesmb                        off                                                           default
rpool/export/home                                             refquota                        none                                                          default
rpool/export/home                                             refreservation                  none                                                          default
rpool/export/home                                             primarycache                    all                                                           default
rpool/export/home                                             secondarycache                  all                                                           default
rpool/export/home                                             usedbysnapshots                 0                                                             -
rpool/export/home                                             usedbydataset                   32K                                                           -
rpool/export/home                                             usedbychildren                  1,07G                                                         -
rpool/export/home                                             usedbyrefreservation            0                                                             -
rpool/export/home                                             logbias                         latency                                                       default
rpool/export/home                                             dedup                           off                                                           default
rpool/export/home                                             mlslabel                        none                                                          default
rpool/export/home                                             sync                            standard                                                      default
rpool/export/home                                             refcompressratio                1.00x                                                         -
rpool/export/home                                             written                         32K                                                           -
rpool/export/home                                             org.openindiana.caiman:install  ready                                                         inherited from rpool
rpool/export/home/stef                                        type                            filesystem                                                    -
rpool/export/home/stef                                        creation                        sam. sept. 29 16:08 2012                                      -
rpool/export/home/stef                                        used                            1,07G                                                         -
rpool/export/home/stef                                        available                       41,5G                                                         -
rpool/export/home/stef                                        referenced                      1,07G                                                         -
rpool/export/home/stef                                        compressratio                   1.00x                                                         -
rpool/export/home/stef                                        mounted                         yes                                                           -
rpool/export/home/stef                                        quota                           none                                                          default
rpool/export/home/stef                                        reservation                     none                                                          default
rpool/export/home/stef                                        recordsize                      128K                                                          default
rpool/export/home/stef                                        mountpoint                      /export/home/stef                                             local
rpool/export/home/stef                                        sharenfs                        off                                                           default
rpool/export/home/stef                                        checksum                        on                                                            default
rpool/export/home/stef                                        compression                     off                                                           default
rpool/export/home/stef                                        atime                           on                                                            default
rpool/export/home/stef                                        devices                         on                                                            default
rpool/export/home/stef                                        exec                            on                                                            default
rpool/export/home/stef                                        setuid                          on                                                            default
rpool/export/home/stef                                        readonly                        off                                                           default
rpool/export/home/stef                                        zoned                           off                                                           default
rpool/export/home/stef                                        snapdir                         hidden                                                        default
rpool/export/home/stef                                        aclmode                         discard                                                       default
rpool/export/home/stef                                        aclinherit                      restricted                                                    default
rpool/export/home/stef                                        canmount                        on                                                            default
rpool/export/home/stef                                        xattr                           on                                                            default
rpool/export/home/stef                                        copies                          1                                                             default
rpool/export/home/stef                                        version                         5                                                             -
rpool/export/home/stef                                        utf8only                        off                                                           -
rpool/export/home/stef                                        normalization                   none                                                          -
rpool/export/home/stef                                        casesensitivity                 sensitive                                                     -
rpool/export/home/stef                                        vscan                           off                                                           default
rpool/export/home/stef                                        nbmand                          off                                                           default
rpool/export/home/stef                                        sharesmb                        off                                                           default
rpool/export/home/stef                                        refquota                        none                                                          default
rpool/export/home/stef                                        refreservation                  none                                                          default
rpool/export/home/stef                                        primarycache                    all                                                           default
rpool/export/home/stef                                        secondarycache                  all                                                           default
rpool/export/home/stef                                        usedbysnapshots                 0                                                             -
rpool/export/home/stef                                        usedbydataset                   1,07G                                                         -
rpool/export/home/stef                                        usedbychildren                  0                                                             -
rpool/export/home/stef                                        usedbyrefreservation            0                                                             -
rpool/export/home/stef                                        logbias                         latency                                                       default
rpool/export/home/stef                                        dedup                           off                                                           default
rpool/export/home/stef                                        mlslabel                        none                                                          default
rpool/export/home/stef                                        sync                            standard                                                      default
rpool/export/home/stef                                        refcompressratio                1.00x                                                         -
rpool/export/home/stef                                        written                         1,07G                                                         -
rpool/export/home/stef                                        org.openindiana.caiman:install  ready                                                         inherited from rpool
rpool/swap                                                    type                            volume                                                        -
rpool/swap                                                    creation                        sam. sept. 29 16:08 2012                                      -
rpool/swap                                                    used                            2,11G                                                         -
rpool/swap                                                    available                       41,6G                                                         -
rpool/swap                                                    referenced                      2,03G                                                         -
rpool/swap                                                    compressratio                   1.00x                                                         -
rpool/swap                                                    reservation                     none                                                          default
rpool/swap                                                    volsize                         1,98G                                                         local
rpool/swap                                                    volblocksize                    4K                                                            -
rpool/swap                                                    checksum                        on                                                            default
rpool/swap                                                    compression                     off                                                           default
rpool/swap                                                    readonly                        off                                                           default
rpool/swap                                                    copies                          1                                                             default
rpool/swap                                                    refreservation                  2,11G                                                         local
rpool/swap                                                    primarycache                    all                                                           default
rpool/swap                                                    secondarycache                  all                                                           default
rpool/swap                                                    usedbysnapshots                 0                                                             -
rpool/swap                                                    usedbydataset                   2,03G                                                         -
rpool/swap                                                    usedbychildren                  0                                                             -
rpool/swap                                                    usedbyrefreservation            83,5M                                                         -
rpool/swap                                                    logbias                         latency                                                       default
rpool/swap                                                    dedup                           off                                                           default
rpool/swap                                                    mlslabel                        none                                                          default
rpool/swap                                                    sync                            standard                                                      default
rpool/swap                                                    refcompressratio                1.00x                                                         -
rpool/swap                                                    written                         2,03G                                                         -
rpool/swap                                                    org.openindiana.caiman:install  ready                                                         inherited from rpool
Et un "zpool list -v" .
NAME                        SIZE  ALLOC   FREE  EXPANDSZ    CAP  DEDUP  HEALTH  ALTROOT
BACKUP                     9,06T  7,71T  1,36T         -    85%  1.00x  ONLINE  -
  raidz1                   9,06T  7,71T  1,36T         -
    c3t50014EE2066853C5d0      -      -      -         -
    c3t50014EE206685BA7d0      -      -      -         -
    c3t50014EE25BBD35ECd0      -      -      -         -
    c3t50014EE2B1132EC2d0      -      -      -         -
    c3t50014EE2B1133252d0      -      -      -         -
rpool                      55,5G  13,0G  42,5G         -    23%  1.00x  ONLINE  -
  c5d1s0                   55,5G  13,0G  42,5G         -
Maverick truc je sais plus le nom exact :) le volume connecté en afp:// pour le AFP... :P
De quoi vers quoi ? ... Maverick en client vers un serveur / partage sous Maverick ?!
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Y a plus grand monde là ...
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Désolé, tu peux essayer ça si c'est pas déjà fait :

- atime = off
- primarycache = metadata
- compression = lz4 (si tes CPU suivent ça ne coute rien, voir améliore un peu les perfs dans certains cas, évidement cela ne prendra effet que sur les données écrites après le changement)

Ton pool est bien plein, c'est conseillé de rester en dessous de 80% d'utilisation sinon ça devient très fragmenté et donne plus de taff à l'algo interne de ZFS de placement des données, et donc perte de perf en écriture.
rpool = disque système ...
-> Atime est OFF sur la pool backup !
-> compression = lz4 ... inutile pour des vidéos (c'est leur codec qui s'en charge)

// rien à voir avec ce système mais j'ai actuellement un autre serveur ZFS qui dispose de seulement \\
-> 32 Go de Ram
-> Raidz1 sur 3x vDev de 3 disques 2 To 7200 Trs,
-> pas de SSD pour L2ARC.

Ce système doit gérer que de gros fichiers vidéo, de 95 Mo à 34 Go en SMB.
Le soucis : quand on demande à ouvrir ces fichiers, c'est méga long ; une fois ouvert on peut lire, revenir lire rapidement .... mais le gros point noir est l'ouverture des fichiers.
-> 1 par un c'est long à ouvrir
-> 150 d'un coup, ça met des plombes (séquence vidéo de 10 minutes contenants 150 clips)

Comme le système est limité à 32 Go de Ram, lorsqu'on ouvre la séquence de 10min contenant 150 clips, il faut attendre plus de 2 minutes avant de pouvoir la manipuler.

Je me demandais de quel manière ces gros fichiers pouvaient être "précaché" en rajoutant un SSD pour le L2ARC
=> avec la fonction preftech ?
"L2ARC caching is per default only enabled for random data not for sequential data like media files.
You can enable this with [cpp]set zfs:l2arc_noprefetch=0[/cpp]
-> https://storagetuning.wordpress.com/201 ... -for-ssds/

[cpp]
# Decrease ZFS txg timeout value from 30 (default) to 5 seconds. This
# should increase throughput and decrease the "bursty" stalls that
# happen during immense I/O with ZFS.
# http://lists.freebsd.org/pipermail/free ... 07343.html
# http://lists.freebsd.org/pipermail/free ... 07355.html
# default in FreeBSD since ZFS v28
vfs.zfs.txg.timeout="5"[/cpp]

http://icesquare.com/wordpress/how-to-i ... /#section2
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Tuner le buffer, intéressant : http://open-zfs.org/wiki/Performance_tuning#section_1
... utile pour les VM qui disposent de leur propre cache ou PostgreSQL : ainsi seules les méta-données peuvent être caché et non tout.
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Optimlisation pour du streaming : http://weblog.etherized.com/posts/185.html
by default, the l2arc will only cache random I/O; a sane strategy, since it speeds up the most costly operations. But in my case, with lots of streaming workloads and lots of l2arc, I was missing out on some potential performance gains.

You can set a tuneable that changes this behavior in /etc/system: set zfs:l2arc_noprefetch = 0
kalistyan
Messages : 14259
Inscription : ven. 12 janv. 2018 17:44
Localisation : LYON
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par kalistyan »

Ma dernière trouvaille > http://www.osnexus.com/ => ZFS or XFS
La brochure => http://www.osnexus.com/storage/brochure ... ochure.pdf
Community Edition (10TB storage limit, feature limited, for non-commercial use)
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

SSD ZFS ZIL SLOG Benchmarks – Intel DC S3700, Intel DC S3500, Seagate 600 Pro, Crucial MX100 Comparison
=> https://b3n.org/ssd-zfs-zil-slog-benchm ... omparison/

Image
gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

gizmo78
Messages : 20037
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par gizmo78 »

Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Sur FreeNas vs OmniOS / Napp iT
=> https://b3n.org/freenas-vs-omnios-napp-it/

VAAI (VMware vSphere Storage API’s — Array Integration)

FreeNAS now has VAAI support for iSCSI. OmniOS has no VAAI support. As of FreeNAS 9.3 and Napp-It 0.9f4 both control panels have the ability to enable VMware snapshot integration / ESXi hot snaps. The way this works is before every ZFS snapshot is taken FreeNAS has VMware snap all the VMs, then the ZFS snapshot is taken, then the VMware snapshots are released. This is really nice and allows for proper consistent snapshots
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

SSD ZFS ZIL SLOG Benchmarks – Intel DC S3700, Intel DC S3500, Seagate 600 Pro, Crucial MX100 Comparison

=> https://b3n.org/ssd-zfs-zil-slog-benchm ... omparison/

Bahh Intel DC S3500 en 80 Go fait largement la blague !
Avatar de l’utilisateur
Zedoune
Messages : 15343
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

SSD ZFS ZIL SLOG Benchmarks – Intel DC S3700, Intel DC S3500, Seagate 600 Pro, Crucial MX100 Comparison

=> https://b3n.org/ssd-zfs-zil-slog-benchm ... omparison/

Bahh Intel DC S3500 en 80 Go fait largement la blague !
ça aurait été bien de mettre les résultats sans cache aussi pour comparer l'avantage
Avatar de l’utilisateur
Zedoune
Messages : 15343
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par Zedoune »

la commande zfs-stats sous freebsd permet d'avoir plein d'infos !

il y a des plugins munin qui l'utilise d'ailleurs : http://munin-monitoring.org/browser/mun ... order=name

J'ai plein de nouveaux graphs !!! Image


Extrait de la commande depuis un serveur de prod
zfs-stats -a

------------------------------------------------------------------------
ZFS Subsystem Report				Fri Apr 10 11:20:16 2015
------------------------------------------------------------------------

System Information:

	Kernel Version:				902001 (osreldate)
	Hardware Platform:			amd64
	Processor Architecture:			amd64

	ZFS Storage pool Version:		5000
	ZFS Filesystem Version:			5

FreeBSD 9.2-RELEASE #0 r255967: Thu Oct 3 09:32:24 CEST 2013 root
11:20  up 205 days, 11:10, 2 users, load averages: 0,69 0,26 0,21

------------------------------------------------------------------------

System Memory:

	20.11%	3.10	GiB Active,	7.67%	1.18	GiB Inact
	67.77%	10.46	GiB Wired,	1.97%	312.20	MiB Cache
	2.46%	389.25	MiB Free,	0.01%	1.92	MiB Gap

	Real Installed:				16.00	GiB
	Real Available:			99.57%	15.93	GiB
	Real Managed:			96.91%	15.44	GiB

	Logical Total:				16.00	GiB
	Logical Used:			88.31%	14.13	GiB
	Logical Free:			11.69%	1.87	GiB

Kernel Memory:					6.97	GiB
	Data:				99.65%	6.94	GiB
	Text:				0.35%	24.63	MiB

Kernel Memory Map:				14.12	GiB
	Size:				35.53%	5.02	GiB
	Free:				64.47%	9.10	GiB

------------------------------------------------------------------------

ARC Summary: (THROTTLED)
	Memory Throttle Count:			125

ARC Misc:
	Deleted:				2.32b
	Recycle Misses:				950.13m
	Mutex Misses:				6.46m
	Evict Skips:				5.90b

ARC Size:				49.89%	7.20	GiB
	Target Size: (Adaptive)		50.03%	7.22	GiB
	Min Size (Hard Limit):		12.50%	1.80	GiB
	Max Size (High Water):		8:1	14.44	GiB

ARC Size Breakdown:
	Recently Used Cache Size:	84.16%	6.08	GiB
	Frequently Used Cache Size:	15.84%	1.14	GiB

ARC Hash Breakdown:
	Elements Max:				1.28m
	Elements Current:		60.70%	774.20k
	Collisions:				2.46b
	Chain Max:				32
	Chains:					195.80k

------------------------------------------------------------------------

ARC Efficiency:					49.71b
	Cache Hit Ratio:		94.42%	46.93b
	Cache Miss Ratio:		5.58%	2.78b
	Actual Hit Ratio:		68.17%	33.89b

	Data Demand Efficiency:		98.23%	1.66b
	Data Prefetch Efficiency:	13.56%	248.47m

	CACHE HITS BY CACHE LIST:
	  Anonymously Used:		26.13%	12.26b
	  Most Recently Used:		20.01%	9.39b
	  Most Frequently Used:		52.19%	24.50b
	  Most Recently Used Ghost:	0.73%	344.08m
	  Most Frequently Used Ghost:	0.93%	438.77m

	CACHE HITS BY DATA TYPE:
	  Demand Data:			3.48%	1.63b
	  Prefetch Data:		0.07%	33.69m
	  Demand Metadata:		68.72%	32.25b
	  Prefetch Metadata:		27.73%	13.01b

	CACHE MISSES BY DATA TYPE:
	  Demand Data:			1.06%	29.35m
	  Prefetch Data:		7.74%	214.78m
	  Demand Metadata:		15.52%	430.82m
	  Prefetch Metadata:		75.69%	2.10b

------------------------------------------------------------------------

L2ARC is disabled

------------------------------------------------------------------------

File-Level Prefetch: (HEALTHY)

DMU Efficiency:					43.41b
	Hit Ratio:			64.47%	27.99b
	Miss Ratio:			35.53%	15.42b

	Colinear:				15.42b
	  Hit Ratio:			0.01%	1.96m
	  Miss Ratio:			99.99%	15.42b

	Stride:					27.58b
	  Hit Ratio:			99.97%	27.57b
	  Miss Ratio:			0.03%	7.73m

DMU Misc:
	Reclaim:				15.42b
	  Successes:			0.18%	27.78m
	  Failures:			99.82%	15.39b

	Streams:				412.76m
	  +Resets:			0.25%	1.01m
	  -Resets:			99.75%	411.75m
	  Bogus:				0

------------------------------------------------------------------------

VDEV cache is disabled

------------------------------------------------------------------------

ZFS Tunables (sysctl):
	kern.maxusers                           384
	vm.kmem_size                            16578437120
	vm.kmem_size_scale                      1
	vm.kmem_size_min                        0
	vm.kmem_size_max                        329853485875
	vfs.zfs.l2c_only_size                   0
	vfs.zfs.mfu_ghost_data_lsize            256047104
	vfs.zfs.mfu_ghost_metadata_lsize        4962467328
	vfs.zfs.mfu_ghost_size                  5218514432
	vfs.zfs.mfu_data_lsize                  8319488
	vfs.zfs.mfu_metadata_lsize              193024
	vfs.zfs.mfu_size                        84872192
	vfs.zfs.mru_ghost_data_lsize            129536
	vfs.zfs.mru_ghost_metadata_lsize        2522111488
	vfs.zfs.mru_ghost_size                  2522241024
	vfs.zfs.mru_data_lsize                  105432064
	vfs.zfs.mru_metadata_lsize              4841538560
	vfs.zfs.mru_size                        5233569792
	vfs.zfs.anon_data_lsize                 0
	vfs.zfs.anon_metadata_lsize             0
	vfs.zfs.anon_size                       5524480
	vfs.zfs.l2arc_norw                      1
	vfs.zfs.l2arc_feed_again                1
	vfs.zfs.l2arc_noprefetch                1
	vfs.zfs.l2arc_feed_min_ms               200
	vfs.zfs.l2arc_feed_secs                 1
	vfs.zfs.l2arc_headroom                  2
	vfs.zfs.l2arc_write_boost               8388608
	vfs.zfs.l2arc_write_max                 8388608
	vfs.zfs.arc_meta_limit                  3876173824
	vfs.zfs.arc_meta_used                   7615973592
	vfs.zfs.arc_min                         1938086912
	vfs.zfs.arc_max                         15504695296
	vfs.zfs.dedup.prefetch                  1
	vfs.zfs.mdcomp_disable                  0
	vfs.zfs.nopwrite_enabled                1
	vfs.zfs.write_limit_override            0
	vfs.zfs.write_limit_inflated            51320315904
	vfs.zfs.write_limit_max                 2138346496
	vfs.zfs.write_limit_min                 33554432
	vfs.zfs.write_limit_shift               3
	vfs.zfs.no_write_throttle               0
	vfs.zfs.zfetch.array_rd_sz              1048576
	vfs.zfs.zfetch.block_cap                256
	vfs.zfs.zfetch.min_sec_reap             2
	vfs.zfs.zfetch.max_streams              8
	vfs.zfs.prefetch_disable                0
	vfs.zfs.no_scrub_prefetch               0
	vfs.zfs.no_scrub_io                     0
	vfs.zfs.resilver_min_time_ms            3000
	vfs.zfs.free_min_time_ms                1000
	vfs.zfs.scan_min_time_ms                1000
	vfs.zfs.scan_idle                       50
	vfs.zfs.scrub_delay                     4
	vfs.zfs.resilver_delay                  2
	vfs.zfs.top_maxinflight                 32
	vfs.zfs.write_to_degraded               0
	vfs.zfs.mg_alloc_failures               8
	vfs.zfs.check_hostid                    1
	vfs.zfs.deadman_enabled                 1
	vfs.zfs.deadman_synctime                1000
	vfs.zfs.recover                         0
	vfs.zfs.txg.synctime_ms                 1000
	vfs.zfs.txg.timeout                     5
	vfs.zfs.vdev.cache.bshift               16
	vfs.zfs.vdev.cache.size                 0
	vfs.zfs.vdev.cache.max                  16384
	vfs.zfs.vdev.trim_on_init               1
	vfs.zfs.vdev.write_gap_limit            4096
	vfs.zfs.vdev.read_gap_limit             32768
	vfs.zfs.vdev.aggregation_limit          131072
	vfs.zfs.vdev.ramp_rate                  2
	vfs.zfs.vdev.time_shift                 29
	vfs.zfs.vdev.min_pending                4
	vfs.zfs.vdev.max_pending                10
	vfs.zfs.vdev.bio_delete_disable         0
	vfs.zfs.vdev.bio_flush_disable          0
	vfs.zfs.vdev.trim_max_pending           64
	vfs.zfs.vdev.trim_max_bytes             2147483648
	vfs.zfs.cache_flush_disable             0
	vfs.zfs.zil_replay_disable              0
	vfs.zfs.sync_pass_rewrite               2
	vfs.zfs.sync_pass_dont_compress         5
	vfs.zfs.sync_pass_deferred_free         2
	vfs.zfs.zio.use_uma                     0
	vfs.zfs.snapshot_list_prefetch          0
	vfs.zfs.version.ioctl                   3
	vfs.zfs.version.zpl                     5
	vfs.zfs.version.spa                     5000
	vfs.zfs.version.acl                     1
	vfs.zfs.debug                           0
	vfs.zfs.super_owner                     0
	vfs.zfs.trim.enabled                    1
	vfs.zfs.trim.max_interval               1
	vfs.zfs.trim.timeout                    30
	vfs.zfs.trim.txg_delay                  32

------------------------------------------------------------------------
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

PB Firmware LSI !!
-> https://community.nexenta.com/thread/1053
There is a fairly serious firmware issue with the entire LSI 92XX HBA product line. The currently shipping firmware version for the 92XX HBA line is P20 which was released on September 22. The P20 firmware contains a bug that will show up as IO timeouts, disk errors and corruption on nearly every storage drive on LSI’s compatibility list. I became aware of the issue after observing a catastrophic ZFS storage failure and tracking it back to the HBAs. After isolating the issue I contacted LSI support who informed me of the bug and the fact that they have not publically documented the issue. LSI support also informed me that the only fix for this issue is to return any effected HBA to the P19 firmware.
... dans les commentaires :
P15 and P18 are two firmware releases I personally consider to be the most stable and trouble free.
Aussi : http://hardforum.com//showpost.php?p=10 ... count=6384
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Pour des perfs max : il faut un MAX de RAM ... mais
The real issue with more RAM is ARC evictions when you delete large things. For the most part this can be alleviated by adjusting zfs:zfs_arc_shrink_shift.

I have several ZFS systems with 256GB ram and have this setting in /etc/system:

set zfs:zfs_arc_shrink_shift=12

It does not fix the case of deleting a single large file. In my case that means any file over a few TB needs a bit of timing consideration and temporarily disabling RSF-1. In my environment that has been only twice in the past 3 years. It has not been an issue otherwise.

I will not hesitate to build with 1TB or more RAM if I find it necessary. The arc shrink shift will have to be adjusted accordingly.

Oracle's latest offering has 1.5TB of RAM. They have latched on to how ZFS keeps getting faster with more RAM.

For the most part I would say the rule about limiting to 128GB of RAM has been blown away. However, ZFS needs some enhancement to take better advantage of modern SSDs for L2ARC. The default tuning no longer makes any sense and writing needs to be made more parallel to take better advantage of multiple SSDs
-> http://nex7.blogspot.com/2013/03/readme ... 6981484583
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Stockage ZFS avec OmniOS sur ESX avec Fibre Channel
-> http://www.it-connect.fr/stockage-zfs-a ... e-channel/
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

ZFSguru en test ; version 10.03.002 stable du 15.08.2015 avec interface web 0.3 du 16.08.2015
... ils ont fait de gros progrès depuis mes précédents tests en 2012 !

J'avais préalablement crée une pool sous ZoL en Xubuntu et j'ai pu l'importer :)

Interface bien sympatrique en Live CD :)

Installé sur
[*]Asrock x79 Extreme 11
[*]Xeon E5 2687w
[*]16 Go Ram ECC Reg
[*]SSD OCZ Vertex 3 de 60 Go
[*]2x m1015 flashée en LSI 9211-8i fw p19
[*]14x WD SE 2 To
[*]Intel 10GbE
[*]Rack 24 baies Entropia Ananas
... avec possibilité d'installer 2 ou 3 copies sur le même SSD pour éviter les bad block ! :sol:

Pas de cache L2ARC ni de ZIL.

Code : Tout sélectionner

ZFSguru 0.3.0 (10.3.002) pool benchmark
Pool            : yala (12.7T, 0% full)
Test size       : 64 GiB
normal read	: 1 GB/s
normal write	: 961 MB/s
I/O bandwidth	: 27 GB/s
Avatar de l’utilisateur
yullito
Messages : 3018
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par yullito »


[*]Asrock x79 Extreme 11 ET 16 Go Ram ECC Reg
ça m’intéresse beaucoup ! Tu es sur de la compatibilité ?
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »


ça m’intéresse beaucoup ! Tu es sur de la compatibilité ?
Avec des barrettes
-> Nanya 4GB DDR3 ECC REG 1333 : NT4GC72B4NAN1NL-CG 0944TW 4GB 2RX4 PC3 10600R-9-10 1333 ECC : [#ff0000]KO[/#ff0000]
-> Kingston 4GB DDR3 ECC REG DDR3 1333 KVR1333D3D8R9S : [#35C936]OK[/#35C936]
TheMartel
Messages : 7550
Inscription : ven. 12 janv. 2018 17:44

[SONDAGE] ZFS / ZIL / Type SSD

Message par TheMartel »

Sur ma cm s1156, ECC reg supporté, mais avec une limite de taille de puce (max 2gb). A verifier pour vous c'est peut etre ça qui bloque.
Avatar de l’utilisateur
augur1
Messages : 13138
Inscription : ven. 12 janv. 2018 17:44
Localisation : où tout est neuf et tout est sauvage
Contact :

[SONDAGE] ZFS / ZIL / Type SSD

Message par augur1 »

Hier : test en SMB avec carte Intel 10GbE XFP de ZFSGuru 10.03.002 stable du 15.08.2015 avec interface web 0.3 du 16.08.2015

Serveur ZFSGuru
[*]Asrock x79 Extreme 11
[*]Xeon E5 2687w
[*]32 Go en 4x8 Go Ram ECC
[*]Système sur SSD OCZ Vertex 3 de 60 Go
[*]2x m1015 flashée en LSI 9211-8i fw p19
[*]14x WD SE 2 To en mirored
[*]Intel 10GbE XFP
[*]Rack 24 baies Entropia Ananas
[*]Pas de cache L2ARC ni de ZIL.

Client en Windows 8.1 Pro
[*]Supermicro X9DAI-F
[*]2x Xeon E5 2670v2
[*]32 Go en 8x 4 ECC REG
[*]Système sur SSD Samsung 840 Pro
[*]GeForce 760
[*]Intel 10GbE XFP

Les 2 sont connectés à un switch Mikrotik CRS226-24G-2S+RM en SFP+ 10G Finistar

Zfsguru : 7x vdev mirorred (raid10) de 14 disques de WD SE 2 To 7200 Trs

Test en SMB avec le logiciel Blackmagic Speedtest :
[#ff0000]Write :[/#ff0000] 450 Mo/s
[#35C936]Read :[/#35C936] 135 Mo/s
.... fuck je test avec un autre soft comme Lan Speed Test : http://www.totusoft.com/lanspeed1.html#prettyPhoto

Déçu : perf similaire à un RaidZ de 5x 1 To Green (5400 Trs), de 2012 !!! :( :o :fou: :sweat:
-> http://smpfr.mesdiscussions.net/smpfr/S ... htm#t13782
... pdf des specs de WD SE : http://www.wdc.com/wdproducts/library/S ... 771475.pdf
... tests des WD SE : http://www.storagereview.com/wd_se_hdd_review

[#FF5000]Why ?!??[/#FF5000]
Avatar de l’utilisateur
poulpito
Messages : 12402
Inscription : ven. 12 janv. 2018 17:44
Localisation : Grenoble

[SONDAGE] ZFS / ZIL / Type SSD

Message par poulpito »

tu relis comment ta baie ?
les 14 disques passent par un seul canal et une seule de la M1015
ou tu as moitié sur une moitié sur l'autre
Répondre