Serveur avec baies de disques, simple attachement

Ceci est un exemple de configuration comprenant un serveur et trois baies de disques. Terminologie : NAS + DAS.

matériel :

  • Serveur :

    • Dell R740 (de l’année 2020),

    • 2x Intel Xéon Silver 4214R CPU @ 2.40GHz, 2 threads par coeur, soit 48 coeurs logiques,

    • 192 GiB de RAM,

    • Carte BOSS 250 GiB pour l”OS, Debian 11 Bullseye,

    • 2x 10Gib/s Ethernet Controller,

    • 8x emplacements 2,5" SAS libres,

    • 1x contrôleur HBA externe.

  • Baie(s)

    • 3x chassis MD1200,

    • 1x EMM par chassis,

    • 12x disques 16 TiB SAS par chassis.

configuration :

Cette disposition est la plus simple (avec une ou plusieurs baies) et ne nécessite aucune configuration particulière. Un fichier vdev_id.conf avec la liste des disques et c’est tout.

DAS, simple, illustration Dell

Fig. 2 DAS, simple attachement (illustration Dell)

  • fichier /etc/modprobe.d/zfs.conf :

options spl spl_kmem_cache_slab_limit=16384
# ARC entre 96GiB et 144GiB
options zfs zfs_arc_min=103079215104 zfs_arc_max=154618822656

  • fichier /etc/zfs/vdev_id.conf :

# baie 1
alias B1D0 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy0-lun-0
alias B1D1 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy1-lun-0
alias B1D2 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy2-lun-0
alias B1D3 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy3-lun-0
alias B1D4 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy4-lun-0
alias B1D5 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy5-lun-0
alias B1D6 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy6-lun-0
alias B1D7 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy7-lun-0
alias B1D8 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy8-lun-0
alias B1D9 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy9-lun-0
alias B1D10 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy10-lun-0
alias B1D11 pci-0000:60:00.0-sas-exp0x520474729a92cfff-phy11-lun-0
# baie 2
alias B2D0 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy0-lun-0
alias B2D1 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy1-lun-0
alias B2D2 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy2-lun-0
alias B2D3 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy3-lun-0
alias B2D4 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy4-lun-0
alias B2D5 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy5-lun-0
alias B2D6 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy6-lun-0
alias B2D7 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy7-lun-0
alias B2D8 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy8-lun-0
alias B2D9 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy9-lun-0
alias B2D10 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy10-lun-0
alias B2D11 pci-0000:60:00.0-sas-exp0x520474729a9dbbff-phy11-lun-0
# baie 3
alias B3D0 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy0-lun-0
alias B3D1 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy1-lun-0
alias B3D2 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy2-lun-0
alias B3D3 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy3-lun-0
alias B3D4 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy4-lun-0
alias B3D5 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy5-lun-0
alias B3D6 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy6-lun-0
alias B3D7 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy7-lun-0
alias B3D8 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy8-lun-0
alias B3D9 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy9-lun-0
alias B3D10 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy10-lun-0
alias B3D11 pci-0000:60:00.0-sas-exp0x500c04f210023cbf-phy11-lun-0

  • commande zpool create :

zpool create -f data \
raidz2 B1D0 B1D1 B1D2 B1B3 B1D4 B1D5 \
raidz2 B1D6 B1D7 B1D8 B1D9 B1D10 B1D11 \
raidz2 B2D0 B2D1 B2D2 B2B3 B2D4 B2D5 \
raidz2 B2D6 B2D7 B2D8 B2D9 B2D10 B2D11 \
raidz2 B3D0 B3D1 B3D2 B3B3 B3D4 B3D5 \
raidz2 B3D6 B3D7 B3D8 B3D9 B3D10 B3D11 \

zfs set atime=off data
zfs set compression=on data

  • commande zpool status :

zpool status
  pool: data
state: ONLINE
  scan: scrub repaired 0 in 15h30m with 0 errors on Wed Dec  1 03:01:08 2021
config:

    NAME        STATE     READ WRITE CKSUM
    data        ONLINE       0     0     0
      raidz2-0  ONLINE       0     0     0
        B1D0    ONLINE       0     0     0
        B1D1    ONLINE       0     0     0
        B1D2    ONLINE       0     0     0
        B1D3    ONLINE       0     0     0
        B1D4    ONLINE       0     0     0
        B1D5    ONLINE       0     0     0
      raidz2-1  ONLINE       0     0     0
        B1D6    ONLINE       0     0     0
        B1D7    ONLINE       0     0     0
    [ ... ]
      raidz2-5  ONLINE       0     0     0
        B3D6    ONLINE       0     0     0
        B3D7    ONLINE       0     0     0
        B3D8    ONLINE       0     0     0
        B3D9    ONLINE       0     0     0
        B3D10   ONLINE       0     0     0
        B3D11   ONLINE       0     0     0

errors: No known data errors

À faire

avantages, inconvénients

-> en cas de problème sur la frontale, elle est peut être échangé sans « perdre » la baie.

zpool import, restauration des paramètres du partage NFS, fini.