[Linux-bruxelles] mdadm vs LVM
Depuydt, Patrick
patrick at htag2.com
Mar 12 Mar 16:20:32 CET 2019
Ah les gars, j'ai du faire une mauvaise manip qqpart vous avez raté ça :)
---------- Forwarded message ---------
From: Depuydt, Patrick <patrick at htag2.com>
Date: Mon, Mar 11, 2019 at 5:05 PM
Subject: Re: [Linux-bruxelles] mdadm vs LVM
To: Serge Smeesters <serge at facegnu.org>
Alors,
Permièrement: LVM n'est PAS une alternative au RAID !!!
Même si LVM semble offir des possibilités comme le miroir ou le striping,
ce n'est pas du RAID et par conséquent la perte d'une partie des données
provoque la perte de toutes les données!!!
Ensuite:
Si:
> *Mes besoins sont avant tout de m'assurer que si un des deux disques de
> mon PC part en couilles, j'ai toujours mes fichiers.*
Alors:
RAID1 + LVM2 + External Backup
Deuxièmmement: J'insiste sur le stackage du LVM sur le RAID !
Plusieurs raisons:
1) faire des modifications de la table des partitions peut être fatal en
cas de problème ou de mauvaise manipulation, LVM a peu de chances de tout
casser car il n'ira jamais changer la table des partitions et ou le mbr (ce
qui peut arriver quand on utilise parted ou c/g/fdisk)
2) un système linux CORRECTEMENT installé et SECURISE a toujours AU MOINS
des partitions séparées pour les points de montage suivants: /boot /var
/tmp /var/tmp /var/log /home + swap (c'est nottament par ce genre de
details qu'on peut faire la différence entre un utilisateur qui sait ce
qu'il fait et un simple amateur éclairé); Avoir une unique partition
(+swap) est soit : de la fainéantise, soit une incompréhension totale des
bases de l'intallation d'un linux, bref c'est bon pour les essais mais pas
pour une utilisation régulière.
3) Sans LVM pas possibilité de faire des snapshot, cloner en live, mirrorer
un disque sensible, stripper le data en cas de besoin d'optimisation de
vitesse, bref tout une série de choses qui sont bien utiles quand on sait
s'en servir.
4) Ajouter/Enlever un disque logique LVM ça prends 1 commande point barre!
La même chose sans LVM demande plusieurs outils et potentiellement le
redémarrage de la machine.
Bref, il n'y a pas photo l'utilisation de la table des partition doit être
évitée tant que possible. La seule exception, que je déconseille fortement
d'ailleurs, est le dual/tri/multi-boot.
Troisièmement (et point final):
Le RAID n'est pas une solution miracle, le RAID software vient avec ces
inconvénients:
Alors certes le GROS avantage est que ca coûte "peau de balle", c'est
software, opensource et par déféinition: gratuit!; Conrairement aux cartes
hardware qui vont souvent être aux alentours de mille balles et être limité
en nombre de disques attachables)
C'est un MEGA avantage, je vous l'accorde.
Par contre contrairement aux solutions hardware, la stabilité et la vitesse
de votre RAID vas être influencé par la quantité de RAM ainsi que la
puissance du Processeur, c'est à dire que tout ce que ces puces hardwares
font sans rien demander au proco, la il faut qu'il le fasse, le cache est
fourni par la RAM et finalement l'OS nécéssite d'être démarré (au moins le
noyau et le ramdisk) afin de permettre l'accès au set, que ce soit pour la
maintenance et/ou accès aux données, là ou une solution hardware peut être
dispo avant le chargement d'un OS.
Ensuite il faut adapter le type de RAID qu'on souhaite utiliser en
fonction de quelles données vont y être stockées.
Exemples:
1) Si mon but est d'avoir *un stockage très-très rapide* et que je m'en
fout de tout perdre: RAID0; si au final j'ai pas trop envie de tout perdre,
et le budget pour: RAID10.
2) Si mon but est d'avoir *un stockage sécurisé* et que la vitesse
m'inporte peu: RAID1; si au final je veux quand même plus rapide, et que
j'ai le budget pour: RAID0+1.
3) Si mon but est d'avoir *un stockage très rapide et sécurisé*: RAID5
4) Si mon but est d'avoir *un stockage très-très rapide et sécurisé*, et
que le budget suit forcément: RAID50
5) Si mon but est d'avoir *un stockage rapide et très sécurisé*: RAID6 (mon
petit préféré)
6) Si mon but est d'avoir *un stockage très rapide et très sécurisé*, et le
budget pour encore une fois: RAID60
Si vous voulez plus d'infos, je vous renvoie à la page wikipedia sur les
différents types de RAID, c'est très bien fait, et pour tout ce qui
concerne mdadm le site officiel contient toute les infos nécéssaires.
Par expérience je peux dire à ceux qui veulent essayer d'éviter de faire
des sets trops grands (personellement j'essaye de ne pas dépapasser 8 à 10
disques par set) car au plus on ajoute de disques :
- au plus on augmente le temps de reconstruction
- au plus on augmente les chances de plantages de plus d'un disque
- a partir d'un certain nombre de disque il y a un gain de vitesse peu
perceptible, voire ridicule (et donc il est préférable de faire un second
set)
Et donc il est plus intéressant de faire plusieurs sets et de les rendre
accessibles via LVM (la même chose serait impossible avec un setup type
table des partitions).
Je dis ça car un RAID n'est jamais à l'abri d'un foirage!
Un RAID5 dont un deuxiemme disque meurt pendant la reconstruction et paf!
tout est perdu, le RAID0 est selon moi la meilleure manière de faire crever
des disques vite-fait, mais c'est rapide !; Dans les sets au plus vous
allez ajouter de disques au plus vous augmentez les chances de foirage;
Bref le RAID nécéssite toute une série de précautions dès l'achat des
disques, un monitoring constant et une intervention rapide en cas de disque
qui tombe ainsi qu'un backup régulier de vos données (comme toujours)
Bref tout ça pour dire que la dernière étape reste le backup.
Je conseille un backup régulier des données que vous ne souhaitez pas voir
disparaitre.
Un backup, ce n'est pas juste une copie de sauvegarde, mais une copie
vérifiée sur un support différent séparé physiquement de la machine;
support qui doit faire l'objet de vérifications régulières également (je
pense que la pluspart des gens terminent sur un disque dur portable ou
équivallent, je conseille vivement de régulièrement faire tourner un fsck +
tests smartctl); maintenant le cloud reste une option mais la tendence de
la liste est de ne pas leur faire confiance (de plus c'est un
investissement que de sauvegarder ces xTo en cloud); je ne parle pas de LTO
ici, mais cela reste un option tout à fait viable mais onéreuse pour le
particulier.
Voilà,
Désolé, j'ai encore fait une tartine, mais le RAID + LVM est un sujet trop
important que pour ne pas "avertir" le public, en tout cas donner les clés
d'une meilleure compréhension.
En espérant ne pas avoir été trop technique :)
@pluche la lichte!
On Mon, Mar 11, 2019 at 12:14 PM Serge Smeesters <serge at facegnu.org> wrote:
> Salut,
>
> J'attends un retour de Jean-Marc... ? :)
>
> Sinon, il est possible de formater le RAID avec GPT et de faire plusieurs
> partitions..., sans LVM donc.
>
> Pour moi, LVM, c'est utile sur plusieurs disques mais aussi si les
> partitions
> sont amenées à devoir évoluer en nombre ou en tailles.
>
> Si ça se trouve, Jean-Marc n'a besoin que d'une partition, un FS et il
> souhaite
> juste que cela soit sécurisé (RAID 1, 5 ou 6) ou gagner en "vitesse" (car
> il
> parle d'un SSD → RAID 0).
>
> Donc tout dépend du besoin et des attentes de Jean-Marc.
>
> Sinon, je suis bien d'accord avec Patrick que typiquement (« sur
> serveurs ») on
> a du RAID pour la sécurité puis du LVM...
>
> Ceci dit, je vois que LVM propose un "équivalent" à du RAID 0 et un
> équivalent à
> du RAID 1. Mais donc pas de RAID 6 qui selon-moi est la seule réelle
> "sécurité".
> →
>
> https://fr.wikipedia.org/wiki/Gestion_par_volumes_logiques#Volumes_agr%C3%A9g%C3%A9s_par_bandes_(striping)
> <https://fr.wikipedia.org/wiki/Gestion_par_volumes_logiques#Volumes_agr%C3%A9g%C3%A9s_par_bandes_%28striping%29>
>
>
> Bien à vous,
> Serge Smeesters
> http://www.gnucomputer.be/
> http://www.spaceeman.be/
>
>
> > Le 11 mars 2019 à 11:20, "Depuydt, Patrick" <patrick at htag2.com> a écrit
> :
> >
> > Y'a pas photo les mecs, ce n'est pas la même chose!
> > RAID c'est pour aggreger les disques, donc dès que tu as deux disques
> tu est
> > potentiellement intéressé par mdadm.
> > Après LVM c'est pour gérer tes volumes de manière plus souple que des
> > partitions.
> > Et donc en général on à une couche RAID puis une couche LVM; après avec
> tes
> > disques logiques tu fait ce que tu veux...
> > Mais en tout cas bon, y'a pas a hésiter c'est les deux que tu veux
> utiliser.
> > Pat.
> > Contactez-moi pour plus d'infos.
>
>
> > On Sat, Mar 9, 2019 at 11:08 AM Serge Smeesters via Linux-bruxelles <
> > linux-bruxelles at lists.bxlug.be mailto:linux-bruxelles at lists.bxlug.be >
> wrote:
> > > Salut Jean-Marc,
> > >
> > >
> > > Selon moi, le RAID doit être 6, avec minimum 3 ou 4 disques et donc
> la
> > > possibilité d'en perdre 2. Un disque de rechange (“spare” en
> anglais)
> > > devrait également être présent pour automatiquement prendre le
> relais du
> > > premier disque qui deviendrait défectueux. Ça nous fait donc entre
> 4 et
> > > 6 disque minimum, pour un espace équivalent à 2. Ha oui, car
> j'oubliais
> > > qu'idéalement les disque doivent être de même capacité.
> > >
> > > Alors, partant de là, j'ai fais l'expérience de disques de capacités
> > > différentes. Au départ, des 1, des 2, des 3 To. J'ai donc décidé de
> > > faire un RAID sur autant de partitions de 1 To. Pour les restes, ça
> > > devenait des espaces de stockage sans la sécurité du RAID. C'est
> donc
> > > possible, ça tourne toujours en ce moment-même. Depuis lors, j'ai
> été
> > > amené à remplacer des disques, de 1 vers 2 ou de 2 vers 3 To, ou
> encore
> > > un disque défaillant. Cela c'est toujours bien passé :)
> > >
> > > J'utilise le RAID logiciel (“software” en anglais) du noyau Linux
> (pour
> > > le coup), et donc l'utilitaire mdadm.
> > >
> > > LVM, j'ai jamais utilisé. Je préfère l'approche "plus empirique" de
> > > l'unionfs au niveau fichiers. En effet, de ce que j'ai compris, le
> LVM,
> > > c'est surtout pour concaténer les bloques de différents "disques" en
> > > dessous d'un système de fichier. Je sais pas bien comment ça se
> passe
> > > avec une partie RAID et une partie "non-RAID"... Comment savoir si
> un
> > > fichier se trouve sur des bloques qui se trouve sur du RAID ? Et si
> tout
> > > le LVM est sur du RAID, à quoi ça sert ? Ou alors plusieurs RAID ?
> :/
> > >
> > > Bref, avec un unionfs, il y a les deux approches :
> > > - D'un côté je place les fichiers sur différents "disques", RAID ou
> pas.
> > > - De l'autre j'ai une vue unifiée.
> > >
> > > Agrandir l'espace "non-RAID" est facile, juste ajouter un élément au
> > > montage unionfs, "remount" et c'est fait.
> > >
> > > Agrandir le RAID, c'est plus délicat. Mais je pense que c'est pareil
> > > avec LVM à ce niveau là. Il y a toujours le "grow" sur le fs qui est
> > > délicat.
> > >
> > >
> > > Maintenant, si tu as du *disque* et du SSD, l'idéal serait que le
> SSD
> > > puisse être utilisé de manière transparente pour accélérer les
> accès aux
> > > fichiers les plus utilisé. Je sais pas si ça existe. :/
> > >
> > > Par contre, je sais qu'il est possible d'orienter d'avantage d'accès
> > > vers un composante d'un RAID, pour les lectures.... Pour "user" un
> > > disque légèrement plus que les autres, et donc pouvoir "prédire" le
> > > disque à remplacer "prochainement"...
> > >
> > > Plein de choses possibles en sommes :)
> > >
> > > Bon amusement :)
> > >
> > > À+,
> > > Serge Smeesters
>
>
> > > Le 9/03/19 à 10:03, Jean-Marc a écrit :
> > > > salut la liste,
> > > > J'ai deux disques dans mon PC que je compte utilisés en plus du
> SSD sur
> > > > lequel j'ai mon système.
> > > >
> > > > Je pense les regrouper en RAID, histoire de me protéger de
> certaines
> > > > pannes.
> > > >
> > > > Entre mdadm et LVM, j'hésite.
> > > >
> > > > LVM me semble plus souple (RAID au niveau volume logique si j'ai
> bien
> > > > lu la doc).
> > > >
> > > > Des conseils ? D'autres suggestions ?
> > > >
> > > > Merci d'avance.
> > > > Jean-Mar
>
-------------- section suivante --------------
Une pièce jointe HTML a été nettoyée...
URL: </pipermail/linux-bruxelles/attachments/20190312/0c018d4c/attachment-0002.html>
Plus d'informations sur la liste de diffusion Linux-bruxelles