Deduplikáció-adattömörítés-adatsűrítés

A kötetek (volume) hatékonyságának növelése szempontjából az ONTAP rendszerek három megoldást kínálnak: deduplikáció (deduplication), adattömörítés (data compression) és adatsűrítés (data compaction). Ezek a funkciók használhatók önállóan, vagy együttesen, ezáltal csökkentve a kötethez szükséges fizikai tárhely méretét.

A deduplikáció segítségével megszüntethetjük az ismétlődő adatblokkokat, az adattömörítés a redundáns adatblokkokat tömöríti, míg az adatsűrítéssel több adatot tudunk tárolni kevesebb helyen. Az ONTAP verziójától és a használt lemezek típusától függően a deduplikáció és az adattömörítés futtatható azonnal (inline), vagy a folyamatot követően (postprocess). Az adatsűrítés csak inline. Inline deduplikáció esetében a deduplikáció az előtt történik, mielőtt a backup eszköz befogadja a biztonsági másolat adatait (tehát a lemezre írás előtt), ezáltal pedig csökkenti az írási sebességet az SSD-re. Postprocess estében megtörténik a lemezre írás és az ismétlődő adatok csak ezután, egy ütemezett időpontban kerülnek deduplikálásra.

Deduplikáció

Az alábbi példában látható, hogyan történik a postprocess deduplikáció két fájl között. Az A fájl egy 20KB méretű dokumentum, a B fájl pedig 12KB. Mindkét fájl 4KB-os blokkokat használ. A blokkok a képen 4db betűvel vannak helyettesítve, valamint színkóddal ellátva, a könnyebb azonosítás végett. Az A fájlban az első és a negyedik blokk duplikált adatokat tartalmaz, így az egyik blokk eltávolítható. A B fájl második blokkja ugyanazt az ismétlődő adatot tartalmazza, mint az A fájl első és negyedik blokkja, így az is eltávolítható. A deduplikáció hatására aggregate szinten már csak deduplikált adatok jelennek meg. Az inline deduplikáció alapértelmezetten engedélyezve van az AFF rendszereken és engedélyezhető az új és meglévő Flash Pool köteteknél is.

ONTAP 9.2 operációs rendszerekkel inline keresztkötet-megosztást is végrehajthatunk a megegyező aggregate-hez tartozó kötetek között (kivételt képez a Flash Pool és a HDD használat). ONTAP 9.3 rendszerekkel pedig már háttérben futó, előre tervezett deduplikáció is végrehajtható az AFF rendszereken, az Automatic Deduplication Schedule (ADS) segítségével.

Adattömörítés

Az adattömörítés több 4KB méretű WAFL-blokkot egyesít tömörítési csoportokba a folyamat megkezdése előtt. Két adattömörítési módszer használható: a másodlagos módszer 32KB [kilobájt] tömörítési csoportokat használ, az adaptív módszer 8KB tömörítési csoportokat használ, amelyek segítenek a tárolórendszer olvasási teljesítményének javításában.

Az adattömörítés a redundáns adatokat tömöríti, ezzel növelve a fizikai tárhelyet. Korábban volt róla szó, hogy az adattömörítés is történhet inline, vagy postprocess attól függően, hogy a folyamat a lemezre írás előtt, vagy után történik. Az alábbi példa pontosan ugyanazokat az alapadatokat használja, mint korábban a deduplikáció esetében, viszont itt a postprocess tömörítés nincs engedélyezve. Az adattömörítés folyamán először több blokk kerül tömörítési csoportba. Jelen esetben 20KB (A fájl) + 12KB (B fájl), vagyis 32KB kötetet alkot 8x4KB blokk. Egy algoritmus megkeresi a tömöríthető redundáns mintákat és elvégzi a tömörítési folyamatot. Miután ez megtörténik, a lemezre már csak a tömörített adatok kerülnek írásra.

Adatsűrítés

Az inline adatsűrítés során az algoritmus olyan sok, nagyon kicsi I/O folyamatokat keres, amelyek normál esetben egy 4KB-os blokkot fogyasztanak a fizikai tárhelyen, és ezeket az I/O-kat egyetlen fizikai 4KB blokkba csomagolja. A hatékonyság növelése érdekében az adatok sűrítését az inline tömörítés és inline deduplikáció után hajtja végre a rendszer. A sűrítés alapértelmezetten engedélyezve van az összes ONTAP 9.-el szállított AFF rendszerhez. Opcionálisan konfigurálható Flash Poolhoz és HDD-hez is.

Az AFF inline tárolási hatékonyságnövelés folyamata

Minden All Flash FAS rendszer a következő lépesek szerint hajtja végre a korábban bemutatott folyamatokat:

Első lépésben az inline nulla-blokk dedupklikáció detektálja a nulla-blokkokat. Ebben a lépésben felhasználói adatok nem kerülnek írásra, csak a metaadatok és referencia számítások frissülnek.

A második lépésben az inline adaptív tömörítés 8KB logikai blokkokat tömörít 4KB fizikai blokkokká.

A harmadik lépésben az inline deduplikációval eltűnnek a fizikai tárolók már meglévő blokkjai.

A negyedik, egyben utolsó lépéssel pedig több 4KB-nál kisebb blokkot egyetlen 4KB blokká sűríti a rendszer.