Дедупликацията на данни (Data Deduplication) е техника за оптимизация на съхранението на данни, която елиминира излишните копия на повтарящи се данни.

Целта на тази технология е да намали количеството съхранявана информация, като идентифицира и съхранява само уникални данни. Така значително се намалява необходимото пространство за съхранение и се подобрява ефективността на управлението на данни.

Освен за оптимизиране на съхранението на данни, дедупликацията е ефективна и за мрежови трансфери на данни, тъй като се намалява броя на байтовете, които трябва да бъдат изпратени.

Как се осъществява дедупликацията на данни?

Трите основни етапа в процеса по дедупликация на данни са следните:

• Идентифициране на дубликати: Системата анализира данните и открива дубликати на блоково ниво или на ниво файл.
• Съхранение на уникални данни: Съхранява се само едно копие на уникалните данни, докато дубликатите се заменят с референции към това единствено копие.
• Мета данни: Системата поддържа таблица с метаданни, която следи кои части от данните са уникални и кои са дубликати.

Както е видно - в процеса на дедупликация се сравняват „парчета“ от данни (известни също като „байтови модели“), които са уникални съседни блокове от данни. Те се идентифицират и съхраняват по време на процеса на анализ и се сравняват с други части в съществуващите данни. Всеки път, когато има съвпадение, дублиращата се част се заменя с малка препратка, която сочи към съхранената част.

Като се има предвид, че един и същ байтов модел може да се появи десетки, стотици или дори хиляди пъти (честотата на съвпадението зависи от размера на парчето), количеството данни, което трябва да се съхранява или прехвърля, може да бъде значително намалено.

Подобна техника е съхранението на един екземпляр (single-instance storage), което заменя множество копия на съдържание на ниво цял файл с едно споделено копие.

Въпреки че е възможна комбинация с други форми на компресиране на данни и дедупликация, това е различно от по-новите подходи за дедупликация на данни (които могат да работят на ниво сегмент или подблок).

Дедупликацията е различна от алгоритмите за компресиране на данни, като LZ77 и LZ78. Докато алгоритмите за компресиране идентифицират излишни данни в отделни файлове и кодират тези излишни данни по-ефективно, целта на дедупликацията е да инспектира големи обеми от данни и да идентифицира големи секции – като цели файлове или големи секции от файлове – които са идентични, и да ги замени със споделено копие.

Лесен пример за дедупликация на данни

За да поясним разбираемо как работи дедупликацията, нека заедно разгледаме следния пример:

Типична система за електронна поща може да съдържа 100 екземпляра на един и същ прикачен файл от 1 MB ( мегабайт ). Всеки път, когато имейл платформата се архивира, всичките 100 екземпляра на прикачения файл се запазват, което изисква 100 MB място за съхранение.

При дедупликацията на данни се съхранява само един екземпляр на прикачения файл. За всички други идентични екземпляри се създават препратки към запазеното копие, като съотношението на дедупликация е приблизително 100 към 1.

Дедупликацията често се съчетава с компресиране на данни за допълнително спестяване на място за съхранение: Дедупликацията първо се използва за елиминиране на големи части от повтарящи се данни и след това компресията се използва за ефективно кодиране на всеки от съхранените парчета.

В компютърния код дедупликацията се извършва чрез съхраняване на информация в променливи, така че да не се налага те да се изписват поотделно, а могат да се променят наведнъж на централно реферирано място. Примери са CSS класове.

Ефективност на дедупликацията на данни

Дедупликацията на данни осигурява ефективност в две посоки:

• Ефективност на съхранението на данни;
• Ефективност на трансфера на данни.

Нека заедно разгледаме всеки от тях:

Ефективно архивиране на данни с дедупликация

Дедупликацията на данни намалява необходимото място за съхранение, необходимо за даден набор от файлове. Тя е най-ефективна в приложения, където много копия на много подобни или дори идентични данни се съхраняват на един диск.

В случай на архивиране на данни (бекъп), което се извършва редовно за защита срещу загуба на данни, повечето данни в дадено архивиране остават непроменени спрямо предишното архивиране.

Често срещаните системи за архивиране се опитват да използват това, като пропускат (или правят hard link ) файлове, които не са променени или съхраняват разлики между файловете.

Нито един от двата подхода обаче не отчита всички излишъци. Твърдото свързване (hard linking) не помага при големи файлове, които са се променили незначително, като имейл база данни; разликите намират излишъци само в съседни версии на един файл (помислете за раздел, който е бил изтрит и по-късно добавен отново, или изображение на лого, включено в много документи).

Ефективен трансфер на данни с дедупликация

Дедупликацията на данни в мрежата се използва за намаляване на броя на байтовете, които трябва да се прехвърлят между крайните точки, което може да намали необходимата честотна лента.

За ползвателите на виртуални сървъри и виртуалните десктопи, дедупликацията позволява номинално отделни системни файлове за всяка виртуална машина да бъдат обединени в едно пространство за съхранение.

В същото време, ако дадена виртуална машина персонализира файл, дедупликацията няма да промени файловете на другите виртуални машини – нещо, което алтернативи като твърди връзки (hard links) или споделени дискове не предлагат. Архивирането или създаването на дублирани копия на виртуални среди е подобрено по подобен начин.

Предимства на дедупликацията на данни

Ето обобщен перглед на предимствата от дедупликацията на данни:

• Спестяване на място за съхранение: Значително намалява необходимото пространство за съхранение на данни.
• Намалени разходи: Понижава разходите за съхранение чрез намаляване на нуждата от допълнителни устройства за съхранение.
• По-бързо архивиране и възстановяване: Ускорява процесите на архивиране и възстановяване, като намалява количеството данни, които трябва да се обработват.
• По-добра ефективност на мрежата: Намалява обема на данните, пренасяни по мрежата, което води до по-добра мрежова ефективност.

Недостатъци на дедупликацията на данни

Ето преглед на някои недостатъци, които могат да бъдат елиминирани, ако се подбере подходящ вид дедупликация на данни (ще ги разгледаме по-долу).

• Производителност: Процесът на дедупликация може да изисква допълнителна изчислителна мощност, което може да повлияе на производителността на системата.
• Сложност: Управлението и конфигурирането на дедупликационни системи може да бъде сложно.

Видове дедупликация на данни

Класификацията на видовете дедупликация може да бъде направена от различна гледна точка - според това на какво ниво се извършва (блок или файл), според това на кой етап от процеса (in-line или post-process) се осъществява, дали при източника или целта и други, които разглеждаме по-долу в текста:

• File-Level Deduplication: премахва дубликатите на ниво файл, като съхранява само едно копие на всеки уникален файл.
• Block-Level Deduplication: премахва дубликатите на ниво блок (малки сегменти от данни), като идентифицира и съхранява само уникалните блокове.
• In-line Deduplication: процесът на дедупликация се извършва в реално време, преди данните да бъдат записани на диска.
• Post-Process Deduplication: процесът на дедупликация се извършва след като данните са били записани на диска.
• Content-agnostic Data Deduplication – метод за дедупликация на данни, който не изисква познаване на конкретни формати на данни на приложението.
• Content-aware Data Deduplication – метод за дедупликация на данни, който използва познания за конкретни формати на данни на приложения.
• Source Deduplication: дедупликацията се извършва на източника на данните, преди те да бъдат изпратени към хранилището.
• Target deduplication: дедупликацията се извършва на целевото устройство или хранилището, където данните ще бъдат съхранявани.
• Chunking
• Client backup deduplication
• Primary storage и secondary storage
• Single-Instance Storage (SIS)

Post-process и in-line дедупликация

Тази класификация е сред най-популярните днес. Тя се определя според това на кой етап от процеса (in-line или post-process) се осъществява дедупликацията.

Нека разгледаме в детайли двата вида дедупликация с техните основни характеристики, предимства и недостатъци, след което ще направим и сравнение.

Post-process дедупликация

Post-process дедупликацията е техника за оптимизация на съхранението на данни, при която дублиращите се данни се идентифицират и премахват след като вече са записани на диска.

Този подход е контрапункт на in-line дедупликацията, при която дублиращите се данни се обработват в реално време преди записването.

Ето как се осъществява post-process дедупликацията и какви са нейните основни характеристики:

Процес на post-process дедупликация

1. Запис на данни: първоначално всички данни се записват на диска без никаква обработка за дедупликация.

2. Анализ на данните: след като данните са записани, системата за дедупликация стартира процес на анализ, за да идентифицира дублиращите се части от данните. Това обикновено се извършва в зададени времеви интервали или по график.

3. Премахване на дублиращите се данни: След идентифициране на дублиращите се данни, системата премахва дубликатите и оставя само референции към уникалните части от данните. Това освобождава място на диска, което може да бъде използвано за други данни.

Предимства на post-process дедупликацията

1. По-малко натоварване на процесора при запис: тъй като дедупликацията се извършва след записа на данни, процесът на запис на данни не се забавя от необходимостта да се идентифицират дублиращите се данни в реално време.

2. Простота на първоначалния запис: всички данни се записват директно и веднага, без нуждата от допълнителна обработка, което може да бъде полезно в среди с високи изисквания за бързина на запис.

3. Гъвкавост при планиране: процесът на дедупликация може да бъде планиран за изпълнение в периоди с ниско натоварване на системата, като например през нощта или през уикендите.

Недостатъци на post-process дедупликацията

1. Забавяне на освобождаването на място: тъй като дедупликацията се извършва след записването, мястото на диска не се освобождава веднага. Това може да е проблем в среди с ограничено дисково пространство.

2. Натоварване на системата по време на дедупликация: процесът на дедупликация може да бъде ресурсно интензивен и да натовари системата, особено ако се изпълнява на големи обеми от данни.

3. Необходимост от допълнително пространство: тъй като всички данни първо се записват в суров вид, системата трябва да разполага с достатъчно пространство за съхранение на всички данни преди да започне процесът на дедупликация.

Post-process дедупликацията е ефективна техника за оптимизация на съхранението на данни, която предлага баланс между ефективност и натоварване на системата. Тя е подходяща за среди, където е важно данните да се записват бързо и процесът на дедупликация може да бъде извършен по-късно.

In-line дедупликация

Inline дедупликацията е техника за оптимизация на съхранението на данни, при която дублиращите се данни се идентифицират и премахват в реално време, преди да бъдат записани на диска.

Целта на тази технология е да намали количеството съхранявана информация, като съхранява само уникалните части от данните и премахва дубликатите, което значително намалява необходимото пространство за съхранение и подобрява ефективността на управлението на данни.

Ето как работи този процес и какви са основните му характеристики:

Процес на in-line дедупликация:

1. Приемане на данни: данните, които се записват, първо преминават през система за дедупликация.

2. Анализ и идентификация: системата анализира данните и идентифицира дублиращите се части, използвайки хеш функции или други методи за проверка на уникалността.

3. Запис на уникални данни: само уникалните части от данните се записват на диска, докато дублиращите се части се заменят с референции към вече записаните уникални данни.

Предимства на in-line дедупликацията

1. Спестяване на място: значително намалява необходимото пространство за съхранение, тъй като се съхраняват само уникалните данни.

2. Намалени разходи: намалява разходите за съхранение чрез ефективно използване на наличното дисково пространство.

3. По-бързо архивиране и възстановяване: ускорява процесите на архивиране и възстановяване, като намалява количеството данни, които трябва да се обработват.

Недостатъци на in-line дедупликацията

1. Високо натоварване на процесора: процесът на идентифициране и премахване на дублиращите се данни в реално време изисква значителна изчислителна мощност, което може да повлияе на производителността на системата.

2. Забавяне на записването на данни: може да забави процеса на записване на данни, тъй като анализът и премахването на дубликатите се извършват преди записването.

3. Високи изисквания за памет: често изисква значителни ресурси от оперативната памет (RAM) за съхранение на метаданни и индексиране на данни в реално време.

In-line дедупликацията е мощна технология за оптимизация на съхранението на данни, която е особено полезна в среди с високи изисквания за ефективност и икономия на място. Тя обаче изисква подходящ хардуер и внимателно управление, за да се избегнат проблеми с производителността.

Post-process vs. in-line дедупликация

Предимството при post-process дедупликацията е, че данните се съхраняват без да е необходимо да се чака извършването на хеш изчисления. Това гарантира висока производителността на хранилището. Потребителите имат възможност да отложат оптимизацията на "активни" файлове или да обработват файлове въз основа на типа и местоположението им.

Един потенциален недостатък е, че дублиращи се данни могат да бъдат ненужно съхранявани макар и за кратко време, което може да бъде проблем, ако системата е близо до максимален капацитет.

При алтернативния in-line подход за дедупликация на данни, хеш изчисленията могат да се извършват синхронизирано, когато данните влизат в целевото устройство. Ако системата за съхранение идентифицира блок, който вече е съхранила, се съхранява само препратка към съществуващия блок, а не целия нов блок.

Предимството на in-line дедупликацията пред post-process модела е, че се нуждае от по-малко място съхранение и мрежов трафик, тъй като дублиращите се данни никога не се съхраняват или прехвърлят.

От друга страна недостатък е, че изчислителна мощ, която е необходима за калкулацията на кеша, има своята цена и намалява производителността на съхранението.

Въпреки това, някои доставчици с in-line дедупликация са демонстрирали оборудване, което може да извършва in-line дедупликация с висока скорост.

Дедупликация според формата на данни

Речникът SNIA идентифицира два метода:

• Дедупликация на данни с отчитане на съдържанието (content-agnostic data deduplication) - метод за дедупликация на данни, който не изисква познаване на конкретни формати на данни на приложението.

• Дедупликация на данни, съобразена със съдържанието (content-aware data deduplication) - метод за дедупликация на данни, който използва познания за конкретни формати на данни на приложения.

Source и Target дедупликация

Source и Target дедупликацията са други два различни подхода за оптимизация на съхранението на данни чрез премахване на дублиращите се данни. Всеки от тези методи има свои специфики и предимства. Ето какво представляват те:

Source Deduplication (Дедупликация при източника)

Source дедупликацията се извършва на източника на данните, преди те да бъдат изпратени към хранилището. Това означава, че данните се анализират и дублиращите се части се премахват още преди да напуснат устройството, на което се генерират или се съхраняват първоначално.

Предимства на Source Deduplication:

1. Намалено мрежово натоварване: понеже само уникалните данни се изпращат към хранилището, трафикът по мрежата значително намалява.

2. По-бързо архивиране и възстановяване: мрежовата скорост се повишава, което води до по-бързи процеси на архивиране и възстановяване на данни.

3. Спестяване на място за съхранение: понеже се изпращат само уникалните данни, необходимото място за съхранение също се намалява.

Недостатъци на Source Deduplication:

1. Натоварване на клиентските ресурси: изчислителната мощност за дедупликация трябва да се осигури от източника на данните, което може да натовари клиентските устройства.

2. Сложност на внедряването: може да бъде по-трудно за внедряване и управление в сравнение с target дедупликацията.

Target Deduplication (Дедупликация при целевото устройство)

Target дедупликацията се извършва на целевото устройство или хранилището, където данните ще бъдат съхранявани. В този случай всички данни се изпращат към хранилището, а дедупликацията се извършва там.

Предимства на Target Deduplication:

1. Ненатоварване на клиентските устройства: дедупликацията се извършва на хранилището, което означава, че клиентските устройства не се натоварват с този процес.

2. Лесно внедряване: лесно се внедрява и управлява, тъй като всички процеси се извършват на едно място.

Недостатъци на Target Deduplication:

1. Високо мрежово натоварване: понеже всички данни трябва да бъдат изпратени до хранилището, мрежовият трафик може да се увеличи значително.

2. По-бавно архивиране: може да доведе до по-бавни процеси на архивиране и възстановяване поради високото мрежово натоварване.

И двата метода имат своите предимства и недостатъци, като изборът между тях зависи от конкретните нужди и ресурси на организацията. Source дедупликацията е по-подходяща за среди с ограничена мрежова честотна лента, докато target дедупликацията е подходяща за среди с мощни хранилища и висок капацитет на мрежата.

Source vs. Target дедупликация

Дедупликацията на източника гарантира, че данните в източника на данни са дедупликирани. Обикновено това се извършва директно във файловата система. Файловата система периодично сканира нови файлове, като създава хешове и ги сравнява с хешовете на съществуващите файлове.

Когато се открият файлове с еднакви хешове, копието на файла се премахва и новият файл сочи към стария файл. За разлика от твърдите връзки обаче дублираните файлове се считат за отделни единици и ако един от дублираните файлове бъде по-късно променен, тогава чрез система, наречена copy-on-write, се създава копие на този променен файл или блок.

Процесът на дедупликация е прозрачен за потребителите и приложенията за архивиране. Архивирането на дедублирана файлова система често води до дублиране, в резултат на което архивите са по-големи от изходните данни. 

Дедупликацията на източника може да бъде декларирана изрично за операции по копиране, тъй като не е необходимо изчисление, за да се знае, че копираните данни се нуждаят от дедупликация.

Това води до нова форма на „свързване“ на файлови системи, наречена reflink (Linux) или clonefile (MacOS), където един или повече inodes (записи с информация за файлове) се правят да споделят някои или всичките си данни.

Наименува се аналогично на твърдите връзки, които работят на ниво inode и символните връзки, които работят на ниво име на файл. Индивидуалните записи имат поведение на копиране при запис (copy-on-write), което е без псевдоним, т.е. промяната на едно копие след това няма да засегне други копия. ReFS на Microsoft също поддържа тази операция. 

Целевата дедупликация (target deduplication) е процес на премахване на дубликати, когато данните не са генерирани на това място. Пример за това би бил сървър, свързан към SAN/NAS, SAN/NAS ще бъде цел за сървъра (целева дедупликация). Сървърът не е наясно с никаква дедупликация, сървърът също е точката на генериране на данни.

Вторият пример би бил резервно копие. Обикновено това ще бъде резервно хранилище като хранилище на данни или виртуална лентова библиотека.

Според метода за дедупликация

Една от най-разпространените форми на прилагане на дедупликация на данни работи чрез сравняване на части (chunks) от данни за откриване на дубликати. За да се случи това, на всяка част от данните се присвоява идентификация, изчислена от софтуера, обикновено използвайки криптографски хеш функции.

В много изпълнения се допуска, че ако идентификацията е идентична, данните са идентични, въпреки че това не може да е вярно във всички случаи поради принципа на гълъба (pigeonhole principle); други имплементации не предполагат, че два блока от данни с един и същ идентификатор са идентични, но всъщност проверяват, че данните с една и съща идентификация са идентични.

Ако софтуерът или приеме, че дадена идентификация вече съществува в пространството от имена за дедупликация, или действително провери идентичността на двата блока данни, в зависимост от изпълнението, тогава той ще замени този дублиран фрагмент с връзка.

След като данните бъдат дедупликирани, при обратно четене на файла, където и да бъде открита връзка, системата просто замества тази връзка с референтната част от данни. Процесът на дедупликация е предназначен да бъде прозрачен (transparent) за крайните потребители и приложения.

Търговските имплементации на дедупликация се различават по методите и архитектурите си за разделяне на части (chunking).

Chunking

В някои системи парчетата се дефинират от ограниченията на физическия слой (напр. 4KB размер на блока в WAFL ). В други системи се сравняват само пълни файлове, което се нарича хранилище с един екземпляр или single-instance-storage (SIS).

Най-интелигентният (но интензивен CPU) метод за chunking обикновено се счита за плъзгащ се блок, наричан още нарязване (chunking) на съдържанието.

В плъзгащия се блок се предава прозорец по протежение на файловия поток, за да се търсят по-естествено възникващи вътрешни файлови граници.

Client backup deduplication

Това е процесът, при който хеш изчисленията за дедупликация първоначално се създават на изходните (клиентски) машини.

Файловете, които имат идентични хешове с файловете, които вече са в целевото устройство, не се изпращат, а целевото устройство просто създава подходящи вътрешни връзки за препратка към дублираните данни.

Ползата от това е, че се избягва ненужното изпращане на данни по мрежата, като по този начин се намалява натоварването на трафика.

Primary storage и secondary storage

По дефиниция Primary storage и secondary storage системите са проектирани за оптимална производителност, а не за възможно най-ниска цена.

• Първичните системи за съхранение (Primary storage) са много по-малко толерантни към всякакви операции, които могат да окажат отрицателно въздействие върху производителността.

• Вторичните системи за съхранение (secondary storage systems) съдържат основно дублирани или вторични копия на данни. Те обикновено не се използват за действителни производствени операции и в резултат на това са по-толерантни към известно влошаване на производителността в замяна на повишена ефективност.

Към днешна дата дедупликацията на данни се използва предимно с вторични системи за съхранение. Причините за това са две.

• Първо, дедупликацията на данни изисква допълнителни разходи за откриване и премахване на дублиращите се данни. В първичните системи за съхранение това натоварване може да повлияе на производителността.

• Втората причина, поради която дедупликацията се прилага към вторични данни е, че вторичните данни имат тенденция да имат повече дублирани данни. По-специално приложенията за архивиране обикновено генерират значителни части от дублирани данни с течение на времето.

Дедупликацията на данни е внедрена успешно с основно хранилище (primary storage) в някои случаи, когато дизайнът на системата не изисква значителни разходи или въздействие върху производителността.

Single-Instance Storage (SIS)

Съхранението на един екземпляр (Single-Instance Storage) е способността на системата да взема множество копия на обекти на съдържание и да ги заменя с едно споделено копие.

Това е средство за премахване на дублирането на данни и за повишаване на ефективността. (SIS) често се внедрява във файлови системи, сървърен софтуер за електронна поща, архивиране на данни (data backup) и друг компютърен софтуер, свързан със съхранение.

Единичното съхранение е опростен вариант на дедупликация на данни. Докато дедупликацията на данни може да работи на ниво сегмент или подблок, съхранението на единичен екземпляр работи на ниво обект, елиминирайки излишните копия на обекти като цели файлове или имейл съобщения.

Съхранението на един екземпляр, може да се използва заедно с други методи за дублиране или компресиране на данни, за да се подобри производителността в замяна на увеличаване на комплексността и (в някои случаи) минимално увеличаване на изискванията за пространство за съхранение.

Заключение

Дедупликацията на данни е съвременна и ефективна технология, която предлага множество ползи за управлението и съхранението на данни.

В тази статия разгледахме как се осъществява дедупликацията на данни и предоставихме лесен пример за по-добро разбиране на процеса.

Разгледахме ефективността на дедупликацията и нейната роля в архивирането и трансфера на данни. Подчертахме предимствата и недостатъците на различните видове дедупликация, включително post-process и in-line методите.

Освен това, сравнихме дедупликацията според формата на данните и разгледахме Source и Target дедупликацията, както и тяхното влияние върху производителността и мрежовото натоварване.

Накрая, разгледахме различните подходи към дедупликацията, като chunking и Single-Instance Storage (SIS), и обсъдихме техните приложения в първичното и вторичното съхранение.

Изборът на подходящата технология за дедупликация зависи от специфичните нужди на вашата организация и наличните ресурси.

Правилното внедряване на дедупликация може да доведе до значителни икономии на разходи и оптимизация на ресурсите, като същевременно подобрява ефективността на управление на данните.

В крайна сметка, дедупликацията на данни е ключов елемент за всяка модерна система за съхранение, която цели устойчиво и ефективно управление на нарастващите обеми от данни.

Не пропускайте да разгледате и нашата бекъп услуга - Delta Cloud Backup - напълно автоматизиран, инкрементален бекъп за надеждно архивиране на данните компресирани, криптирани и дедупликирани в разпределена архитектура.