Qsan технологии эффективного хранения.
Становятся все более популярными огромное разнообразие цифровых и мобильных устройств, компании и частные лица «создают» все больше и больше данных. Для большинства компаний малого и среднего бизнеса и международных корпораций, главным приоритетом становится эффективное хранение этих огромных объемов данных, стараясь снижать при этом материальные затраты и энергию.
Qsan technology предлагает, в ценовом сегменте SMB без каких-либо дополнительных выплат, сложные и дорогостоящие функции, такие как Deduplcation, Compression и Thin Provisioning, которые обычно предлагаются в сегменте корпоративных систем хранения данных. Эта статья покажет вам, как использовать эти возможности и поможет достичь необходимой эффективности хранения.
Thin Provisioning использует понятие "выделять по требованию" или "емкость в то время, когда она нужна". Нет никакого предварительно выделенного объема. Объем выделяется только тогда, когда данные копируются в хранилище. Вы можете использовать тот же самый объем для хранения данных.
Как использовать Thin Provisioning с файловой системой (NAS).
Способ установки Thin Provisioning для файловой системы (NAS) и тома (SAN) отличается. Для создания NAS с Thin Provisioning, нет необходимости указывать размер. Поле ввода будет неактивным, если Thin Provisioning выбрано для File System.
Размер места для файловой системы, такой же, как размер пула хранения. Это означает, что его можно использовать до заполнения, если это необходимо.
Если вы используете том с файловой системой как сетевой диск, то размер этого сетевого диска будет такой же, как и пула хранения.
Вы можете создать несколько файловых систем с Thin Provisioning для различных применений. Все они будут делить свободный объем пула хранения между собой на основании политики "первый пришел - первый обслужен". Когда пул хранения будет использован полностью, вы можете расширить емкость пула хранения путем добавления дополнительных массивов RAID без каких-либо проблем с функционированием сервисов системы.
Например, скопируйте разное количество данных для каждого сетевого диска и проверьте результат. Вы можете увидеть, что все они имеют те же размеры свободного пространства, хотя реальный используемый объем отличается.
Как использовать Thin Provisioning с iSCSI томом.
При создании тома iSCSI с Thin Provisioning, вам нужно указать размер тома. Это значение может быть больше, чем размер оставшегося свободного объема в пуле хранения. После создания тома не остается реального свободного места. Необходимый объем просто выделяется по требованию.
Давайте создадим 3 тома iSCSI с Thin Provisioning и увидим, как размещаются данные.
Воспользуемся ISCSI инициатором для монтирования каждого тома как диска и скопируем различное количество данных для каждого смонтированного диска.
Проверяем фактическое значение Used space. Это именно то общее количество данных, скопированных на каждый диск - около 26GB. Хотя мы выделили 600GB объема для трех дисков, но свободный объем в пуле хранения еще около 7274GB, без использования Thin Provisioning это было бы 6700GB. Теперь больше свободного пространства может быть выделено для других приложений.
Deduplication.
Технология deduplication обеспечивает встроенную, на уровне блока данных, эффективную функцию удаления избыточных блоков. Deduplication на уровне блока, как правило, более эффективна, чем на уровне файлов. Термин "встроенное" означает, что когда данные копируются в хранилище, обработка происходит в режиме реального времени.
Чем больше избыточных (дублированных) данных хранится, тем эффективнее работает функция deduplication.
Как проверить Dedup в действии?
Технология Qsan Dedup может быть разрешена как для файловой системы (NAS вариант), так и для тома (iSCSI том). Dedup может быть включена или выключена "на лету", в зависимости от текущих потребностей пользователя. Объем, который экономится благодаря deduplication, НЕ будет виден как в NAS варианте, так и в iSCSI томе непосредственно. Этот сохраненный объем будет накапливаться в свободном объеме пула хранения. Таким образом вы сможете использовать этот “растущий” объем для других приложений.
Давайте проверим это на новом пуле хранения. Общая площадь -7300GB, как показано на скриншоте ниже.
Давайте создадим 100GB раздел в виде файловой системы и выделим его тем самым как сетевой диск (NAS). Без использования Thin Provisioning, 100GB раздел зарезервирован, и свободный объем в пуле становится 7200GB.
Давайте 4 раза скопируем один и тот же файл в этот раздел, но в разные папки. С включенной функцией Dedup второй и третий экземпляры не занимают места. Но куда же ушел сохраненный объем? Общий объем пула хранения стал 7368GB. Тем самым мы видим, что сохраненный объем идет в пул хранения, как свободное пространство.
Свободный объем пула хранения вырос на 68GB, это сохраненный с помощью deduplication объем за счет 3 раза скопированного файла. На самом деле, физический объем не растет, разумеется. Мы видим, что файловая система показывает нам занятость 91GB объема. Используйте эти 68GB, на которые вырос объем свободного места, для компенсации 91GB использованного объема. В итоге получается, что реально на системе занято место размером в одну копию файла вместо четырех.
С точки зрения клиентской операционной системы, вы не замечаете deduplication в действии. Вы все еще видите 4 файла, которые занимают 96GB объема, как и должно быть.
Свободного объема не становится больше. Попробуйте скопировать этот файл еще раз, и вы получите предупреждение о недостаточном свободном объеме. Очевидно, что вы не получаете немедленного эффекта от использования deduplication в этом случае.
Как использовать Deduplication с файловой системой?
Если вы хотите применить Deduplication в режиме NAS (файловой системы), то используйте его одновременно с Thin Provisioning. Создайте файловую систему, включив и Deduplication и Thin Provisioning. Не нужно при этом указывать размер, как уже объяснялось ранее.
Снова скопируйте тот же файл. Проверьте результат в клиентской ОС.
Скопируйте файлы еще три раза и проверьте результат.
Размер свободного пространства не уменьшается. Это означает, что эти три дубликата не занимают места. Они дедуплицированны.
Как использовать дедупликацию с томом iSCSI.
При использовании ISCSI тома с поддержкой deduplication, вы не увидите роста отношения свободного места к используемому в несколько раз. Это потому, что том iSCSI представляет себя в качестве чистого, неформатированного диска для клиентских ОС. Клиентская OC будет форматировать такой диск в клиентской файловой системе (например, в EXT3, EXT4, NTFS, FAT32), прежде чем она cможет сохранять файлы на iSCSI томе.
Поэтому данные, сохраняемые на iSCSI томе, всегда обрабатываются клиентской файловой системой. Несмотря на то, что исходные копируемые на том файлы одинаковы, они сохраняются в пуле хранения в виде блоков данных, и эти блоки могут не совпадать друг с другом, несмотря на совпадения файлов. Вот почему свободное место при включенном DeDup может не увеличиться при дублировании данных на iSCSI томе.
Для использования пула хранения более эффективно, мы рекомендуем разрешить и Thin Provisioning и Deduplication для iSCSI тома. О том, как это сделать, мы написали выше в разделе «Как использовать Thin Provisioning с iSCSI томом.
Compression (cжатие).
Алгоритм сжатия LZJB, используемый в Qsan Unified Storage, легкий, быстрый и без потерь алгоритм сжатия данных. Функция сжатия работает в реальном масштабе времени, на лету сжимает записываемые в систему хранение данные. Вы можете отключить функцию сжатия в любое время. Новые данные не будут сжаты, но это не повлияет на уже хранящиеся данные, которые остаются в сжатом формате. Алгоритм сжатия без потерь означает, что процесс является обратимым и все оригинальное содержание данных будут сохранено. Основной целью сжатия является экономия места. Вообще говоря, необработанные данные - текстовый файл, лог – файл, изображения, растровые файлы имеют лучший коэффициент сжатия.
В демонстрации ниже, мы будем использовать растровый файл (*. BMP) и iobw.tst файл (генерируемый программой Intel Iometer) с хорошей степенью сжатия, чтобы показать вам, вам алгоритм сжатия в действии.
Как использовать сжатие с файловой системой (NAS).
Использование сжатия с выделением объема, вероятно самый наглядный способ увидеть и получить преимущества от экономии объема. Чтобы продемонстрировать это, создадим 100GB раздел в виде файловой системы и выделим его как сетевой диск.
Скопируем некоторые файлы с хорошей степенью сжатия и проверим результат. См. ниже.
Номинальный размер всех файлов составляет около 16GB. Однако, клиентская ОС показывает, что используются только 9GB. Таким образом, благодаря сжатию пользователь может хранить больше данных, чем разрешается сетевым диском.
Вы можете использовать сжатие совместно с Тhin Provisioning при создании сетевого диска. Все файлы, скопированные на сетевой диск, будут сжаты и освободившийся объем идет в пул хранения, который может использоваться и другими приложениями. Оба способа экономии дискового пространства эффективны и их использование увеличивает выигрыш от применения NAS.
Как использовать сжатие данных с томом iSCSI.
Создать iSCSI том размером в 100GB при включенной функции "сжатие".
Давайте пять раз скопируем файл iobw.tst в том и проверим результат.
Из скриншота видно что клиентская ОС не видит никакой пользы от сжатия. По отчету использованное пространство 36.7GB, что в 5 раз больше файла iobw.tst без сжатия. Тем не менее, если вы проверите использованный объем тома iSCSI в NAS, это составит всего 20.6GB. Это означает, что сжатие работает и пространство сохраняется. Но это говорит и о том, что сохраненное пространство ограничено в объеме и у нас нет доступа к нему. Потому, что если вы посмотрите на свободный объем в пуле хранения (Pool1), то он по-прежнему составляет 7200GB.
Поэтому мы не рекомендуем вам использовать сжатие iSCSI тома таким образом. Но, тем не менее, как же мы можем переместить сохраненный объем в свободное пространство пула хранения? Вы правы - с помощью Thin Provisioning!
Одновременное использование сжатия и Thin Provisioning с томом iSCSI.
Повторим то же самое - создадим том iSCSI (размером 100GB) с применением функций сжатия и Thin Provisioning. А затем пять раз скопируем файл (iobw.tst) в созданный том.
При добавлении Thin Provisioning, новый сохраненный объем накапливается в свободном пространстве и может использоваться совместно с другими приложениями. Идея такая же, как и та, что мы описали выше при создании iSCSI тома с помощью Deduplication и Thin Provisioning.
Deduplication и Compression.
Одновременное использование дедупликации и сжатия может дать вам комбинированный эффект. Давайте используем пример сжатия из раздела выше.
Повторите то же самое, только со сжатием (без дедупликация). Вы получите следующие результаты.
После разрешения дедупликации появляются дополнительные 8GB пространства. Эти функции экономии пространства не дешевы в системах хранения от других производителей, но QSAN предоставляет из без каких-либо дополнительных расходов. Но следует помнить, что в обмен на использование этих весьма полезных функций системы хранения, может немного снизиться быстродействие системы. Если производительность не является для вас самым важным приоритетом, использование этих трех функции (дедупликации, сжатия и Thin Provisioning) поможет вам достигнуть наивысшей эффективности хранения и сэкономит ваши деньги.
Заключение.
Преимущества использования методов экономии пространства мы показывали на примере работы с небольшими объемами данных для легкости понимания и сравнения. При запуске полномасштабного проекта, дедупликация и сжатие позволит сэкономить значительные пространства, в зависимости от конкретных приложений и типов данных. Такие приложения, как полное архивирование данных, виртуализация серверов или использование Exchange Server баз данных наболее подходящи для использования дедупликации. Для хранения больших объемов текстовых файлов, файлов изображений raw или raw мультимедийных файлов, использование сжатия является лучшим выбором, учитывая, что эти типы данных имеют более высокий коэффициент сжатия.
В двух словах, мы суммируем все вышесказанное для создания следующих правил:
- при использовании iSCSI тома размер ограничивается квотами клиентской файловой системы. С точки зрения клиентской ОС, сам том не может воспользоваться сохраненным с помощью дедупликации и сжатия объемом;
- всегда используйте Thin Provisioning вместе с дедупликацией и сжатием данных, поскольку в этом случае сохраненный объем будет добавлен в свободное пространство пула хранения и может использоваться совместно с другими приложениями;
- без Thin Provisioning, если вы хотите повторно использовать и извлекать выгоду из сохраненного пространства, выделенная файловая система со сжатием является единственным вариантом экономии места;
- использование дедупликации и сжатия для экономии объема может дать в качестве побочного эффекта меньшую производительность. Пожалуйста, будьте внимательны!
Простая таблица сравнения, иллюстрирующая правила выше.
Для хранения большего объема данных в файловой системе (NAS) или томе (iSCSI), используя сохраненное пространство от dedup и сжатия.
Для увеличения свободного пространства пула устройства хранения данных за счет сэкономленного объема от DeDup и сжатия.
