Продолжаем рассказывать о лучшем в отрасли решении для создания программных хранилищ под виртуальные машины на базе хост-серверов ESXi - StarWind Virtual SAN for vSphere. Как многие знают, с какого-то момента StarWind стала поставлять свое решение для платформ VMware в виде виртуального модуля (Virtual Appliance) на базе Linux, который реализует основные сервисы хранения, дедупликации и компрессии, а также отказоустойчивости и обеспечения надежности данных в виртуальных машинах.

Для виртуального модуля StarWind работа механизма дедупликации и компрессии обеспечивается средствами Linux-движка Virtual Data Optimizer (VDO), который появился относительно недавно. Это удобный и надежный способ экономии дискового пространства за счет использования дополнительных емкостей оперативной памяти на хосте.

Для начала вам нужно определиться с оборудованием хостов ESXi, где вы будете развертывать виртуальные модули StarWind. Как вы понимаете, в целях обеспечения отказоустойчивости таких узлов должно быть как минимум два.

Что касается HDD и SSD-дисков, то нужно также спланировать конфигурацию RAID на хранилище хостов. Сделать это можно в соответствии с рекомендациями, описанными в базе знаний StarWind. Вы можете использовать программный или аппаратный RAID, о настройках которого мы расскажем ниже.

Что касается дополнительной оперативной памяти на хосте ESXi, то нужно выбирать ее объем, исходя из следующих критериев:

• 370 МБ плюс дополнительные 268 МБ на каждый 1 ТБ физического хранилища
• Дополнительно 250 МБ на 1 ТБ физического хранилища, если включена дедупликация (UDS index)

То есть для 4 ТБ физического хранилища с дедупликацией вам понадобится:

370 MB + 4 * 268 MB +4 * 250 MB = 2 442 MB RAM

Итого 2,4 ГБ оперативной памяти дополнительно к памяти под ОС виртуального модуля. Вообще, StarWind рекомендует 8 ГБ памяти для виртуального модуля - 4 ГБ на машину и 4 ГБ на движок VDO для работы с хранилищем.

Один VDO-том может работать с хранилищем до 256 ТБ, что покрывает максимум потребностей в рамках хранилищ на базе серверов. Также StarWind очень рекомендует использовать дисковые массивы All-flash или NVMe-оборудование.

Общее правило развертывания таких хранилищ таково:

• Под VDO: аппаратный или программный RAID (LVM или mdraid)
• Над VDO: "толстые" (thick) диски StarWind Virtual SAN в режиме stand-alone или HA

Надо понимать, что сам том VDO - это тонкий диск, растущий по мере наполнения, поэтому устройство под ним должно иметь расширяемую природу (MD RAID, LVM).

Примерная схема отказоустойчивого решения StarWind Virtual SAN for vSphere на базе 2 узлов выглядит так:

После того, как вы установите StarWind Virtual SAN, настроите виртуальную машину и StarWind Management Console, нужно будет настроить аппаратный или программный RAID для хранилища.

Если вы используете аппаратный RAID, то просто создайте виртуальный диск для ВМ StarWind Virtual SAN на его хранилище, но обязательно типа "Thick Provisioned Eager Zeroed" (также вы можете использовать RDM-диск):

Если же вы будете использовать программный RAID, то нужно будет использовать HBA или RAID-контроллер в режиме DirectPath I/O passthrough, чтобы получить прямой доступ к дискам и собрать на их базе RAID-массив.

Для этого вам нужно будте выбрать правильный HBA/RAID-контроллер как PCI-устройство:

И пробросить его напрямую в виртуальную машину StarWind:

После этого в StarWind Management Console можно будет собрать RAID нужного вам уровня:

Рекомендации тут такие:

После этого в виртуальном модуле StarWind на полученном хранилище нужно будет создать VDO-устройство с нужными вам параметрами:

vdo create –activate=enabled –deduplication=enabled –compression=disabled –emulate512=enabled –indexMem=%size% –vdoLogicalSize=%size% –device=%yourdevice% -n=%name%

Здесь мы видим, что создается устройство с включенной дедупликацией, выключенной компрессией, нужным размером индексной памяти и заданного объема.

После создания это устройство надо отформатировать в XFS со следующими параметрами:

Далее вы можете создавать хранилище StarWind на этом устройстве и (опционально) сделать его реплику на партнерском узле в режиме HA. Также рекомендуется выставить настройку Disk.DiskMaxIOSize на хосте ESXi

В значение 512:

Ну и про оптимизацию производительности I/O-планировщика прочитайте вот эту статью базы знаний StarWind. Если вам интересен процесс создания хранилищ с дедупликацией и компрессией на базе StarWind Virtual SAN в стиле "от и до", то рекомендуем прочитать вот эту статью.

Как пишет Kalle в своем блоге, если вы используете платформу VMware Workstation в серверной ОС Windows Server 2019, то виртуальные машины у вас могут валиться с ошибками, если для дисков, на которых они размещены, включена дедупликация. При этом диски могут быть как NTFS, так и ReFS, а в журнале событий у процессов vmware-vmx.exe можно найти следующее:

Faulting application name: vmware-vmx.exe, version: 15.0.2.40550, time stamp: 0x5bf5251a

Faulting module name: vmware-vmx.exe, version: 15.0.2.40550, time stamp: 0x5bf5251a

Exception code: 0xc0000005

Fault offset: 0x000000000049db36

Faulting process id: 0x2a9c

Faulting application start time: 0x01d48a67966e2ea4

Faulting application path: C:\Program Files (x86)\VMware\VMware Workstation\x64\vmware-vmx.exe

Faulting module path: C:\Program Files (x86)\VMware\VMware Workstation\x64\vmware-vmx.exe

Report Id: 7dd5aa8c-2f51-471d-b9e4-e04d0caf099b

Faulting package full name: 

Faulting package-relative application ID:

При этом на Windows Server 2012 R2 при точно таких же настройках дедупликации все работает вполне нормально:

Он также пробовал различные настройки дедупликации на Windows Server 2019 (General purpose file server и Virtualized Backup Server), но машины на VMware Workstation 15 все равно валятся с ошибкой случайным образом.

Мы уже писали о том, что в решении номер 1 StarWind iSCSI SAN для создания отказоустойчивых хранилищ VMware vSphere, есть возможность создания дедуплицированных виртуальных дисковых устройств (и вот тут), на которых могут быть размещены виртуальные машины.

Те из вас, кто следит за обновлениями StarWind, знают, что в последних версиях продукта появилась возможность репликации дедуплицированных устройств на другой узел кластера StarWind. Причем можно использовать репликацию дисковых устройств как в локальной сети, так и через WAN-сети в целях создания DR-площадки виртуальной инфраструктуры (пока экспериментально).

27-го августа выйдет StarWind iSCSI SAN 6.0, возможно, там последняя конфигурация уже будет поддерживаться полноценно. Пока ее можно тестировать и оценивать производительность и надежность.

Ну а чтобы уже сейчас приступить к развертыванию реплицируемых дедуплицированных iSCSI-хранилищ для вашей инфраструктуры VMware vSphere, компания StarWind выпустила хороший мануал по настройке этой функции "StarWind iSCSI SAN 5.9 Beta : DD devices with replication".

Ну и будете на VMworld 2012 - заходите на стенд StarWind (номер 536) - коллеги расскажут много интересного.

Мы уже писали о некоторых особенностях дедупликации StarWind Global Deduplication, которая, кстати, предоставляется бесплатно всем пользователям решения для резервного копирования Veeam Backup and Replication. Сегодня мы раскроем еще некоторые моменты.

Какие требования предъявляет дедупликация StarWind к аппаратному обеспечению:

Процессор. Минимально на сервере StarWind вам потребуются процессоры Intel Xeon Processor E5620 (или более поздние), либо их аналог по производительности от AMD. Рекомендуются процессоры Intel Xeon X5650 для получения максимальной производительности. При этом лучше иметь больше ядер с меньшей частотой, чем меньше ядер с большей частотой (раки по 3 рубля выгоднее) - это дает большую производительность для StarWind.

Память. Минимальное требование к опреативной памяти сервера StarWind iSCSI SAN - 4 ГБ. При этом нужно учитывать, что нужно закладывать сверх этого память на 2 вещи: дедупликацию и кэширование. Размер памяти, выделяемой для кэширования, выставляется в настройках при создании устройства StarWind, а вот размер памяти, необходимый для дедупликации понятен из следующей таблицы:

Больший размер блока дедупликации дает экономию памяти и процессорных ресурсов, но ухудшает показатели эффективности дедупликации, а на малых размерах блока дедупликации вам понадобятся существенные ресурсы сервера хранилищ StarWind. Ну и от размера блока зависит максимально поддерживаемый объем дедуплицированного диска (от 2 ТБ для 512 байт до 1024 ТБ для 256 КБ).

С точки зрения программного обеспечения, StarWind iSCSI SAN поддерживает любую серверную ОС Microsoft от Windows Server 2003 до Windows 2008 R2, но последняя является рекомендуемой платформой.

В интерфейсе StarWind дедуплицированное устройство создается с помощью мастера:

Далее просто выбираем размер блока дедупликации:

При настройке задачи резервного копирования в Veeam Backup and Replication на дедуплицированное хранилище StarWind не забудьте отключить встроенную дедупликацию от Veeam и компрессию, в соответствии с рекомендациями вендоров:

Кстати, вот один из тестов, показывающих эффективность дедупликации от StarWind для бэкапов Veeam (слева - архив с резервной копией, справа - файл дедуплицированного устройства StarWind):

Также об установке StarWind и создании дедуплицированных устройств можно прочитать в документе "Configuring Global Deduplication" и "Global Deduplication with Veeam Backup&Replication".

Недавно мы писали о бесплатной дедупликации StarWind для пользователей продукта Veeam Backup and Replication, которую вы можете получить вот по этой ссылке, а сегодня приведем некоторые детали этого решения.

Во-первых, StarWind Global Deduplication работает на уровне дисковых устройств (LUN), а не на уровне VMDK-дисков (как Veeam), что должно положительно сказаться на эффективности дедупликации. По оценкам некоторых пользователей, тестировавших решение, эффективность StarWind доходит до +50% по сравнению с встроенной дедупликацией Veeam.

Во-вторых, на сервере StarWind вам понадобится некоторое количество дополнительной оперативной памяти для работы механизма дедупликации. На данный момент сайзить необходимо следующим образом: 3,5 ГБ памяти на 1 ТБ дедуплицируемого хранилища. В следующих версиях StarWind этот показатель будет близок к 2 ГБ на ТБ.

В-третьих, для Veeam придется отключить компрессию для лучшего эффекта дедупликации, но поддержка этого механизма в StarWind будет добавлена в ближайших версиях. Также в следующей версии будет добавлена функция увеличения/уменьшения размеров таких устройств и дедпуликация HA-устройств. Об этом всем мы напишем дополнительно.

Не секрет, что абсолютное большинство пользователей VMware vSphere, думающих о защите данных виртуальной среды, использует средство номер 1 для резервного копирования виртуальных машин Veeam Backup and Replication 6. Компании Veeam Software и StarWind Software недавно объявили о запуске совместной компании, в рамках которой всем пользователям Veeam Backup and Replication абсолютно бесплатно предоставляется средство дедупликации хранилищ резервных копий StarWind Global Deduplication, которое позволяет сократить требования к объему хранения до 90%.

Пример эффективности совместного использования Veeam Backup and Replication и StarWind Global Deduplication показан на картинке ниже:

Решение StarWind Global Deduplication предосталяется бесплатно всем пользователям Veeam, сертифицировано со стороны последней, а также включает в себя техническую поддержку в режиме 24/7.

Бесплатно скачать решение StarWind Global Deduplication для Veeam можно по этой ссылке: http://go.starwindsoftware.com/free-starwind-iscsi-san

Вы уже все привыкли к тому, что мы еженедельно рассказываем о продукте StarWind Enterprise iSCSI Target, который позволяет создавать отказоустойчивые хранилища для виртуальных машин на VMware ESX и Microsoft Hyper-V (подробнее тут, тут и в разделе StarWind).

Сегодня мы поговорим о механизме дедупликации данных в StarWind Enterprise iSCSI. Эта функциональность появилась, начиная с версии 5.6. Она позволяет создавать образы виртуальных дисков для хранилищ iSCSI, которые будут содержать только уникальные данные записываемых на них файлов (vmdk, vhd и прочее). Дедупликация работает "на лету", поэтому на хранилище попадают только уникальные блоки:

Объем, занимаемого этим хранилищем, будет расти по мере заполнения его уникальными данными файлов на нем хранящихся. Это позволяет значительно экономить на необходимых дисковых емкостях и понижает совокупную стоимость решения по построению инфраструктуры хранения данных виртуальных машин (c iSCSI она и так весьма небольшая).

Для создания дедуплицированного хранилища нужно выбрать тип диска Advanced Virtual (см типы дисков StarWind) и выбрать его подтип - Deduplicated disk device:

Обратите внимание - сейчас эта возможность экспериментальная (версия StarWind Enterprise 5.6). В следующих релизах она уже будет полностью поддерживаться. Поэтому ее пока используйте только для тестовых или некритичных систем.

Далее создаем новое устройство для виртуального диска, которое определяет максимальный объем хранилища (в нашем случае 5 ГБ):

Далее видим настройки, которые пока нельзя менять. Они определяют размер кэша для записи на данное виртуальное устройство, размер файла метаданных для виртуального диска и объем памяти, требующийся для работы с устройством.

Далее настраиваем параметры кэширования (подробнее в статье о кэшировании в StarWind Enterprise):

Смотрим получившиеся настройки:

И смотрим на получившийся диск в 5 ГБ:

Но реально на хранилище он занимает пока только вот столько:

Добавляем хранилище в vSphere Client:

Видим емкость в 5 ГБ:

Теперь создаем виртуальную машину на этом хранилище с диском в 2 ГБ (этот vmdk-диск указываем как thick, а не thin - то есть он создается сразу файлом в 2 ГБ):

И видим, что общее пространство, занимаемое диском StarWind Enterprise изменилось незначительно (в данном случае я уже был в середине установки Windows 2003 Server в этой виртуальной машине):

То есть в данном случае не просто Thin Provisioning, а полноценная дедупликация данных на лету средствами StarWind Enterprise.

Скачать замечательный продукт StarWind Enterprise iSCSI можно по этой ссылке, а покупают его по этой ссылке.