В этой статье мы обобщим лучшие практики использования платформы VMware vSAN, которые нужно применять для первоначального планирования инфраструктуры отказоустойчивых хранилищ. VMware vSAN имеет некоторые минимальные требования для создания кластера, но этих требований достаточно только при создании кластера для малого бизнеса, когда там не требуется высокая степень доступности данных и сервисов. Давайте рассмотрим требования и лучшие практики платформы vSAN, охватывающие диапазон от малого до корпоративного уровня.
Количество хостов в кластере
Количество хостов в кластере VMware vSAN напрямую влияет на масштабируемость, производительность и отказоустойчивость. Минимальные требования тут такие:
Кластер из 2 хостов — минимальная конфигурация, поддерживаемая внешней witness-машиной для обеспечения кворума. Такая настройка является экономичной, но не обладает продвинутыми функциями и масштабируемостью.
Кластер из 3 хостов — устраняет необходимость в выделенном witness-узле и обеспечивает базовую избыточность с использованием RAID 1.
Несмотря на эти минимальные требования, VMware рекомендует использовать не менее 4 хостов для производственных сред. Кластер из 4 и более хостов позволяет использовать конфигурации RAID 5 и RAID 6, обеспечивая защиту до двух отказов одновременно (в этом случае потребуется больше 4 хостов ESXi) и поддерживая операции обслуживания отдельных хостов ESXi без потери доступности машин кластера.
Лучшие практики:
Используйте не менее 4-х хостов для производственной среды, чтобы обеспечить отказоустойчивость и надежность.
Для критически важных нагрузок добавляйте дополнительные хосты ESXi при росте инфраструктуры и обеспечивайте дополнительную резервную емкость на случай отказов.
Числов хостов ESXi в кластере
Возможности
Отказоустойчивость
Уровни RAID
Когда использовать
2
Базовые, нужен компонент Witness
Один отказ хоста
RAID 1
Малый бизнес или маленький филиал
3
Полная функциональность vSAN
Один отказ хоста
RAID 1
Небольшие компании и удаленные офисы
4+
Дополнительно доступен RAID 5/6
Один или два отказа хостов
RAID 1, 5, 6
От средних до больших производственных окружений
Если вы хотите использовать RAID 5/6 в кластере vSAN, то вам нужно принять во внимание требования к количеству хостов ESXi, которые минимально (и рекомендуемо) вам потребуются, чтобы удовлетворять политике FTT (Failures to tolerate):
Домены отказов (Fault Domains)
Домены отказов являются ключевым элементом повышения отказоустойчивости в vSAN, так как они позволяют интеллектуально распределять данные между хостами, чтобы выдерживать отказы, затрагивающие несколько компонентов (например, стойки или источники питания).
Домен отказов — это логическая группа хостов в кластере vSAN. По умолчанию vSAN рассматривает каждый хост как отдельный домен отказов. Однако в крупных развертываниях администраторы могут вручную настроить домены отказов, чтобы защитить данные от отказов, связанных со стойками или электропитанием.
В больших кластерах сбой всей стойки (или группы хостов) может привести к потере данных, если домены отказов не настроены. Например:
Без доменов отказов: vSAN может сохранить все реплики объекта на хостах внутри одной стойки, что приведет к риску потери данных в случае выхода стойки из строя.
С доменами отказов: vSAN распределяет реплики данных между разными стойками, значительно повышая защиту данных.
Лучшие практики для доменов отказов
Соответствие физической инфраструктуре: создавайте домены отказов на основе стоек, подключений источников питания или сетевого сегментирования.
Минимальные требования: для обеспечения производственной отказоустойчивости доменов требуется как минимум 3 домена отказов.
Размер кластера:
Для 6-8 хостов — настройте как минимум 3 домена отказов.
Для кластеров с 9 и более хостами — используйте 4 и более домена отказов для оптимальной защиты.
Тестирование и валидация: регулярно проверяйте конфигурацию доменов отказов, чтобы убедиться, что она соответствует политикам vSAN.
Число хостов ESXi в кластере
Сколько нужно Fault Domains
Назначение
3-5
Опционально или не нужны
Исполнение производственной нагрузки в рамках стойки
6-8
Минимум 3 домена отказов
Отказоустойчивость на уровне стойки или источника питания
9+
4 или более fault domains
Улучшенная защита на уровне стоек или датацентра
Архитектура дисковых групп vSAN OSA
Группы дисков (disk groups) являются строительными блоками хранилища VMware vSAN в архитектуре vSAN OSA. В архитектуре vSAN ESA дисковых групп больше нет (вместо них появился объект Storage Pool).
Дисковые группы vSAN OSA состоят из:
Яруса кэширования (Caching Tier): нужны для ускорения операций ввода-вывода.
Яруса емкости (Capacity Tier): хранит постоянные данные виртуальных машин.
Ярус кэширования (Caching Tier)
Ярус кэширования улучшает производительность чтения и записи. Для кэширования рекомендуется использовать диски NVMe или SSD, особенно в полностью флэш-конфигурациях (All-Flash).
Лучшие практики:
Выделяйте примерно 10% от общего объема VMDK-дисков машин для яруса кэширования в гибридных конфигурациях vSAN, однако при этом нужно учесть параметр политики FTT. Более подробно об этом написано тут. Для All-Flash конфигураций такой рекомендации нет, размер кэша на запись определяется профилем нагрузки (кэша на чтение там нет).
Используйте NVMe-диски корпоративного класса для высокопроизводительных нагрузок.
Ярус емкости (Capacity Tier)
Ярус емкости содержит основную часть данных и критически важен для масштабируемости. Полностью флэш-конфигурации (All-Flash) обеспечивают максимальную производительность, тогда как гибридные конфигурации (hybrid) являются более экономичным решением для менее требовательных нагрузок.
Лучшие практики:
Используйте полностью флэш-конфигурации для приложений, чувствительных к задержкам (latency).
Включайте дедупликацию и сжатие данных для оптимизации дискового пространства. При этом учтите требования и характер нагрузки - если у вас write-intensive нагрузка, то включение дедупликации может привести к замедлению работы системы.
Несколько групп дисков (Multiple Disk Groups)
Добавление нескольких групп дисков на каждом хосте улучшает отказоустойчивость и производительность.
Лучшие практики:
Настройте не менее двух групп дисков на хост.
Равномерно распределяйте рабочие нагрузки между группами дисков, чтобы избежать узких мест.
Конфигурация
Преимущества
Ограничения
Одна дисковая группа
Простая настройка для малых окружений
Ограниченная отказоустойчивость и производительность
Несколько дисковых групп
Улучшенная производительность и отказоустойчивость
Нужно больше аппаратных ресурсов для емкостей
VMware vSAN и блочные хранилища
Решения для организации блочных хранилищ, такие как Dell PowerStore и Unity, остаются популярными для традиционных ИТ-нагрузок. Вот как они выглядят в сравнении с vSAN:
Возможность
vSAN
Блочное хранилище (PowerStore/Unity)
Архитектура
Программно-определяемое хранилище в гиперконвергентной среде
На базе аппаратного комплекса системы хранения
Высокая доступность
Встроенная избыточность RAID 5/6
Расширенные функции отказоустойчивости (HA) с репликацией на уровне массива
Цена
Ниже для окружений VCF (VMware Cloud Foundation)
Высокая входная цена
Масштабируемость
Горизонтальная (путем добавления хостов ESXi)
Вертикальная (добавление новых массивов)
Рабочие нагрузки
Виртуальная инфраструктура
Физическая и виртуальная инфраструктура
Производительность
Оптимизирована для виртуальных машин
Оптимизирована для высокопроизводительных баз данных
Сильные и слабые стороны
Преимущества vSAN:
Глубокая интеграция с vSphere упрощает развертывание и управление.
Гибкость масштабирования за счет добавления хостов, а не выделенных массивов хранения.
Поддержка снапшотов и репликации для архитектуры vSAN ESA.
Экономически выгоден для организаций, уже использующих VMware.
Недостатки vSAN:
Зависимость от аппаратных ресурсов на уровне отдельных хостов, что может ограничивать масштабируемость.
Производительность может снижаться при некорректной конфигурации.
Преимущества блочного хранилища:
Высокая производительность для нагрузок с высокими IOPS, таких как транзакционные базы данных. При этом надо учесть, что vSAN также может обеспечивать высокую производительность при использовании соответствующего оборудования на правильно подобранном количестве хостов кластера.
Развитые функции, такие как снапшоты и репликация (с поддержкой на аппаратном уровне).
Недостатки блочного хранилища:
Меньшая гибкость по сравнению с гиперконвергентными решениями.
Более высокая стоимость и сложность при первоначальном развертывании. Однако также нужно учитывать и политику лицензирования Broadcom/VMware, где цена входа также может оказаться высокой (см. комментарий к этой статье).
Развертывание баз данных на VMware vSAN
Базы данных создают сложные паттерны ввода-вывода, требующие низкой задержки (latency) и высокой пропускной способности (throughput). vSAN удовлетворяет этим требованиям за счет кэширования и конфигураций RAID.
Политики хранения (Storage Policies)
Политики хранения vSAN позволяют точно контролировать производительность и доступность баз данных.
Лучшие практики:
Настройте параметр FTT (Failures to Tolerate) = 2 для критически важных баз данных.
Используйте RAID 5 или RAID 6 для экономии емкостей при защите данных, если вас устраивает производительность и latency.
Мониторинг и оптимизация
Регулярный мониторинг помогает поддерживать оптимальную производительность баз данных. Используйте продукт vRealize Operations для отслеживания таких метрик, как IOPS и latency.