Новости Статьи VMware Veeam StarWind vStack Microsoft Nakivo Citrix Symantec События Релизы Видео Контакты Авторы RSS
Виртуализация и виртуальные машины

Все самое нужное о виртуализации и облаках

Более 6300 заметок о VMware, AWS, Azure, Veeam, Kubernetes и других

VM Guru / Articles / Использование дисков VMDK на платформе VMware vSphere в режиме Multi-writer для кластерных решений

Использование дисков VMDK на платформе VMware vSphere в режиме Multi-writer для кластерных решений

Использование дисков VMDK на платформе VMware vSphere в режиме Multi-writer для кластерных решений

Автор: Александр Самойленко
Дата: 22/09/2021

Поддержите VM Guru!

USDT / TRC20, адрес: TCDP7d9hBM4dhU2mBt5oX2x5REPtq9QdU1




Статья:

Многие администраторы VMware vSphere в крупных компаниях рано или поздно сталкиваются с необходимостью создания кластеров из виртуальных машин, например, для использования технологии высокой доступности баз данных Oracle Real Application Clusters (RAC) или для создания систем непрерывной доступности на базе технологии VMware Fault Tolerance.

При использовании кластерных решений необходимо, чтобы диски ВМ находились в режиме multi-writer, то есть позволяли производить запись в файл VMDK одновременно с нескольких хостов ESXi (можно также организовать и запись от нескольких ВМ на одном хосте). Этот режим со стороны VMware поддерживается только для сторонних кластерных решений и для технологии Fault Tolerance, у которой техника vLockstep требует одновременного доступа к диску с обоих хостов ESXi. Давайте посмотрим на основные аспекты режима multi-writer.

В первую очередь надо сказать, что VMware на данный момент официально поддерживает кластеры Oracle RAC, Veritas InfoScale, Microsoft Windows Server Failover Clustering (WSFC, ранее они назывались Microsoft Cluster Service, MSCS) и некоторые другие (например, Red Hat).

Основную информацию по кластерам Oracle можно получить в документе "Oracle Databases on VMware RAC Deployment Guide", а также вот в этой и этой статьях. Касательно поддержки кластеров WSFC основную информацию о поддержке можно найти в KB 1004617. Ну а о поддержке Veritas InfoScale можно почитать вот тут.

В зависимости от версии гипервизора ESXi компания VMware предоставляет инструкции о настройке кластеров MSCS/WSFC в следующей таблице:

ESX Release MSCS Supported? Documentation
vSphere 5.5 Yes
(PDF)
vSphere 5.5 Update 2 Yes
(PDF)
vSphere 5.5 Update 3 Yes
(PDF)
vSphere 6.0 Yes
(PDF)
vSphere 6.0 Update 1 Yes
(PDF)
vSphere 6.0 Update 2 Yes
(PDF)
vSphere 6.5 Update 1 Yes Setup for Failover Clustering and Microsoft Cluster Service (PDF)
vSphere 6.7  Yes Setup for Failover Clustering and Microsoft Cluster Service (PDF)
vSphere 7.0 Yes Setup for Windows Server Failover Clustering (PDF)

В дополнение к этой таблице рекомендуем также заглянуть и в KB 2147661.

Конечно же, использование виртуальных дисков в режиме Multi-writer в VMware vSphere имеет некоторое количество ограничений:

  • Надо понимать, что операционная система и приложения, которые используют такие диски, должны уметь работать с дисками в режиме одновременной доступности со стороны нескольких хостов, иначе можно просто повредить данные.
  • Также, в общем случае, для режима Multi-writer в последней версии VMware vSphere поддерживается одновременный доступ с 8 хостов ESXi, но это количество может быть уменьшено в зависимости от используемой технологии, например, для кластеров WSFC оно уменьшено до 5. Начиная с vSphere 6.7 Update 1, можно увеличить число хостов с одновременным доступом к диску до 64 (подробнее тут).
  • По умолчанию файловая система VMFS работает таким образом, что одновременный доступ с разных хостов к одному VMDK-диску блокируется. Включая режим Multi-writer, надо осознавать, что вы рискуете в случае неправильной конфигурации системы потерять данные.
  • Диски, которые поддерживают Multi-writer, должны быть только eager zeroed thick. Ни zeroed thick, ни thin provisioned диски не поддерживаются. Но если вы используете vSAN, то, начиная vSAN 6.7 Patch 01, вы можете использовать тонкие диски, как рассказано, например, тут.
  • Диски с флагом Multi-writer нельзя привязывать к контроллеру NVMe.
  • Горячее добавление виртуального диска (Hot Add) убирает флаг Multi-writer.

Начиная с vSphere 7.0 Update 1, хранилища данных, построенные на базе NVMe over Fibre Channel и NVMe over RDMA (RoCE v2), поддерживают настройку Multi-writer, чтобы иметь возможность распределенной записи данных для кластерных систем. За более подробной информацией об этом нужно обратиться по этой ссылке.

Ну а теперь давайте посмотрим, какие возможности платформы VMware vSphere поддерживаются для виртуальных машин с дисками в режиме Multi-writer:

Действия или возможности Поддерживается Не поддерживается Комментарий
Включение, выключение и перезагрузка ВМ
 
Приостановка ВМ (Suspend)

Горячее добавление виртуальных дисков (Hot add)
Только для уже существующих адаптеров
Горячее удаление устройств (Hot remove)

Горячее расширение виртуального диска

Присоединение и отсоединение устройств

Снапшоты
Решения для резервного копирования используют снапшоты через механизм vStorage APIs, соответственно такие решения (например, Veeam Backup and Replication) также не поддерживаются для этого режима.
Снапшоты ВМ с типом диска independent-persistent
Поддерживается в vSphere 5.1 Update 2 и более поздних версиях
Клонирование ВМ

Горячая миграция хранилищ Storage vMotion
Не поддерживаются и shared, и non-shared диски, так как требуется приостановка ВМ во время миграции хранилищ.
Технология Changed Block Tracking (CBT)

Техника vSphere Flash Read Cache (vFRC)
Может привести к повреждению данных.
vMotion
       

       

       
Поддерживается только для Oracle RAC и ограничена 8 хостами ESXi.

Кстати, когда вы включаете кластер непрерывной доступности ВМ VMware Fault Tolerance, режим Multi-writer для VMDK-дисков машины включается автоматически.

Итак, как, собственно, настроить режим Multi-writer:

1. Сначала вам нужно выставить на виртуальном SCSI-контроллере режим общего доступа к шине (SCSI Bus sharing) в значение Virtual или Physical в настройках виртуальной машины:

  • Physical - к диску получат доступ машины с разных хостов ESXi
  • Virtual - к диску получат доступ только машины этого же хоста ESXi

2. Далее в настройках виртуальной машины указываем тип Sharing как Multi-writer:

3. На втором хосте ESXi таким же образом настраиваем или создаем SCSI-контроллер, а потом в качестве диска виртуальной машины указываем "Existing Hard Disk"

Там также потребуется выставить режим Multi-writer для диска.

Тут еще есть важная деталь - на обеих машинах SCSI device address должен быть одинаковый! То есть, если у вас указан "SCSI controller 1" для первой ВМ, а ее диск как SCSI(1:0), то точно такая же конфигурация должна быть указана и для второй:

Надо сказать, что в версиях платформы виртуализации до vSphere 6.0 Update 1 настройки Multi-writer в графическом интерфейсе нет. Тут надо добавить следующую строчку в vmx-файл или в расширенные параметры ВМ (VM properties: Options > General > Configuration Parameters):

SCSI1:0.sharing = "multi-writer"

4. Дальше уже в гостевой операционной системе обеих машин нужно настроить диск и доступ к нему согласно инструкциями для вашего кластерного программного обеспечения.

Надо сказать, что режим Multi-writer должен использоваться и поддерживается только для кластерных решений, которые знают, как работать с таким общим ресурсом. Некоторые пользователи полагают, что таким образом можно настроить общий ресурс для хранения файлов, но вынуждены их огорчить - такое не работает, данные на диске обновятся только тогда, когда вы выведете его в офлайн и снова в онлайн. До этого вы не будете видеть изменения, сделанные каждым из хостов.

Теперь вернемся к таблице ограничений дисков в режиме Multi-writer. Как видно из таблицы выше, для них не поддерживаются снапшоты, соответственно, традиционные средства резервного копирования таких дисков не работают. Для конфигурации по умолчанию с такими дисками бэкап виртуальной машины будет завершаться неуспешно (ошибка будет обрабатываться по-разному, в зависимости от того, какого ПО для резервного копирования вы используете).

Самый простой способ продолжить делать бэкап таких машин, но с исключением дисков в режиме Multi-writer - это сменить им тип с Dependent (это диски, которые участвуют в создании снапшотов) на Independent Persistent (это диски, для которых снапшоты не создаются, но они сохраняют изменения во времени). Делается это также в настройках виртуальной машины (Disk Mode):

Ну а как бэкапить диски в режиме Multi-writer, режим операций которых установлен как Independent? Для этого можно использовать решения для резервного копирования на уровне гостевой ОС (например, Veeam Agent for Windows), либо специализированные решения под конкретные приложения, такие как, например, Veeam Plug-in for Oracle RMAN.

В заключение нужно отметить, что режим Multi-writer нужно использовать очень осторожно, предварительно прочитав все необходимые рекомендации VMware и вендора кластерного ПО. Всегда есть риск повреждения данных вследствие неправильной конфигурации или программной ошибки, поэтому о резервном копировании таких систем нужно думать с особой тщательностью.

Интересное:





Зал Славы Рекламодателя
Ближайшие события в области виртуализации:

Быстрый переход:
VMware Broadcom Offtopic Microsoft Veeam Cloud StarWind VMachines NAKIVO vStack Gartner Vinchin Nakivo IT-Grad Teradici VeeamON VMworld PowerCLI Citrix VSAN GDPR 5nine Hardware Nutanix vSphere RVTools Enterprise Security Code Cisco vGate SDRS Parallels IaaS HP VMFS VM Guru Oracle Red Hat Azure KVM VeeamOn 1cloud DevOps Docker Storage NVIDIA Partnership Dell Virtual SAN Virtualization VMTurbo vRealize VirtualBox Symantec Softline EMC Login VSI Xen Amazon NetApp VDI Linux Hyper-V IBM Google VSI Security Windows vCenter Webinar View VKernel Events Windows 7 Caravan Apple TPS Hyper9 Nicira Blogs IDC Sun VMC Xtravirt Novell IntelVT Сравнение VirtualIron XenServer CitrixXen ESXi ESX ThinApp Books P2V VMUG Private AI HCX vSAN VCPP VCF Workstation Labs Backup Explore vDefend Data Protection ONE Tanzu AI Intel Live Recovery VCP V2V Aria NSX DPU Update EUC Avi Community Skyline Host Client GenAI Chargeback Horizon SASE Workspace ONE Networking Ransomware Tools Performance Lifecycle Network AWS API USB SDDC Fusion Whitepaper SD-WAN Mobile SRM ARM HCI Converter Photon OS Operations VEBA App Volumes Certification VMConAWS Workspace Imager SplinterDB DRS SAN vMotion Open Source iSCSI Partners HA Monterey Kubernetes vForum Learning vRNI UAG Support Log Insight AMD vCSA NSX-T Graphics NVMe HCIBench SureBackup Docs Carbon Black vCloud Обучение Web Client vExpert OpenStack UEM CPU PKS vROPs Stencils Bug VTL Forum Video Update Manager VVols DR Cache Storage DRS Visio Manager Virtual Appliance PowerShell LSFS Client Datacenter Agent esxtop Book Photon Cloud Computing SSD Comparison Blast Encryption Nested XenDesktop VSA vNetwork SSO VMDK Appliance VUM HoL Automation Replication Desktop Fault Tolerance Vanguard SaaS Connector Event Free SQL Sponsorship Finance FT Containers XenApp Snapshots vGPU Auto Deploy SMB RDM Mirage XenClient MP iOS SC VMM VDP PCoIP RHEV vMA Award Licensing Logs Server Demo vCHS Calculator Бесплатно Beta Exchange MAP DaaS Hybrid Monitoring VPLEX UCS GPU SDK Poster VSPP Receiver VDI-in-a-Box Deduplication Reporter vShield ACE Go nworks iPad XCP Data Recovery Documentation Sizing Pricing VMotion Snapshot FlexPod VMsafe Enteprise Monitor vStorage Essentials Live Migration SCVMM TCO Studio AMD-V KB VirtualCenter NFS ThinPrint Director Memory SIOC Troubleshooting Stretched Bugs ESA Android Python Upgrade ML Hub Guardrails CLI Driver Foundation HPC Orchestrator Optimization SVMotion Diagram Ports Plugin Helpdesk VIC VDS Migration Air DPM Flex Mac SSH VAAI Heartbeat MSCS Composer
Полезные постеры:

Постер VMware vSphere PowerCLI 10

Постер VMware Cloud Foundation 4 Architecture

Постер VMware vCloud Networking

Постер VMware Cloud on AWS Logical Design Poster for Workload Mobility

Постер Azure VMware Solution Logical Design

Постер Google Cloud VMware Engine Logical Design

Постер Multi-Cloud Application Mobility

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):

 

Популярные статьи:
Как установить VMware ESXi. Инструкция по установке сервера ESXi 4 из состава vSphere.

Включение поддержки технологии Intel VT на ноутбуках Sony VAIO, Toshiba, Lenovo и других.

Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.

Как работают виртуальные сети VLAN на хостах VMware ESX / ESXi.

Как настроить запуск виртуальных машин VMware Workstation и Server при старте Windows

Сравнение Oracle VirtualBox и VMware Workstation.

Что такое и как работает виртуальная машина Windows XP Mode в Windows 7.

Диски RDM (Raw Device Mapping) для виртуальных машин VMware vSphere и серверов ESX.

Работа с дисками виртуальных машин VMware.

Где скачать последнюю версию VMware Tools для виртуальных машин на VMware ESXi.

Подключение локальных SATA-дисков сервера VMware ESXi в качестве хранилищ RDM для виртуальных машин.

Как перенести виртуальную машину VirtualBox в VMware Workstation и обратно

Инфраструктура виртуальных десктопов VMware View 3 (VDI)

Как использовать возможности VMware vSphere Management Assistant (vMA).

Бесплатные утилиты для виртуальных машин на базе VMware ESX / ESXi.

Интервью:

Alessandro Perilli
virtualization.info
Основатель

Ратмир Тимашев
Veeam Software
Президент


Полезные ресурсы:

Последние 100 утилит VMware Labs

Новые возможности VMware vSphere 8.0 Update 1

Новые возможности VMware vSAN 8.0 Update 1

Новые документы от VMware

Новые технологии и продукты на VMware Explore 2022

Анонсы VMware весной 2021 года

Новые технологии и продукты на VMware VMworld 2021

Новые технологии и продукты на VMware VMworld 2020

Новые технологии и продукты на VMware VMworld Europe 2019

Новые технологии и продукты на VMware VMworld US 2019

Новые технологии и продукты на VMware VMworld 2019

Новые технологии и продукты на VMware VMworld 2018

Новые технологии и продукты на VMware VMworld 2017



Copyright VM Guru 2006 - 2025, Александр Самойленко. Правила перепечатки материалов.
vExpert Badge