Новости Статьи VMware Veeam StarWind vStack Microsoft Nakivo Citrix Symantec События Релизы Видео Контакты Авторы RSS
Виртуализация и виртуальные машины

Все самое нужное о виртуализации и облаках

Более 6180 заметок о VMware, AWS, Azure, Veeam, Kubernetes и других

VM Guru | Ссылка дня: Какие есть версии и номера билдов VMware vCenter, ESXi, Tools и Connection Server?

Что нового в vMotion в новой версии VMware vSphere 8? Часть 2 - Unified Data Transport


Вчера мы писали о важном нововведении технологии горячей миграции виртуальных машин vMotion Notifications, появившемся в обновленной версии VMware vSphere 8, представленной на конференции Explore 2022. Она позволяет оповещать приложение гостевой ОС о скором начале миграции, чтобы оно могло подготовиться к ней и выполнить процедуры по приостановке сервисов или переключению на резервную систему для кластеризованных приложений.

Второе важное нововведение vMotion в ESXi 8 - это технология Unified Data Transport.

Для миграции включенных виртуальных машин используется протокол vMotion, который оптимизируют уже много лет - он многопоточный и асинхронный, что позволяет минимизировать время перемещения виртуальной машины между хостами ESXi. Этот же протокол использует и технология миграции хранилищ Storage vMotion. В то же время, если вам нужно переместить выключенную виртуальную машину (холодная миграция), то это может занять значительное время, так как в этом случае используется протокол Network File Copy (NFC).

Приведем ниже сравнительные характеристики обоих протоколов (реальная скорость миграции будет зависеть от параметров вашего окружения):

Network File Copy (NFC) vSphere vMotion
Процесс в один поток Глубоко оптимизированный многопоточный процесс
Синхронный ввод-вывод Асинхронный ввод-вывод
Пиковая производительность 1.3 Gbps Пиковая производительность 80 Gbps

Чтобы привести все к единому уровню производительности, VMware представила технологию Unified Data Transport (UDT) в платформе vSphere 8, которая комбинирует лучшие моменты обеих технологий NFC и vMotion.

Unified Data Transport (UDT) использует NFC как протокол для управления миграцией, а вот сама передача данных идет через протокол vSphere vMotion. Для того, чтобы эта технология работала, вам нужно активировать сервис "Provisioning" для интерфейса VMkernel (это может быть как новый, так и уже существующий интерфейс):

Если вы используете выделенный стек TCP/IP для vMotion, вы не сможете активировать службу "Provisioning" на этом же интерфейсе, в этом случае можно просто создать еще один интерфейс.

Посмотреть вживую, насколько хорошо работает технология Unified Data Transport для холодной миграции виртуальных машин, вы можете в видео ниже:

Прочитайте также "VMware vSphere 8? Часть 1 - vMotion Notifications".


Таги: VMware, vMotion, Update, ESXi, vSphere

Что нового в vMotion в новой версии VMware vSphere 8? Часть 1 - vMotion Notifications


По итогам прошедшей конференции Explore 2022 компания VMware анонсировала платформу виртуализации vSphere 8. В прошлой версии платформы в технологии горячей миграции vMotion появилось очень много всего нового (например, вот, тут, тут, тут и тут). В этой версии также были сделаны некоторые улучшения vMotion, давайте на них посмотрим.

vSphere vMotion Notifications

Как вы знаете, переключение с одного процесса ВМ на другой целевого хоста ESXi занимает очень мало времени, и для большинства приложений это незаметно. Однако есть очень небольшое количество приложений, которые не могут пережить малые задержки (latency), поскольку очень интенсивно используют ресурсы CPU и хранилищ. Таких случаев буквально единицы, но VMware решила позаботиться и о них.

Теперь приложения могут быть написаны таким образом, чтобы они могли получить оповещение о предстоящей миграции vMotion и подготовиться к ней. Такие действия могут включать в себя остановку сервисов, заморозку приложения (quiescing), переключение на резервный инстанс в случае кластеризованного приложения, а также выполнение других операций.

Приложение может отложить миграцию vMotion на заданный таймаут, но не может отклонить и остановить ее. Вот как это работает (кликните на картинку для открытия анимации):

Приложение, через механизм VMware Tools, может быть оповещено о начале задачи vMotion. На полученную нотификацию оно реагирует согласно своей логике, после чего отсылает подтверждение платформе ESXi о том, что миграцию можно начинать. Виртуальная машина затем перемещается с помощью vMotion, после чего приложение получает оповещение о завершении миграции, чтобы оно могло также выполнить необходимые шаги, учитывая действия, совершенные на этапе подготовки.

Механизм vMotion Notifications не включен по умолчанию. Чтобы это работало, надо в расширенных настройках виртуальной машины установить параметр vmOpNotificationToAppEnabled:

После этого нужно установить host-level timeout, который будет определять максимальное время, которое есть у виртуальной машины для завершения подготовки к миграции. Для этого нужно через vSphere API установить параметр vmOpNotificationToApp.Timeout со значением большим 0. Значение устанавливается в секундах (то есть, чтобы дать приложению 5 минут, нужно установить значение 300).

Для установки данного параметра используйте ConfigManager API (см. документацию).

Приложение должно использовать утилиту командной строки vmtoolsd пакета VMware Tools для регистрации оповещений. Вот какие команды ему доступны:

  • vm-operation-notification.register
  • vm-operation-notification.unregister
  • vm-operation-notification.list
  • vm-operation-notification.check-for-event
  • vm-operation-notification.ack-event

Например, можно использовать следующую команду:

vmtoolsd --cmd "vm-operation-notification.register {"appName": ”demo", "notificationTypes": ["sla-miss"]} ”

Чтобы это все работало, необходимы следующие вещи:

  • Версия платформы VMware vSphere 8
  • Версия виртуального аппаратного обеспечения hardware version 20
  • Для гостевой ОС должны быть установлены VMware Tools или Open VM Tools с минимальной версией 11.0

Ну и демонстрационное видео от VMware о том, как это работает:

Прочитайте также "VMware vSphere 8? Часть 2 - Unified Data Transport".


Таги: VMware, vMotion, Update, ESXi, vSphere

Вышел VMware HCX 4.4 - новые возможности


На днях компания VMware объявила о выпуске обновленной версии решения HCX 4.4 (расшифровывается как Hybrid Cloud Extension), предназначенного для миграции с различных онпремизных инфраструктур (как на платформе vSphere, так и Hyper-V или KVM) в облако на базе VMware Cloud. Этот продукт заменяет некоторые функции снятого с производства VMware Converter в части возможности миграции инфраструктуры в публичное облако сервис-провайдера.

Итак, давайте посмотрим на новые возможности VMware HCX 4.4:

1. Улучшения аналитики передачи данных

Теперь в решении HCX есть функции Transport Analytics, которые позволяют определять базовый уровень необходимой сетевой производительности для миграции, профилировать задачи, а также в реальном времени наблюдать за скоростью и другими параметрами передачи.

Тут есть вот какие возможности:

  • On-demand мониторинг производительности передачи для каждого аплинка
  • Transport Monitor, который дает представление в реальном времени об использовании ресурсов сети
  • Health-статус сервисов в рамках архитектуры Service Mesh

На картинке ниже представлена диаграмма консоли HCX с параметрами пропускной способности канала для всех аплинков, а также параметров latency и packet loss, что позволяет планировать окно миграции в облако. Запустить тест и обновить данные администратор может в любое время:

Также можно вывести исторические графики и диаграмму в реальном времени для следующих параметров:

  • Throughput
  • Latency
  • Packet Loss

Также есть диаграмма на аплоад и даунлоад для разных типов трафика:

Администратор может установить пороговые значения для данных параметров и увидеть на графике историю, когда эти значения были превышены:

2. Улучшения платформы

  • Улучшения Photon OS - система была обновлена до Photon OS 3, что дает больше возможностей безопасности на уровне ядра по стандартам VMware, а также улучшения механизма по накатыванию патчей и больший фокус на мобильные технологии.
  • Поддержка Host-Based Replication 8.4 - теперь модуль Host-based Replication (HBR) движка HCX имеет еще больше совместимости с технологией репликации в VMware vSphere, что дает преимущества при миграциях типа Bulk и Replication Assisted vMotion, а также DR-операциях HCX protection.
  • Поддержка дополнительных регионов VMware Cloud on AWS - добавлены Гонконг, Кейптаун и Бахрейн.

3. Улучшения MON

  • Появилась поддержка Active/Standby FHRP (VRRP/HSRP) для MON - теперь поддерживается сценарий активного и резервного маршрутизаторов для виртуальных машин с включенным MON (Mobility Optimized Networking). Теперь при падении или выведении одного из маршрутизаторов на обслуживание, операции по миграции не будут прерываться и не потребуют вмешательства администратора:

4. Прочие улучшения

  • Ротация самоподписанных сертификатов - теперь HCX проверяет дату выпуска самоподписанных сертификатов и автоматически обновляет их за год до истечения.
  • HCX Publisher Notifications - теперь можно оповещать администраторов о небезопасных или неподдерживаемых билдах ОС, чтобы они не позволяли использовать их в производственной среде.
  • Обновилось виртуальное железо машины HCX Manager до версии Hardware Version 10, что дает повышенную безопасность для ВМ, для которых рекомендуется иметь версию железа не ниже 9.
  • Новая вкладка Alerts в HCX Manager - там отображаются все алерты в системе с показателем их критичности, затронутых компонентов и датой срабатывания.

Больше подробностей о продукте VMware HCX 4.4 можно узнать на его странице или в разделе с документацией. Также можно поработать с ним вживую в рамках HCX Hands-on Lab.


Таги: VMware, HCX, Update, vMotion, V2V, Cloud

Лимиты одновременных операций в VMware vCenter - актуальные цифры


Мы довольно часто пишем о максимальных параметрах виртуальной инфраструктуры VMware vSphere и ее компонентов, в частности VMware vCenter (например, тут и тут). Сегодня мы немного освежим эти данные на примере последней версии сервера управления vCenter и приведем несколько примеров. Для начала напомним, что актуальные данные по максимальным конфигурациям продуктов VMware можно найти по адресу: https://configmax.vmware.com, а также в официальной документации.

Кроме того, у VMware есть отличное видео, посвященное лимитам vCenter и правилам выполнения одновременных операций в виртуальной среде:

Итак, лимиты можно разделить на 2 категории:

  • Глобальные лимиты для инфраструктуры (виртуальный датацентр).
  • Лимиты на уровне хоста и его компонентов (например, сетевые адаптеры).

Если говорить о глобальных параметрах, то значения тут следующие:

  • Вы можете запустить до 640 одновременных операций в vCenter, пока они не начнут становиться в очередь.
  • Всего можно запустить до 2000 одновременных операций на один сервер vCenter.

На уровне хостов ESXi есть следующие механизмы работы и ограничения:

  • Хосты ESXi 6 и 7 версий имеют 16 слотов для выполнения операций в единицу времени:

  • Любая операция с виртуальными машинами потребляет какое-то количество слотов на источнике и целевом хосте.
  • Операция Storage vMotion стоит 8 слотов на хост. Если вы меняете только датастор у виртуальной машины, оставляя тот же хост, то потребляются эти 8 слотов, то вы можете сделать 2 одновременных миграции. Ранее это работало несколько иначе - смотрите наш пост вот тут.
  • Операция Linked clone потребляет 1 слот, но для этого у вас уже должен быть создан снапшот. Если у вас его нет, то он сначала создается - это может замедлить создание первого связанного клона. Также снапшот требуется и при клонировании включенной ВМ, где требуется уже 2 слота (то есть одновременно можно делать 8 таких операций для данной пары хостов).

  • Операции Clone, Relocate и vMotion стоят 2 слота каждая на каждом хосте - то есть и на источнике, и на целевом (суммарно получается потребляется 4 слота на двух хостах). Это же работает и при клонировании ВМ на том же самом хосте - на нем в этот момент потребляется 4 слота (то есть одновременно на хосте можно делать 4 таких операции).

Для датасторов также есть слоты и ограничения на одновременные операции:

  • У одного датастора есть 128 слотов.
  • Операция vMotion стоит 1 слот, то есть на одном датасторе может проходить до 128 одновременных миграций vMotion.
  • Операция Storage vMotion стоит 16 слотов, то есть на одном датасторе может проходить до 8 одновременных миграций vMotion.
  • Это же работает и для датасторов vSAN, где часто встречаются конфигурации с одним датастором - это надо иметь в виду.

Лимиты для сетевых адаптеров сейчас следующие (помните, что для vMotion лучше иметь отдельный адаптер или выделенную пару портов на нем):

  • У 1Gb NIC есть 4 слота, то есть можно делать до 4 одновременных миграций vMotion через этот адаптер.
  • У 10Gb и 25Gb NIC есть 8 слотов, то есть можно делать до 8 одновременных миграций vMotion через такие адаптеры.

Более подробно об организации адаптеров для vMotion вы можете прочитать в KB 2108824.


Таги: VMware, vSphere, vCenter, ESXi, Storage, vMotion

Почему в VMware vSphere установлен лимит на 8 одновременных миграций vMotion для хоста ESXi?


Многие администраторы VMware vSphere знают, что для серверов ESXi установлен лимит одновременных миграций vMotion (входящих и исходящих) на один хост = 8 штук. Многие интересуются, а почему именно восемь? Ведь если бы увеличить это число, то виртуальные машины с хоста смогут быстрее эвакуироваться во время проведения планового обслуживания и обновления хостов при их переводе в режим обслуживания (maintenance mode).

Для разъяснения этого VMware написала интересную статью, где рассматриваются результаты тестирования миграций vMotion виртуальных машин при разных значениях параметра, ограничивающего число одновременных миграций.

Лимит на vMotion установлен со стороны сервера vCenter. Он считает ограничения следующим образом. Если на хосте 2 физических сетевых карты 40GbE NIC, выделенных под vMotion, то он считает каждую из них как емкость из 8 слотов с точки зрения миграций, а совокупная емкость хоста равна 16 слотам, из которых 2 тратится на каждую операцию vMotion:

В VMware сделали тестирование производительности одновременных миграций vMotion на хостах ESXi в рамках тестового стенда (он описан в статье), где число Concurrent vMotions регулировали с помощью следующего расширенного параметра vCenter:

config.vpxd.ResourceManager.costPerVmotionESX6x

По умолчанию он равен 2, что означает, что из 16 слотов хоста на каждую vMotion будет тратиться пара слотов, а суммарно будет возможно сделать 8 миграций одновременно. Если поставить это значение в 4, то, соответственно, будет выполняться 4 одновременных миграции (16/4=4).

Надо отметить, что настройка этого параметра не поддерживается со стороны VMware, поэтому не удивляйтесь, что если при его изменении у вас что-то пойдет не так.

Таким вот образом, под разными нагрузками на ВМ, проводили тестирование как восьми одновременных миграций:

Так и четырех:

Если миграции стоят в очереди, то для них отображается статус "Resources currently in use by other operation".

Результаты получились следующими (по оси Х изменяли объем оперативной памяти машин):

То есть восемь одновременных миграций с точки зрения эвакуации всех машин с хоста проигрывают рабочему процессу с четырьмя vMotion.

Аналогично возрастало и среднее время миграции:

Если говорить об использовании памяти, то видно что при 4 одновременных миграциях было передано на 10% меньше страниц памяти, что говорит о более эффективном ее использовании:

Для второго теста выбрали утилиту DVD Store, которую использовали для 2 типов соединений - 10 GbE и 100 GbE:

И здесь тоже результаты получились в пользу 4 одновременных миграций. Та же картина была и для 100 GbE-соединения:

Таким образом, получается, что при большом увеличении числа одновременных миграций vMotion на хосте, удельная производительность каждой такой миграции будет падать.

VMware просто сфокусировалась тут на более эффективном использовании канала для каждой из миграций, поэтому число одновременных vMotion имеет уже не такое влияние, как это было раньше. Поэтому данный параметр и не увеличивается в таблице максимумов от релиза к релизу VMware vSphere.


Таги: VMware, vMotion, ESXi, vSphere

Новая версия решения VMware HCX 4.0 - что там интересного?


Недавно компания VMware обновила свое решение Hybrid Cloud Extension (HCX), предназначенное для миграции с различных онпремизных инфраструктур (на базе как vSphere, так и Hyper-V или KVM) в облако на базе VMware vCloud. Версия HCX 4.0 предоставляет возможности большего контроля над процессами миграции, минимизации времени простоя, а также упрощении реконфигурации политик безопасности VMware NSX после миграции.

Давайте посмотрим на новые возможности VMware HCX 4.0:

1. Новая система нумерации релизов и обновленные политики жизненного цикла

Теперь систему версий можно просто представить вот так:

Кроме того, изменились политики жизненного цикла VMware N-2 Lifecycle Policy, которые теперь учитывают новую систему версионирования. Каждый минорный и мажорный релиз HCX будет поддерживаться минимум 12 месяцев со дня выхода.

2. Оценка времени миграции

Теперь решение HCX в реальном времени может оценить время, которое вам понадобится на миграцию нагрузок в виртуальных машинах. Используя механику Mobility Groups, платформа HCX позволяет оценить время миграции каждой конкретной ВМ, составив из этих оценок прогноз по времени миграции группы.

Для первичного развертывания механизм Migration Estimation будет поддерживать только метод миграции Bulk Migration, а в будущем появится поддержка методов vMotion и Replication-Assisted.

3. Информация о событиях миграции

Для всех типов миграции (Bulk, vMotion, Replication-Assisted vMotion и OS-Assisted) предоставляется детальная информация об этих событиях. Там показаны данные всех событий, потоков рабочих процессов, также статусы текущих миграций и многое другое:

Такой уровень детализации очень поможет администраторам при решении проблем, связанных с миграцией рабочих нагрузок в облако. Более подробно об этом вы можете узнать из этого видео.

4. Инфоормация о виртуальных модулях Network Extension

HCX 4.0 предоставляет детальную информацию обо всех расширяемых сетях, реализуемых виртуальными модулями Network Extension (NE). Для них можно увидеть такие параметры, как bit rate, bytes transmitted и received, packet rate, packets transferred и received, с интервалом обновления в 1 минуту. Находится это на вкладке Network Extension Details в разделе Connection Statistics.

5. Перевод виртуальных модулей Network Extension в режим In-Service во время обновления

Виртуальные модули NE могут использоваться не только в процессе миграции, но и после него. Для таких ситуаций теперь есть специальный режим In-Service (как режим обслуживания в vSphere), который позволяет апгрейдить виртуальные модули, сокращая потенциальный простой инфраструктуры и минимизировать прерывания процессов.

 

6. Миграция тэгов NSX Security Tags 

Пользователи VMware NSX Distributed Firewall на источнике миграции могут смигрировать тэги NSX Security Tags в инфраструктуру публичного облака. Это работает для методов миграции Bulk Migration, HCX vMotion, HCX Replication-Assisted vMotion (RAV) и cloud-to-cloud mobility migration. Существующие тэги могут быть на базе решений NSX for vSphere и NSX-T.

Демо процесса миграции тэгов можно посмотреть вот тут.

Ну и в завершение - полезные ссылки, включая ссылку на скачивание VMware HCX 4.0:



Таги: VMware, HCX, Update, Cloud, V2V, Migration, vMotion, Enterprise

Перенесение виртуальных машин в кластер VMware vSAN с помощью vMotion


Некоторое время назад мы писали об улучшении технологии горячей миграции vMotion (тут и тут) в последней версии VMware vSphere 7 Update 1. Сегодня мы вкратце расскажем о вариантах переноса рабочих нагрузок в кластер хранилищ VMware vSAN на базе вот этой заметки.

Первое, что вы должны решить - это в каком рабочем процессе вы будете мигрировать виртуальные машины с помощью vMotion: за один шаг (хранилище+сервер) или за два (сначала сервер, потом хранилище).

1. Миграция в два шага (Two-Step Migrations)

При выборе миграции виртуальной машины у нас есть опция изменения либо сервера ESXi машины, либо ее хранилища, либо и того, и другого:

  • Change compute resource only - это первый шаг миграции для случая, когда не-vSAN хранилище может быть презентовано существующему кластеру vSAN. Также это может быть востребовано в рамках топологии VMware vSAN HCI Mesh, где хранилище монтируется удаленному кластеру vSAN.
  • Change storage only - это второй шаг миграции, когда машина на хосте ESXi уже находится в кластере vSAN, и мы выполняем перенос ее VMDK уже на собственные хранилища кластера.

Надо сказать, что миграция машин в два шага имеет бОльшую гранулярность, что позволит вам получить промежуточный результат и зафиксировать результат в середине (например, смигрированная на другой хост, но не хранилище машина), что может сэкономить время при повторной попытке миграции в случае каких-то проблем.

2. Миграция в один шаг

Этот способ миграции реализуется, когда вы выбираете опцию Change both compute resource and storage или Cross vCenter Server export. Надо понимать, что процесс этот весьма затратный, и выбирать этот вариант можно, когда у вас есть большой запас по ресурсам и времени для вычислительных ресурсов и ресурсов хранилищ. Ну или когда вы не можете расшарить хранилище между двумя разными кластерами vSphere / vSAN.

Удобство это способа еще и в том, что если у вас есть много времени на миграцию, то можно просто поставить vMotion для нужных нагрузок, и все будет постепенно переезжать без участия администратора.

Также для переноса нагрузок между разными инфраструктурами есть опция Cross vCenter Server export. В обновлении VMware vSphere 7 Update 1c главным нововведением стала интеграция функций миграции Advanced Cross vCenter Server vMotion Capability (ранее это был виртуальный модуль Cross vCenter Workload Migration Utility) в интерфейс vSphere Client. Оно же называется XVM.

Эта функциональность используется для переноса виртуальных машин средствами Cross vCenter vMotion между виртуальными датацентрами под управлением разных серверов vCenter (поддерживаются как единый SSO-домен, так и разные). При этом не требуется настроенного механизма Enhanced Linked Mode (ELM) или Hybrid Linked Mode (HLM) для серверов vCenter в разных датацентрах.

Если вы решили сделать пакетную миграцию виртуальных машин в vSphere Client, то нужно для кластера или пула ресурсов перейти на вкладку VMs и с шифтом выбрать группу ВМ для миграции, после чего из контекстного меню выбрать Migrate...:

Надо сказать, что машины одной группы можно мигрировать только в одинаковом состоянии (Powered on или Powered off), поэтому удобно отсортировать их по колонке State.

Ну и в заключение - картинка об улучшении технологии vMotion с момента ее появления в 2003 году:


Таги: VMware, vSAN, vMotion, vSphere, VMachines, V2V

Функции Advanced Cross vCenter Server vMotion Capability (XVM) в последнем обновлении vSphere 7 Update 1c


Вчера мы писали о новых возможностях платформы виртуализации VMware vSphere 7 Update 1c, где главным нововведением стала интеграция функций миграции Advanced Cross vCenter Server vMotion Capability (ранее это был виртуальный модуль Cross vCenter Workload Migration Utility) в интерфейс vSphere Client. Оно же называется XVM.

Эта функциональность используется для переноса виртуальных машин средствами Cross vCenter vMotion между виртуальными датацентрами под управлением разных серверов vCenter (поддерживаются как единый SSO-домен, так и разные). При этом не требуется настроенного механизма Enhanced Linked Mode (ELM) или Hybrid Linked Mode (HLM) для серверов vCenter в разных датацентрах.

Один из главных сценариев такой миграции - это горячий перенос виртуальной машины из онпремизной инфраструктуры VMware vSphere в облачную среду VMC on AWS.

Для подобного рода миграций vMotion теперь есть 2 рабочих процесса: миграция ВМ на другой vCenter, а также импорт с целевого vCenter виртуальной машины источника:

Для функциональности XVM поддерживается и режим пакетной миграции, для которого вы можете указать несколько виртуальных машин, выбрать пункт Migrate и начать их одновременный перенос (пункт Cross vCenter Server export):

При миграции можно выбрать новый vCenter или один из уже сохраненных, что очень удобно при миграции групп ВМ в несколько заходов. К сожалению, Saved vCenters сохраняются только в рамках одной пользовательской сессии:

Дальше мастер будет похож на аналогичный в обычном vMotion, где будут выполняться стандартные предпроверки:

Как и при обычном vMotion, вы можете сменить хранилище виртуальной машины, а также ее сеть, чтобы она соответствовала инфраструктуре назначения. Затем начнется стандартная задача миграции:

На целевом vCenter тоже будет отображаться задача по приему vMotion от источника:

На целевом vCenter можно также самостоятельно инициировать прием миграции, выбрав пункт Import VMs из контекстного меню кластера:

Чтобы провести такую миграцию, также надо подключить исходный vCenter:

При успешном подключении вы сможете выбрать виртуальные машины, которые требуется перенести в другой датацентр:

Таким образом, эта функциональность может быть использована для следующих случаев:

  • Миграция онпремизных ВМ в облачный датацентр VMC on AWS без необходимости настройки Hybrid Linked Mode (HLM)
  • Переход на новую версию платформы vSphere путем переноса рабочих нагрузок со старых серверов
  • Миграция ВМ в рамках обновления инфраструктуры VMware Cloud Foundation (VCF)
  • Консолидация датацентров или перераспределение их содержимого
  • Вывод из эксплуатации старого оборудования со старыми версиями vSphere
  • Глобальная перебалансировка виртуальных машин между окружениями VCF
  • Миграция инфраструктуры на одно из публичных облаков VMware Cloud

Таги: VMware, vSphere, vMotion, Cloud, XVM, vCenter

Вышло обновление платформы VMware vSphere 7 Update 1c - интегрированная функциональность Cross vCenter vMotion


На днях компания VMware выпустила обновление VMware vSphere 7 Update 1c, в котором появилось довольно много всего нового для минорного апдейта.

Давайте посмотрим, что именно:

  • Статистики по физическим сетевым адаптерам - добавилось 5 новых параметров (dropRx, dropTx, errorsRx, RxCRCErrors и errorsTx), которые позволяют вам обнаружить сетевые ошибки и предпринять действия по исправлению ситуации.
  • Параллельное обновление хостов в кластерах, которые находятся под управлением vSphere Lifecycle Manager. Теперь хосты ESXi под управлением vLCM можно одновременно перевести в режим обслуживания и начать их обновление.
  • Advanced Cross vCenter vMotion - это функциональность виртуального модуля Cross vCenter Workload Migration Utility, который был предназначен для переноса виртуальных машин средствами Cross vCenter vMotion между виртуальными датацентрами под управлением разных серверов vCenter (поддерживаются как единый SSO-домен, так и разные). Теперь эта штука интегрирована в vSphere Client, где удобно работать с миграциями ВМ между датацентрами (поддерживается и пакетная миграция нескольких ВМ):

  • Можно подключать сторонние плагины для управления сервисами на платформе vSAN Data Persistence из vSphere Client таким же способом, как вы управляете сервером vCenter.
  • Улучшения vSAN DOM scrubber (проверка блоков, к которым давно не было обращений).
  • Улучшения Supervisor Cluster:
    • Изоляция пространств имен (Supervisor Namespace Isolation) за счет выделенного маршрутизатора T1 Router (кластеры в сети NSX-T используют для этого новую топологию).
    • Поддержка NSX-T 3.1 для Supervisor Clusters
    • Удалена поддержка Supervisor Cluster версий 1.16.x.
  • Улучшения служб Tanzu Kubernetes Grid for vSphere:
    • Поддержка HTTP/HTTPS Proxy – вновь созданные кластеры Tanzu Kubernetes могут использовать глобальные прокси HTTP/HTTPS для исходящего трафика, а также скачивать образы контейнеров из интернет-репозиториев.
    • Вновь созданные кластеры Tanzu Kubernetes из коробки интегрированы со службой vSphere Registry Service. Также с этой службой будут интегрированы кластеры, обновленные до новой версии.
    • Кластеры Tanzu Kubernetes теперь могут монтировать дополнительные тома к виртуальным машинам, что позволяет увеличивать дисковую емкость узлов. Это дает возможность пользователям развертывать большие образы контейнеров, которые больше дефолтного размера в 16 ГБ.

Скачать VMware vSphere 7 Update 1c можно по этой ссылке. Release Notes доступны тут.


Таги: VMware, vSphere, Update, vMotion, vCenter, ESXi, Tanzu, Kubernetes

VMware Enhanced vMotion Capabilities (EVC) для GPU в VMware vSphere 7 Update 1


Многие администраторы VMware vSphere знают, что у этой платформы есть режим совместимости Enhanced vMotion Compatibility (EVC), который позволяет привести хосты с процессорами (CPU) разных моделей к единому базовому уровню по набору возможностей CPU Feature Set, чтобы обеспечить свободную миграцию vMotion между хостами ESXi. Делается это за счет маскирования некоторых наборов инструкций процессора через CPUID.

Сейчас многие приложения (например, реализующие техники Machine Learning / Deep Learning) используют ресурсы графического адаптера (GPU), поскольку их многоядерная архитектура отлично подходит для такого рода задач.

В VMware vSphere 7, вместе с соответствующей версией VM Hardware, были существенно улучшены функции работы для режима vSGA, который предназначен для совместного использования графического адаптера несколькими виртуальными машинами хоста.

Поэтому в VMware vSphere 7 Update 1 сделали еще одно полезное улучшение по этой теме - режим Enhanced vMotion Capabilities для графических процессоров GPU, который является частью EVC, настраиваемого в vSphere Client:

Графический режим VMFeatures включает в себя поддерживаемые возможности для 3D-приложений, включая библиотеки D3D 10.0/ Open Gl 3.3, D3D 10.1 / Open GL 3.3 и D3D 11.0 / Open GL 4.1. Пока приведение к базовому уровню доступно только до D3D 10.1 / OpenGL 3.3 (версии 11.0 и 4.1, соответственно, будут поддерживаться в следующих релизах).

Когда хост ESXi включается в кластер, где включена EVC for Graphics, сервер vCenter проверяет, что он поддерживает соответствующие версии библиотек. При этом можно добавлять хосты разных версий - ESXi 6.5, 6.7 и 7.0, благодаря поддержке D3D 10.0 и OpenGL 3.3.

Как и для обычного EVC, пользователи могут включить EVC for Graphics на уровне отдельных ВМ. В этом случае перед тем, как включить виртуальную машину на хосте ESXi, сервер vCenter убеждается, что он поддерживает соответствующие библиотеки. Такая настройка полезна при возможной миграции виртуальной машины между датацентрами или в публичное облако.

Если у вас включена EVC for Graphics, то перед миграциями vMotion также будут проводиться нужные предпроверки по поддержке графических функций GPU со стороны видеоадаптера целевого хоста.


Таги: VMware, vSphere, GPU, Hardware, vGPU, vSGA, VMachines, vMotion

Документ vMotion Performance Study об улучшениях горячей миграции в VMware vSphere 7 Update 1


Не так давно мы писали о том, что в последней версии VMware vSphere 7 Update 1 технология vMotion стала еще быстрее и теперь обеспечивает нужды горячей миграции даже для самых тяжелых виртуальных машин.

Напомним, что VMware полностью переписала технологию vMotion memory pre-copy с использованием нового механизма page-tracing, который существенно уменьшает время "заморозки" и переключения копии виртуальной машины на ее копию на другом хосте ESXi.

Недавно был выпущен интересный и полезный документ "vMotion Innovations in VMware vSphere 7.0 U1 - Performance Study", в котором VMware суммаризовала основные улучшения, сделанные в vMotion.

Интересны некоторые моменты. Например, в vSphere 6.7 используется технология отслеживания изменений CPU во время миграции stop-based trace, которая "подмораживает" все CPU, а в vSphere 7 U1 уже подмораживается только один процессор (техника loose page-trace Install):

Также vSphere 7.0 U1 передает compacted bitmap памяти вместо полного, что уменьшает время переключения на ВМ другого хоста:

Интересно уменьшение влияния миграции тяжелой БД Oracle на производительность - улучшение составило 19 раз!

Время миграции - до 50% меньше:

Ну и вообще в документе очень много всего интересного для интересующихся. Читайте здесь.


Таги: VMware, vSphere, vMotion, Performance, Whitepaper

Улучшения технологии vMotion в VMware vSphere 7 Update 1


Многие из вас знают, что компания VMware с каждым новым релизом мажорной версии платформы vSphere улучшает техники горячей миграции виртуальных машин vMotion. Последнее обновление VMware vSphere 7 Update 1 - не исключение, там было сделано много для того, чтобы технология vMotion работала еще быстрее и обеспечивала нужды горячей миграции даже для самых тяжелых виртуальных машин.

Ранее vMotion могла не пройти для больших ВМ, которые имели более 64 vCPU и 512 ГБ памяти (они же Monster VMs). В документе "vMotion Innovations in vSphere 7.0 U1" можно найти конкретное описание улучшений. Давайте посмотрим на них вкратце.

Прежде всего, VMware полностью переписала технологию vMotion memory pre-copy с использованием нового механизма page-tracing, который существенно уменьшает время "заморозки" и переключения копии виртуальной машины на ее копию на другом хосте ESXi.  

В документе выше для примера делается миграция vMotion сервера БД Oracle, запущенного в виртуальной машине с 72-vCPU / 1 TБ памяти на борту. На картинке ниже показано число тразакций в секунду с шагом как раз в секунду - до, во время и после vMotion (тест HammerDB):

Основные выводы теста, проведенного для такой нагрузки:

  • Общее время миграции уменьшилось более чем в 2 раза (с 271 секунды до 120 секунд)
  • Итоговое время для установления трассировки уменьшилось с 86 секунд до 7.5 секунд (снизилось в 11 раз)
  • Общее проседание пропускной способности во время миграции - на 50% для vSphere 6.7 и всего лишь 5% для vSphere 7.0 Update 1
  • Ответ Oracle во время переключения в среднем стал менее одной секунды, а ранее составлял более 6 секунд

Второй тест проводили для миграции vMotion сервера БД Oracle в виртуальной машине с 12 vCPU / 64 ГБ памяти для vSphere 6.7 и vSphere 7.0 U1. На картинке ниже показано число транзакций в секунду с шагом в полсекунды - до, во время и после vMotion (тест HammerDB):

Основные результаты теста:

  • Общее время горячей миграции сократилось с 23 секунд в vSphere 6.7 до 11 секунд в vSphere 7.0 U1 (уменьшение в 2 раза)
  • Итоговое время для установления трассировки уменьшилось с 2.8 секунд до 0.4 секунд (снизилось в 7 раз)
  • Увеличение полосы пропускания где-то на 45% (около 3480 транзакций в секунду, по сравнению с 2403 транзакции в секунду)

Остальные интересные подробности приведены в документе "vMotion Innovations in vSphere 7.0 U1".


Таги: VMware, vMotion, Update, Performance, vSphere, Whitepaper

Мелочь, а приятно: миграция vMotion для виртуальных машин с привязанными ISO в VMware vSphere 7


Frank Denneman обратил внимание на одну интересную новую функцию VMware vSphere 7 - возможность миграции vMotion для виртуальных машин с привязанными ISO-образами.

Как знают администраторы vSphere, часто приходится привязывать ISO-образ к консоли виртуальной машины, чтобы установить какое-то ПО. Нередко этот ISO находится на локальном хранилище машины администратора:

В таком случае, при попытке миграции vMotion данной виртуальной машины выдается ошибка о невозможности выполнения операции в связи с привязанным и активным локальным ISO к виртуальному устройству CD/DVD:

Усугубляется это еще и тем, что такие машины исключаются из миграций DRS, а также не могут быть смигрированы автоматически при переводе хоста ESXi в режим обслуживания (Maintenance mode). Как это обычно бывает, администратор узнает об этом в самом конце, минут через 10 после начала операции по переводу на обслуживание - и агрится от такой ситуации.

Поэтому в VMware vSphere 7 такое поведение пофиксили: теперь при миграции vMotion виртуальное устройство с локальным файлом отсоединяется от исходной машины по команде процесса VMX, все операции с ним буферизуются, далее происходит миграция машины на другой хост, подцепление к нему виртуального устройства с вашим ISO и накатывание буфера.

После переключения машины на другой хост ESXi, VMRC-консоль показывает подключение вашего локального ISO уже к целевой машине:

Казалось бы, мелочь, но иногда может сэкономить немного времени администратора. Для работы этой фичи нужно, чтобы оба хоста VMware ESXi были седьмой версии или выше.


Таги: VMware, vMotion, ESXi, vSphere, Storage

Как работает технология Assignable Hardware в VMware vSphere 7


Недавно мы писали о новых возможностях платформы виртуализации VMware vSphere 7, а также функциональности нового механизма динамического распределения нагрузки VMware DRS 2.0. Среди новых возможностей DRS мы упоминали про функции Assignable Hardware, которые позволяют назначить профили устройств PCIe с поддержкой Dynamic DirectPath I/O или NVIDIA vGPU для первоначального размещения виртуальных машин в кластере.

Сегодня мы поговорим об этой технологии в целом. Ранее виртуальные машины, использовавшие технологии DirectPath I/O или vGPU, привязывались к физическому адресу устройства, который включал в себя адрес расположения устройства на конкретной шине PCIe конкретного хоста ESXi. Это делало невозможным использование такой ВМ на других серверах кластера, что, конечно же, делало невозможным и работу технологий HA и DRS, которые являются критически важными в современных датацентрах.

Теперь же технология Assignable Hardware вводит новый уровень абстракции, который включает в себя профиль с возможностями устройств, требующихся для виртуальной машины. Таких профилей два - для технологии Dynamic DirectPath I/O и для NVIDIA vGPU:

Таким образом, технология Assignable Hardware позволяет отделить виртуальную машину от конкретного устройства и дать ей возможность быть запущенной на другом хосте ESXi с таким же устройством (или даже другим, но поддерживающим определенный набор функций).

Теперь при настройке виртуальной машины у вас есть выбор одного из следующих вариантов для устройства PCIe:

  • DirectPath I/O (legacy-режим, без интеграции с HA и DRS)
  • Dynamic DirectPath I/O
  • NVIDIA vGPU

После того, как вы выберете нужный профиль оборудования, механизм DRS сможет разместить машину на хосте ESXi с поддержкой нужных функций для ВМ.

На скриншоте выше, во второй опции Select Hardware, также есть лейбл "GPGPU example" - это возможность задать определенным устройствам метки таким образом, чтобы при выборе размещения ВМ использовались только устройства хостов с данными метками (при этом модели устройств могут отличаться, например, NVIDIA T4 GPU и RTX6000 GPU). Либо можно выбрать вариант использования только идентичных устройств.

Назначить метку можно во время конфигурации PCIe-устройств. В гифке ниже показано, как это делается:

При использовании NVIDIA vGPU для виртуальной машины выделяется только часть устройства. Поддержка горячей миграции vMotion для машин, использующих vGPU, уже была анонсирована в VMware vSphere 6.7 Update 1. Теперь эта поддержка была расширена, в том числе для DRS, который теперь учитывает профили vGPU.

Ну и в видео ниже вы можете увидеть обзор технологии Assignable Hardware:


Таги: VMware, vSphere, Hardware, NVIDIA, vGPU, VMachines, DRS, vMotion, HA

На VMware Labs вышло обновление Cross vCenter Workload Migration Utility версии 3.1


На днях компания VMware выпустила очередное обновление своей утилиты для переноса виртуальных машин средствами Cross vCenter vMotion между виртуальными датацентрами под управлением разных серверов vCenter (поддерживаются как единый SSO-домен, так и разные) - Cross vCenter Workload Migration Utility 3.1. Напомним, что версия 3.0 этого средства выходила на VMware Labs в ноябре прошлого года.

Давайте посмотрим на новые возможности утилиты:

  • Поддержка конвертации форматов диска между Thick (Lazy Zeroed), Thick (Eager Zeroed) и Thin provisioning.
  • Поддержка шаблона переименования виртуальной машины при операциях клонирования.

Также появилась парочка багофиксов:

  • Устранена ошибка дубликата выбранной сети при пакетной миграции ВМ.
  • Исправлена ошибка запуска, когда указан новый домашний vCenter в качестве аргумента командной строки.

Напомним, что утилитой можно пользоваться через плагин в составе vSphere Client с интерфейсом на базе технологии HTML5, так и в отдельном графическом интерфейсе.

Скачать Cross vCenter Workload Migration Utility 3.1 можно по этой ссылке.


Таги: VMware, vCenter, Labs, vMotion, Enterprise, vSphere, Migration, V2V

На VMware Labs обновилась утилита DRS Dump Insight до версии 1.1 - поддержка свежих версий vSphere


Больше двух лет назад мы писали о средстве DRS Dump Insight, появившемся на сайте проекта VMware Labs. Это портал самообслуживания, куда пользователи могут загружать файлы дампов DRS. После этого будет выведена информация об операциях по перемещению виртуальных машин, которые рекомендует выполнить механизм балансировки нагрузки DRS.

Также мы писали о специальном плагине на базе HTML5 к vSphere Client для данного сервиса. Он добавляет функции утилиты DRS Dump Insight в интерфейс vSphere Client, работающего с сервером vCenter Server Appliance (vCSA).

На днях вышло обновление DRS Dump Insight 1.1, в котором появились следующие новые возможности:

  • Пользователи теперь могут загружать несколько дампов, указав папку, в которой все они лежат.
  • На базе загруженных дампов создается таймлайн миграций vMotion, по которому можно перемещаться в целях анализа нескольких дампов.
  • Пользователи могут экспортировать результат анализа нескольких дампов в виде одного PDF-документа.
  • Добавлена поддержка дампов VMware vSphere 6.5 Update 2, vSphere 6.5 Update 3 и vSphere 6.7 Update 3.
  • Множество исправлений ошибок и улучшений движка анализа.

Воспользоваться утилитой DRS Dump Insight 1.1 можно по этой ссылке.


Таги: VMware, Labs, DRS, vSphere, vMotion, Monitoring, Logs

Новая версия Cross vCenter Workload Migration Utility 3.0 доступна на сайте проекта VMware Labs.


На портале VMware Labs на днях обновилась полезная утилита vCenter Workload Migration Utility до версии 3.0. Напомним, что это средство позволяет перенести виртуальные машины средствами Cross vCenter vMotion между виртуальными датацентрами под управлением разных серверов vCenter (поддерживаются как единый SSO-домен, так и разные).

Давайте посмотрим, что нового появилось в обновлении утилиты:

  • Новый интерфейс плагина, который теперь полностью интегрирован с vSphere HTML5 Client и поддерживается как для vSphere, так и для окружений на базе VMware Cloud.
    • Полный набор функций, такой же, как и у XVM UI.
    • Поддержка миграций, инициированных на уровне хоста, кластера или пула ресурсов из дерева объектов vSphere Client.
  • Классический интерфейс Standalone UI объявлен устаревшим, но все еще поддерживается.
  • Возможность миграции сетей с одинаковыми именами.
  • Сортировка и фильтрация списка ВМ, которые предполагается мигрировать.
  • Улучшения, связанные с доработкой механизма отчетности.

Скачать Cross vCenter Workload Migration Utility 3.0 можно по этой ссылке.


Таги: VMware, vCenter, vMotion, Labs, DR, Enterprise

Траблшутинг операций VMware vMotion - как искать проблемы в логах при миграциях виртуальных машин.


Часто при миграциях vMotion виртуальной машины с одного хоста ESXi на другой возникает проблема, источник которой не очень понятен. Большинство администраторов знают основные требования vMotion, также при миграции иногда показываются информационные сообщения, отражающие причину, по которой процесс завершился неудачно.

Но такое бывает не всегда, поэтому давайте посмотрим, как правильно искать причины ошибок vMotion в логах хостов. Для начала напомним основные причины проблем с vMotion:

  • Проблемы сетевых соединений vMotion
    • Хосты ESXi не пингуются или отваливаются по таймауту в 20 секунд.
    • Несоответствие MTU между интерфейсом VMkernel и данным параметром в сети (на коммутаторах или маршрутизаторах).
    • Неправильная конфигурация сети на хостах ESXi.
  • Проблемы хранилищ
    • Целевой датастор недоступен или переведен в статус APD (All Paths Down).
    • Таймаут операций ввода-вывода (I/O) составляет 20 секунд или более.
  • Операция vMotion прошла успешно, но наблюдаются проблемы с гостевой ОС.
    • Ошибка VM network is not reachable – на уровне layer-2 нет соединения на целевом хосте ESXi.
  • Ошибки, связанные с ресурсами.
    • В течение долгого времени хост не может выделить память виртуальной машине.
    • Свопирование идет очень долго, что приводит к вываливанию vMotion по таймауту.

При траблшутинге vMotion, в первую очередь, проверьте, что в вашей инфраструктуре соблюдаются основные требования, приведенные здесь.

С точки зрения логирования процесса vMotion, он устроен следующим образом:

Из картинки видно, что 4 лог-файла можно найти на хосте ESXi и один - на сервере vCenter.

Демоны vCenter Daemon (VPXD), vCenter Agent (VPXA) и Host Daemon (hostd) - это основные службы, которые отвечают за процесс миграции vMotion, и именно там следует начинать искать проблему. Что касается компонентов, отвечающих за реализацию на стороне ВМ - это процесс VMX и службы VMkernel.

Первый шаг траблшутинга - это найти Operation ID (opID) операции vMotion в логах. Этот opID отсылает уже к нужному Migration ID на обоих хостах ESXi.

VPXD-лог на vCenter Server позволит найти opID. Для этого залогиньтесь на VCSA (vCenter Server Appliance) и выполните команду:

grep "relocate" /var/log/vmware/vpxd/vpxd-*.log | grep BEGIN

В выводе команды вы найдете нужный opID:

/var/log/vmware/vpxd/vpxd-214.log:2019-09-24T15:38:10.042Z info vpxd[29243] [Originator@6876 sub=vpxLro opID=jzlgfw8g-11824-auto-94h-h5:70003561-20] [VpxLRO] — BEGIN task-8031 — vm-269 — vim.VirtualMachine.relocate — 52b17681-35d1-998b-da39-de07b7925dda(520681db-25b7-c5d6-44d7-6a056620e043)

Далее, зная opID, вы можете найти Migration ID в hostd-логах на соответствующих хостах ESXi. Делается это следующей командой:

grep jzlgfw8g-11824-auto-94h-h5:70003561-20 /var/log/hostd.log | grep -i migrate

Исходный хост ESXi

2019-09-24T15:38:47.070Z info hostd[2100388] [Originator@6876 sub=Vcsvc.VMotionSrc.3117907752192811422 opID=jzlgfw8g-11824-auto-94h-h5:70003561-20-01-10-e036 user=vpxuser:VSPHERE.LOCAL\Administrator] VMotionEntry: migrateType = 1 2019-09-24T15:38:47.072Z info hostd[2100388] [Originator@6876 sub=Vmsvc.vm:/vmfs/volumes/b86202d8-fb958817-0000-000000000000/NH-DC-02/NH-DC-02.vmx opID=jzlgfw8g-11824-auto-94h-h5:70003561-20-01-10-e036 user=vpxuser:VSPHERE.LOCAL\Administrator] VigorMigrateNotifyCb:: hostlog state changed from success to none

Целевой хост ESXi

2019-09-24T15:38:47.136Z info hostd[2099828] [Originator@6876 sub=Vcsvc.VMotionDst.3117907752192811422 opID=jzlgfw8g-11824-auto-94h-h5:70003561-20-01-2c-3c35 user=vpxuser:VSPHERE.LOCAL\Administrator] VMotionEntry: migrateType = 1

На стороне VMkernel вы можете найти информацию о неудачной миграции следующей командой:

grep VMotion /var/log/vmkernel*

Исходный хост ESXi:

019-09-24T15:38:47.402Z cpu13:46101760)VMotionUtil: 5199: 3117907752192811422 S: Stream connection 1 added.
2019-09-24T15:38:47.445Z cpu8:46092538)XVMotion: 2062: Allocating pool 0.
2019-09-24T15:38:47.445Z cpu8:46092538)XVMotion: 642: Bitmap page: len = 16384, pgLen = 1, bitSet = 3001, bitClear = 13383.
2019-09-24T15:38:47.445Z cpu8:46092538)XVMotion: 642: Bitmap block: len = 131072, pgLen = 4, bitSet = 131072, bitClear = 0.
2019-09-24T15:38:47.445Z cpu8:46092538)VMotion: 8134: 3117907752192811422 S: Requiring explicit resume handshake.
2019-09-24T15:38:47.445Z cpu13:46101760)XVMotion: 3384: 3117907752192811422 S: Starting XVMotion stream.
2019-09-24T15:39:34.622Z cpu14:46101762)VMotion: 5426: 3117907752192811422 S: Disk copy complete, no bandwidth estimate.
2019-09-24T15:39:34.905Z cpu24:46092539)VMotion: 5281: 3117907752192811422 S: Stopping pre-copy: only 37 pages left to send, which can be sent within the switchover time goal of 0.500 seconds (network bandwidth ~185.134 MB/s, 1536000% t2d)
2019-09-24T15:39:34.965Z cpu13:46101760)VMotionSend: 5095: 3117907752192811422 S: Sent all modified pages to destination (network bandwidth ~281.100 MB/s)
2019-09-24T15:39:35.140Z cpu15:46101757)XVMotion: 642: Bitmap page: len = 16384, pgLen = 1, bitSet = 3001, bitClear = 13383.
2019-09-24T15:39:35.140Z cpu15:46101757)XVMotion: 642: Bitmap block: len = 131072, pgLen = 4, bitSet = 131072, bitClear = 0.

Целевой хост ESXi:

2019-09-24T15:38:47.397Z cpu15:2099283)VMotionUtil: 5199: 3117907752192811422 D: Stream connection 1 added.
2019-09-24T15:38:47.440Z cpu3:3543984)XVMotion: 2062: Allocating pool 0.
2019-09-24T15:38:47.440Z cpu3:3543984)XVMotion: 642: Bitmap page: len = 16384, pgLen = 1, bitSet = 3001, bitClear = 13383.
2019-09-24T15:38:47.440Z cpu3:3543984)XVMotion: 642: Bitmap block: len = 131072, pgLen = 4, bitSet = 131072, bitClear = 0.
2019-09-24T15:38:47.440Z cpu3:3543984)VMotion: 8134: 3117907752192811422 D: Requiring explicit resume handshake.
2019-09-24T15:39:34.907Z cpu3:3543984)VMotionRecv: 761: 3117907752192811422 D: Estimated network bandwidth 205.138 MB/s during pre-copy
2019-09-24T15:39:34.960Z cpu3:3543984)VMotionRecv: 2961: 3117907752192811422 D: DONE paging in
2019-09-24T15:39:34.960Z cpu3:3543984)VMotionRecv: 2969: 3117907752192811422 D: Estimated network bandwidth 200.096 MB/s during page-in
2019-09-24T15:39:35.059Z cpu6:3543972)VMotion: 6675: 3117907752192811422 D: Received all changed pages.
2019-09-24T15:39:35.067Z cpu1:3543972)VMotion: 6454: 3117907752192811422 D: Resume handshake successful
2019-09-24T15:39:35.082Z cpu6:3543980)XVMotion: 642: Bitmap page: len = 16384, pgLen = 1, bitSet = 3001, bitClear = 13383.
2019-09-24T15:39:35.082Z cpu6:3543980)XVMotion: 642: Bitmap block: len = 131072, pgLen = 4, bitSet = 131072, bitClear = 0.

В выводе вы можете увидеть такие интересные вещи, как, например, средняя скорость (average bandwidth), которая была получена при передаче данных (см. вывод).

В папке с виртуальной машиной находится файл vmware.log, в котором также можно найти информацию о неудавшемся vMotion с учетом исходного и целевого IP-адресов хостов ESXi:

2019-09-24T15:38:47.280Z| vmx| I125: Received migrate ‘from’ request for mid id 3117907752192811422, src ip <192.168.200.93>.
2019-09-24T15:38:47.280Z| vmx| I125: MigrateSetInfo: state=8 srcIp=<192.168.200.93> dstIp=<192.168.200.91> mid=3117907752192811422 uuid=4c4c4544-004a-4c10-8044-c7c04f4d4e32 priority=high
2019-09-24T15:38:47.282Z| vmx| I125: MigID: 3117907752192811422
2019-09-24T15:39:34.971Z| vmx| I125: Migrate_Open: Restoring from <192.168.200.93> with migration id 3117907752192811422
2019-09-24T15:39:35.023Z| vmx| I125: Migrate_Open: Restoring from <192.168.200.93> with migration id 3117907752192811422


Таги: VMware, vMotion, Troubleshooting, ESXi, vCenter

Анонсы VMworld 2019 - часть 8. Что будет нового в DRS 2.0?


На конференции VMworld 2019, которая недавно прошла в Сан-Франциско, было представлено так много новых анонсов продуктов и технологий, что мы не успеваем обо всех рассказывать. Одной из самых интересных новостей стала информация про новую версию распределенного планировщика ресурсов VMware Distributed Resource Scheduler (DRS) 2.0. Об этом было рассказано в рамках сессии "Extreme Performance Series: DRS 2.0 Performance Deep Dive (HBI2880BU)", а также про это вот тут написал Дункан Эппинг.

Надо сказать, что технология DRS, позволяющая разумно назначать хосты ESXi для виртуальных машин и балансировать нагрузку за счет миграций ВМ посредством vMotion между серверами, была представлена еще в 2006 году. Работает она без кардинальных изменений и по сей день (13 лет!), а значит это очень востребованная и надежная штука. Но все надо когда-то менять, поэтому скоро появится и DRS 2.0.

Если раньше основным ресурсом датацентров были серверы, а значит DRS фокусировался на балансировке ресурсов в рамках кластера серверов ESXi, то теперь парадигма изменилась: основной элемент датацентра - это теперь виртуальная машина с приложениями, которая может перемещаться между кластерами и физическими ЦОД.

Сейчас технология DRS 2.0 находится в статусе Technical Preview, что значит, что никто не гарантирует ее присутствие именно в таком виде в будущих продуктах VMware, кроме того нет и никаких обещаний по срокам.

В целом, изменилось 3 основных момента:

  • Появилась новая модель затраты-преимущества (cost-benefit model)
  • Добавлена поддержка новых ресурсов и устройств
  • Все стало работать быстрее, а инфраструктура стала масштабируемее

Давайте посмотрим на самое интересное - cost-benefit model. Она вводит понятие "счастья виртуальной машины" (VM Happiness) - это композитная метрика, которая формируется из 10-15 главных метрик машин. Основные из этого числа - Host CPU Cache Cost, VM CPU Ready Time, VM Memory Swapped и Workload Burstiness.

VM Happiness будет основным KPI, которым будет руководствоваться DRS 2.0 при проведении миграций (то есть цель - улучшить этот показатель). Также эту оценку можно будет увидеть и в интерфейсе. Помимо этого, можно будет отслеживать этот агрегированный показатель и на уровне всего кластера VMware HA / DRS.

Второй важный момент - DRS 2.0 будет срабатывать каждую минуту, а не каждые 5 минут, как это происходит сейчас. Улучшение связано с тем, что раньше надо было снимать "снапшот кластера", чтобы вырабатывать рекомендации по перемещению виртуальных машин, а сейчас сделан простой и эффективный механизм - VM Happiness.

Отсюда вытекает еще одна полезная функциональность - возможность изменять интервал опроса счастливости виртуальных машин - для стабильных нагрузок это может быть, например, 40-60 минут, а для более непредсказуемых - 15-20 или даже 5.

Еще одна интересная фича - возможность проводить сетевую балансировку нагрузки при перемещении машин между хостами (Network Load Balancing). Да, это было доступно и раньше, что было вторичной метрикой при принятии решений о миграции посредством DRS (например, если с ресурсами CPU и памяти было все в порядке, то сетевая нагрузка не учитывалась). Теперь же это полноценный фактор при принятии самостоятельного решения для балансировки.

Вот пример выравнивания такого рода сетевой нагрузки на виртуальные машины на разных хостах:

Модель cost-benefit также включает в себя возможности Network Load Balancing и устройства PMEM. Также DRS 2.0 будет учитывать и особенности аппаратного обеспечения, например, устройства vGPU. Кстати, надо сказать, что DRS 2 будет также принимать во внимание и характер нагрузки внутри ВМ (стабильна/нестабильна), чтобы предотвратить "пинг-понг" виртуальных машин между хостами ESXi. Кстати, для обработки таких ситуаций будет использоваться подход "1 пара хостов source-destination = 1 рекомендация по миграции".

Также мы уже рассказывали, что в настоящее время пользователи стараются не допускать переподписку по памяти для виртуальных машин на хостах (memory overcommit), поэтому вместо "active memory" DRS 2.0 будет использовать параметр "granted memory".

Ну и был пересмотрен механизм пороговых значений при миграции. Теперь есть следующие уровни работы DRS для различных типов нагрузок:

  • Level 1 – балансировка не работает, происходит только выравнивание нагрузки в моменты, когда произошло нарушение правил DRS.
  • Level 2 – работает для очень стабильных нагрузок.
  • Level 3 – работает для стабильных нагрузок, но сфокусирован на метрике VM happiness (включено по умолчанию).
  • Level 4 – нагрузки со всплесками (Bursty workloads).
  • Level 5 – динамические (Dynamic) нагрузки с постоянными изменениями.

В среднем же, DRS 2.0 обгоняет свою первую версию на 5-10% по быстродействию, что весьма существенно при больших объемах миграций. При этом VMware понимает, что новый механизм DRS второй версии может родить новые проблемы, поэтому в любой момент можно будет вернуться к старому алгоритму балансировки с помощью расширенного параметра кластера FastLoadBalance=0.

По срокам доступности технологии DRS 2.0 информации пока нет, но, оказывается, что эта технология уже почти год работает в облаке VMware Cloud on AWS - и пока не вызывала нареканий у пользователей. Будем следить за развитием событий.


Таги: VMware, DRS, Update, vMotion, VMworld

Как работает и как используется Enhanced vMotion Compatibility (EVC) в кластерах VMware vSphere.


Как знают почти все администраторы платформы VMware vSphere, для кластеров VMware HA/DRS есть такой режим работы, как Enhanced vMotion Compatibility (EVC). Нужен он для того, чтобы настроить презентацию инструкций процессора (CPU) хостами ESXi так, чтобы они в рамках кластера соответствовали одному базовому уровню (то есть все функции процессоров приводятся к минимальному уровню с набором инструкций, которые гарантированно есть на всех хостах).

Ввели режим EVC еще очень давно, чтобы поддерживать кластеры VMware vSphere, где стоят хосты с процессорами разных поколений. Эта ситуация случается довольно часто, так как клиенты VMware строят, например, кластер из 8 хостов, а потом докупают еще 4 через год-два. Понятно, что процессоры уже получаются другие, что дает mixed-окружение, где по-прежнему надо перемещать машины между хостами средствами vMotion. И если набор презентуемых инструкций CPU будет разный - двигать машины между хостами будет проблематично.

EVC маскирует инструкции CPU, которые есть не на всех хостах, от гостевых ОС виртуальных машин средствами интерфейса CPUID, который можно назвать "API для CPU". В статье VMware KB 1005764 можно почитать о том, как в кластере EVC происходит работа с базовыми уровнями CPU, а также о том, какие режимы для каких процессоров используются.

Надо отметить, что согласно опросам VMware, режим кластера EVC используют более 80% пользователей:

В VMware vSphere 6.7 появились механизмы Cross-Cloud Cold и Hot Migration, которые позволяют переносить нагрузки в онлайн и офлайн режиме между облаками и онпремизной инфраструктурой.

Когда это происходит, виртуальной машине приходится перемещаться между хостами с разными наборами инструкций процессора. Поэтому, в связи с распространением распределенных облачных инфраструктур, в vSphere появилась технология Per-VM EVC, которая позволяет подготовить виртуальную машину к миграции на совершенно другое оборудование.

По умолчанию, при перемещении машины между кластерами она теряет свою конфигурацию EVC, но в конфигурации ВМ можно настроить необходимый базовый уровень EVC, чтобы он был привязан к машине и переезжал вместе с ней между кластерами:

Обратите внимание, что Per-VM EVC доступна только, начиная с vSphere 6.7 и версии виртуального железа Hardware Version 14. Эта конфигурация сохраняется в vmx-файле (потому и переезжает вместе с машиной) и выглядит следующим образом:

featMask.vm.cpuid.Intel = “Val:1”
featMask.vm.cpuid.FAMILY = “Val:6”
featMask.vm.cpuid.MODEL = “Val:0x4f”
featMask.vm.cpuid.STEPPING = “Val:0”
featMask.vm.cpuid.NUMLEVELS = “Val:0xd”

Некоторые пользователи не включают EVC, так как покупают унифицированное оборудование, но VMware рекомендует включать EVC в кластерах со старта, так как, во-первых, никто не знает, какое оборудование будет докупаться в будущем, а, во-вторых, так будет легче обеспечивать миграцию виртуальных машин между облачными инфраструктурами.

Основная причина, по которой не включают EVC - это боязнь того, что поскольку машины не будут использовать весь набор инструкций CPU (особенно самых последних), то это даст снижение производительности. Поэтому VMware написала целый документ "Impact of Enhanced vMotion Compatibility on Application Performance", где пытается доказать, что это не сильно влияет на производительность. Вот, например, производительность Oracle на выставленных базовых уровнях для разных поколений процессоров (в документе есть еще много интересных графиков):

Чтобы включить EVC на базе виртуальной машины, нужно ее выключить, после чего настроить нужный базовый уровень. Для автоматизации этого процесса лучше использовать PowerCLI, а сама процедура отлично описана в статье "Configuring Per-VM EVC with PowerCLI".

Для того, чтобы выяснить, какие базовые уровни EVC выставлены для виртуальных машин в кластере, можно использовать следующий сценарий PowerCLI:

Get-VM | Select Name,HardwareVersion,
@{Name='VM_EVC_Mode';Expression={$_.ExtensionData.Runtime.MinRequiredEVCModeKey}},
@{Name='Cluster_Name';Expression={$_.VMHost.Parent}},
@{Name='Cluster_EVC_Mode';Expression={$_.VMHost.Parent.EVCMode}} | ft

Это даст примерно следующий результат (надо помнить, что отчет будет сгенерирован только для VM hardware version 14 и позднее):

В примере выше одна машина отличается от базового уровня хостов, но в данном случае это поддерживаемая конфигурация. Проблемы начинаются, когда машина использует более высокий базовый уровень CPU, чем его поддерживает хост ESXi. В этом случае при миграции vMotion пользователь получит ошибку:

Понять максимально поддерживаемый режим EVC на хосте можно с помощью команды:

Get-VMHost | Select-Object Name,ProcessorType,MaxEVCMode

В итоге вы получите примерно такой отчет:

В целом тут совет такой - включайте режим Enhanced vMotion Compatibility (EVC) в кластерах и для виртуальных машин VMware vSphere сейчас, чтобы не столкнуться с неожиданными проблемами в будущем.


Таги: VMware, vSphere, vMotion, EVC, CPU, Cloud Computing, Cloud

Как включить vMotion для виртуальных машин с поддержкой vGPU в VMware vSphere 6.7 Update 1.


Как многие из вас знают, в последней версии платформы виртуализации VMware vSphere 6.7 Update 1 компания VMware сделала поддержку горячей миграции vMotion для виртуальных машин, которые имеют на борту технологию vGPU в целях прямого использования ресурсов видеокарт NVIDIA.

Напомним, что ранее была введена поддержка операций Suspend/Resume для GRID, а теперь появилась и поддержка горячей миграции vMotion для машин с привязкой к карточкам NVIDIA Quadro vDWS.

Между тем, по умолчанию эта поддержка для виртуальных машин отключена, и чтобы начать пользоваться этой функцией нужно внести изменения в настройки vCenter. Если вы попробуете сделать vMotion машины с vGPU, то получите вот такую ошибку:

Migration was temporarily disabled due to another migration activity. vGPU hot migration is not enabled.

Вильям Лам написал о том, как включить поддержку vMotion в этой ситуации. Вам надо пойти в Advanced Settings на сервере vCenter и поставить там значение true на настройки vgpu.hotmigrate.enabled:

Эта настройка также рассматривается в документации вот тут. Надо отметить, что вступает в действие она сразу же, и вы можете делать не только vMotion, но и Storage vMotion любой машины (одновременно с vMotion, кстати). Помните, что для успешной работы vMotion на всех хостах ESXi должны быть карточки NVIDIA GRID и установлен соответствующий VIB-пакет.

Также установить эту настройку можно и с помощью командлета PowerCLI:

Get-AdvancedSetting -Entity $global:DefaultVIServer -Name vgpu.hotmigrate.enabled | Set-AdvancedSetting -Value $true -Confirm:$false


Таги: VMware, vSphere, vGPU, NVIDIA, Grid, vMotion

Список всех миграций vMotion и Storage vMotion на платформе vSphere в одном XLS-файле с помощью PowerCLI.


Иногда бывает, что администратору платформы VMware vSphere требуется выгрузить список всех миграций vMotion виртуальных машин, которые произошли между хостами ESXi в последнее время, а также миграций Storage vMotion между хранилищами.

Для vMotion и SVMotion есть вот такой скрипт от Luc Dekens, который экспортирует миграции за указанное число часов или дней в файл XLS. Запустить его можно такой командой (скрипт точно работает для vSphere 6.5, как пишут здесь):

get-motionhistory -Entity (get-cluster "Cluster 1" | get-vm) -Days 2 | Export-csv -NoTypeInformation -UseCulture E:\VMware\Prod_vMotions.csv

На выходе будет вот такая табличка (обратите внимание, что миграции поделены на пользовательские и системные от DRS/SDRS, а также в поле Type указано, что это - vMotion или SVMotion):

Также ребята из компании Opvisor несколько адаптировали этот скрипт в разрезе миграций хранилищ Storage vMotion для подсчета общего объема миграций и выложили его тут. Работа этого скрипта дает вот такой результат:


Таги: VMware, vSphere, vMotion, Storage vMotion, PowerCLI, Blogs, VMachines

Вышла новая версия Cross vCenter Workload Migration Utility - возможности для распределенных датацентров.


На сайте проекта VMware Labs обновилась полезная утилита Cross vCenter Workload Migration, которая предназначена для переноса виртуальных машин средствами Cross vCenter vMotion между виртуальными датацентрами под управлением разных серверов vCenter (поддерживаются как единый SSO-домен, так и разные). Напомним, что о первой ее версии мы писали в конце прошлого года вот тут.

По отзывам пользователей, утилита Cross vCenter Workload Migration часто пригождается, когда требуется массовая миграция сотен и тысяч виртуальных машин между распределенными датацентрами.

Во-первых, в новой версии добавилась возможность указывать целевой пул ресурсов и папку (VM Folder), куда требуется переместить выбранные виртуальные машины:

Это позволяет реализовывать массовые миграции с точки зрения организационной структуры (папки) и с точки зрения использования ресурсов (пулы).

Во-вторых, появилась поддержка VMware Cloud on AWS (VMC). Раньше Cross vCenter vMotion Utility не поддерживала специфическую иерархию ресурсов и прав доступа AWS, но теперь все работает отлично. Вот пример миграции ВМ в облачный датацентр из онпремизного:

Также обратим внимание, что за прошедшие несколько месяцев утилита приобрела следующую функциональность:

  • Увеличилось число одновременных миграций с 10 до 100.
  • Появилась возможность выбрать целевой хост ESXi для миграции.
  • Поддерживается миграция ВМ с общими хранилищами, а также еще и функции клонирования в дополнение к миграции.
  • Улучшилось отображение свойств и ресурсов ВМ, а также интерфейс REST API.

Скачать Cross vCenter Workload Migration Utility можно по этой ссылке. А вот, кстати, обзорное видео об этом средстве:


Таги: VMware, vCenter, vMotion, Labs, Update, DR

Обновленные версии утилит VMware vCenter VM Mobility и DRS Lens.


На днях компания VMware обновила пару своих утилит на сайте проекта VMware Labs, которые могут оказаться вам полезными.

Во-первых, решение VMware vCenter VM Mobility, о котором мы писали вот тут, обновилось до версии 1.5. Напомним, что это средство позволяет через интерфейс командной строки (CLI) перенести машину между серверами vCenter, которые связаны в режиме Linked Mode или размещены независимо друг от друга. Надо отметить, что в режиме Linked Mode и так можно перемещать виртуальную машину между датацентрами, поэтому полезна утилита именно для несоединенных vCenter.

Давайте посмотрим, что нового появилось в версиях vCenter VM Mobility 1.2-1.5:

  • Добавлена возможность выбрать папку ВМ в месте назначения, а также storage pod (для механизма storage drs).
  • Поддержка соединения на сайте назначения, чтобы не прервалась задача перемещения ВМ.
  • Пофикшен баг, когда при миграции нескольких виртуальных машин с одной виртуальной сетью назначения мигрировалась только одна.
  • Поддержка передачи пароля в качестве аргумента для автоматизации задач клонирования и перемещения ВМ между датацентрами.

Скачать VMware vCenter VM Mobility 1.5 можно по этой ссылке. Напомним, что утилитой лучше не пользоваться для миграции связанных клонов ВМ (linked clones).

Вторая обновившаяся утилита - это DRS Lens, про которую мы рассказывали вот тут. Она позволяет администраторам виртуальных инфраструктур получить больше информации о работе механизма балансировки нагрузки на хост-серверы VMware vSphere DRS.

На днях вышла версия DRS Lens версии 1.2. Приведем ниже новые возможности утилиты версий 1.1-1.2:

  • Добавлена поддержка архивирования старых данных мониторинга.
  • Добавлена страница общей информации для vCenter, чтобы получать информацию о кластерах и архивах.
  • Улучшения пользовательского интерфейса.
  • Добавлена совместимость процесса логина с vCenter 5.5.
  • Пофикшены некоторые серьезные баги.

Скачать DRS Lens 1.2 можно по этой ссылке.


Таги: VMware, vCenter, DRS, Monitoring, vMotion, CLI, Update, Labs

VMware vMotion зависает на 21% - некорректный размер MTU пакета.


У некоторых администраторов VMware vSphere время от времени возникает проблема с горячей миграцией vMotion виртуальных машин, например, когда они выводят хост в режим обслуживания (Maintenance Mode). vMotion зависает на 21%, и на vCenter Server появляется ошибка наподобие такой:

Failed waiting for data. Error 195887137. Timeout. vMotion migration failed to send buffer to remote host. vMotion migration failed writing stream completion.

Еще одно сообщение об ошибке в этом случае выглядит вот так:

The vMotion failed bacause the destination host did not receive data from the source host on the vMotion network. Failed to initialize migration at source. Error 195887109.

На панели задач мы видим вот такую картину:

Если посмотреть на лог-файлы, то там не обнаруживается никаких проблем. Но подобного рода ошибки, если внимательно поискать их в VMware KB, указывают на разные сконфигурированные значения MTU пакета в виртуальной инфраструктуре и на портах физических коммутаторов. Например, на vSphere Distributed Switch для порта VMkernel, через который идет миграция vMotion, размер MTU у вас выставлен в 9000 (для поддержки Jumbo Frames), а вот на на порту свича - 1500.

Поэтому всегда проверяйте, чтобы размер MTU был одинаковым на всех компонентах физической и виртуальной инфраструктуры - vDS и портах коммутатора. Более подробно о настройке Jumbo frames написано в KB 1038827.


Таги: VMware, vSphere, vMotion, Networking, Enterprise, Troubleshooting

Новое на VMware Labs: утилита Cross vCenter Workload Migration Utility.


На сайте проекта VMware Labs появилась новая утилита Cross vCenter Workload Migration Utility, предназначенная для переноса виртуальных машин между виртуальными датацентрами под управлением разных серверов VMware vCenter (поддерживаются как единый SSO-домен, так и разные). Миграция машин происходит за счет возможности Cross-vCenter vMotion.

Основные возможности утилиты:

  • Весь рабочий процесс миграции ВМ проводится в графическом интерфейсе.
  • Предоставляется REST API для управления процессом миграции.
  • Работает для перенесения машин на vCenter, находящийся в другом SSO-домене.
  • Поддержка пакетного режима - миграция нескольких ВМ одновременно. Обратите внимание, что контрол называется Virtual Machine(s).
  • Поддержка как горячей (vMotion), так и холодной миграции машин.
  • Возможно выполнить операцию Storage vMotion, при этом общего хранилища между серверами vCenter не требуется.
  • Гибкий маппинг сетей между исходной площадкой и целевой.

Также есть возможность реализации миграции с помощью сценариев PowerCLI (подробнее об этом тут):

Загрузить Cross vCenter vMotion Utility Fling можно по этой ссылке.


Таги: VMware, vCenter, vMotion, Labs

Новое на VMware Labs - утилита DRS Dump Insight для аналитики рекомендаций по миграциям vMotion.


На днях компания VMware выпустила утилиту DRS Dump Insight, описание которой доступно на сайте VMware Labs. Это портал самообслуживания, куда пользователи могут загружать файлы дампов DRS. После этого будет выведена информация об операциях по перемещению виртуальных машин, которые рекомендует выполнить механизм балансировки нагрузки DRS :

Утилита DRS Dump Insight позволит ответить на следующие вопросы:

  • Почему DRS выдал конкретную рекомендацию (улучшить баланс по CPU, по памяти и т.п.)?
  • Почему DRS не вырабатывает рекомендации по балансировке кластера?
  • Какие рекомендации DRS выработал для анализа cost/benefit (затраты/выгоды)?
  • Можно ли получить список вообще всех рекомендаций, выданных DRS?

После того, как вы загрузите файл дампа на портал, вы можете получить детальную информацию о том, через какие промежуточные рекомендации по миграциям механизм DRS прошел, чтобы выработать финальный список.

Вот так выглядит этот отчет (его можно экспортировать в PDF):

Нажав "Show" можно увидеть исходный и целевой хосты ESXi, для которых сформирована рекомендация по перемещению ВМ в данной категории.

Также в утилите доступна аналитика вида "что если?" (what-if analysis), которая позволяет смоделировать следующие ситуации:

  • Изменение пороговых значений миграции (DRS Migration Threshold).
  • Удаление правил affinity/anti-affinity rules в кластере.
  • Изменение расширенных настроек DRS.

Средство DRS Dump Insight будет очень полезно Enterprise-администраторам, ищущим средство для аналитики, тонкого тюнинга DRS и оптимизации миграций vMotion в рамках больших кластеров. Утилита доступна по адресу https://www.drsdumpinsight.vmware.com/.


Таги: VMware, DRS, Troubleshooting, Labs, vSphere, ESXi, vMotion

Новый документ "VMware vSphere encrypted vMotion architecture, performance, and best practices".


Недавно компания VMware выпустила очередной интересный технический документ "VMware vSphere encrypted vMotion architecture, performance, and best practices", посвященный различным аспектам работы механизма шифрованной миграции виртуальных машин между хостами.

Напомним, что шифрование как данных виртуальных машин, так и трафика vMotion, появилось в обновленной версии платформы VMware vSphere 6.5. Шифрование трафика vMotion происходит на уровне VMkernel средствами широко распространенного алгоритма AES-GCM (Advanced Encryption Standard / Galois Counter Mode).

Эксперименты, описанные в открытом документе, подтвердили следующее:

  • Миграция vSphere 6.5 Encrypted vMotion работает практически с той же скоростью, что и vMotion.
  • Нагрузка на CPU для шифрования небольшая за счет оптимизации в коде реализации vMotion.
  • vSphere 6.5 Encrypted vMotion работает так же надежно, как и обычный vMotion.

Миграция в корпоративной инфраструктуры виртуальной машины с СУБД Redis:

Миграция виртуальной машины SQL Server на длинную дистанцию при различных задержках в канале, зависящих от удаленности датацентров:

Содержание документа:

  • Encrypted vMotion Architecture
    • Encryption Protocol
    • Encryption Algorithms
    • Defending Against Replays
    • Workflow
  • Encrypted vMotion Configuration
  • Performance Test Configuration and Methodology
    • Test Configuration
    • Measuring Encrypted vMotion Performance
  • Encrypted vMotion Performance in a Private Cloud Deployment
    • Performance Impact on Duration and Switch-Over Time
    • Performance Impact on Throughput and CPU Usage
  • Encrypted vMotion Performance Over Long Distance
    • Test Methodology
    • Load Generation Software
    • Results
  • Encrypted vMotion Performance Best Practices

Кстати, шифрованные виртуальные машины всегда перемещаются между хостами ESXi средствами также шифрованного vMotion.


Таги: VMware, Whitepaper, vMotion

Шифрование виртуальных машин в VMware vSphere 6.5 - как это работает?


Не так давно мы писали о новых возможностях платформы виртуализации VMware vSphere 6.5, где впервые появилась так давно запрашиваемая администраторами функция шифрования, как содержимого виртуальных дисков, так и шифрования горячих миграций vMotion.

Устроено это шифрование ВМ на базе алгоритма AES-NI, а управление ключами происходит по стандарту KMIP 1.1. Когда операция ввода-вывода приходит на диск виртуальной машины - она сразу же шифруется "на лету", что обеспечивает полную безопасность при попытке несанкционированного доступа к данным.

Шифруются не только виртуальные диски, но и конфигурационные файлы VMX, файлы снапшотов и все прочие файловые объекты, относящиеся к виртуальной машине.

Шифрование объектов ВМ идет за ее пределами, таким образом гостевая ОС не имеет доступа к ключам шифрования. Шифрованные виртуальные машины всегда перемещаются между хостами ESXi средствами также шифрованного vMotion.

Чтобы начать шифровать виртуальную машину, нужно назначить ей соответствующую политику хранения (Storage Policy):

Как работает VM Encryption в VMware vSphere 6.5:

  • Пользователь назначает политику VM Encryption на уровне виртуальной машины.
  • Для машины генерируется случайный ключ и шифруется ключом из key manager (KMS Key).
  • При включении ВМ сервер vCenter получает ключ из Key Manager, посылает его в VM encryption Module на сервере ESXi, что разлочивает ключ в гипервизоре.
  • Далее все операции ввода-вывода идут через encryption module, шифруя все входящие и исходящие SCSI-команды прозрачно для гостевой ОС.

Все это совместимо со сторонними системами управления ключами (и требует одну из них), которые построены на стандарте KMIP версии 1.1 или выше:

 

Для того, чтобы расшифровать виртуальную машину и хранить далее ее в обычном формате, нужно просто поставить дефолтную политику хранения (Datastore default).

Также будет специальный командлет PowerCLI, который может шифровать/расшифровывать ВМ, а также определять, какие из них в данный момент зашифрованы.

vCenter в системе шифрования работает только как клиент. Для управления ключами используется Key Management Server (KMS).

В механизме управления привилегиями теперь появилась роль No Cryptography Administrator. Если ее назначить, то стандартному администратору будут запрещены следующие привилегии:

  • Manage key servers
  • Manage keys
  • Manage encryption policies
  • Console access to encrypted VMs
  • Upload/download encrypted VMs

В качестве KMS можно использовать любые внешние системы, работающие по стандарту KMIP:

При использовании шифрования ВМ нужно учитывать следующие моменты:

  • Да, вам понадобится система управления ключами (внешний Key Management Server)
  • Не поддерживаются возможности SAN Backup.
  • Если для обычного метода бэкапа сделать резервную копию - она будет нешифрованной, если восстановить - то все будет в соответствии с политикой целевого хранилища (то есть, ВМ может оказаться незашифрованной после восстановления).
  • Сам сервер vCenter не может быть зашифрован - иначе его просто было бы нельзя включить.
  • Также не поддерживаются следующие возможности:
    • Suspend/resume
    • Шифрование ВМ со снапшотами и создание снапшотов для шифрованных ВМ
    • Serial/Parallel port
    • Content library
    • vSphere Replication

Для vMotion шифрование включается на уровне отдельной ВМ, а для передачи данных в момент синхронизации используются 256-битные ключи шифрования.

Есть 3 политики для шифрованного vMotion:

  • Disabled - отключено.
  • Opportunistic - шифрование только в случае, если это поддерживает источник и целевой хост ESXi, в противном случае vMotion будет нешифрованным.
  • Required - обязательно будет использоваться.

Перенос машин между хостами осуществляется путем обмена одноразовыми ключами, которые генерируются и обслуживаются сервером vCenter (не KMS).

В целом, шифрование виртуальных машин и миграций vMotion - штука классная, но помните, что вам потребуется для организации этого процесса внешний KMS-сервер.


Таги: VMware, VMachines, Security, vMotion, Update

Важные патчи для фикса критических багов VMware ESXi 6.0.


На днях VMware выпустила обновления, которые исправляют прямо-таки фатальные баги в гипервизоре VMware ESXi 6.0. Скорее всего, вы с ними не сталкивались, но обновиться обязательно стоит - ведь если такое случится хотя бы раз, вам придется отвечать перед пользователями и начальством.

VMware ESXi 6.0.0. билд 4192238, описанный в KB 2145667 фиксит следующие критические баги за счет обновлений в самом коде ESXi, VMware Tools и драйверах:

  • ESXi может вывалиться в розовый экран смерти (PSOD), когда вы переносите виртуальную машину с хоста ESXi в режиме обслуживания (maintenance mode).
  • ESXi может вывалиться в PSOD во время асинхронных операций компонентов IO Filter (то есть, при обычной работе с хранилищами).
  • Хосты ESXi 6, использующие драйвера mpt2sas или mptsas, могут вывалиться в PSOD.
  • ESXi выдает ложную ошибку "deprecated VMFS volume" при обновлении тома VMFS3на VMFS5.
  • Функция vMotion для активного SQL-узла может оказаться недоступной при использовании балансировки Round-Robin PSP.
  • Датасторы NFS v4.1 генерируют частые события APD, даже когда уже произошло их восстановление из этого состояния.

Загрузить патч можно на VMware Patch Portal.


Таги: VMware, Update, Bug, Bugs, ESXi, vMotion, VMachines

1 | 2    >   >>
Интересное:





Зал Славы Рекламодателя
Ближайшие события в области виртуализации:

26/08/2024:  VMware Explore 2024 Лас-Вегас
04/11/2024:  VMware Explore 2024 Барселона

Быстрый переход:
VMware VMachines Offtopic NAKIVO vStack Gartner Veeam Vinchin StarWind Nakivo IT-Grad Cloud Teradici VeeamON VMworld PowerCLI Citrix VSAN GDPR 5nine Hardware Nutanix vSphere RVTools Enterprise Security Code Cisco vGate Microsoft SDRS Parallels IaaS HP VMFS VM Guru Oracle Red Hat Azure KVM VeeamOn 1cloud DevOps Docker Storage NVIDIA Partnership Dell Virtual SAN Virtualization VMTurbo vRealize VirtualBox Symantec Softline EMC Login VSI Xen Amazon NetApp VDI Linux Hyper-V IBM Google VSI Security Windows vCenter Webinar View VKernel Events Windows 7 Caravan Apple TPS Hyper9 Nicira Blogs IDC Sun VMC Xtravirt Novell IntelVT Сравнение VirtualIron XenServer CitrixXen ESXi ESX ThinApp Books P2V Explore vSAN Update VCF NSX Aria Tanzu EUC Private AI Avi Broadcom Workstation Community Skyline HCX AI Host Client Chargeback Horizon Labs SASE Workspace ONE Networking Backup Ransomware Tools Performance Lifecycle VCP Network AWS Intel API USB SDDC Fusion Whitepaper SD-WAN Mobile VMUG SRM ARM HCI Converter Photon OS Operations VEBA App Volumes Certification VMConAWS Workspace Imager SplinterDB DRS SAN vMotion Open Source iSCSI Partners HA Monterey Kubernetes V2V vForum Learning vRNI UAG Support Log Insight AMD vCSA NSX-T Graphics NVMe HCIBench SureBackup vCloud Обучение Web Client vExpert OpenStack UEM CPU PKS vROPs Stencils Bug VTL Forum Video Update Manager VVols DR Cache Storage DRS Visio Manager Virtual Appliance PowerShell LSFS Client Datacenter Agent esxtop Book Photon Cloud Computing SSD Comparison Blast Encryption Nested XenDesktop VSA vNetwork SSO VMDK Appliance VUM HoL Automation Replication Desktop Fault Tolerance Vanguard SaaS Connector Event Free SQL Sponsorship Finance FT Containers XenApp Snapshots vGPU Auto Deploy SMB RDM Mirage XenClient MP iOS SC VMM VDP PCoIP RHEV vMA Award Licensing Logs Server Demo vCHS Calculator Бесплатно Beta Exchange MAP ONE DaaS Hybrid Monitoring VPLEX UCS GPU SDK Poster VSPP Receiver VDI-in-a-Box Deduplication Reporter vShield ACE Go nworks iPad XCP Data Recovery Documentation Sizing Pricing VMotion Snapshot FlexPod VMsafe Enteprise Monitor vStorage Essentials Live Migration SCVMM TCO Studio AMD-V KB VirtualCenter NFS ThinPrint Stretched Director ESA Troubleshooting Android Python Upgrade ML Hub Guardrails CLI VCPP Memory Driver Foundation HPC Orchestrator Optimization Bugs SVMotion Diagram Ports SIOC Plugin Helpdesk VIC VDS Migration Air DPM Flex Mac SSH VAAI Heartbeat MSCS Composer
Полезные постеры:

Постер VMware vSphere PowerCLI 10

Постер VMware Cloud Foundation 4 Architecture

Постер VMware vCloud Networking

Постер VMware Cloud on AWS Logical Design Poster for Workload Mobility

Постер Azure VMware Solution Logical Design

Постер Google Cloud VMware Engine Logical Design

Постер Multi-Cloud Application Mobility

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):

 

Популярные статьи:
Как установить VMware ESXi. Инструкция по установке сервера ESXi 4 из состава vSphere.

Включение поддержки технологии Intel VT на ноутбуках Sony VAIO, Toshiba, Lenovo и других.

Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.

Как настроить запуск виртуальных машин VMware Workstation и Server при старте Windows

Как работают виртуальные сети VLAN на хостах VMware ESX / ESXi.

Сравнение Oracle VirtualBox и VMware Workstation.

Что такое и как работает виртуальная машина Windows XP Mode в Windows 7.

Работа с дисками виртуальных машин VMware.

Диски RDM (Raw Device Mapping) для виртуальных машин VMware vSphere и серверов ESX.

Подключение локальных SATA-дисков сервера VMware ESXi в качестве хранилищ RDM для виртуальных машин.

Инфраструктура виртуальных десктопов VMware View 3 (VDI)

Где скачать последнюю версию VMware Tools для виртуальных машин на VMware ESXi.

Как использовать возможности VMware vSphere Management Assistant (vMA).

Как перенести виртуальную машину VirtualBox в VMware Workstation и обратно

Бесплатные утилиты для виртуальных машин на базе VMware ESX / ESXi.

Интервью:

Alessandro Perilli
virtualization.info
Основатель

Ратмир Тимашев
Veeam Software
Президент


Полезные ресурсы:

Последние 100 утилит VMware Labs

Новые возможности VMware vSphere 8.0 Update 1

Новые возможности VMware vSAN 8.0 Update 1

Новые документы от VMware

Новые технологии и продукты на VMware Explore 2022

Анонсы VMware весной 2021 года

Новые технологии и продукты на VMware VMworld 2021

Новые технологии и продукты на VMware VMworld 2020

Новые технологии и продукты на VMware VMworld Europe 2019

Новые технологии и продукты на VMware VMworld US 2019

Новые технологии и продукты на VMware VMworld 2019

Новые технологии и продукты на VMware VMworld 2018

Новые технологии и продукты на VMware VMworld 2017



Copyright VM Guru 2006 - 2024, Александр Самойленко. Правила перепечатки материалов.
vExpert Badge