Не так давно обновились сразу несколько продуктов VMware и Microsoft, о которых мы расскажем в этой заметке. Во-первых, вышло обновление VMware vCenter 5.0 Update 1b (напомним, что не так давно вышло обновление 1a).

VMware vCenter Server 5.0 Update 1b - это патч-релиз, имеющий следующие улучшения:

• Поддержка следующих СУБД для vCenter:
• Oracle 11g Enterprise Edition, Standard Edition, Standard ONE Edition Release 2 [11.2.0.3] - 64 bit
• Oracle 11g Enterprise Edition, Standard Edition, Standard ONE Edition Release 2 [11.2.0.3] - 32 bit
• Смена БД vCenter Server Appliance - встроенная база данных DB2 Express теперь заменена на VMware vPostgres.
• Исправления ошибок, приведенные тут.

Во-вторых, вышел минорный апдейт продукта VMware View 5.1.1 (о версии View 5.1 мы уже писали тут). Этот релиз исправляет только некоторые ошибки в компонентах View Connection Server, View Agent и View Persona Management. Соответственно, вам не нужно обновлять компоненты View Security Server, View Transfer Server и View Composer Server. Также появился документ "Obtaining SSL Certificates for VMware View Servers". Основные улучшения касаются представлений View Manager, когда у вас большое количество виртуальных ПК в VDI-инфраструктуре (>10 000), которые разбиты на блоки, в соответствии с референсной архитектурой:

В-третьих, компания Microsoft добавила ОС Windows Server 2012 в галерею виртуальных машин Windows Azure.

Бесплатный доступ к Windows Azure в течение 30 дней можно получить без кредитной карты и прочих платежных данных на сайте официального дистрибьютора сервисов Azure, а если вы хотите триал на 90 дней, то понадобится указать данные кредитной карты, которая оформлена в США, и будьте готовы заплатить за превышение указанных в условиях лимитов использования вычислительных ресурсов.

В-четвертых, компания Microsoft выпустила обновление утилиты Virtual Machine Servicing Tool 2012. Об этой утилите мы уже писали тут.

Напомним, что это средство необходимо в случаях, когда требуется обновление выключенных виртуальных машин (например, эти машины используются редко, но для них в целях безопасности нужно поддерживать необходимый уровень обновлений). Утилита VMST 2012 предназначена для совместной работы с System Center 2012 Virtual Machine Manager (VMM), System Center 2012 Configuration Manager и Windows Server Update Services (WSUS) 3.0 SP2.

Ну и также из последнего - Hyper-V в Windows Server 2012 поддерживает FreeBSD.

На днях компания VMware сделала интересный анонс - на сайте vCloud Service Evaluation появилась возможность принять участие в бета-программе тестирования IaaS-сервиса от VMware для всех желающих. Приглашение на участие в бета-программе будут высланы тем, кто зарегистрировался до 27 августа. Для использования сервиса vCloud Service Evaluation пользователям понадобится указать данные кредитной карты. После этого в течение 15 минут должны прийти логин и пароль. Основная задача сервиса - дать пользователям возможность проверить функциональность облака IaaS прямо с сайта VMware, не обращаясь с запросом на тестирование к сервис-провайдерам, список которых доступен тут. Раньше пользователи могли посмотреть за работой сервисов vCloud только через запрос на тестирование к сервис-провайдерам, которым необходимо было предоставить массу информации о компании, целях тестирования и т.п.

Тарификация vCloud Service Evaluation достаточно щадящая - виртуальная машина Linux с 1 ГБ RAM обойдется по цене в $0,04 за час работы. Чтобы пользователи смогли быстрее втянуться в возможности vCloud, после регистрации в vCloud Service Evaluation вы увидите множество уже готовых виртуальных модулей (это бесплатно): Wordpress, Joomla!, Sugar CRM, LAMP stack, Windows Server и множество других веб-приложений.

Для загрузки своей виртуальной машины (Bring Your Own VM, BYOVM) можно использовать консоль vCloud Director или запустить vCloud Connector из своей инфраструктуры, после чего машину можно будет передавать в инфраструктуру одного из сервис-провайдеров, являющихся партнерами VMware по программе VSPP.

В консоли vCloud Service Evaluation есть также отдельные разделы документации, касающиеся использования продуктов сервиса и особенностей функционирования приложений в нем, а также специальное Community, где пользователи и сервис-провайдеры смогут совместно решать проблемы клиентов (это в их интересах, так как дальше они переедут к ним):

Зарегистрироваться на сервисе VMware vCloud Service Evaluation можно по этой ссылке.

Мы уже писали о продукте VMware vSphere Storage Appliance, который позволяет организовать отказоустойчивую инфраструктуру хранилищ на базе локальных дисков хост-серверов VMware ESXi, которые реализуют общее хранилище за счет зеркалирования томов и экспорта хранилищ хостам по протоколу NFS. Узлы ESXi с использованием VSA могут образовывать двух- или трехузловой кластер:

В случае, например, использования двухузлового кластера VSA совместно с технологией VMware Fault Tolerance, может возникнуть такая ситуация - когда Primary VM находится на хосте ESXi и использует основную копию тома с его локальных дисков. В случае сбоя этого хоста возникает двойной отказ - и виртуальной машины, которая на нем исполняется, и ее хранилища, так как оно находилось на дисках хоста. В этом случае возникает неизбежный простой ВМ до того момента, как подхватится хранилище с другого хоста и Secondary VM сможет его использовать.

В такой ситуации VMware рекомендует поступать так:

А именно: размещать хранилище защищенной FT виртуальной машины (ее виртуальные диски и файлы) на хосте, отличном от того, на котором она исполняется, т.е. на том хосте ESXi, где исполняется Secondary VM. В этом случае при любом отказе двойного сбоя не будет - всегда выживет или исполняющаяся ВМ или ее хранилище, которое подхватится Secondary VM.

В случае трехузловой конфигурации VSA можно пойти дальше: разместить Primary VM на одном узле, Secondary VM на другом, а файлы этой ВМ на третьем узле кластера VSA.

На днях небольшая, но бодрая компания Teradici, известная тем, что разрабатывает высокопроизводительный протокол PCoIP для решения VMware View (но не только), сделала интересный анонс: теперь протокол PCoIP будет доступен для Microsoft Remote Desktop Services. Официально это решение будет называться Teradici Remote Desktop Services Host (RDSH). Обязательное требование решения от Teradici - доступ к терминальным сессиям через брокер соединений VMware View Manager.

Для кого это сделано? Очевидно, что решение RDSH направлено на тех пользователей, кто использует терминальные службы Microsoft для доступа пользователей к приложениям, размещенным на серверах Microsoft Windows Server, которые они по каким-то причинам не хотят переносить в VDI-среду VMware View. То есть, это частичная конкуренция продукту Citrix XenApp, частью функций которого является предоставление терминального доступа посредством высокопроизводительного протокола HDX/ICA. Соответственно, маркетинг Teradici для нового продукта будет направлен на клиентскую базу Citrix.

Определенная ниша для решения RDSH определенно есть - не все организации хотят выкладывать большие деньги за Citrix XenApp, особенно в случае, когда они используют лишь небольшой набор его функций. Ожидается, что Teradici сможет предложить пользователям высокую производительность протокола PCoIP по сходной цене, без дополнительных ненужных обвесов.

Для VMware этот шаг Teradici также очень выгоден - поскольку решение RDSH завязано на брокер соединений VMware View Manager, VMware сможет предлагать своим клиентам законченное решение как по виртуализации рабочих нагрузок в VDI-среде VMware View, так и для улучшения производительности Legacy-информационных систем, применяющих терминальный доступ на базе Microsoft RDS в Windows Server 2008 (также сообщается о поддержке Windows Server 2012).

Решение RDSH поддерживает ОС Windows 7 в качестве операционной системы для доступа к терминальным сессиям, будет вместимо со всеми тонкими клиентами без необходимости их обновления, а также, само собой, будет поддерживать софтовые клиенты VMware View. Для тех, кто применяет специальную карточку APEX 2800 PCoIP offload card, приятная новость - RDSH также будет ее поддерживать. Однако в версии RDSH 1.0 отсутствует поддержка проброса USB-устройств со стороны клиента в терминальную сессию.

Более подробно о новом решении Teradici будет рассказано на предстоящей конференции VMworld 2012 (секция 917), а его выпуск ожидается в 4-м квартале этого года. Пробную версию Teradici RDSH можно протестировать по этой ссылке.

На прошлой неделе компания VMware объявила о покупке продукта Log Insight у компании Pattern Insight вместе с командой его разработчиков. Финансовые условия сделки не разглашаются.

Решение Log Insight предназначено для аналитики в реальном времени файлов журнала (логов) в корпоративной ИТ-инфраструктуре, где присутствуют десятки и сотни различных информационных систем. Особенно это актуально для облачных инфраструктур частных и публичных облаков. Пользователями Log Insight являются такие компании как Intel, Qualcomm, Tellabs и Motorola.

С помощью Log Insight администраторы и менеджеры датацентров могут своевременно обнаруживать проблемы, отраженные в логах, а также наблюдать за различными трендами и паттернами изменений в инфраструктуре датацентра, которые являются сигналами начинающихся проблем. В продукте реализован механизм индексирования и быстрого поиска по набору логов от различных систем, а также функция аналитики причин сбоев, зафиксированных в логах, на основе шаблонов, определяемых администратором. Все эти возможности могут стать частью решения VMware vCenter Operations уже в ближайшем будущем.

Очевидно, что данная сделка хорошо вписывается в стратегию по укреплению позиций VMware на рынке облачных вычислений. В этом направлении, как вы помните, компания VMware сделала еще 2 важных шага: приобрела компании Nicira и DynamicOps.

Не так давно мы писали о платформе VGX от NVIDIA, которая позволяет применять виртуализацию GPU со стороны сервера, чтобы реализовывать требовательные к графике нагрузки в инфраструктуре виртуальных ПК предприятия (VDI).

Как многие помнят, в информации на сайте NVIDIA в качестве партнеров была указана только компания Citrix. Однако, как нам показали ребята из команды Dell Solution Center, решение VGX замечательно работает с протоколом PCoIP, который использует продукт VMware View.

Если в VMware vSphere Client вы зайдете на вкладку "Configuration", далее в разделе "Hardware" выберете пункт "Power Management", то увидите вот такую картинку:

Это настройки управления питанием хост-сервера VMware ESXi. Они задают политики управления питанием на основе открытого стандарта Advanced Configuration and Power Interface (ACPI), который определяет схему электропотребления на основе состояний процессора: Power Performance States (P-states) и Processor idle sleep states (C-states).

Режимы P-states — это комбинации напряжений и частот работы ядра процессора для различных типов нагрузок на CPU. Правильно выставленная пара «напряжение—частота» позволяет определить необходимую производительность для выполнения текущих задач CPU, что позволет снизить его энергопотребление и тепловыделение. Состояния P-states являются подмножеством рабочего C-state состояния C0.

Режимы C-states — это состояния, в которых процессор находится в различной ситуации относительно его простоя. Например, C1 (Halt) - состояние, когда процессор не исполняет инструкции, но готов мгновенно (с задержкой примерно 10нс) приступить к их исполнению, C2 (Stop-Clock) - состояние, в котором процессор по-прежнему поддерживает актуальное внутреннее состояние, но просыпается большее (до 100нс) время, при этом дополнительно отключены буферы ввода-вывода. C3 (Sleep) - состояние, в котором процессор отключает питание кэшей второго уровня, но сохраняет прочую служебную информацию. Время пробуждения может составлять до 50 мкс. В современных процессорах есть также множество дополнительных состояний, например, C1E с меньшим энергопотреблением и C6 - когда рабочее напряжение на процессоре может быть понижено до нуля.

Теперь, что мы увидим если нажмем на ссылку "Properties" для Power Management Settings:

Вот что значат эти политики:

• High performance - данная политика максимизирует производительность процессора за счет его поддержки в наивысшем P-state состоянии все время (то есть, по-сути политика энергосбережения отключена). При этом используются только 2 C-state состояния: С0 (running) и C1 (halted). Соответственно, данный режим выдает максимальную производительность, не имеет инерционности и потребляет больше всего энергии. Эта политика выставлена по умолчанию для VMware ESX/ESXi 4.0 и 4.1.
• Balanced - эта политика разработана для того, чтобы максимально использовать переключения между P-states в целях экономии энергии. Она обладает слегка большей инерционностью, но почти не влияет на производительность. Эта политика выставлена по умолчанию для VMware ESXi 5.0.
• Low Power - эта политика придумана для максимального энергосбережения, а значит имеет риски по потере хостом ESXi производительности CPU. Она активно использует состояния C-states при различных видах простоя процессора.
• Custom - по умолчанию эта политика работает как Balanced, но позволяет настроить различные параметры пользователю. Если оборудование хоста не позволяет операционной системе самостоятельно управлять энергопотреблением, то для этой политики будут доступны только варианты Not Supported или High performance.

Определять политики вручную необходимо только тогда, когда вы точно знаете, что с ними делать. Вот, например, табличка, описывающая custom-параметры политики:

О том, как использовать эти настройки, и как они влияют на энергопотребление процессоров, можно прочитать в документе "Host Power Management in VMware vSphere 5".

Недавно мы уже писали о том, как работает технология балансировки нагрузки на хранилища VMware Storage DRS (там же и про Profile Driven Storage). Сегодня мы посмотрим на то, как эта технология работает совместно с различными фичами дисковых массиов, а также функциями самой VMware vSphere и других продуктов VMware.

Для начала приведем простую таблицу, из которой понятно, что поддерживается, а что нет, совместно с SDRS:

Комментарии к таблице:

• Снапшоты на уровне массива - они никак не влияют на работу механизма SDRS, однако рекомендуется оставить его в ручном режиме, чтобы избежать возможных проблем при одновременном создании снапшота и перемещении виртуальных дисков.
• Дедупликация на уровне массива - полностью совместима со механизмом SDRS, однако рекомендуется ручной режим, так как, с точки зрения дедупликации, наиболее эффективно сначала применить рекомендации по миграции виртуальных дисков, а потом уже использовать дедупликацию (для большинства сценариев).
• Использование array-based auto-tiering - очевидно, что функции анализа производительности в дисковом массиве и перемещения данных по ярусам с различными характеристиками могут вступить вступить в конфликт с алгоритмами определения нагрузки в SDRS и перемещения vmdk-дисков по хранилищам на логическом уровне. Сам Storage DRS вступает в действие после 16 часов анализа нагрузки и генерирует рекомендации каждые 8 часов, в дисковом же массиве механизм перераспределения блоков по ярусам может работать по-разному: от real-time процесса в High-end массивах, до распределения каждые 24 часа в недорогих массивах. Понятно, что массиву лучше знать, какие блоки куда перемещать с точки зрения производительности физических устройств, поэтому для SDRS рекомендуется оставить выравнивание хранилищ только по заполненности томов VMFS, с отключенной I/O Metric.
• Репликация на уровне массива - полностью поддерживается со стороны SDRS, однако, в зависимости от использования метода репликации, во время применения рекомендаций SDRS виртуальные машины могут остаться в незащищенном состоянии. Поэтому рекомендуется применять эти рекомендации SDRS во время запланированного окна обслуживания хранилищ.
• VMware vSphere Storage Metro Cluster - здесь нужно избегать ситуации, когда виртуальный диск vmdk машины может уехать на другой сайт по отношению к хосту ESXi, который ее исполняет (когда используется общий Datastore Cluster хранилищ). Поэтому, а еще и потому, что распределенные кластеры могут строиться на базе технологий синхронной репликации хранилищ (см. предыдущий пункт), нужно использовать ручное применение рекомендаций SDRS.

• Поддержка VMware vSphere Site Recovery Manager - на данный момент SDRS не обнаруживает Datastore Groups в SRM, а SRM не отслеживает миграции SDRS по хранилищам. Соответственно, при миграции ВМ на другое хранилище не обновляются protection groups в SRM, как следствие - виртуальные машины оказываются незащищенными. Поэтому совместное использование этих продуктов не поддерживается со стороны VMware.
• Поддержка томов RDM - SDRS полностью поддерживает тома RDM, однако эта поддержка совершенно ничего не дает, так как в миграциях может участвовать только vmdk pointer, то есть прокси-файл виртуального диска, который занимает мало места (нет смысла балансировать по заполненности) и не генерирует никаких I/O на хранилище, где он лежит (нет смысла балансировать по I/O). Соответственно понадобиться эта поддержка может лишь на время перевода Datastore, где лежит этот файл-указатель, в режим обслуживания.
• Поддержка VMware vSphere Replication - SDRS не поддерживается в комбинации с хостовой репликацией vSphere. Это потому, что файлы *.psf, используемые для нужд репликации, не поддерживаются, а даже удаляются при миграции ВМ на другое хранилище. Вследствие этого, механизм репликации для смигрированной машины считает, что она нуждается в полной синхронизации, что вызывает ситуацию, когда репликация будет отложена, а значит существенно ухудшатся показатели RTO/RPO. Поэтому (пока) совместное использование этих функций не поддерживается.
• Поддержка VMware vSphere Snapshots - SDRS полностью поддерживает спапшоты виртуальных машин. При этом, по умолчанию, все снапшоты и виртуальные диски машины при применении рекомендаций перемещаются на другое хранилище полностью (см. левую часть картинки). Если же для дисков ВМ настроено anti-affinity rule, то они разъезжаются по разным хранилищам, однако снапшоты едут вместе со своим родительским диском (см. правую часть картинки).

• Использование тонких дисков VMware vSphere - полностью поддерживается SDRS, при этом учитывается реально потребляемое дисковое пространство, а не заданный в конфигурации ВМ объем виртуального диска. Также SDRS учитывает и темпы роста тонкого виртуального диска - если он в течение последующих 30 часов может заполнить хранилище до порогового значения, то такая рекомендация показана и применена не будет.
• Технология Linked Clones - не поддерживается со стороны SDRS, так как этот механизм не отслеживает взаимосвязи между дисками родительской и дочерних машин, а при их перемещении между хранилищами - они будут разорваны. Это же значит, что SDRS не поддерживается совместно с продуктом VMware View.
• Использование с VMware vCloud Director - пока не поддерживается из-за проблем с размещением объектов vApp в кластере хранилищ.
• Хосты с версией ПО, младше чем vSphere 5.0 - если один из таких хостов поключен к тому VMFS, то для него SDRS работать не будет. Причина очевидна - хосты до ESXi 5.0 не знали о том, что будет такая функция как SDRS.

Больше подробностей приведено в документе "VMware vSphere Storage DRS Interoperability".

Не так давно мы писали про проект Boomerang, который доступен на сайте VMware Labs. Это утилита, которая размещается в трее и с помощью которой можно получать быстрый доступ к консоли виртуальных машин (через VMware Remote Console, VMRC) и управлению питанием. Машины можно помечать звездочками, чтобы выделить их в списке Favorites. К сожалению, Boomerang не работает для бесплатного VMware ESXi (см. комментарии), но поддерживает одновременное подключение к нескольким хост-серверам в платной версии.

На днях произошло обновление продукта до версии Boomerang 2.0.

Среди новых возможностей VMware Boomerang 2.0:

• Поддержка нескольких серверов View Connection Server одновременно и их виртуальных машин.
• При установке продукта поддержку VMware vSphere или VMware View можно опционально отключить.
• Сортировка серверов в алфавитном порядке.
• Если включен поиск ВМ, то список ВМ серверов автоматически раскрывается.

Напомним основные возможности продукта VMware Boomerang:

• Поддержка соединения к нескольким серверам ESX/ESXi и нескольким серверам vCenter одновременно.
• Поддержка соединения к нескольким серверам View Connection Server одновременно.
• Соединение с десктопами VMware View по протоколу PCoIP или RDP.
• Автоматическое перенаправление клиентских принтеров в десктопы View через ThinPrint.
• Сохранение логина и пароля для входа на серверы.
• Панель Favorites для удобства просмотра машин на нескольких серверах.
• Удобная панель управления питанием ВМ.
• Поиск машины в списке происходит набором ее имени на клавиатуре.
• Серверы с большим количеством ВМ автоматически сворачиваются в гиперссылки, которые можно развернуть.
• Автоматический поиск обновлений для утилиты.
• Секция Recently Used, показывающая машины, с которыми были последние соединения.
• Быстрый поиск ВМ по всем серверам.

Скачать VMware Boomerang 2.0 можно по этой ссылке (всего 12 МБ).

Как оказалось у нас на сайте нет инструкции по подключению локальных дисков сервера VMware ESXi в качестве RDM-дисков для виртуальных машин. Восполняем этот пробел. Как известно, если вы попытаетесь добавить локальный диск сервере ESXi в качестве RDM-тома для ВМ, вы там его не увидите:

Связано это с тем, что VMware не хочет заморачиваться с поддержкой дисков различных производителей, где будут размещены производственные виртуальные машины. Поэтому нам нужно создать маппинг-файл VMDK на локальное дисковое устройство, который уже как диск (pRDM или vRDM) подключить к виртуальной машине.

Для начала найдем имя устройства локального SATA-диска в списке устройств ESXi. Для этого перейдем в соответствующую директорию командой:

# cd /dev/disks

И просмотрим имеющиеся диски:

# ls -l

Нас интересуют те диски, что выделены красным, где вам необходимо найти свой и скопировать его имя, вроде t10.ATA___....__WD2DWCAVU0477582.

Далее переходим в папку с виртуальной машиной, которой мы хотим подцепить диск, например:

# cd /vmfs/volumes/datastore1/<vm name>

И создаем там маппинг VMDK-диск для создания RDM-тома, при этом можно выбрать один из режимов совместимости:

Для pRDM (Physical RDM):

# vmkfstools -z /vmfs/devices/disks/<имя t10.ATAитп> rdm_WD2DWCAVU0477582.vmdk

Для vRDM (Virtual RDM):

# vmkfstools -r /vmfs/devices/disks/<имя t10.ATAитп> rdm_WD2DWCAVU0477582.vmdk

После того, как vmdk mapping file создан, можно цеплять этот диск к виртуальной машине через Add Virtual Disk (лучше использовать для него отдельный SCSI Controller):

Второй способ, который работает не для всех дисков - это отключение фильтра на RDM-диски (это можно сделать и на сервере VMware vCenter). Для этого в vSphere Client для хоста ESXi нужно пойти сюда:

Configuration > Software > Advanced Settings > RdmFilter

Там и выставляется соответствующая галочка:

Однако, повторимся, этот метод (в отличие от первого) работает не всегда. Ну и учитывайте, что подобная конфигурация не поддерживается со стороны VMware, хотя и работает.

Мы уже писали о том, что такое и как работает технология VMware vStorage API for Array Integration (VAAI) (а также немного тут), которая позволяет передать операции по работе с хранилищами, которые выполняет компонент Data Mover в VMkernel, на сторону дискового массива. Это существенно улучшает показатели производительности различных операций (клонирования и развертывания ВМ, использования блокировок) за счет того, что они выполняются самим массивом, без задействования сервера VMware ESXi:

Если ваш массив не поддерживает примитивы VAAI, то чтобы склонировать виртуальный диск VMDK размером 64 ГБ, компонент Data Mover реализует эту операцию следующим образом:

• Разделяет диск 64 ГБ на малые порции размером в 32 МБ.
• Эту порцию 32 МБ Data Mover разделяет еще на маленькие операции ввода-вывода (I/O) размером в 64 КБ, которые идут в 32 параллельных потока одновремнно.
• Соответственно, чтобы передать 32 МБ, Data Mover выполняет 512 операций ввода вывода (I/Os) по 64 КБ.

Если же массив поддерживает примитив XCOPY (он же Hardware Offloaded Copy и SAN Data Copy Offloading), то для передачи тех же 32 МБ будут использованы I/O размером в 4 МБ, а таких I/O будет, соответственно, всего 8 штук - разница очевидна.

Интересно, как работает VAAI с точки зрения ошибок при передаче данных: например, мы делаем клонирование ВМ на массиве с поддержкой VAAI, и вдруг возникает какая-то ошибка. В этом случае VMkernel Data Mover подхватывает операцию клонирования с того места, где VAAI вызвал ошибку, и производит "доклонирование" виртуальной машины. Далее ESXi периодически будет пробовать снова использовать VAAI на случай, если это была кратковременная ошибка массива.

При этом проверки в разных версиях ESXi будут производиться по-разному:

• Для ESX/ESXi 4.1 проверка будет производиться каждые 512 ГБ передаваемых данных. Посмотреть этот параметр можно следующей командой:

# esxcfg-advcfg -g /DataMover/HardwareAcceleratedMoveFrequency
Value of HardwareAcceleratedMoveFrequency is 16384

Это значение частоты 16384 нужно умножить на порцию 32 МБ и мы получим 512 ГБ. Чтобы поменять эту частоту, можно использовать команду:

# esxcfg-advcfg -s <новое значение> /DataMover/HardwareAcceleratedMoveFrequency

• Для ESXi 5.0 и выше все проще - проверка производится каждые 5 минут.

Помимо описанных в нашей статье примитивов Full Copy, Zero Block и ATS, начиная с версии ESXi 5.0, поддерживаются еще 2 примитива:

• Thin Provisioning - механизм сообщения хостом ESXi дисковому массиву о том, что виртуальная машина или ее файлы с Thin LUN были удалены или перемещены (в силу разных причин - Storage vMotion, консолидация снапшотов и так далее), поэтому массив может забрать это дисковое пространство себе назад.
• Block Delete (UNMAP) - собственно, сам механизм забирания массивом назад дискового пространства через функции SCSI Unmap. Поддерживается с vSphere 5.0 Update 1, так как раньше с этим примитивом были проблемы. Более подробно об этом механизме можно прочитать в KB 2014849, а также в статье "VAAI Thin Provisioning Block Reclaim/UNMAP In Action".

С точки зрения дисковых массивов, работающих на NFS (прежде всего, NetApp) в ESXi 5.0 также появилась поддержка примитивов VAAI:

• Full File Clone – аналог функций Full Copy для VAAI на блочных хранилищах, предназначен для клонирования файлов виртуальных дисков VMDK.
• Native Snapshot Support – передача на сторону массива функций создания снапшота ВМ.
• Extended Statistics – включает возможность просмотра информации об использовании дискового пространства на NAS-хранилище, что полезно для Thin Provisioning.
• Reserve Space – включает возможность создания виртуальных дисков типа "thick" (фиксированного размера) на NAS-хранилищах (ранее поддерживались только Thin-диски).

Функции VAAI включены по умолчанию и будут использованы тогда, когда станут доступны (например, при обновлении Firmware дискового массива, которое поддерживает VAAI).

В конце июня мы писали про технологическое превью продукта VMware Workstation 2012 (плюс тут), в котором появилось новое средство WSX Server - возможность прямого доступа к консоли виртуальной машины из браузера без каких-либо плагинов.

Напомним, что WSX Server, который есть в VMware Workstation 2012, работает на базе технологии HTML 5 (с поддержкой WebSockets и Canvas), что подразумевает отсутствие необходимости иметь какие-либо дополнительные компоненты, кроме веб-браузера, чтобы получить доступ к консоли виртуальной машины и средствами управления ей. В качестве веб-браузеров, той или иной степени совместимых с HTML 5, можно использовать Chrome 17, Firefox 10, IE 10, Safari 5 на ПК с Mac OS и iOS 5 для iPad. Также стоит отметить, что VMware WSX поддерживает новые iPad с дисплеем Retina.

Итак, основные июльские нововведения технологии WSX:

• Улучшенная домашняя страница - теперь на ней есть возможность добавлять серверы в список, также на нее будет возможность добавить часто используемые ВМ

• Улучшенная страница при выборе сервера WSX - теперь виртуальные машины можно фильтровать по состоянию (powered on и т.п.), а также есть поиск

• Большая кнопка "Включить ВМ" - удобна для iPad'ов:

• Улучшенный Touch Input - для планшетов и смартфонов поддерживаются жесты, которыми можно эмулировать не только правую кнопку мыши (нажать и подержать пальцем), но и среднюю. Если держать одновременно двумя пальцами и тащить вниз или вверх - будет скроллинг.
• Поддержка колесика мыши - работает в браузерах на PC и Mac.
• Улучшен механизм работы с дисплеями Retina - теперь WSX не вываливается в пониженное разрешение при повторном соединении после обрыва. Дорисованы новые иконки и пофикшены баги.
• Поддержка шифрованного SSL-соединения. Теперь можно назвать сертификаты именами wsx.crt и wsx.key и положить их в папки etc/vmware/wsx/ssl/directory (Linux) или Application Data\VMware\VMware WSX\SSL (Windows). Этого не сделано по умолчанию, так как SSL глючит с WebSockets.
• Упрощенная установка - для Linux, например, больше не требуется Python. Для Windows улучшили стабильность.
• Улучшенное обнаружение общих виртуальных машин (Shared VMs).
• Улучшения производительности - при соединении и изменении разрешения.
• Множественные исправления ошибок.

Напомним, что функции WSX работают, по-прежнему, в экспериментальном режиме.

Более подробно о VMware Workstation 2012 TP June можно прочитать на странице ведущего разработчика, а также на официальной странице обновленного продукта. Скачать VMware Workstation 2012 TP June вместе с компонентами WSX можно по этой ссылке.

Достаточно давно мы уже описывали средство централизованного администрирования хост-серверами VMware vSphere - vSphere Management Assistant (vMA). По сути, vMA - это вынесенная "сервисная консоль" за пределы хост-серверов ESXi в отдельный виртуальный модуль (Virtual Appliance), с которого удобно выполнять консольные команды RCLI (например, мониторинга - resxtop), а также хранить и запускать различные скрипты. Сегодня мы расскажем о том, как восстновить (сбросить) пароль на виртуальном модуле vMA.

Итак, загружаем VMware vMA 5, устанавливаем выбор на пункте меню "SUSE Linux Enterprise Server 11 SP1 for VMware" и нажимаем кнопку <e>:

В появившемся далее экране выбираем строчку с "kernel /vmlinuz" и снова нажимаем <e>:

В следующем экране, в строке ввода, вбиваем init=/bin/bash:

После нажатия <Enter>, вы вернетесь в педыдущее окно, где нужно нажать <b> для загрузки vMA. После загрузки вводим команду, которой и устанавливаем новый пароль:

# passwd vi-admin

Пароль установить непросто. Он должен соответствовать следующим политикам:

• Не менее 8 символовEight characters
• Хотя бы один символ в верхнем регистре
• Хотя бы один - в нижнем
• Хотя бы одна цифра
• Хотя бы один спецсимвол (#, $ и т.п.)

Понятно, что такой пароль никому не удобен. Поменять его можно командой:

# sudo passwd vi-admin

vMA будет жаловаться, однако пароль сменит:

С покупкой VMware компании Nicira стало больше разговоров о технологии VXLAN (Virtual eXtensible LAN), которая предоставляет расширенный механизм создания виртуальных сетей VLAN в крупных ИТ-инфраструктурах, объединяющих несколько датацентров компании (о ней мы уже упоминали). Разумеется, она нацелена на виртуализацию, и ее поддержка будет включена в платформу VMware vSphere в недалеком будущем. То есть VXLAN - это замена VLAN для создания прозрачной мобильной сетевой среды для виртуальных машин, имеющих возможность перемещаться между датацентрами.

Суть имеющейся сегодня проблемы заключается в том, что IP-адрес системы определяет две, по-сути разные, сущности: идентификатор системы и указатель на географическое размещение в сети (датацентр, сегмент), кроме того стандартная концепция VLAN позволяет использовать только до 4096 виртуальных сетей для логической изоляции классов систем, что в крупных инфраструктурах иногда оказывается недостаточно (особенно это касается IaaS-инфраструктур сервис-провайдеров, работающих с сотнями организаций, у каждой из которых свои VLAN).

Поэтому компании Cisco и VMware, к которым присоединились Citrix и Red Hat, разработали стандарт VXLAN, позволяющий организовать логические сети L2 поверх уровня L3 с возможностью минимального внесения изменений в существующую инфраструктуру сетевого взаимодействия в организациях. На данный момент черновик стандарта VXLAN в реализации IPv4 отправлен в организацию IETF, вскоре там будет и документ по реализации в IPv6.

Обзорный ролик по технологии VXLAN:

Образно говоря, технология VXLAN - это способ создания новых логических L2-сетей в рамках уже существующих L3-сетей. В одной VXLAN-сети виртуальная машина уникально идентифицируется двумя следующими параметрами:

• VXLAN Network Identifier (VNI) - 24-битный идентификатор виртуальной сети, а значит их всего может быть более 16 миллионов штук
• MAC-адрес машины

Соответственно, в одной VXLAN-сети не может быть машин с одинаковым MAC-адресом, но в разных VXLAN-сетях они вполне могут существовать (что актуально для виртуальных машин, MAC которых генерируется автоматически и глобально не уникален). Большое количество возможных VXLAN-сетей позволяет виртуальным машинам "путешествовать" между инфраструктурой организации и сторонними сервис-провайдерами без изменения сетевой идентификации, сохранением политик и изоляции внутри виртуальной сети безотносительно ее физического размещения (у себя или у IaaS-провайдера).

Для работы инфраструктуры VXLAN есть следующие компоненты:

• Необходима поддержка режимов Multicast, IGMP и PIM
• Идентификатор VNI внутри IP-пакета, только машины с одинаковым VNI могут взаимодействовать между собой
• Шлюз VXLAN Gateway
• Компонент VXLAN Tunnel End Point (VTEP) на стороне сервера виртуализации
• Виртуальная сеть VXLAN Segment/VXLAN Overlay

С точки зрения IP-пакета VXLAN, в сети IPv4 его размер увеличивается на 50 байт, а в сети IPv6 - на 70 байт. Работает это примерно так:

Допустим у нас есть виртуальная сеть VXLAN с VNI равным 864. Когда виртуальная машина VM1 хочет послать IP-пакет виртуальной машине VM2 происходят следующие вещи:

• VM1 по протоколу ARP посылает пакет с запросом MAC-адреса VM2
• Компонент VTEP1, размещенный на первом сервере VMware ESXi, инкапсулирует этот ARP-пакет в мультикаст-пакет, ассоциированный с виртуальной сетью с VNI 864
• Все остальные VTEP, получающие этот пакет, добавляют ассоциацию VTEP1 и VM1 в свои VXLAN-таблицы
• VTEP2  получает пакет, декапсулирует его и посылает броадкаст на портгруппы виртуальных коммутаторов, которым присвоен VXLAN c VNI 864
• VM2, находящаяся в одной из этих портгрупп, получает ARP-пакет и отвечает своим MAC-адресом
• VTEP2 на втором хосте ESXi формирует юникастовый пакет и отправляет его уже по существующему маршруту
• VTEP1 декапсулирует пакет и передает его виртуальной машине VM1

Теперь обратимся к структуре VXLAN-пакета:

В нем есть следующие заголовки (слева-направо):

Outer MAC Header (Ethernet Header)

Он содержит следующие поля:

• Destination Address - это MAC-адрес VTEP назначения, если этот VTEP является локальным по отношению к ближайшему роутеру, или MAC-адрес самого роутера, если VTEP находится за ним
• VLAN - опциональное поле с тэгом VLAN (не обязательно в VXLAN-реализации)
• Ethertype - тип пакета (для IPv4 установлен в 0×0800

Outer IP Header

• Protocol - содержит значение 0×11, чтобы обозначить, что это UDP-пакет
• Source IP - IP-адрес VTEP источника
• Destination IP - IP-адрес VTEP назначения

UDP Header

• Source Port - устанавливается передающим VTEP
• VXLAN Port - порт VXLAN IANA (еще не определен)
• UDP Checksum - контрольная сумма пакета на уровне VXLAN

VXLAN Header

• VXLAN Flags - различные флаги
• VNI - 24-битное поле с идентификатором VXLAN
• Reserved - набор зарезервированных полей

Итак, VM1 по описанному выше алгоритму узнала MAC-адрес VM2, после чего начинает ей адресно слать пакеты примерно так:

• VM1 посылает IP-пакет к VM2 с адреса 192.168.0.100 на адрес 192.168.0.101
• VTEP1 берет пакет и инкапсулирует его, добавляя следующие заголовки:
• VXLAN header с идентификатором VNI=864
• Стандартный UDP-заголовок с назначенным портом (VXLAN IANA)
• Стандартный IP-заголовок с IP-адресом VTEP назначения и признаком UDP-пакета
• Стандартный MAC-заголовок с MAC-адресом следующего устройства (next hop). В данном случае это роутер с маком 00:10:11:FE:D8:D2, который будет использовать стандартную маршрутизацию пакета по IP-сети до VTEP2.
• Далее VTEP2 получает такой пакет, распаковывает его (он узнает, что это VXLAN, так как это UDP-пакет) и вытаскивает VNI (864). Далее уже очищенный от обертки IP-пакет направляется к VM2, которая находится в портгруппе с VNI 864, перед чем VTEP убеждается, что она может получить пакет
• Виртуальная машина VM2 получает IP-пакет очищенным, как обычный IP-пакет

Таким образом, технология VXLAN, поддерживаемая в программном обеспечении платформы виртализации и роутеров позволит расширить сферу применения виртуальных сетей VXLAN в виртуальных облачных средах, где виртуальная машина сможет существовать в различных географически разделенных датацентрах, а пользователи смогут распределять нагрузку между своим частным облаком и облаком сервис-провайдера, не прибегая к переконфигурации виртуальных машин в рамках их виртуальных сетей.

Что еще можно почитать на эту тему (источники данной статьи):

• VXLAN Primer-Part 1
• VXLAN Primer-Part 2: Let’s Get Physical

Многие интересующиеся значимыми событиями, происходящими на рынке виртуализации, уже, наверное, читали о том, что VMware приобрела компанию Nicira за 1,26 миллиарда долларов (из них $1,05 млрд. - кэшем, что весьма много). Сумма этой сделки заставляет обратить на нее внимание и задуматься над тем, как ведущие компании в сфере облачных вычислений видят себе будущее частных облаков.

Для начала небольшой видео-обзор решения Nicira (основной продукт компании - Nicira Network Virtualization Platform ):

Из ролика ничего не понятно - это неудивительно, поскольку технология эта фундаментальная и весьма непростая. Начнем с проблемы, которая существует в крупных компаниях по всему миру, использующих технологии виртуализации на платформе VMware vSphere. Крутые и большие организации уже давно видят виртуализацию не только как платформу, но и как основу существования облаков в контексте абстракции вычислительных ресурсов:

Основа данной концепции такова: мы берем различное железо и хранилища, которые есть в нашем датацентре, объединяем их в общий пул с помощью платформы виртуализации серверов. Далее эти вычислительные мощности и стораджи мы отделяем от логической ценностной единицы ИТ - приложений - с помощью абстракций - виртуальных машин и виртуальных хранилищ. Общий вычислительный пул датацентра мы разрезаем на логически удобные нам единицы (пулы ресурсов) и дальше предоставляем пользователям виртуальные машины с соответствующим уровнем SLA из абстрактных сущностей, которые построены поверх оборудования и вычислительной архитектуры с определенными характеристиками. Делается это с помощью VMware vCloud Director с его концепцией виртуальных датацентров:

Но, помимо абстракции вычислительных ресурсов, нам нужно еще абстрагировать и сервисы хранения. Для этого сегодня существуют техники профилирования хранилищ (Storage Profiles) и средства автоматической балансировки нагрузки на них (Storage DRS):

Следующий аспект: виртуальные машины существуют на серверах и хранилищах уже на логическом, а не на физическом уровне (независимо от вендоров железа), как сделать так, чтобы в датацентре они были защищены политиками, да и сам периметр датацентра тоже был защищен? Ответ прост - есть семейство продуктов VMware vShield:

Прекрасно. Вроде все? Нет, не все. Невиртуализованной у нас осталась еще одна часть, а именно - сети. VMware предоставляет нам распределенный виртуальный коммутатор (Distributed vSwitch) с базовыми технологиями изоляции и контроля (Private VLAN), есть также продукт от Cisco - Nexus 1000V, который выполняет схожие функции, но обладает более широкими возможностями. Все это делается на уровне абстракции сетевых интерфейсов хост-серверов.

Однако в данном подходе нет самого главного - средств абстракции и виртуализации физического сетевого оборудования (коммутаторов, маршрутизаторов), большим парком которых применительно к виртуальным машинам нужно централизованно управлять в датацентре компании, где есть сотни виртуальных сетей, политик и конфигураций. Все это приводит к тому, что на развертывание новой виртуальной машины уходит 2-3 минуты (на сервере+хранилище), а вот на настройку сетевого взаимодействия, VLAN, безопасности, политик и прочего в забюрократизированных организациях уходит несколько дней.

Вот эту фундаментальную проблему и решает компания Nicira, так недешево доставшаяся VMware:

Суть концепции Nicira применительно к сетевому взаимодействию та же самая, что и в серверной виртуализации: собираем весь набор сетевого оборудования разных вендоров в единый пул, где уже на логическом уровне определяем виртуальные сети и политики, после чего можем цеплять их к виртуальным машинам централизованно:

Все это называется программно-определяемые сети (Software-defined networking, SDN) и работает на базе программных решений, разрабатываемых Nicira с далекого 2007 года. Интересно, что основательница VMware, Диана Грин, которую двинули с поста CEO компании, была одним из инвесторов Nicira, о чем мы писали 2 года назад. Диана вышла с неплохим профитом, а Nicira теперь позволит VMware получить законченную концепцию полной виртуализации облачного датацентра. Как нам и обещали, VMware вполне может стать "VMware of Networking". Кстати, теперь при покупке Nicira компания VMware снова двигает своего CEO.

Если тема вам интересна, можно почитать следующие материалы:

• VMware and Nicira – Advancing the Software-Defined Datacenter
• VMware acquires DynamicOps and Nicira, first steps to a heterogeneous hypervisor cloud solution?
• VMware buys Nicira for $1.05 billion (Zdnet)
• What Is Network Virtualization?
• vSwitch is the New Battleground. What Every Datacenter Operator Must Know.

Ну и следующая новость - покупка компанией VMware конторы DynamicOps (продукт Virtual Resource Manager, VRM). Эта контора была выделена из небезызвестного банка Credit Suisse и разрабатывает средства для автоматизации гибридных облаков на базе нескольких гипервизоров (что неизбежно будет в крупных организациях с приходом Hyper-V 3.0), а также средства управления сервисными архитектурами вроде Platform-as-a-Service, Database-as-a-Service и Storage-as-a-Service.

Kenny сделал хорошую запись о списке дефолтных аккаунтов для различных продуктов VMware, а мы сведем это в таблицу для вашего удобства, добавив парочку отсутствующих продуктов:

Вроде всё. Если знаете еще что-то, напишите, пожалуйста, в каменты.

Мы уже касались некоторых аспектов мониторинга производительности с помощью утилиты esxtop, которая есть на сервере VMware ESXi, а также метрик производительности хранилищ (и немного сетевого взаимодействия). Сегодня мы более детально взглянем на метрики производительности процессора (CPU) для контроля нагрузки виртуальных машин.

Если мы запустим утилиту esxtop, то увидим следующие столбцы (интересующее нас выделено красным):

Нас интересует 5 счетчиков, касающиеся процессоров виртуальных машин, с помощью которых мы сможем сделать выводы об их производительности. Рассмотрим их подробнее:

Счетчик %RUN

Этот счетчик отображает процент времени, в течение которого виртуальная машина исполнялась в системе. Когда этот счетчик для ВМ около нуля или принимает небольшие значение - то с производительностью процессора все в порядке (при большом его значении для idle). Однако бывает так, что он небольшой, а виртуальная машина тормозит. Это значит, что она заблокирована планировщиком ESXi или ей не выделяется процессорного времени в связи с острой нехваткой процессорных ресурсов на сервере ESXi. В этом случае надо смотреть на другие счетчики (%WAIT, %RDY и %CSTP).

Если значение данного счетчика равно <Число vCPU машины> x 100%, это значит, что в гостевой ОС виртуальной машины процессы загрузили все доступные процессорные ресурсы ее vCPU. То есть необходимо зайти внутрь ВМ и исследовать проблему.

Счетчики %WAIT и %VMWAIT

Счетчик %WAIT отображает процент времени, которое виртуальная машина ждала, пока ядро ESXi (VMkernel) выполняло какие-то операции, перед тем, как она смогла продолжить выполнение операций. Если значение этого счетчика значительно больше значений %RUN, %RDY и %CSTP, это значит, что виртуальная машина дожидается окончания какой-то операции в VMkernel, например, ввода-вывода с хранилищем. В этом случае значение счетчика %SYS, показывающего загрузку системных ресурсов хоста ESXi, будет значительно выше значения %RUN.

Когда вы видите высокое значение данного счетчика, это значит, что нужно посмотреть на производительность хранилища виртуальной машины, а также на остальные периферийные устройства виртуального "железа". Зачастую, примонтированный ISO-образ, которого больше нет на хранилище, вызывает высокое значение счетчика. Это же касается примонтированных USB-флешек и других устройств ВМ.

Не надо пугаться высокого значения %WAIT, так как оно включает в себя счетчик %IDLE, который отображает простой виртуальной машины. А вот значение счетчика %VMWAIT - уже более реальная метрика, так как не включает в себя %IDLE, но включает счетчик %SWPWT (виртуальная машина ждет, пока засвопированные таблицы будут прочитаны с диска; возможная причина - memory overcommitment). Таким образом, нужно обращать внимание на счетчик %VMWAIT. К тому же, счетчик %WAIT представляет собой сумму метрик различных сущностей процесса виртуальной машины:

Счетчик %RDY

Главный счетчик производительности процессора. Означает, что виртуальная машина (гостевая ОС) готова исполнять команды на процессоре (ready to run), но ожидает в очереди, пока процессоры сервера ESXi заняты другой задачей (например, другой ВМ). Является суммой значений %RDY для всех отдельных виртуальных процессоров ВМ (vCPU). Обращать внимание на него надо, когда он превышает пороговое значение 10%.

По сути, есть две причины, по которым данный счетчик может зашкаливать приведенное пороговое значение:

• сильная нагрузка на физические процессоры из-за большого количества виртуальных машин и нагрузок в них (здесь просто надо уменьшать нагрузку)
• большое количество vCPU у конкретной машины. Ведь виртуальные процессоры машин на VMware ESX работают так: если у виртуальной машины 4 vCPU, а на хосте всего 2 физических pCPU, то одна распараллеленная операция (средствами ОС) будет исполняться за в два раза дольший срок. Естественно, 4 и более vCPU для виртуальной машины может привести к существенным задержкам в гостевой ОС и высокому значению CPU Ready. Кроме того, в некоторых случаях нужен co-sheduling нескольких виртуальных vCPU (см. комментарии к статье), когда должны быть свободны столько же pCPU, это, соответственно, тоже вызывает задержки (с каждым vCPU ассоциирован pCPU). В этом случае необходимо смотреть значение счетчика %CSTP

Кроме того, значение счетчика %RDY может быть высоким при установленном значении CPU Limit в настройках виртуальной машины или пула ресурсов (в этом случае посмотрите счетчик %MLMTD, который при значении больше 0, скорее всего, говорит о достижении лимита). Также посмотрите вот этот документ VMware.

Счетчик %CSTP

Этот счетчик отображает процент времени, когда виртуальная машина готова исполнять команды, одна вынуждена ждать освобождения нескольких vCPU при использовании vSMP для одновременного исполнения операций. Например, когда на хосте ESXi много виртуальных машин с четырьмя vCPU, а на самом хосте всего 4 pCPU могут возникать такие ситуации с простоем виртуальных машин для ожидания освобождения процессоров. В этом случае надо либо перенести машины на другие хосты ESXi, либо уменьшить у них число vCPU.

В итоге мы получаем следующую формулу (она верна для одного из World ID одной виртуальной машины)

%WAIT + %RDY + %CSTP + %RUN = 100%

То есть, виртуальная машина либо простаивает и ждет сервер ESXi (%WAIT), либо готова исполнять команды, но процессор занят (%RDY), либо ожидает освобождения нескольких процессоров одновременно (%CSTP), либо, собственно, исполняется (%RUN).

На сайте компании Slym Software обнаружилась интересная утилита vSphere Configuration Backup, которая позволяет производить резервное копирование конфигурации серверов VMware ESXi из графического интерфейса:

Напомним, что резервную копию настроек ESXi можно сделать из командной строки. Сама же утилита vSphere Configuration Backup делает не только бэкап конфига ESXi, но и позволяет сделать резервную копию базы данных vCenter. По умолчанию политика хранения бэкапов (Retention Policy) составляет 2 недели.

Основные возможности утилиты:

• Автоматическое резервное копирование нескольких конфигураций серверов VMware ESXi 4 / 5
• Бэкап любых локальных БД Microsoft SQL сервера vCenter
• Управление политиками хранения и удаление устаревших резервных копий
• Резервное копирование одного сервера ESXi в один zip-архив
• В имени архива отражается номер билда каждого из ESXi
• Не требует установки (меньше 2 МБ)
• Шифрует пароли
• Простая настройка с консолью "Configuration Manager.exe"

Скачать бесплатную утилиту vSphere Configuration Backup можно по этой ссылке. Утилита очень простенькая, но для небольших компаний вполне подойдет.

Мы уже не раз писали о различных типах очередей ввода-вывода, присутствующих на различных уровнях в VMware vSphere, в частности, в статье "Глубина очереди (Queue Depth) и адаптивный алгоритм управления очередью в VMware vSphere". Недавно на блогах компании VMware появился хороший пост, упорядочивающий знания об очередях ввода-вывода на различных уровнях виртуальной инфраструктуры.

Если речь идет о виртуальных машинах на сервере VMware ESXi, работающих с дисковым массивом, можно выделить 5 видов очередей:

• GQLEN (Guest Queue) - этот вид очередей включает в себя различные очереди, существующие на уровне гостевой ОС. К нему можно отнести очереди конкретного приложения, очереди драйверов дисковых устройств в гостевой ОС и т.п.
• WQLEN (World Queue/ Per VM Queue) - это очередь, существующая для экземпляра виртуальной машины (с соответствующим World ID), которая ограничивает единовременное число операций ввода-вывода (IOs), передаваемое ей.
• AQLEN (Adapter Queue) - очередь, ограничивающая одновременное количество обрабатываемых на одном HBA-адаптере хоста ESXi команд ввода вывода.
• DQLEN (Device Queue / Per LUN Queue) - это очередь, ограничивающая максимальное количество операций ввода-вывода от хоста ESXi к одному LUN (Datastore).
• SQLEN (Storage Array Queue) - очередь порта дискового массива (Storage Processor, SP)

Эти очереди можно выстроить в иерархию, которая отражает, на каком уровне они вступают в действие:

Очереди GQLEN бывают разные и не относятся к стеку виртуализации VMware ESXi, поэтому мы рассматривать их не будем. Очереди SQLEN мы уже частично касались тут и тут. Если до SP дискового массива со стороны сервера ESX / ESXi используется один активный путь, то глубина очереди целевого порта массива (SQLEN) должна удовлетворять следующему соотношению:

SQLEN>= Q*L

где Q - это глубина очереди на HBA-адаптере, а L - число LUN, обслуживаемых SP системы хранения. Если у нас несколько активных путей к одному SP правую часть неравенства надо еще домножить на P - число путей.

Соответственно, в виртуальной инфраструктуре VMware vSphere у нас несколько хостов имеют доступ к одному LUN через его SP и получается следующее соотношение:

SQLEN>= ESX1 (Q*L*P) + ESX2 (Q*L*P)+ и т.д.

Теперь рассмотрим 3 оставшиеся типа очередей, которые имеют непосредственное отношение к хосту VMware ESXi:

Как мы видим из картинки - очереди на различных уровнях ограничивают число I/O, которые могут быть одновременно обработаны на различных сущностях:

• Длина очереди WQLEN по умолчанию ограничена значением 32, что не позволяет виртуальной машине выполнять более 32-х I/O одновременно.
• Длина очереди AQLEN - ограничена значением 1024, чтобы собирать в себя I/O от всех виртуальных машин хоста.
• Длина очереди DQLEN - ограничена значением 30 или 32, что не позволяет "выедать" одному хосту ESXi с одного хранилища (LUN) более 30-ти или 32-х операций ввода-вывода

Все эти очереди можно посмотреть с помощью esxtop:

Зачем вообще нужны очереди? Очень просто - очередь это естественный способ ограничить использование общего ресурса. То есть одна виртуальная машина не заполонит своими командами ввода-вывода весь HBA-адаптер, а один хост ESXi не съест всю производительность у одного Datastore (LUN), так как ограничен всего 32-мя I/O к нему.

Мы уже писали о функционале Storage I/O Control (SIOC), который позволяет регулировать последний тип очереди, а именно DQLEN, что позволяет корректно распределить нагрузку на СХД между сервисами в виртуальных машинах в соответствии с их параметрами shares (эта функциональность есть только в издании vSphere Enterprise Plus). Механизм Storage IO Control для хостов VMware ESX включается при превышении порога latency для тома VMFS, определяемого пользователем. Однако, стоит помнить, что механизм SIOC действует лишь в пределах максимально определенного значения очереди, то есть по умолчанию не может выйти за пределы 32 IO на LUN от одного хоста.

Для большинства случаев этого достаточно, однако иногда требуется изменить обозначенные выше длины очередей, чтобы удовлетворить требования задач в ВМ, которые генерируют большую нагрузку на подсистему ввода-вывода. Делается это следующими способами:

1. Настройка длины очереди WQLEN.

Значение по умолчанию - 32. Его задание описано в статье KB 1268. В Advanced Settings хоста ESXi нужно определить следующий параметр:

Disk.SchedNumReqOutstanding (DSNRO)

Он глобально определяет, сколько операций ввода-вывода (IOs) может максимально выдать одна виртуальная машина на LUN одновременно. В то же время, он задает это максимальное значение в IOs для всех виртуальных машин на этот LUN от хоста ESXi (это глобальная для него настройка). То есть, если задано значение 32, то все машины могут одновременно выжать 32 IOs, это подтверждается в случае, где 3 машины генерируют по 32 одновременных IO к одному LUN, а реально к LUN идут все те же 32, а не 3*32.

2. Настройка длины очереди AQLEN.

Как правило, этот параметр менять не требуется, потому что дефолтного значения 1024 хватает практически для всех ситуаций. Где его менять, я не знаю, поэтому если знаете вы - можете написать об этом в комментариях.

3. Настройка длины очереди DQLEN.

Настройка этого параметра описана в KB 1267 (мы тоже про это писали) - она зависит от модели и драйвера HBA-адаптера (в KB информация актуальна на июнь 2010 года). Она взаимосвязана с настройкой Disk.SchedNumReqOutstanding и, согласно рекомендациям VMware, должна быть эквивалентна ей. Если эти значения различаются, то когда несколько ВМ используют с хоста ESXi один LUN - актуальной длиной очереди считается минимальное из этих значений.

Для отслеживания текущих значений очередей можно использовать утилиту esxtop, как описано в KB 1027901.

Помните мы писали про баг VMware ESXi 5.0 Updare 1, где была проблема с неработающим авто-стартом виртуальных машин?

В конце прошлой недели были выпущены патчи для ESXi (Patch Release ESXi500-201207001), решающие эту проблему. Скачать их можно с портала патчей VMware, выбрав продукт ESXi версии 5.0.0 и дату - 12 июля:

Эти патчи включают в себя обновления подсистемы безопасности, а также множественные исправления ошибок, в том числе, фикс проблем Auto Start и SvMotion / VDS / HA :

Патчи описаны в KB 2019107.

Кроме этого, было также выпущено обновление сервера управления VMware vCenter Server 5.0 Update 1a:

Среди новых возможностей VMware vCenter:

• Поддержка следующих СУБД Oracle:
• Oracle 11g Enterprise Edition, Standard Edition, Standard ONE Edition Release 2 [11.2.0.3] - 64 bit
• Oracle 11g Enterprise Edition, Standard Edition, Standard ONE Edition Release 2 [11.2.0.3] - 32 bit
• Смена БД vCenter Server Appliance - встроенная база данных DB2 Express теперь заменена на VMware vPostgres
• Несколько исправлений ошибок - их можно найти в секции Resolved Issues

Скачать VMware vCenter Server 5.0 Update 1a можно по этой ссылке.

Процедура обновления:

1. Сделайте резервную копию БД vCenter
2. Деинсталлируйте vCenter hot-patch (если он есть)
3. Установите новую версию, указав существующую БД

Для тех, кто активно использует инфраструктуру виртуальных ПК на базе решения VMware View, на сайте проекта VMware Labs появился интересный скрипт - View Controlled Recompose Script. Как знают пользователи VMware View, при необходимости обновления десктопов можно сделать операцию "Recompose", где, выбрав обновленный снапшот базовой ВМ или другую базовую ВМ, можно перестроить виртуальные машины пользователей пула ПК на работу с новым диском, не затрагивая диск с пользовательскими данными:

В отличие от стандартых средств по рекомпозиции в VMware View Manager, в скрипте View Controlled Recompose производится интеллектуальная процедура: через интерфейс WMI производится определение неиспользуемых виртуальных машин, после чего один из таких десктопов используется как реплика (Replica VM), а далее для неиспользуемых десктопов происходит рекомпозиция на базе этой реплики. Потом для активных десктопов можно сделать Force Logoff и перенаправить пользователей на уже рекомпозированные виртуальные ПК, а для этих активных десктопов, в свою очередь, доделать рекомпозицию.

По умолчанию скрипт работает в интерактивном режиме и принимает следующие входные параметры:

• Pool - пул виртуальных ПК для рекомпозиции
• ParentVM - полный путь к базовому образу
• NewSnapshot - полный путь к снапшоту образа, из которого будет создаваться реплика и делаться рекомпозиция

Скрипт необходимо запускать на сервере VMware View Connection Server, сам же скрипт сделан на PowerCLI / PowerShell. Более подробные инструкции по его использованию приведены по этой ссылке.

Скачать скрипт VMware View Controlled Recompose Script можно по этой ссылке.

Мы уже писали недавно об обновленном сборнике иконок, рисунков и диаграмм для документирования инфраструктуры VMware vSphere, который содержит в себе все необходимое для презентаций и документирования проектов по виртуализации. Напомним:

• VMW_PPT_LIBRARY_Icons-Diagrams_2Q12_2_of_3.pptx (2.6 MB)
• VMW_PPT_LIBRARY_Icons-Diagrams_2Q12_3_of_3.pptx (2.9 MB)
• VMW_PPT_LIBRARY_Icons-Diagrams_2Q12_1_of_3.pptx (17.4 MB)

Недавно один добрый человек перевел это все в формат Microsoft Visio:

• Part 1
• Part 2

Еще один выложил полезные иконки, которых мало, но они могут пригодиться:

И он же сделал интересный плагин для Wordpress, показывающий параметры виртуальной инфраструктуры в блоге. Может тоже кому пригодится:

Что-нибудь еще полезное по этой теме подскажете?

Некоторое время назад мы уже писали о возможности конвертации RDM-томов, работающих в режиме виртуальной и физической совместимости, в формат VMDK. Сегодня мы поговорим об обратном преобразовании: из формата VMDK в формат RDM (physical RDM или virtual RDM).

Для начала опробуйте все описанное ниже на тестовой виртуальной машине, а потом уже приступайте к продуктивной. Перед началом конвертации необходимо остановить ВМ, а также сделать remove виртуального диска из списка устройств виртуальной машины. Определите, какой режим совместимости диска RDM вам необходим (pRDM или vRDM), прочитав нашу статью "Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere".

Создайте новый LUN на дисковом массиве, где будет размещаться RDM-том, и сделайте Rescan на хосте ESXi, чтобы увидеть добавленный девайс в vSphere Client:

Обратите внимание на Runtime Name (в данном случае vmhba37:C0:T1:L0) и на идентификатор в скобках (naa.6000eb....итакдалее) - этот идентификатор нам и нужен. Словить его можно, выполнив следующую команду (подробнее об идентификации дисков тут):

# esxcfg-mpath -L

В результатах вывода по Runtime Name можно узнать идентификатор. Вывод будет примерно таким:

vmhba33:C0:T0:L0 state:active naa.6090a038f0cd6e5165a344460000909b vmhba33 0 0 0 NMP active san iqn.1998-01.com.vmware:bs-tse-i137-35c1bf18 00023d000001,iqn.2001-05.com.equallogic:0-8a0906-516ecdf03-9b9000004644a365-bs-lab-vc40,t,1

Соответственно, второе выделенное жирным - идентификатор, его копируем.

Далее выполняем следующую команду для конвертации диска в Virtual RDM:

# vmkfstools –i <исходный>.vmdk -d rdm:/vmfs/devices/disks/<идентификатор>
/vmfs/volumes/datastore/vmdir/vmname.vmdk

Для Physical RDM:

# vmkfstools –i <исходный>.vmdk -d rdmp:/vmfs/devices/disks/<идентификатор>
/vmfs/volumes/datastore/vmdir/vmname.vmdk

Обратите внимание, что команты отличаются только параметрами rdm (виртуальный) и rdmp (физический).

Здесь:

• <исходный> - это путь к старому VMDK-диску, например, old.vmdk
• <идентификатор> - это то, что мы скопировали
• путь с vmdir - это путь к заголовочному VMDK-файлу для RDM-тома (может быть на любом общем Datastore)

Второй вариант клонирования диска подсказывает нам Иван:

vmkfstools --clonevirtualdisk /vmfs/volumes/Demo-Desktop-01/Exchange1/Exchange1_1.vmdk
/vmfs/volumes/Demo-Desktop-01/Exchange1/Exchange1_1_RDM.vmdk
--diskformat rdmp:/vmfs/devices/disks/naa.60a9800057396d2f685a64346b664549

Далее выберите виртуальную машину в vSphere Client и сделайте Add Disk, где в мастере укажите тип диска RDM и следуйте по шагам мастера для добавления диска. После этого проверьте, что LUN больше не показывается при выборе Add Storage для ESXi в vSphere Client. Запустите виртуальную машину и, если необходимо, в гостевой ОС в оснастке Disk Management сделайте этот диск Online.

Иногда в целях безопасности необходимо настроить время, по прошествии которого если клиент vSphere Client не используется, требуется прервать сессию работы с VMware vCenter. Как подсказывает нам William Lam, сделать это можно двумя способами:

• Заданием аргумента при запуске исполняемого файла VpxClient.exe (vSphere Client)
• В конфигурационном файле VpxClient.exe.config на рабочей станции, где установлен vSphere Client

В первом случае мы задаем параметр inactivityTimeout в свойствах ярлыка vSphere Client, где устанавливаем время в минутах, после которого при неактивности клиента будет показан диалог о необходимости повторного логина:

Во втором случае нужно найти файл VpxClient.exe.config, который находится в следующих местах в зависимости от версии ОС:

• 32bit - %PROGRAMFILES%\VMware\Infrastructure\Virtual Infrastructure Client\Launcher
• 64bit - %PROGRAMFILES(x86)%\VMware\Infrastructure\Virtual Infrastructure Client\Launcher

Открываем этот XML-файл и прямо перед окончанием секции cmdlineFallback добавляем следующую секцию:

<inactivityTimeout>X</inactivityTimeout>

Если вы задали значение 1, то после неактивности в течение 1 минуты, будет показано следующее сообщение:

Также Вильям указывает на еще 2 интересных параметра, которые могут быть заданы как на уровне аргументов исполняемого файла клиента, так и в VpxClient.exe.config:

• -expAll либо добавление секции <expAll /> - при открытии vSphere Client ваше Inventory хостов и виртуальных машин будет полностью раскрыто
• -noPlugins либо добавление секции <noPlugins /> - при запуске клиента все плагины будут отключены

Виктор прислал мне презентацию от того самого Ивана, который на одной из юзер-групп VMware рассматривал особенности дизайна и проектирования виртуальной инфраструктуры VMware vSphere. Часть, касающаяся виртуализации различных типов нагрузок в гостевых ОС виртуальных машин показалась мне очень интересной, поэтому я решил перевести ее и дополнить своими комментариями и ссылками. Итак, что следует учитывать при переносе и развертывании различных приложений в виртуальных машинах на платформе vSphere.

Мы уже писали о новом механизме высокой доступности VMware High Availability (HA), который появился в VMware vSphere 5 и работает на базе агентов Fault Domain Manager (FDM). Как известно, вместо primary/secondary узлов в новом HA появились роли узлов - Master (один хост кластера, отслеживает сбои и управляет восстановлением) и Slave (все остальные узлы, подчиняющиеся мастеру и выполняющие его указания в случае сбоя, а также участвующие в выборе нового мастера в случае отказа основного).

В нашей статье об HA было описано основное поведение хостов VMware ESXi и кластера HA в случае различных видов сбоев, но Iwan Rahabok сделал для этих процессов прекрасные блок-схемы, по которым понятно, как все происходит.

Если хост ESXi (Slave) не получил хартбита от Master, которые он ожидает каджую секунду, то он может либо принять участие в выборах, либо сам себя назначить мастером в случае изоляции (кликабельно):

Если хост ESXi (Master) получает heartbeat хотя бы от одного из своих Slave'ов, то он не считает себя изолированным, ну а если не получает от всех, то он изолирован и выполняет Isolation Responce в случае, если нет пинга до шлюза. Работающим в разделенном сегменте сети он себя считает, когда он может пинговать шлюз. Проверка живости хостов (Slaves) производится не только по хартбитам, но и по datastore-хартбитам (кликабельно):

Все просто и понятно. Иван молодец.

Если у вас в виртуальной инфраструктуре большой набор хранилищ, хостов VMware ESXi и виртуальных машин, то легко не заметить один интересный момент - бесполезные vswp-файлы для виртуальных машин, размещенные в папке с ВМ. Выглядят они как <что-то там>.vswp.<номер чего-то там>:

Как видно из картинки, файлы эти не маленькие - размер vswp равен объему памяти, сконфигурированной для виртуальной машины (vRAM) без Reservation для RAM (если есть reservation, то размер vswp = vRAM - Reservation). Так вот эти файлы с номерами - это ненужный мусор. Образуются они тогда, когда хост ESXi падает в PSOD с запущенными виртуальными машинами.

Эти файлы, понятно дело, надо удалить. Для этого удобнее всего использовать PowerCLI:

dir vmstores:\ -Recurse -Include *.vswp.* | Select Name,Folderpath

Пример вывода мусорных файлов vswp с путями:

Ну а дальше сами знаете, что с ними делать.

На сайте проекта VMware Labs появилась новая интересная утилита Guest Reclaim, позволяющая уменьшить размер "тонкого" (thin provisioned) диска виртуальной машины из гостевой ОС Windows, истребовав нулевые блоки. Напомним, что когда тонкий диск виртуальной машины растет по мере наполнения данными, а потом вы эти данные в самой гостевой системе удаляете, его размер не уменьшается.

Один из способов уменьшить диск машины в VMware vSphere - это использовать утилиту sdelete для очистки блоко и перемещение виртуальной машины на другое хранилище средствами Storage vMotion. Однако, если вы прочтете нашу статью про datamover'ы при Storage vMotion и вспомните, что VMware vSphere 5 использует унифицированные блоки размером 1 МБ для всех хранилищ, то поймете, что этот способ больше не работает, поскольку в датамувере fs3dm не реализована процедура вычищения блоков целевого виртуального диска.

Есть конечно способ отключить fs3dm и, все-таки, уменьшить виртуальный диск машины на ESXi, однако это не очень удобная процедура. Поэтому сотрудники VMware и сделали удобную консольную утилитку Guest Reclaim, которая позволяет уменьшить диск с файловой системой NTFS.

Поддерживаются следующие гостевые ОС:

• Windows XP
• Windows Vista
• Windows 7
• Windows Server 2003
• Windows Server 2008

Запускать утилиту нужно из гостевой ОС, в которой есть диски, являющиеся тонкими. Чтобы просмотреть список тонких дисков используйте команду:

GuestReclaim.exe -list

Если ничего не найдено - значит первые 16 дисков не являются тонкими или у вас ESXi 5.0 и ниже (читайте дальше). VMware предлагает приступать к уменьшению диска, когда у вас разница между размером VMDK и файлами гостевой ОС хотя бы 1 ГБ, при этом для работы самой утилиты может потребоваться дополнительно 16-100 МБ свободного места. Также перед началом использования утилиты рекомендуется запустить дефрагментацию диска, на которую тоже может потребоваться свободное место (будет расти сам VMDK-файл).

Команда, чтобы уменьшить тонкий VMDK-диск за счет удаления нулевых блоков, выполняемая из гостевой ОС:

guestReclaim.exe --volumefreespace D:\

Еще одно дополнение - утилиту можно использовать и для RDM-дисков.

А теперь главное - утилита работает только в случае, если hypervisor emulation layer представляет гостевой ОС диски как тонкие. В VMware ESXi 5.0, где Virtual Hardware восьмой версии, такой возможности нет, а вот в ESXi 5.1, где уже девятая версия виртуального железа - такая возможность уже есть. Соответственно, использовать утилиту вы можете только, начиная с VMware vSphere 5.1 (бета сейчас уже у всех есть), а пока можно использовать ее только для RDM-дисков.

Из ограничений утилиты Guest Reclaim:

• Не работает со связанными клонами (Linked Clones)
• Не работает с дисками, имеющими снапшоты
• Не работает под Linux

Из дополнительных возможностей:

• Поддержка томов Simple FAT/NTFS
• Поддержка flat partitions и flat disks для истребования пространства
• Работа в виртуальных и физических машинах

FAQ по работе с утилитой доступен по этой ссылке. Скачать утилиту можно тут.

Постер VMware vSphere PowerCLI 10

Постер VMware Cloud Foundation 4 Architecture

Постер VMware vCloud Networking

Постер VMware Cloud on AWS Logical Design Poster for Workload Mobility

Постер Azure VMware Solution Logical Design

Постер Google Cloud VMware Engine Logical Design

Постер Multi-Cloud Application Mobility

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):