Иногда бывает полезно произвести монтирование CD-ROM к консоли сервера VMware ESXi, но традиционные средства для монтирования CD-ROM в ESXi не работают. Этот трюк был обнаружен в блоге virtuallyGhetto. Он работает только для VMware ESXi 4.1 и более поздних версий, поскольку там появился модуль VMKernel iso9660.
Для начала загружаем данный модуль командой консоли:
vmkload_mod iso9660
Этот модуль поддерживает процедуры mount и unmount. Вы увидите вот такой результат:
Теперь нужно идентифицировать, какое из устройств ESXi есть ваш CD-ROM. Для этого выполняем команду:
esxcfg-mpath -b | grep "CD-ROM"
Вы увидите что-то подобное:
Нам нужен выделенный идентификатор для использования команды mount.
Теперь проверяем возможность монтирования CD-ROM в консоли командой:
vsish -e set /vmkModules/iso9660/mount mpx.vmhba32:C0:T0:L0
Если вывод команды отсутствует - значит все в порядке, модуль успешно загружен и CD-ROM смонтирован. Если не в порядке - вы увидите сообщение об ошибки синтаксиса команды.
После этого CD-ROM будет автоматически смонтирован по следующему пути: /vmfs/volumes/mpx.*
Kenny Coleman, один из блоггеров, пишущий о виртуализации VMware, выпустил пакет утилит для администраторов виртуальной инфраструктуры vSphere / ESX под названием VM Advanced ISO. Пакет содержит в себе набор необходимых программ для рутинных задач с виртуальными машинами:
Утилиты 1 - P2V Clean-up
01 - Resolution Resize (меняем разрешение гостевой ОС)
02 - HP ProLiant Cleaner (вычищаем софт HP после миграции в ВМ)
О чем нам рассказывает данный документ в плане безопасности платформы VMware vSphere 4.1:
Защита хост-серверов виртуализации VMware ESX / ESXi 4.1
Безопасность виртуальной машины как контейнера для гостевой ОС (то есть не рассматривается защита ОС в виртуальной машине и приложений)
Правильная конфигурация виртуальной инфраструктуры в целом: средства управления, сети хранения данных, виртуальные коммутаторы (но не сеть между ВМ)
Защита VMware vCenter Server, его базы данных, а также vSphere Client
Защита сервера VMware Update Manager (как главного средства своевременного наката обновлений, в том числе в плане безопасности)
Есть полезные рекомендации, а есть весьма пространные. Очень удобно, что они разбиты на блоки, в пределах которого разъясняется суть угрозы, пример воздействия на инфраструктуру и область применения (Enterprise, DMZ и Specialized Security Limited Functionality (SSLF)). Вот пример полезной рекомендации:
Напоминаем также, что в настоящее время идет публичное обсуждение данного руководства для продукта VMware View - VMware View Security Hardening.
P.S. Не забываем про скрипт VMware vSphere Security Hardening Report Check, который позволяет проверить вашу виртуальную инфраструктуру на соответствие VMware vSphere 4.x Security Hardening Guide.
Мы уже писали о ставших официально известными подробностях о новой версии платформы виртуализации VMware vSphere 5.0. С мной поделились интересной ссылкой на подробное описание новых функций vSphere 5.0, которое сделано, судя по всему, на базе Release Candidate версии продукта.
Поскольку я не нахожусь под действием NDA и не участвую в бета-программе, я могу поделиться с вами основными ключевыми возможностями vSphere 5.0 (приведены лишь ключевые особенности - остальные по ссылке выше):
1. Платформа vSphere 5.0 будет построена только на базе гипервизора ESXi - без возможности установки ESX. Сервер управления VMware vCenter 5.0 будет поддерживать управление хостами ESXi 5.0, ESX/ESXi 4.x и ESX/ESXi 3.5.
2. VMware vSphere Auto Deploy - полная поддержка автоматизированного развертывания хостов ESXi.
3. Новые возможности виртуальных машин - 32 виртуальных процессора (vCPU), 1 TB RAM, 3D-акселерация для поддержки Windows Aero, UEFI virtual BIOS, поддержка устройств USB 3.0 (пока только для Linux-систем и только для проброса через vSphere Web Client - напрямую к хосту нельзя). Устройства USB 2.0 теперь поддерживаются к пробросу в виртуальные машины через vSphere Client или vSphere Web Client.
6. Dynamic Resource Scheduling (DRS) for Storage - эта давно ожидаемая функция платформы виртуализации, которая позволит автоматически выравнивать нагрузку на системы хранения путем динамического перемещения работающих виртуальных машин между хранилищами (сейчас это можно сделать вручную за счет Storage VMotion). Пользователи смогут определять группы Datastor'ов (они зовутся Storage Pods), которые будут использоваться для балансировки по хранилищам на базе их заполненности. Предполагается, что это повысит автоматизацию датацентров. Вроде как присутствует и генерация рекомендаций по балансировке и Initial Placement на базе параметров IO.
7. Policy-driven storage delivery - политики размещения виртуальных машин на хранилищах на базе правил, задаваемых администратором. Это позволит регулировать качество обслуживания систем со стороны хранилищ и автоматически определять наилучшее место хранения виртуальных машин.
8. Файловая система VMFS 5.0.
9. Accelerator - новая технология кэширования данных виртуальных ПК для VMware View, увеличивающая их производительность.
10. Полный контроль за iSCSI адаптерами (программными и аппаратными) из графического интерфейса.
12. Swap to SSD - для хранилищ администратор будет назначать тэги, наиболее производительные хранилища SSD будет рекомендовано использовать для хранения swap-файлов в целях ускорения быстродействия.
13. Поддержка LUN для VMFS томов размером более 2 ТБ.
14. Поддержка технологии Storage vMotion для виртуальных машин со снапшотами.
15. Enhanced Network I/O Control (на уровне виртуальных машин) - эта возможность будет позволять резервировать часть канала для приоритетных задач в кластере HA/DRS на случай его перегрузки. Актуально это будет для сетей 10G, где канал шире, а вот физических адаптеров значительно меньше.
16. ESXi Firewal - новый сетевой экран с фильтрами по диапазонам IP для каждой службы.
17. vSphere Web Client на базе технологии Adobe Flex с большим спектром возможностей. Старый vSphere Client под Windows также останется.
18. vCenter Server Appliance - виртуальный модуль на базе Linux с предустановленной службой vCenter. О CTP-версии данного продукта мы уже писали.
19. Enhanced logging support - поддержка логирования на удаленные серверы, в том числе на несколько серверов от одного источника по безопасному каналу SSL. Для vSphere Client будет плагин vSphere syslog listener, который позволит настраивать данную функциональность.
20. Fault Domain Manager - специализированный модуль управления высокой доступностью VMware HA, который еще больше увеличивает уровень доступности виртуальных машин. Кроме того, теперь все хост-серверы VMware ESXi в кластере являются первичными узлами (primary nodes) - то есть кластер HA переживет любое число отказов.
21. Host-based replication for Site Recovery Manager - возможность репликации виртуальных машин на уровне хостов а не SAN-хранилищ (как делается сейчас). То есть, поддержка технологии репликации со стороны СХД будет не нужна, репликация будет работать в асинхронном режиме со стороны хост-серверов. По-сути, это аналог репликации виртуальных машин в продукте Veeam Backup and Replication 5, которая сейчас активно используется в производственной среде многими компаниями для защиты данных виртуальных машин и наиболее быстрого восстановления работоспособности сервисов (показатели RTO).
Выход VMware vSphere 5.0 запланирован на второе полугодие 2011 года. Но скорее всего пятая версия платформы выйдет до VMworld 2011, который начнется 29 августа.
Естественно, информация неофициальная и список новых возможностей VMware vSphere 5.0 может быть изменен в любой момент. Но вот что будет точно - так это отсутствие гипервизора ESX - так что всем организациям пора задуматься о плане перехода на "тонкую" платформу ESXi 5.0.
Механизм VMware High Availability (HA) в VMware vSphere позволяет автоматически перезапустить виртуальные машины отказавшего сервера в кластере с общего хранилища в случае сбоя. При настройке кластера VMware HA можно использовать несколько расширенных настроек (HA Advanced Settings), которые позволяют настроить его работу наиболее гибко.
Таги: VMware, HA, ESX, ESXi, Bugs, vSphere, VI, VMachines, Обучение
Интересную проблему тут обнаружили некоторые товарищи (а раньше вот тут). Вроде как при обычной установке VMware ESXi (в том числе, версии 4.1) для физических сетевых адаптеров (pNic) 1Gbit выставляется настройка не Auto Negotiate, а 1000 Mbit Full Duplex.
А вот лучшие практики VMware (например, KB 1004089) говорит нам, что лучшая настройка - это Auto Negotiate как на адаптере, так и на порту физического коммутатора, куда включен хост (можно использовать также и 1000<->1000):
Но вот 1000<->Auto как мы видим не является хорошей практикой, ибо Auto Negotioation включает в себя договаривание устройств не только о скорости и дуплексе, но и такие параметры, как flow control, backpressure, inter-frame packet timing (наверное, там еще страшные слова есть).
Таким образом, нужно либо на свиче также поставить настройку 1000 - Full Duplex, либо поменять на хосте VMware ESX настройки в Auto для сетевых адаптеров:
Мы уже писали о семействе продуктов VMware vShield, призванных обеспечивать безопасность виртуальной инфраструктуры на базе VMware vSphere, но многие до сих пор не понимают кому и для чего они нужны. Постараемся вкратце описать их. Massimo Re Ferrè опубликовал хорошую статью по vShield, где нарисовал понятную картинку:
Есть три разных продукта:
vShield Endpoint - это мидлваре (то есть, само по себе для пользователя ничего не делающее ПО), которое построено поверх VMsafe API и позволяет сторонним производителям антивирусов интегрироваться с инфраструктурой виртуализации VMware vSphere. Это, понятное дело, важнее всего для VDI-инсталляций на базе VMware View (поэтому, если у вас нет VDI - продукт вам не нужен). О том, как это работает, и почему это хорошо, мы уже здесь писали. vShield Endpoint идет в комплекте с VMware View Premier.
vShield App - думайте об этом компоненте как о виртуальном распределенном коммутаторе (dvSwitch) с логикой фаервола с неограниченным количеством портов. То есть мы можем контролировать трафик на уровне гипервизора на хостах ESX (опять-таки, работает VMsafe) для различных уровней сетевого взаимодействия. Ну и дальше настраиваем правила, как виртуальные машины будут между собой общаться (порты, протоколы), и все это мониторим. Об этом продукте надо задуматься, когда у вас большая инфраструктура VMware vSphere и повышенные требования к безопасности. Но учтите - продукт этот подходит для внутренней защиты датацентра (т.е. внутренние взаимодействия ВМ).
vShield Edge - это продукт для комплексной защиты периметра датацентра. Это уже более глобальный продукт, он включает в себя такие сервисы как Stateful firewall, VPN, DHCP, NAT, Web Load Balancing и другое. То есть, это такая большая бронированная дверь в ваш виртуальный датацентр, которая обладает возможностями по защите от внешнего мира и контроля взаимодействия с ним. Не всем такое нужно - многие используют свои собственные решения. Но что надо упомянуть, так это то, что vShield Edge интегрирован с продуктом VMware vCloud Director, который предназначен для управления облаками, которые создаются в частных организациях и у сервис-провайдеров. То есть vShiled Edge понимает объекты vCloud Director и защищает их в соответствии с настроенными политиками. То есть, для инсталляций где виртуальная инфраструктра не предоставляется как услуга и где нет внутреннего облака (а, соответственно, и vCloud Director) - продукт Edge особо не нужен.
Теперь еще два важных момента:
Что такое vShield Manager? Это название консоли, которая управляет всеми этими продуктами.
Куда делся vShiled Zones? Никуда он не делся, он так и есть в составе изданий vSphere, начиная с Advanced. Этот продукт является частью vShiled App, а поэтому обладает только некоторыми из его возможностей:
Ну а дальше - читайте статью, там много интересных вещей написано.
Кстати, недавно наши соотечественники из Лаборатории Касперского объявили о поддержке в своих антивирусах продукта vShield Endpoint:
Скачать продукты семейства vShield можно по этой ссылке.
Компания VMware 8 марта запустила промо-программу для покупателей в сегменте малого и среднего бизнеса. В рамках этой программы все клиенты, которые приобретут пакеты ПО VMware vSphere Essentials и Essentials Plus до 15 сентября получат возможность доступа к бесплатной обучающей программе по данным продуктам.
Вкратце для тех, кто не знает, что это за пакеты. Они включают в себя лицензии на 6 физических процессоров для хост-серверов виртуализации VMware ESX / ESXi (в каждом сервере не больше 2-х процессоров) + лицензию на сервер управления VMware vCenter for Essentials.
Издание VMware vSphere 4 Essentials включает в себя следующие возможности:
VMware VMFS - кластерная файловая система VMware высокой надежности для хранения виртуальных машин, разработанная специально для виртуальных инфраструктур.
VMware Thin Provisioning - возможность оптимизации использования пространства систем хранения, позволяющая экономить дисковые емкости за счет растущих по мере наполнения виртуальных дисков.
VMware vStorage API – средство централизованного резервного копирования виртуальных машин, работающее без агентов (то есть можно использовать Veeam Backup and Replication).
VMware Update Manager – динамическое обновление хост-серверов и виртуальных машин без простоев ИТ-сервисов.
Издание VMware vSphere 4 Essentials Plus, кроме того, что есть в Essentials, включает в себя еще следующие возможности:
VMware High Availability - встроенное средство кластеризации ВСЕХ виртуальных машин, автоматически перезапускающее их на других серверах в случае сбоя.
VMware vCenter Data Recovery - продукт, обеспечивающий централизованное резервное копирование и восстановление виртуальных машин и их файлов из графичесого интерфейса.
VMware VMotion - технология "горячей" миграции виртуальных машин между хост-серверами без прерывания работы приложений и пользовательских сессий.
Купить данные пакеты со скидкой для читателей VM Guru можно по этой ссылке.
Не так давно на сайте проекта VMware Labs (мы о нем уже писали) появился интересный продукт (а точнее Technical Preview) - VMware vCenter XVP Manager and Converter.
На данный момент этот продукт позволяет привязать к средству управления виртуальной инфраструктурой VMware vCenter хост-серверы и виртуальные машины Microsoft Hyper-V. Не секрет, что многие пользователи (особенно в крупных инфраструктурах) используют виртуализацию VMware vSphere и Microsoft Hyper-V одновременно. Например, это может так: VMware vSphere используется для производственной среды, а Hyper-V для тестовых виртуальных машин и малокритичных задач (как вариант - по соображениям экономии).
Так вот VMware vCenter XVP Manager and Converter позволит перенести часть базовых задач по управлению виртуальной средой Hyper-V на сторону vCenter.
Как это работает. После установки vCenter XVP Manager plug-in for vSphere Client в Inventory клиента появляется вкладка Third-Party Hosts, в которой можно добавить хосты Hyper-V:
На данный момент в текущей версии VMware vCenter XVP Manager and Converter доступны следующие функции по управлению хост-серверами и виртуальными машинами Hyper-V:
Поддержка Microsoft Hyper-V Server 2008, Microsoft Windows Server 2008 (64-bit) с включенной ролью Hyper-V, Microsoft Hyper-V Server 2008 R2, Microsoft Windows Server 2008 R2 с включенной ролью Hyper-V
Стандартный GUI vCenter Server и привычное Inventory
Возможность добавления хостов через System Center Virtual Machine Manager (SC VMM)
Управление питанием виртуальных машин и хостов (перезагрузка, выключение, включение)
Доступ к физической консоли сервера Hyper-V и консоли виртуальных машин
Управление виртуальными устройствами виртуальной машины (память, процессоры, диски и т.п.)
Возможность миграции виртуальных машин Hyper-V на платформу vSphere
Совместимость с VMware vCenter Server 4.0
Возможность управления до 50 хостами Hyper-V
Вот пара видеороликов об установке и простейших операциях с VMware vCenter XVP Manager and Converter:
А вот, что можно делать с виртуальной машиной Hyper-V и ее гостевой системой через vSphere Client:
Кроме того, в VMware vCenter XVP Manager and Converter есть возможность конвертации виртуальной машины Hyper-V на сервер VMware ESX / ESXi. Конвертация происходит путем установки агента внутрь виртуальной машины (то есть, по сути виртуальная машина воспринимается как физическая):
Скачать VMware vCenter XVP Manager and Converter можно по этой ссылке.
Как вы знаете, в механизме высокой доступности VMware High Availability (HA) есть такая настройка как Isolation Responce, которая определяет, какое событие следует выполнить хосту VMware ESX / ESXi в случае наступления события изоляции для него в кластере (когда он не получает сигналов доступности - Heartbeats - от других хост-серверов).
Leave powered on
Power off
Shutdown
Сделано это для того, чтобы вы могли выбрать наиболее вероятное событие в вашей инфраструктуре:
Если наиболее вероятно что хост ESX отвалится от общей сети, но сохранит коммуникацию с системой хранения, то лучше выставить Power off или Shutdown, чтобы он мог погасить виртуальную машину, а остальные хосты перезапустили бы его машину с общего хранилища после очистки локов на томе VMFS или NFS (вот кстати, что происходит при отваливании хранища).
Если вы думаете, что наиболее вероятно, что выйдет из строя сеть сигналов доступности (например, в ней нет избыточности), а сеть виртуальных машин будет функционировать правильно (там несколько адаптеров) - ставьте Leave powered on.
Но есть еще один момент. Как вам известно, VMware HA тесно интегрирована с технологией VMware Fault Tolerance (непрерывная доступность ВМ, даже в случае выхода физического сервера из строя). Суть интеграции такова - если хост с основной виртуальной машиной выходит из строя, то резервный хост выводит работающую резервную ВМ на себе "из тени" (она становится основной), а VMware HA презапускает копию этой машины на одном из оставшихся хостов, которая становится резервной.
Так вот настройка Isolation Responce не применяется к машинам, защищенным с помощью Fault Tolearance. То есть, если хост VMware ESX с такой машиной становится изолированным, при настройке Power off или Shutdown он такую машину не гасит, а всегда оставляет включенной.
Рекомендация - иметь network redundancy для сети heartbeats. Не должен хост себя чувствовать изолированным, если он весь не сломался.
Копировать руками машину каждый раз, когда нужно внедрить какое-то оборудование, или просто для сохранения данных, это безумно неудобно. Вот для этого и была придумана технология автоматизированного бэкапа, написанная энтузиастами на скриптах perl: ghettoVCB.
Как вы знаете в последнем релизе платформы виртуализации VMware vSphere 4.1 было заявлено множество новых возможностей. Одна из них весьма важна с точки зрения производительности в части работы виртуальных машин с системой хранения. Эта технология называется VMware vSphere VAAI, то есть vStorage API for Array Integration.
Итак, что такое VMware vSphere VAAI. Это комплекс технологий компании VMware, разработанный в сотрудничестве с производителями дисковых массивов (потому и API), предназначенный для передачи некоторых операций виртуальных машин по работе с дисками на сторону массива. В этом случае хост-сервер виртуализации VMware ESX / ESXi при выполнении стандартных процедур в среде виртуализации при работе ВМ с дисковой подсистемой просто дает команду массиву (или массивам) сделать определенные действия, при этом сам хост не гонит через себя все те данные и команды, которые он раньше был вынужден прогонять. То есть, это - Hardware Offloading операций с СХД.
Ну а раз это аппаратно-зависимая вещь, то это означает, что сам массив должен в своем Firmware поддерживать vSphere VAAI (у которой еще бывает несколько видов - так называемые "примитивы"). Чтобы узнать поддерживает ли ваш хост VAAI нужно пойти в VMware Hardware Compatibility Guide и поискать свой дисковый массив в категории "Storage/SAN". Там все сделано несколько криво, но нужно искать в Supported Releases следующую сноску:
VAAI primitives "Full Copy", "Block Zeroing" and "Hardware Assisted Locking" are supported with vmw_vaaip_xxx plug-in
xxx - это идентификатор плагина от VMware
Ну и, конечно, ваш хост VMware ESX / ESXi должен быть версии 4.1 или выше. И помните, что на некоторых массивах VAAI по умолчанию выключена, поэтому вам нужно почитать документацию о том, как ее включить. Кроме того, функциональность VMware vSphere VAAI есть только в изданиях VMware vSphere Enterprise и Enterprise Plus (см. сравнение изданий).
Теперь, какие примитивы (то есть типовые операции с СХД) реализует VMware vSphere VAAI:
Full Copy / Clone Blocks / XCOPY – функция, позволяющая передать на сторону массива возможности копирования объектов виртуальной инфраструктуры без задействования операций четния-записи со стороны сервера VMware ESX 4.1. Эту функцию также называют Hardware Offloaded Copy и SAN Data Copy Offloading.
Write Same / Zero Blocks – возможность обнуления больших массивов блоков на дисковых устройствах для быстрого создания дисков vmdk типа eager zero thick.
Atomic Test and Set (ATS) –возможность защиты метаданных тома VMFS как кластерной файловой системы в ситуациях, когда большое количество хостов ESX имеют разделяемый доступ к одному хранилищу. Также эта функция называется Hardware Assisted Locking.
Давайте рассмотрим как эти компоненты VAAI работают и для чего они нужны.
Full Copy
Используя этот примитив, дисковый массив по команде VMware vSphere осуществляет копирование виртуальной машины (а самое главное для нас копирование диска VMDK) без участия сервера ESX / ESXi и его стека работы с подсистемой хранения (соответственно, не гоняется трафик и не дается нагрузка на CPU). В этом случае гипервизор рассказывает хранилищу, какие блоки занимает виртуальная машина, а оно уже делает все остальное по копированию блоков.
Виртуальная машина может копироваться как в пределах одного хранилища, так и между двумя массивами, если они поддерживают функциональность XCopy. Наиболее интересный способ применения данной техники - это массовое развертывание виртуальных машин из шаблонов, которое больше всего востребовано в VDI-инсталляциях (например, в решении для виртуализации корпоративных ПК предприятия VMware View 4.5).
Еще один важный аспект применения - операция Storage vMotion, которая требует копирования виртуальных дисков машины.
С vSphere VAAI операции по копированию блоков данных хранилищ виртуальных машин занимают меньше времени (в некоторых случаях оно сокращается на 95%):
Ну а вот такие результаты нам выдает Storage vMotion:
Кроме того, данная технология интегрирована и с функциональностью "тонких" (thin) дисков как самой VMware, так и механизмом Thin Provisioning сторонних вендоров.
Write Same / Zero Blocks
За счет этой технологии сервер VMware ESX / ESXi может дать команду хранилищу обнулить блоки виртуальных дисков типа Eager zeroed thick (см. типы дисков). Эти диски являются самыми безопасными (блоки чистятся при создании) и самыми производительными (при обращении к блоку его не надо обнулять и тратить ресурсы), но занимали очень много времени на их создание. Теперь с техникой VAAI этот процесс сильно ускоряется, что позволяет использовать диски eagerzeroedthick чаще (например, для машин с включенной Fault Tolerance). Напомню, что сейчас по умолчанию в VMware vSphere создаются диски типа Zeroed thick disks.
Теперь одинаковые команды ввода-вывода на сторадж от сервера ESX / ESXi дедуплицируются, а массиву дается команда на повторение одинаковых команд для разных блоков. На эту тему есть отдельное видео:
Atomic Test and Set (ATS) или Hardware Assisted Locking
За счет этой техники vSphere VAAI существенно уменьшается число операций с хранилищем, связанных с блокировкой LUN на системе хранения. Как вы знаете, при работае виртуальных машин возникают конфликты SCSI Reservations, связанные с тем, что некоторые операции вызывают блокировку всего LUN для обновления метаданных тома VMFS. Операций этих много: запуск виртуальной машины (обновляется lock и создаются файлы), развертывание новой ВМ, создание снапшота, миграция vMotion и т.п.
Нехорошо также, что при использовании тонких дисков (например для связанных клонов VMware View) также происходит блокировка LUN при выделении нового блока растущему диску (надо обновлять метаданные - см. тут). Это, прежде всего, приводит к тому, что возникает ограничение на количество размещаемых на LUN виртуальных машин, чтобы конфликтов SCSI Reservations не было слишком много.
Теперь же, за счет VAAI, эти операции передаются на сторону дискового массива, который при необходимости обновить метаданные тома не блокирует весь LUN, а лочит только секторы метаданных, которые требуется обновить. Все это делается массивом безопасно и надежно. Отсюда вытекает уменьшение числа конфликтов SCSI Reservations и ,как следствие, лучшая производительность и увеличения числа ВМ на LUN.
Ограничения VMware vSphere VAAI
Недавно мы писали про Data Mover'ы - это компоненты VMware ESX / ESXi, отвечающие за работу хост-сервера с хранилищами при копировании данных. Поддержкой VAAI заведует компонент fs3dm – hardware offload. Он пока еще молодой, поэтому не поддерживает некоторых сценариев использования. Соответственно все или некоторые техники VAAI у вас не будут работать в следующих случаях:
Исходный и целевой тома VMFST имеют разные размеры блоков
Исходный файл лежит на том RDM, а целевое хранилище - это не том RDM
Исходный тип диска VMDK - это eagerzeroedthick, а целевой - thin
Исходный или целевой тип диска VMDK VMDK - один из типов sparse или hosted (не платформа vSphere)
Исходная виртуальная машина имеет снапшот
Блоки хранилища, где лежит виртуальная машина не выровнены (по умолчанию vSphere Client выравнивает блоки автоматически)
Как включить VMware vSphere VAAI
Как уже было сказано выше, со стороны хранилищ VAAI может быть выключена и нужно почитать документацию на СХД. На хостах ESX / ESXi по умолчанию VAAI включена. Проверить это можно, перейдя в Configuration > Advanced Settings и увидев следующие параметры, напротив которых стоят единицы:
DataMover/HardwareAcceleratedMove (это возможности Full Copy)
DataMover/HardwareAcceleratedInit (это Zero Block)
Если ваше хранилище не поддерживает VAAI - ничего страшного, хост ESX / ESXi будет работать софтовыми дедовскими методами.
Как проверить, работает ли vSphere VAAI?
Очень просто, откройте категорию Storage на вкладке Configuration в vSphere Client и посмотрите в последний столбик.
Статус Unknown означает, что хост еще не обращался к операциям, которые поддерживаются VAAI (то есть, это дефолтный статус). Если вы сделаете какую-нибудь операцию с VAAI (например, Copy/Paste виртуального диска больше 4 МБ), то VAAI попробует отработать. Если он отработает успешно - выставится статус Supported, ну а если нет - то Not Supported.
Опросить стораджи можно также из командной строки:
Как мы уже писали, в VMware vSphere 4.1 появилась технолония Storage IO Control (SIOC, подробности здесь), которая позволяет настраивать приоритеты доступа виртуальных машин к хранилищам не в рамках одного хоста VMware ESX / ESXi, а в рамках всего кластера.
и какие рекомендации по настройкам Latency можно использовать при борьбе виртуальных машин за ресурсы ввода-вывода, в зависимости от типов хранилищ:
Второй документ называется "Managing Performance Variance of Applications Using Storage I/O Control". Он содержит результаты тестирования SIOC в условиях, когда нужно выделить виртуальную машину как критичную с точки зрения ввода-вывода (отмечена звездочкой). Взяли требовательную к нагрузкам задачу (DVD Store).
Измерили эталонную производительность когда работает только критичная ВМ (левый столбик - принят за единицу, SIOC Off), измерили среднуюю производительность (когда все машины работают параллельно и у каждой Shares установлено в 1000, SIOC Off), а потом стали варьировать Shares для критичной виртуальной машины (при включении SIOC On) смотря на то, как растет ее производительность в рамках кластера:
Видим, что SIOC при распределении приоритета ввода-вывода между хостами работает. В этом же документе есть еще тесты, посмотрите.
Как вы знаете, для виртуальных хранилищ (datastores) в VMware vSphere есть возможность задавать разные размеры блоков тома VMFS. Также вы, вероятно, знаете, что операция Storage vMotion позволяет перемещать виртуальную машину между хранилищами, превращая ее виртуальный диск из толстого (thick) в тонкий (thin).
Но чтобы это результирующий тонкий диск после Storage vMotion занимал на целевом хранилище только столько пространства, сколько используется внутри гостевой ОС (а не весь заданный при создании), нужно предварительно почистить блоки с помощью, например, утилиты sdelete.
Duncan Epping, известный технический эксперт VMware, обратил внимание на проблему, когда пользователь делает очистку блоков, затем Storage vMotion, а уменьшения диска не происходит. Почему так?
Очень просто, в составе VMware ESX / ESXi есть три типа datamover'ов ("перемещателей"):
fsdm – это старый datamover, который представляет собой базовую версию компонента. Он работает сквозь все уровни, обозначенные на картинке. Зато он, как всегда, универсален.
fs3dm – этот datamover появился в vSphere 4.0 и имеет множество оптимизаций. И вот тут данные уже не идут через стек работы с виртуальной машиной. То есть он работает быстрее.
fs3dm – hardware offload – Этот компонент появился для поддержки технологии VAAI, которая позволяет вынести операции по работе с хранилищами виртуальных машин на сторону массива (hardware offload). Он, естественно, самый быстрый и не создает нагрузку на хост VMware ESX / ESXi.
Так вот основная мысль такова. Когда вы делаете миграцию Storage vMotion виртуальной машины между хранилищами с разными размерами блоков используется старый datamover fsdm, а когда с одинаковыми, то новый fs3dm (в программном или аппаратном варианте). Последний работает быстрее, но не умеет вычищать нулевые блоки на целевом хранилище у виртуального диска VMDK.
А вот старый fsdm, ввиду своей универсальности, это делать умеет. То есть, если нужно вычистить нулевые блоки не перемещайте ВМ между хранилищами с одинаковыми размерами блоков. Так-то вот.
Компания VMware на прошедшей конференции VMware Partner Exchange 2011 (PEX) объяивла о некоторых подробностях касательно следующей версии платформы виртуализации VMware vSphere 5.0.
Сначала новые возможности vSphere 5.0:
Dynamic Resource Scheduling (DRS) for Storage - эта давно ожидаемая функция платформы виртуализации, которая позволит автоматически выравнивать нагрузку на системы хранения путем динамического перемещения работающих виртуальных машин между хранилищами (сейчас это можно сделать вручную за счет Storage VMotion). Пользователи смогут определять группы Datastor'ов (они зовутся Storage Pods), которые будут использоваться для балансировки по хранилищам на базе их заполненности. Предполагается, что это повысит автоматизацию датацентров. О балансировке нагрузки по производительности хранилищ пока ничего не говорится.
Host-based replication for Site Recovery Manager - возможность репликации виртуальных машин на уровне хостов а не SAN-хранилищ (как делается сейчас). То есть, поддержка технологии репликации со стороны СХД будет не нужна, репликация будет работать в асинхронном режиме со стороны хост-серверов. По-сути, это аналог репликации виртуальных машин в продукте Veeam Backup and Replication 5, которая сейчас активно используется в производственной среде многими компаниями для защиты данных виртуальных машин и наиболее быстрого восстановления работоспособности сервисов (показатели RTO).
Network I/O control for Virtual Machines - эта возможность будет позволять резервировать часть канала для приоритетных задач в кластере HA/DRS на случай его перегрузки. Актуально это будет для сетей 10G, где канал шире, а вот физических адаптеров значительно меньше.
Выход VMware vSphere 5.0 запланирован на второе полугодие 2011 года. Но скорее всего пятая версия платформы выйдет до VMworld 2011, который начнется 29 августа.
Также на партнерской сессии были озвучены несколько вещей на будущее (2012 год, после vSphere 5) - фреймворк SLA, который будет позволять пользователям внутренних облаков на базе VMware vSphere определять показатели качества обслуживания для своих приложений ("policy engine"). Также обсуждалась доступность в 2012 году стандартной функциональности long-distance vMotion, которая будет позволять перемещать работающие виртуальные машины на большие расстояния (вместе с Cisco VMware делала эксперименты по перемещению на сотни миль). Сейчас Long Distance vMotion уже поддерживается для некоторых сценариев.
Улучшения и новые возможности VMware ESX/ESXi 4.1 Update 1
Поддержка до 160 логических процессоров хост-сервера
Платформа подготовлена к новому процессору Westmere-EX
Включены дополнительные драйвера устройств:
дисковые устройства 3ware и Neterion
Включена технология Intel Trusted Execution Technology (только для ESXi). Это поддержка модулей Trusted Platform Module (TPM) для доверенной загрузки хост-серверов (поддерживается также коммуникация с vCenter). Почитайте вот эту статью о TPM.
Добавлены: RHEL 6, RHEL 5.6, SLES 11 SP1 for VMware, Ubuntu 10.10 и Solaris 10 Update 9
Улучшенная производительность для виртуальных машин, реализующих нагрузки баз данных и терминальные службы. Быстрее теперь работа с дисковой подсистемой и эффективнее расходуется CPU (непонятно, включено ли это в данный релиз).
Улучшения и новые возможности VMware vCenter Update Manager4.1 Update 1
VMware Update Manager получил новый интерфейс для постконфигурации продукта, включая сам VUM и утилиту VMware Update Manager Download Service (для скачивания обновлений отдельно от VC и VUM). Теперь из GIU можно сбросить пароль для соединения с БД, сконфигурировать настройки Proxy и поменять SSL-сертификаты.
Исправления безопасности и различные багофиксы
Улучшения и новые возможности VMware vCenter Orchestrator4.1 Update 1
Исправления безопасности и различные багофиксы
Скачать VMware vSphere 4.1 Update 1 можно по этой ссылке. Помните, что перед обновлением хост-серверов ESX / ESXi нужно сначала обновить VMware vCenter. И да, помните о багах обновления на Update 1, которые у VMware стали доброй традицией.
В очень интересной презентации "Transitioning to ESXi with vSphere 4.1" от Mark'а Monce (которую неплохо бы просмотреть всем администраторам VMware ESX в связи со скорым обязательным переходом VMware на гипервизор ESXi) обнаружились интересные моменты:
1. Если через веб-браузер по https зайти на VMware ESXi по ссылке:
https://<hostname>/host
мы увидим его конфигурационные файлы:
2. Если зайти на VMware ESXi по адресу:
https://<hostname>/host/messages
мы увидим его лог-файлы:
3. А если сходить на ESXi по этому адресу:
https://<hostname>/folder
То мы увидим содержимое VMFS-томов:
Напишите в комментариях, пожалуйста, если что-то из этого не работает.
Компания VMware выпустила очень полезный и нужный Performance Best Practices for VMware vSphere 4.1, который нужно прочитать каждому администратору более-менее серьезной виртуальной инфраструктуры серверов ESX. Содержание вполне конкретное:
Hardware for use with VMware vSphere
ESX and virtual machines
Guest operating systems
Virtual infrastructure management
Например:
To establish a network connection between two virtual machines that reside on the same ESX system, connect both virtual machines to the same virtual switch. If the virtual machines are connected to different virtual switches, traffic will go through wire and incur unnecessary CPU and network overhead
Интересно, что в документе есть рекомендации по выбору и оптимизации аппаратного обеспечения, которые нужно прочитать до покупки серверов и других компонентов виртуальной инфраструктуры.
Компания Zenoss анонсировала доступность бесплатного средства для мониторинга серверов VMware ESX / ESXi под названием ZenPack. Мониторинг хостов происходит посредством сбора статистик производительности командой resxtop (аналог esxtop через RCLI).
Что умеет ZenPack:
Собирать метрики производительности esxtop и выводить их на графиках
Устанавливать пороговые значения для метрик и оповещать администраторов об их превышении
Хранить историю значений во времени для последующего анализа
Скачать ZenPack можно по этой ссылке, а посмотреть документацию можно по этой.
Как вы знаете, в VMware vSphere есть возможность предоставления прямого доступа виртуальной машины к устройствам хост-сервера (например, HBA-адаптер или сетевая карта), которая называется VMDirectPath. С помощью этой техники многие пытались в предыдущих версиях vSphere прикрутить к виртуальной машине USB Controller, но теперь USB поддерживается для проброса в виртуальные машины, поэтому VMDirectPath в основном используют для Ethernet-адаптеров.
Кстати USB-устройства пробрасываются не через VMDirectPath (об этом можно почитать вот в этой KB).
Но использование VMDirectPath не позволяет использовать множество распределенных служб VMware vSphere, таких как VMware vMotion, DRS, Fault Tolerance и других, так как привязывает виртуальную машину к устройствам сервера, а, соответственно, к самому серверу. Сейчас вариантов применения VMDirectPath практически не осталось, так как в драйвере сетевого адаптера vmxnet3 компания VMware сделала множество нововведений - и он теперь работает гораздо более производительно, и его использование не сильно уступает ситуации, когда используется Passthrough-устройство (вот здесь подробнее).
Чтобы VMDirectPath работал нужно, чтобы хост-сервер VMware ESX / ESXi поддерживал технологии Intel Virtualization Technology for Directed I/O (Intel VT-d) или AMD IP Virtualization Technology (IOMMU).
Настройка VMDirectPath происходит в vSphere Client на вкладке Configuration для хоста ESX / ESXi (ссылка Configure Passthrough):
Надо отметить, что есть случаи, когда VMDirectPath позволяет получить прирост в производительности сетевых адаптеров для виртуальных машин (у Intel есть интересное видео на эту тему, а у VMware - результаты тестов).
Кстати VMDirectPath на хосте VMware ESX / ESXi можно отключить вот так. Ну и, конечно, надо почитать статейку VMware VMDirectPath I/O.
Таги: VMware, vSphere, VMDirectPath, ESX, ESXi, VMachines, Hardware, USB
От новых пользователей VMware часто приходится слышать вопрос о том, как включить доступ по протоколу SSH к консоли сервера VMware ESXi (этот режим называется Remote Tech Support Mode). Надо сказать, что консоль сервера VMware ESXi построена на базе пакета BusyBox, который позволяет исполнять некоторый набор nix-команд, а сама консоль не является полноценной заменой Service Console в VMware ESX. Поскольку пятая версия пакета VMware vSphere будет содержать в себе только ESXi, а сам гипервизор ESX перестанет существовать, пользователям рекомендуется использовать интерфейс VMware vSphere Management Assistant для централизованного исполнения скриптов на серверах VMware ESXi.
Итак, как включается доступ по SSH к VMware ESXi. Его можно включить двумя способами:
Напрямую из консоли сервера VMware ESXi
Из VMware vSphere Client при подключении к серверу ESXi
1-й способ. Включение SSH из консоли сервера ESXi.
1 Открываем консоль сервера VMware ESXi и нажимаем клавишу <F2>.
2. Переходим в категорию Troubleshooting Options:
3. Включаем или отключаем доступ по SSH к VMware ESXi (Remote Tech Support Mode).
Обратите внимание, что есть также режим Local Tech Support Mode - это доступ к физической консоли сервера VMware ESXi напрямую для исполнения nix-комманд.
2-й способ. Включение SSH для ESXi из vSphere Client.
1. Соединяемся с хостом VMware ESXi через vSphere Client и на вкладке Configuration переходим в подкатегорию Security Profile в категории Software. Нажимаем Properties:
2. Мы видим список сервисов, включенных для VMware ESXi. Видно, что Local Tech Support и Remote Tech Support (доступ по SSH) выключены. Нажимаем кнопку Options для выбранной службы - Remote Tech Support (SSH).
3. Выбираем политику запуска службы (вручную или автоматически) и запускаем службу SSH, нажав кнопку Start.
Для управления сервером VMware ESXi по протоколу SSH нужно использовать Putty.
Мы уже писале о проекте VMware Go, веб-сервисе, который позволяет упростить миграцию на виртуальную инфраструктуру VMware в небольших организациях и просто управлять ей через браузер.С помощью служб Go можно развертывать новые виртуальные машины на базе бесплатного продукта VMware ESXi (теперь это VMware Hypervisor) и даже делать некоторые процедуры по управлению виртуальной инфраструктурой.
Теперь VMware предлагает использовать сервис VMware Go Pro, который стал платным и будет существовать наряду с по-прежнему бесплатным VMware Go. Версия Pro создана в сотрудничестве компаний VMware и Shavlink, где последняя использовала свои технологии для управления обновлениями систем (вспомните VMware Update Manager - там есть возможность обновления гостевых ОС через ресурсы Shavlink).
Что умеет платный VMware Go Pro:
1. Управлять патчами и обновлениями хост-серверов и виртуальных машин.
2. Сканировать виртуальную и физическую инфраструктуру на соответствие обновлениям (для ОС Microsoft). Можно искать в доменах и диапазонах IP-адресов.
3. Применять патчи различной степени критичности к операционным системам:
4. Управлять текущими лицензиями для приложений в небольшой инфраструктуре (SAM).
Опробовать VMware Go и VMware Go Pro можно по этой ссылке.
Данная статья основывается на инструкции, написанной Joseph Holland, Kepak Group «How to configure VMWare ESXi to shutdown using an APC SmartUPS. v3.0_20090312», и является ее переработанным и дополненным переводом. Для настройки интеграции UPS APC и VMware ESXi понадобится установленный виртуальный модуль vMA.
Часто бывает необходимо заглянуть в логи сервера VMware ESX или ESXi и посмотреть, что там происходит. При обнаружении и решении проблем работы серверов виртуализации с хранилищами логи - это главный источник ваших знаний о том, что с ними случилось.
Если сервер ESX / ESXi работает с хранилищем iSCS или Fibre Channel в режиме multipathing с одним активным путем к хранилищу, то описанная ниже последовательность шагов, которые выполняет ESX, может вам помочь при наступлении события переключения на резервный путь (failover)....
Таги: VMware, ESX, Storage, Multipathing, HA, ESXi, vSphere, iSCSI, FC
На сайте проекта VMware Labs (о котором мы уже писали) появилось новое средство VMware Auto Deploy - виртуальный модуль (Virtual Appliance), который позволяет производить массовое развертывание хостов VMware ESXi с возможностью определения настроек.
Посредством механизма PXE и серсиса DHCP VMware Auto Deploy развертывает образы ESXi на серверах виртуализации с использованием профилей хостов (Host Profiles) и другой информации, хранящейся на сервере VMware vCenter. Продукт находится в стадии Technology Preview, что означает, что компания VMware не несет ответственности за последствия использования продукта, а также не гарантирует его дальнейшее включение в список своих решений в виде окончательного релиза (вспомните vCenter под Linux).
Как уже много писали об этом ранее, одной из проблем механизма отказоустойчивости VMware HA является его потенциальное не срабатывание в окружениях, где одновременно отказывает более 4-х хостов в кластере (например, на уровне блейд-корзины), когда не доступны все 5 primary-узлов. В этом случае есть риск, что виртуальные машины не перезапустятся на оставшихся хост-северах.
В VMware vSphere 4.1 появилась возможность явным образом указать, какие узлы в кластере VMware HA будут являться Primary:
Можно использовать в качестве разделителя пробел или запятую.
Эти настройки необходимо указывать в расширенных свойствах кластера VMware HA (Advanced Settings). Обращаю внимание, что хоть эти настройки и не являются experimental, они являются неподдерживаемыми со стороны VMware и не рекомендуются к использованию в промышленной среде. Кстати, скоро кластер VMware HA будет переживать сколько угодно отказов хостов ESX / ESXi.
Компания VMware выпустила очень интересный и рекомендуемый к прочтению администраторами VMware vSphere документ "Understanding Memory Resource Management in VMware ESX 4.1". В данном документе описывается, как гипервизор ESX / ESXi обращается с оперативной памятью хост-сервера виртуализации при исполнении виртуальных машин.
Подобный документ существовал у VMware и ранее, но теперь в нем добавилось описание техники Memory Compression, которая позволяет существенно экономить физическую память хост-сервера за счет сжатия страниц, которые должны были попасть в своп.
Также в этом документе указано, как можно управлять кэшем (Compression Cache), где лежат эти сжатые страницы памяти для виртуальной машины:
Известный поставщик решения для управления виртуальной инфраструктурой VMware, компания Veeam, выпустила новую версию своего продукта Veeam Monitor 5.0, позволяющего осуществлять комплексный мониторинг серверов ESX/ESXi.
Информация об использовании электропитания хостов ESX/ESXi
Информация о технике Memory Compression
Скачать Veeam Monitor 5.0 можно по этой ссылке. Купить эту офигенную штучку для своей VMware vSphere 4.1 можно в компании VMC, золотом партнере Veeam Software.