На сайте проекта VMware Labs появилась очередная полезная штука - утилита Workspace ONE Discovery. Она запускается на рабочих станциях Windows 10 под управлением решения Workspace ONE, где будет показывает различную информацию об оконечных устройствах (Certificate Management, Application Deployment, Profile Management).
Workspace ONE Discovery выводит сервисы, относящиеся к Workspace ONE, а также информацию о том, какие приложения были развернуты. С помощью специального представления можно увидеть, как были сконфигурированы профили, посмотреть сертификаты и отследить, какие апдейты Microsoft Windows были установлены.
Данную информацию можно использовать для решения проблем с рабочими станциями под управлением Workspace ONE. После запуска вы увидите 6 вкладок:
Overview - общая информация об устройстве, какой экзмепляр Workspace ONE UEM управляет этим устройством, и какие сервисы, относящиеся к Workspace ONE, запущены и работают
Packages – список приложений, которые были поставлены с помощью Workspace ONE UEM
Profiles – список изменений, сделанных в профилях средствами Workspace ONE UEM
User Certificates – список установленных пользовательских сертификатов
Machine Certificates – список установленных сертификатов устройств
Windows Updates – список установленных обновлений
Более подробно о Workspace ONE Discovery рассказано в видео ниже:
Скачать Workspace ONE Discovery можно по этой ссылке. Сама утилита работает только на Windows 10.
Многие из вас знакомы с одноплатной ARM-архитектурой компьютеров Raspberry Pi, которые позволяют модульно собирать очень крутые штуки для целей тестирования и обучения. Недавно компания VMware выкатила технологическое превью гипервизора ESXi для процессоров ARM (он же ESXi-Arm), которое доступно на сайте VMware Labs.
Конечно же, многие пользователи бросились устанавливать его на компьютеры Raspberry Pi, которые в большом количестве есть у энтузиастов. Оказалось, что поставить туда ESXi весьма простая задача, особенно, если речь идет о Raspberry Pi 4.
2x USB drive (один для записи гипервизора, а второй как installation media)
Кабель USB-C (питание)
Micro HDMI для монитора
Сначала лучше прочитать официальный гайд по продукту, который есть на странице ESXi-Arm сайта VMware Labs. Для старых модификаций Raspberry Pi могут быть нюансы, но с новыми для Windows порядок примерно такой:
Копируем содержимое загрузочной директории на SD-карту
Копируем содержимое архива RPi4_UEFI_Firmware_v1.20.zip с перезаписью поверх существующего содержимого на SD-карту
Если у вас Raspberry Pi на 4 ГБ, открывайте config.txt и добавляйте следующую строчку в конец файла без пробелов: gpu_mem=16
Настраиваем UEFI:
Вставляем SD-карту в Raspberry Pi
Подключаем USB-клавиатуру и монитор по HDMI
Подключаем питание через USB-C
Нажимаем ESC до того, как покажется UEFI menu
Идем в раздел:
Device Manager > Raspberry Pi Configuration > Advanced Configuration
Подсвечиваем опцию Limit RAM to 3GB
Нажимаем Enter и стрелками на клавиатуре выставляем значение DISABLED
По F10 сохраняем конфигурацию
Нажимаем ESC, чтобы выйти на домашнюю страницу
Идем к Continue и нажимаем Enter
Тепреь загружаем установочный образ VMware-VMvisor-Installer-7.0.0-16966451.aarch64.iso по этой ссылке.
Теперь из ISO-образа с помощью UNetbootin надо создать загрузочную флешку:
Далее:
Вставляем установщик на USB-флешке в Raspberry Pi
Нажимаем ESC до того, как покажется UEFI menu
Выбираем USB-флешку первой в порядке загрузки
После начала загрузки ESXi:
Быстро нажимаем SHIFT+O (это буква)
Внизу экрана вбиваем autoPartitionOSDataSize=8192 (это ограничит установку ESXi 8 ГБ, остальное пространство можно будет отдать под датастор для виртуальных машин)
При установке ESXi убедитесь, что указано корректное устройство для установки гипервизора
Вставляем сетевой кабель и убираем флешку
Далее после включения нужно опять пойти в Boot Maintenance Manager > Boot Options > Change Boot Order и выбрать там флешку, куда вы установили ESXi:
После этого ваш ESXi загрузится и получит IP-адрес от DHCP, который лучше заменить на статический. После этого вы можете соединиться с хостом через веб-интерфейс и увидеть, что для остатков пространства на флешке был создан датастор для виртуальных машин.
На сайте проекта VMware Labs вышла очередная новая утилита - vSphere Pod Autoscaler, предназначенная для пользователей vSphere PodVM, которые хотят настроить автомасштабирование узлов PodVMs на базе использования ими памяти.
В начале октября этого года прошла конференция VMworld 2020, которую компания VMware впервые провела исключительно в онлайн-формате. Там было сделано много интересных анонсов, главные из которых - это развитие экосистемы поддержки контейнеризованных приложений и расширение продуктовой линейки для автоматизации облачных инфраструктур.
Сегодня мы поговорим о второй части - решении VMware vRealize AI Cloud, которое предназначено для автоматического повышения эффективности использования хранилищ в рамках концепции самооптимизирующегося датацентра.
Эту концепцию вендоры различных ИТ-платформ продвигают уже давно. Ее суть заключается в том, что решения в рамках датацентра будущего (как программные, так и аппаратные) должны самостоятельно отслеживать изменяющиеся метрики среды, в которой они работают, после чего автоматически вносить коррективы в конфигурации для максимально эффективного функционирования инфраструктуры в целом.
Еще одним трендом VMware считает развитие гибридных инфраструктур, которые будут строить крупные компании. В гибридной среде важна унификация процедур управления и технических инструментов, над чем VMware работает уже давно (например, в этой парадигме построено решение Cloud Director 10.2).
Так вот, в гибридной среде у каждого онпремизного решения должны быть его облачные аналоги, но должны быть и чисто облачные инструменты, которые как раз делают датацентр самооптимизирующимся, поскольку за это отвечает вендор платформы. Одним из таких инструментов и стало решение vRealize AI Cloud:
vRealize AI Cloud поставляется вместе с решением vRealize Operations Cloud в рамках подписки vRealize Cloud Universal. За счет использования алгоритмов машинного обучения этот продукт позволяет адаптироваться к изменяющимся условиям в характере нагрузок и проводить постоянную оптимизацию использования хранилищ (а именно улучшая конкретные KPI, вроде пропускной способности или latency).
Сейчас эта технология работает только с хранилищами vSAN, но потенциально нет никаких препятствий для VMware открыть ее и для других облачных хранилищ.
Как видно из картинки выше, vRealize AI Cloud генерирует и применяет настройки для оптимизации работы с хранилищами, а также дает администратору инструменты для отслеживания производимых изменений и средства мониторинга измеренных количественных улучшений.
Консоль vRealize AI Cloud предлагает администратору решения 4 блоков задач:
Оптимизация производительности в кластере
Оптимизация емкости хранилищ
Решение проблем разного характера, в зависимости от типа объекта
Анализ конфигураций объектов и управление ими
Если перейти на уровень виртуальных датацентров, администратор видит те из них, где оптимизация кластеров уже включена (зелено-синий цвет), и те, где выключена, причем для обоих вариантов показано, на сколько процентов можно улучшить количественные метрики:
Можно провалиться на уровень кластера (выбрав соответствующую точку в периметре) и увидеть определенные хосты ESXi, где могут быть проведены оптимизации:
В частности мы видим в реальном времени поток оптимизаций (верхняя строчка), а также основные параметры производительности справа - latency и пропускную способность:
Раскрыв уровень оптимизаций, можно увидеть, какие конкретно настройки и в какое время были изменены. В данном случае был уменьшен размер кэша, поскольку AI Cloud предположил, что это улучшит write latency на 25%:
Конечно же, предположения могут не оправдаться, и тогда AI Cloud откатит настройку, чтобы убедиться, что хуже KPI не стали.
В потоке действий AI Cloud мы четко видим таймлайн изменений и детальные графики производительности на уровне каждого из выбранных хостов:
Если AI Cloud не включен в кластере, то будет рассчитан примерный потенциал оптимизаций, который, на самом деле, представляет собой довольно серьезные цифры, поэтому вполне имеет смысл хотя бы включить и попробовать AI Cloud в деле:
Когда вы включаете этот движок, вы можете выбрать степень агрессивности работы алгоритма оптимизаций:
Консервативный режим всегда оставляет запас по производительности и емкости при выполнении рекомендаций по оптимизации, а агрессивный - действует весьма смело. Как всегда, начинать нужно с консервативного режима и потом потихоньку увеличивать степень. После включения механизма AI Cloud начнется процесс обучения системы паттернам нагрузок, только после чего уже начнется генерация и применение рекомендаций.
В среднем, по тестам VMware, оптимизации хранилищ vSAN могут достигать 60% за счет использования движка AI Cloud. Например, по тестам Rackspace в 4-узловом кластере хранилищ улучшения полосы пропускания на запись (write-throughpu) составили 18%, а уменьшение задержек находилось на уровне 40%-84%.
Также AI Cloud тесно интегрирован с политиками хранилищ SPBM (Storage Policy Based Management). Настройки этих политик также влияют на производительность - например, можно отключить дедупликацию, и это существенно улучшит производительность хоста за счет уменьшения нагрузки на CPU и хранилища:
В целом, решение vRealize AI Cloud - это шаг вперед в реализации концепции самооптимизирующихся датацентров в разрезе хранилищ. Будем надеяться, что решение уже скоро будет доступно в облачных инфраструктурах сервис-провайдеров VMware Cloud.
Также на конференции VMworld Online 2020 компания VMware показала, как именно будет выглядеть решение vRealize AI Cloud:
Суть ее заключается в том, что при удалении снапшота ВМ, по завершении ее резервного копирования, она замирает примерно на 30 секунд, не принимая никакой ввод-вывод. Происходит это на некоторых NFS-хранилищах, в частности HPE SimpliVity. В итоге - приложения, чувствительные ко времени, работают плохо, ну и в целом такое поведение не очень приятно для производственных систем.
Проблема проявилась при использовании платформы VMware vSphere 6.7, текущей версии Veeam Backup and Replication и хранилища HPE SimpliVity, которое поддерживает презентацию томов только в режиме NFS v3.
При этом в такой же комбинации продуктов, но на блочных хранилищах удаление снапшота занимало 1-2 секунды.
После общения с поддержкой нашлись следующие workaround'ы, которые не подошли:
Использовать NFS v4 вместо v3 (доступно не на всех хранилищах)
Использовать другой транспорт (transport mode), например, Direct access или NBD (Network Block Device). Но Direct access доступен не всегда, а NBD - медленный режим.
Можно использовать режим hot-add с виртуальным модулем backup appliance, но тогда он должен быть на каждом хосте (см. KB 201095).
Можно отключить синхронизацию времени с хостом для ВМ с приложениями, которые страдают из-за замирания времени в гостевой ОС. Об этом можно почитать в KB 1189. Но это так себе решение.
На текущий момент получается, что это проблема именно VMware ESXi, см. статью KB 2010953. Также она описана и в базе знаний Veeam - KB 1681 (там же указаны и обходные пути). Таким образом, выходит, что в некоторых случаях ни одно из решений не подходит на 100%.
У компании VMware есть отличное решение Log Insight, которое предназначено для поиска любых данных в виртуальной инфраструктуре, анализа лог-файлов и визуализации аналитики. На прошедшем VMworld Online 2020 была представлена версия Log Insight 8.2.
Если вы администратор VMware vSphere, то наверняка имели необходимость заглядывать в лог vmware.log, который находится в папке с виртуальной машиной, для поиска некоторых событий и решения проблем с данной ВМ. Там могут находиться события reconfiguration events, миграции vMotion, сообщения VMware tools, memory state, события power on/off, включаемые фичи, API-запросы и многое другое.
Все эти сообщения можно отправлять в реальном времени для мониторинга со стороны VMware vRealize Log Insight и отлавливания их с помощью алертов по заданным параметрам. Делается это с помощью возможностей Interactive Analytics.
Файл vmware.log находится в папке с виртуальной машиной и имеет некоторую ротацию:
Чтобы посылать данные лога в Log Insight, нужно изменить Configuration Parameters для ВМ. Для этого сначала выключаем ее, идем по правой кнопке в Edit settings в vSphere Client, выбираем вкладку VM Options и кликаем Edit Configuration:
Далее нужно нажать Add Configuration Params:
После этого добавляем параметр vmx.log.syslogID со значением <vmname>_vmx_log, где vmname - это имя виртуальной машины. Этот айди будет передаваться в Log Insight:
Далее включаем виртуальную машину и на вкладке Interactive Analytics в Log Insight видим, что машина генерирует больше 2000 событий, у этих событий есть типы:
Далее мы можем сформировать запрос на поиск того или иного события и сделать из него алерт с определенным действием (например, отправить webhook или в Operations Manager).
В данном случае происходит отправка письма администратору:
Чтобы отключить логирование, нужно просто удалить значение из поля vmx.log.syslogID:
Пару недель назад компания VMware анонсировала обновление своей платформы Cloud Director 10.2, предназначенной для создания интегрированной среды сервис-провайдеров, предоставляющих виртуальные машины в аренду своим клиентам. Напомним, что о прошлой версии vCD 10.1 мы писали в мае этого года вот здесь.
Ну а на прошедшем VMworld новым возможностям была посвящена сессия HCPS2407 (по этому тексту ее и нужно искать тут):
Давайте посмотрим, что появилось нового в vCD 10.2. Основные области нововведений представлены на картинке:
1. Единая инфраструктура для гибридной среды
Компания VMware делает ставку на то, что крупные компании будут строить гибридные инфраструктуры из собственных площадок и ресурсов сервис-провайдеров, поэтому теперь VMware Cloud Director on-premises и службы VMware Cloud Director в VMware Cloud on AWS имеют единую базу кода, то есть представляют собой один базовый продукт.
Соответственно, и администраторы, и клиенты облака могут управлять инфраструктурой в любом облаке, действуя в единой гибридной среде в рамках предоставленных полномочий.
2. Глобальная доступность VMware Cloud Director
В четвертом квартале 2020 года ожидается, что службы VMware Cloud Director будут доступны по всему миру, включая наш с вами регион EMEA. При этом администраторы смогут управлять инстансами в разных регионах, если будет выполнено основное условие по latency<150 миллисекунд между площадками.
3. Улучшенная интеграция NSX-T со службами Network & Security
NSX-T в связке с Cloud Director будет предоставлять следующие возможности в облачной инфраструктуре:
Поддержка распределенного сетевого экрана L4-7 и расширенных функций, таких как VRF lite.
Улучшения интерфейса, которые позволят растягивать сеть между несколькими виртуальными датацентрами на разных площадках, что позволит применять политики распределенного фаервола к гибридным окружениям.
Сети клиентов от собственного датацентра к сервис-провайдеру можно будет соединить по layer 2 VPN, вне зависимости от онпремизной версии NSX (NSX-V или NSX-T).
NSX Advanced Load Balancer (он же Avi Networks Load Balancer) заменит нативный балансировщик NSX-T Load Balancer в издании NSX-DC Base Edition. Это также даст такие возможности, как WAF, DNS, SSL Termination, rate-limiting и другие в решении NSX ALB Enterprise edition.
4. Улучшения в поддержке Kubernetes
В этой сфере появится два основных нововведения:
Службы Containers as a Service with Tanzu - теперь в Cloud Director будет интегрировано решение VMware vSphere with VMware Tanzu, что позволит сервис-провайдерам производить оркестрацию кластеров K8s прямо из нативных средств управления vSphere и vCD. Для развертывания контейнерных сред можно будет использовать Container Service Extension 3.0, который дает функции по управлению жизненным циклом всех типов кластеров через Cloud Director Cluster API, CLI и Container Service Extension-CLI, а также плагин в графическом интерфейсе.
Новое средство Cloud Director App Launchpad 2.0, которое позволит клиентам облаков использовать приложения и не думать о нижележащей инфраструктуре. Сервис-провайдеры смогут предложить маркетплейс для пользователей, где они смогут выбрать приложения (на базе контейнеров или виртуальных машин). Вторая версия лончпада поддерживает Container Service Extension 3.0, что позволит пользователям запускать приложения в инфраструктуре Org VDC или кластере K8s автоматически. Будут поддерживаться и кастомные приложения, а также будет реализована тесная интеграция с VMware Cloud Marketplace, что позволит, например, автоматически синхронизировать приложения с выходом их новых версий.
5. Упрощенные функции развертывания Cloud Director
Теперь vCD будет развертываться с помощью переработанного мастера, а также производить внутреннюю проверку на ошибки. Также будет проверяться ввод пользовательских данных и проводиться автоматические бэкапы при установке.
6. Улучшения гибкости и повышение эффективности хранилищ
Cloud Director 10.2 будет интегрирован с конфигурациями vSphere Storage Policy-based IOPS, что позволит настраивать Storage I/O Control для ресурсов Storage I/O на базе отдельных ВМ из административного интерфейса
Можно будет использовать shared disks для кластеров Microsoft и Oracle, а также персистентных томов.
Object Storage Extension (OSE) 2.0 будут позволять клиентам управлять их сервисом AWS S3 через OSE.
Также OSE 2.0 будет предоставлять поддержку Cloudian 7.2 и Dell ECS 3.4.
В портале для клиентов будет множество улучшений (например, Guided Tours для обращения внимания на предлагаемые сервисы и фичи), нотификаторы для разных ситуаций (Advisories), а также функции поиска Quick Search.
7. Расширенное предоставление информации клиентам об их облаках
Приложение для клиентов vRealize Operations Tenant App 2.5 будет улучшено в самых разных аспектах, включая поддержку Container Service Extension Kubernetes Clusters, что позволит получать больше информации о приложениях в контейнерах. Также будут предоставлены широкие возможности по созданию и кастомизации отчетов об инфраструктуре. Кроме того, можно будет кастомизировать email-оповещения для клиентов с учетом их потребностей.
Доступность VMware Cloud Director 10.2 ожидается до конца четвертого квартала этого года, следите за новостями.
Еще в конце сентября компания Microsoft сделала объявление о том, что теперь решение для виртуализации и доставки настольных ПК и приложений VMware Horizon будет работать в облаке Microsoft Azure VMware в рамках программы VMware Cloud Foundation. Называется эта платформа Azure VMware Solution (AVS).
Платформа AVS предоставляет клиентам облачной IaaS-инфраструктуры Azure полный комплект облачных решений VMware стека SDDC, таких как vSphere, vSAN, NSX-T и других, которые бесшовно интегрированы в Microsoft Azure. Все это позволяет крупным компаниям строить гибридные инфраструктуры с единым набором инфраструктурных решений между онпремизной площадкой и облаком Azure.
В такой конфигурации пользователи получают еще и дополнительные плюшки, такие как расширенная поддержка Extended Security Updates до января 2023 года для Windows Server 2008, а также специальный прайс на Windows и SQL Server для гибридных инфраструктур.
Таким же образом, как и серверная инфраструктура, на платформе AVS теперь будет работать и инфраструктура пользовательских окружений VMware Horizon:
Рабочие нагрузки можно динамически и прозрачно для пользователей перемещать между онпремизной площадкой и облаком Azure. При этом можно будет использовать привычные администраторам возможности, такие как мгновенные клоны (Instant Clones) и протокол Blast Extreme.
В рамках подписки на VMware Horizon пользователи получат:
Поддержку опубликованных приложений и десктопов (поддерживаются пулы persistent и non-persistent)
Тома App Volumes для упрощенного управления приложениями в онпремизной и облачной среде
Решение Dynamic Environment Manager для перемещаемых профилей Office с помощью контейнеров FSLogix Profile Containers
Решение Workspace ONE Access для многофакторной аутентификации, условного доступа, single sign-on и многих других инструментов для мобильных и десктопных окружений
С точки зрения интеграции с Azure будут 2 приятных момента:
Управляющие средства VMware Cloud Foundation будут интегрированы в Azure portal
Спеццена на продукты Microsoft, которые используются приложениями Horizon Apps
Гибкое ценообразование на Azure, включая почасовую оплату и специальные цены на зарезервированные десктопы
Недавно компания VMware объявила о доступности для загрузки новой версии фреймворка для управления виртуальной инфраструктурой с помощью сценариев PowerCLI 12.1. Напомним, что о прошлой мажорной версии PowerCLI 12, вышедшей в апреле этого года, мы писали вот тут.
Давайте посмотрим, что нового появилось в PowerCLI 12.1:
Несколько новых командлетов было добавлено в модуль VMware.VimAutomation.WorkloadManagement
Get-WMCluster
Set-WMCluster
Enable-WMCluster
Disable-WMCluster
Несколько новых командлетов для vSphere Lifecycle Manager (vLCM) было добавлено в модуль VMware.VimAutomation.Core (подробнее тут)
Get-LcmImage
Test-LcmClusterCompliance
Test-LcmClusterHealth
Вот пример работы Get-LcmImage:
В модуле VMware.VimAutomation.Core было сделано несколько улучшений, включая новые параметры для командлетов New-Cluster и Set-Cluster, а также New-ContentLibraryItem и Set-ContentLibraryItem. Также были несколько обновлены параметры командлетов New-VM/Set-VM, New-Datastore, New-HardDisk и Get-NetworkAdapter/Get-VirtualNetwork
Несколько новых командлетов было добавлено в модуль VMware.VimAutomation.Vmc:
Добавлен параметр Cluster в командлеты Add-VmcSddcHost и Remove-VmcSddcHost
Свойства VCenterHostName и VCenterCredentials добавлены объекту SDDC
В модуле VMware.VimAutomation.Storage появилось несколько новых командлетов для управления безопасной очисткой дисков vSAN, томами Cloud Native Storage и контейнерами VVols:
Start-VsanWipeVsanDisk
Get-VsanWipeDiskState
Stop-VsanWipeVsanDisk
Get/New/Set/Remove-CnsVolume
New-CnsContainerCluster
New-CnsKubernetesEntityReference
New-CnsKubernetesEntityMetadata
New-CnsVolumeMetadata
Add-CnsAttachment
Remove-CnsAttachment
Get-VvolStorageContainer
Улучшения модуля VMware.VimAutomation.Storage:
Командлеты Set-VsanClusterConfiguration и Get-VsanClusterConfiguration теперь поддерживают режимы "vSAN compression only mode" и "vSAN enforce capacity reservation"
Get-VsanSpaceUsage более гранулярно показывает статистику свободного пространства
Командлеты Get-VasaStorageArray и Get-VasaProvider теперь могут фильтровать VASA providers по контейнерам VVols
Моуль VMware.VimAutomation.Security был существенно обновлен:
Добавлен командлет Get-TrustedClusterAppliedStatus для получения примененного статуса доверенных сервисов в доверенных кластерах
Добавлен командлет Set-TrustedCluster для ремедиации кластера в состоянии "not healthy"
Несмотря на замудреное название, утилита Sample Data Platform предназначена для простой вещи - дать пользователям VMware Cloud Foundation 4.0 возможность получить платформу оперирования данными для гостевого кластера Tanzu Kubernetes Grid менее, чем за 20 минут, на примере сервисов Kafka, Spark, Solr и ELK.
Также в состав утилиты входит пример финансового приложения (с использованием реальных данных dxFeed), которое показывает, как все компоненты этого решения работают вместе.
С помощью утилиты можно выполнить 4 шага по созданию Data Platform:
Развертывание компонентов платформы Kafka, Spark, Solr и ELK за 20 минут.
Kafka Publisher - получение данных финансового рынка из публичного источника dxfeed.
Spark Subscriber - подписаться на данные рынка из топиков Kafka, обработка данных и их запись в Solr
Logstash Subscriber - подписаться на данные рынка из топиков Kafka и запись их в Elasticsearch через logstash, а также создание дэшборда kibana.
Более подробно о том, как выполняются все эти шаги можно посмотреть в видео ниже:
Скачать Sample Data Platform on VMware Cloud Foundation with VMware Tanzu for Kubernetes Provisioning можно по этой ссылке.
Пару недель назад компания VMware сделала очень много интересных анонсов в рамках онлайн-конференции VMworld 2020 Online, самые интересные из которых мы собрали вот тут.
Одним из таких анонсов стал выпуск новой версии решения vRealize Automation 8.2, предназначенного для автоматизации большинства рутинных операций в облаке на базе VMware vSphere (то, что раньше делалось только с помощью Orchestrator). О версии vRealize Automation 8.0 с прошлого VMworld мы писали вот тут.
Давайте посмотрим, что нового появилось в vRealize Automation 8.2:
Объекты VMware Cloud Templates (ранее они назывались vRealize Automation Blueprints), реализующие механизм шаблонов для инфраструктуры VMware Cloud в части развертывания и оркестрации. В последнем релизе есть поддержка решений VMware Cloud Foundation, Kubernetes, NSX, а также расширенные интеграции со сторонними решениями, такими как Terraform и ServiceNow.
Улучшенный механизм multi-tenancy с функциями централизованного управления инфраструктурой клиентов (тенантов) за счет функций Virtual Private Zones:
Кастомный движок ролевой модели Role Based Access Control (RBAC):
Возможность утверждения действий Day 2 actions для всех элементов каталога сервисов.
Также была реализована поддержка First Class Disks (FCD):
Функции облака самообслуживания - появилась очень тесная интеграция с архитектурой VMware Cloud Foundation (VCF).
Улучшенные действия Day 2:
Поддержка интерфейса NSX-T Policy API:
Улучшения инфраструктуры DevOps - новый подход шаблонизации Infrastructure as Code (IaC) для инфраструктуры VMware Cloud на базе движка VMware Cloud Templates. Также можно определять и шарить действия (Actions) с помощью механизма Action Based Extensibility (ABX).
Автоматизация Kubernetes - возможность самостоятельного развертывания пространств имен Kubernetes через каталог сервисов с учетом механизма IaC.
Мастер обследования миграции Migration Assistant для выяснения способности миграции исходного окружения vRealize Automation 7 на версию 8.2:
Скачать VMware vRealize Automation 8.2 можно по этой ссылке. Release notes доступны тут.
В рамках конференции VMware VMworld Online 2020, которая в этом году в онлайне собрала участников по всему миру (билет, кстати, был бесплатным), была анонсирована и выпущена новая версия решения vRealize Suite Lifecycle Manager 8.2 (vRSLCM). Напомним, что Lifecycle Manager можно использовать для применения установочных образов, отслеживания соответствия (compliance) и приведения кластера к нужному уровню обновлений. Он пришел на смену решению VMware Update Manager (VUM), расширив его возможности.
Давайте посмотрим, что нового появилось в vRSLCM 8.2:
1. Поддержка VMware Cloud Foundation и VMware Cloud on AWS
Главная возможность vRSLCM - это операции с жизненным циклом решений, которые позволяют создавать новые окружения vRealize, развертывать и управлять их компонентами, а также накатывать патчи и обновления продуктов, как только они становятся доступными для скачивания.
Теперь vRSLCM отлично интегрируется с архитектурой VMware Cloud Foundation и облачной инфраструктурой VMware Cloud on AWS. Ранее была доступна возможность развернуть Lifecycle Manager напрямую из SDDC Manager. Интеграция для версий VCF 4.1 и vRSLCM 8.1.1 работает хорошо, а для vRSLCM 8.2 стала еще лучше.
vRSLCM теперь знает об инфраструктуре VCF и обеспечивает двустороннюю коммуникацию таким образом, что SDDC Manager понимает, что компоненты пакета vRealize Suite были развернуты. Также SDDC Manager позволяет загружать и накатывать патчи, а также развертывать балансировщик NSX-T в окружениях vRealize. Все это делается в соответствии с принципами VMware Validated Design.
Также пользователям VMware Cloud on AWS теперь можно запускать vRealize Suite в их инфраструктуре SDDC, а vRSLCM 8.2 официально поддерживает развертывание в облаке VMware Cloud on AWS на базе релизов M11 и M12.
2. Управление жизненным циклом источников данных vRealize Network Insight
Теперь для источников данных vRNI доступны операции редактирования и удаления. Также можно добавить дата сорсы в пакетном режиме через файлы конфигураций JSON или CSV, что очень удобно когда у вас много источников данных с однотипными конфигурациями (коммутаторы, роутеры и т.п.), которые нужно обрабатывать.
Также в пакетном режиме можно работать и с паролями, обновляя их массово для источников данных.
Для целей сетевого взаимодействия лучше настроить интеграцию с дата сорсами через SNMP, что теперь полностью поддерживается со стороны vRSLCM 8.2.
3. Поддержка Continuous Availability и Scale Up
для
vRealize Operations
Еще с версии vROPs 8.0 это решение имело функции Continuous Availability, которые позволяли разделить кластеры на два домена отказа с использованием witness-узла.
У vRSLCM 8.2 теперь есть опция по развертыванию нового кластера vRealize Operations с включенным CA. Это не позволит сразу настроить домены отказа и witness, но позволит выполнить пре-чеки на соответствие лучшим практикам для vRealize Operations CA:
В продукте vRSLCM всегда была функция "scale out", расширяющая кластер за счет новых узлов, а теперь появилась и фича "scale up" позволяющая сделать апгрейд аппаратных ресурсов старых узлов. Можно не только добавить CPU и RAM, но и увеличить размер диска. Функция "Vertical Scale Up" доступна для инсталляций vRealize Log Insight, vRealize Network Insight и vRealize Operations:
4. Исправление прошлых недочетов
Теперь можно переименовывать окружения и датацентры, доставшиеся вам от прошлых хозяев.
Также доступна возможность удаления серверов vCenter. Ну и можно теперь изменять и удалять Locker-пароли в vRSLCM 8.2 и видеть, где они используются.
5. Обновления самой платформы
Теперь у vRSLCM 8.2 появился публично доступный API, который работает пока для служб Lifecycle Operations и Locker services. В разделе меню также появилась ссылка API, которая ведет на соответствующий раздел документации. Примеры API-вызовов вы можете увидеть вот тут.
Еще одна новая возможность в этой категории - замена сертификатов для vRSLCM. В системном меню Lifecycle Operations есть пункт, который позволяет заменить самоподписанный сертификат для тот, что у вас есть для организации.
Ну и последний момент тут - это соответствие стандарту Federal Information Processing Standard (FIPS), а именно FIPS 140-2. Режим этого соответствия можно отключить, если необходимо.
Скачать vRealize Suite Lifecycle Manager 8.2 можно по этой ссылке, Release Notes доступны тут.
В разделе On-Demand Video Library доступны 722 видеозаписи, которые содержат записи выступлений, демо продуктов и технологий, записи лабораторных работ (Hands-On Labs) и многое другое. Этот контент обещают еще пополнить, так что всего будет около 900-1000 видеозаписей. Хорошо, что там есть фильтры по типу контента (бизнес или технический), его уровню и линейке продуктов.
Кстати, интересно посмотреть на задники видео сотрудников VMware, которые в этом году вели сессии из собственных домов и квартир:)
На прошлой неделе компания VMware выпустила новую версию своего основного руководства по обеспечению информационной безопасности виртуальной инфраструктуры VMware vSphere Security Configuration Guide 7 (SCG 7). Теперь документ содержит 78 настроек, так или иначе влияющих на безопасность как самой платформы виртуализации, так и виртуальных машин.
Что нового появилось в руководстве:
Совместимость с гайдлайнами по безопасности NIST 800-53, NIST 800-171, CMMC, PCI DSS, ISO 27001, NERC CIP
Учет аппаратных уязвимостей CPU, таких как Meltdown и Spectre
Покрытие конфигурациями новых технологий и функциональности платформы vSphere 7
Напомним, что этот документ доносит концепцию "Secure by design", что означает, что среда VMware vSphere изначально настроена оптимальным образом с точки зрения безопасности, поэтому вносить изменения вам нужно только в случае наличия каких-либо специальных требований в вашей инфраструктуре.
В документе, помимо описания рекомендуемой настройки и лога изменений, есть следующие полезные колонки:
Hardening - указывает на то, что это действительно настройка, которой нужно уделить внимание при конфигурации.
Site Specific Setting - говорит о том, что задать конфигурацию должен сам пользователь, в зависимости от его окружения.
Audit Setting - указывает, что вам необходимо время от времени проверять эту настройку, чтобы убедиться, что значение по умолчанию не было изменено администратором необоснованно.
Desired value - рекомендуемое значение, оно же и является значением по умолчанию, если это не site specific.
PowerCLI Command Remediation Example - команда PowerCLI по применению настройки.
PowerCLI Command Assessment - команда PowerCLI, с помощью которой можно узнать текущее значение настройки.
Помимо основного Excel-файла с настройками, в составе скачиваемого архива есть и руководство по применению настроек и работе с ними:
Скачать VMware vSphere Security Configuration Guide 7 одним архивом можно по этой ссылке. Конечно же, документ стоит посмотреть всем специалистам по ИБ, в компетенцию которых входит работа с безопасностью виртуальной инфраструктуры.
Недавно мы писали об анонсе Project Monterey на прошедшей конференции VMworld Online 2020. Это переработка архитектуры VCF таким образом, чтобы появилась родная интеграция новых аппаратных возможностей и программных компонентов. Например, новая аппаратная технология SmartNIC позволяет обеспечить высокую производительность, безопасность по модели zero-trust и простую эксплуатацию в среде VCF. Но на этом новости не закончились.
На днях VMware выпустила еще одно важное средство на сайте проекта VMware Labs - модуль ESXi-Arm. Это, по-сути, издание VMware ESXi для компьютеров с 64-битными процессорами архитектуры ARM. Пока, конечно же, в режиме технологического превью, созданного в целях сбора обратной связи от пользователей.
История проекта такова - группа инженеров внутри VMware решила портировать ESXi с архитектуры x86 на ARM, после чего энтузиасты внутри компании поддерживали согласование нововведений в гипервизоре в рамках платформы x86 с версией для ARM. Теперь эта версия ESXi считается доведенной до ума, и она была выпущена публично:
На данный момент в экспериментальном режиме было протестировано следующее оборудование:
Вы также можете управлять таким ESXi на архитектуре ARM с помощью обычного VMware vCenter 7.0 или более поздней версии.
Скачать VMware ESXi для ARM в виде загрузочного ISO-образа можно по этой ссылке. Документация доступна там же, правильный документ надо выбрать из комбобокса:
Также вот небольшое обзорное видео об установке ESXi на компьютер Raspberry Pi от Вильяма Лама:
Как вы все знаете, на прошлой неделе прошла главная конференция по виртуализации этого странного года - VMworld 2020 Online. Несмотря на то, что она прошла онлайн, было сделано немало интересных объявлений, а перед самой конференцией были анонсированы главные обновления продуктовой линейки. Одним из них был скорый выпуск новой версии платформы VMware vSphere 7 Update 1, который и состоялся:
На днях также появилась возможность скачать новые версии нескольких продуктов, помимо vSphere 7 U1. Давайте посмотрим, какие именно решения были выпущены:
Продолжаем рассказывать об анонсах прошедшей на прошлой неделе конференции VMworld 2020 Online. В прошлый раз мы рассказывали о проекте Project Monterey, который является продолжением развития технологии Project Pacific для контейнеров на базе виртуальной инфраструктуры, а сегодня расскажем о новой сертификации.
Программа VMware Certified Technical Associate (VCTA) предназначена для тех специалистов, которые осуществляют ежедневные операции в виртуальной инфраструктуре. Обучающий курс в рамках данной сертификации затрагивает операции в нескольких облачных окружениях, настройку сети, безопасность и управление устройствами.
Если сравнивать сертификацию VCTA и VMware Certified Professional (VCP), то можно сказать, что первая - это, в основном, для начинающих администраторов, которые только погружаются в тему и отвечают за Day-2 операции, а VCP предполагает понимание всех аспектов виртуальной инфраструктуры, включая ее проектирование, развертывание и настройку.
При этом VCTA не является каким-то обязательным условием сертификации VCP, ее может получить любой желающий. Обучение происходит на портале VMware Customer Connect Learning. Основные треки сертификации VCTA:
VCTA-DCV – доступно сейчас
VCTA-NV – доступно сейчас
VCTA-SEC – доступно сейчас
VCTA-CMA – скоро будет доступно
VCTA-DW – в разработке
VCTA-AM – в разработке
Экзамены можно сдавать в тестовых центрах Pearson или дома через платформу Pearson OnVue, где ведется живой онлайн-мониторинг сдаваемых онлайн экзаменов.
На данный момент о сертификации VCTA есть документ с вопросами и ответами, который дает основные пояснения к программе. Также 27 октября пройдет онлайн-вебинар (регистрация тут), где будут озвучены основные детали новой сертификации.
На сайте проекта VMware Labs появилось очередное бесплатное средство для администраторов VMware vSphere - SQL30. Эта штука представляет собой ORM-обертку для легковесной БД SQLITE под ESXi.
Python нативно поддерживает взаимодействие с SQLITE за счет модуля "sqlite" (или sqlite3 в python3). Ну а решение SQLAlchemy - это популярная ORM, используемая для взаимодействия с базами данных sqlite из Python. Однако это решение не работает на ESXi, так как многие его пакеты имеют зависимости от других пакетов, которые не могут быть установлены на ESXi.
Решение SQL30 как замена SQLAlchemy - весьма легковесно и написано только с использованием нативных конструкций Python, а также не имеет никаких внешних зависимостей, поэтому работает на ESXi 6.5 и более поздних версиях.
SQL30 вам пригодится для:
Возможности использования разработчиками интерфейсов Python на платформах с ограниченным применением, таких как ESXi
Предоставления разработчикам приложений доступа к базе данных без необходимости знания SQL
На VMware ESXi 6.5 будет использоваться версия Python 3.5, что ниже актуальной версии 3.6, но все равно лучше чем ничего.
Скачать SQL30 можно тут. Инструкции по установки приведены вот здесь.
Как вы знаете, на прошлой неделе компания VMware провела первую в истории онлайн-конференцию VMworld 2020 Online. Основные анонсы новых версий продуктов былисделаны еще до конференции, а VMware рассказывала, в основном, о новых технологиях и будущих продуктах для виртуального датацентра.
Одним из таких анонсов стала новость о разработке решения Project Monterey.
По заявлению VMware, Monterey - это продолжение развития технологии Project Pacific для контейнеров на базе виртуальной инфраструктуры, только с аппаратной точки зрения для инфраструктуры VMware Cloud Foundaton (VCF).
Потребности современных приложений, многие из которых работают в контейнерах, рождают повышенные требования к оборудованию, а особенно к ресурсам процессора. Также с каждым годом все больше ужесточаются требования к безопасности и изоляции систем.
Поэтому вендоры аппаратного обеспечения пытаются сделать высвобождение некоторых функций CPU, передав их соответствующим компонентам сервера (модуль vGPU, сетевая карта с поддержкой offload-функций и т.п.), максимально изолировав их в рамках необходимостей. Но вся эта новая аппаратная архитектура не будет хорошо работать без изменений в программной платформе.
Project Monterey - это и есть переработка архитектуры VCF таким образом, чтобы появилась родная интеграция новых аппаратных возможностей и программных компонентов. Например, новая аппаратная технология SmartNIC позволяет обеспечить высокую производительность, безопасность по модели zero-trust и простую эксплуатацию в среде VCF.
Также за счет технологии SmartNIC инфраструктура VCF будет поддерживать операционные системы и приложения, исполняемые на "голом железе" (то есть без гипервизора). В данном решении будет три основных момента:
Поддержка перенесения сложных сетевых функций на аппаратный уровень, что увеличит пропускную способность и уменьшит задержки (latency).
Унифицированные операции для всех приложений, включая bare-metal операционные системы.
Модель безопасности Zero-trust security - обеспечение изоляции приложений без падения производительности.
Вот так будет выглядеть сетевой адаптер сервера, поставляемый в партнерстве с вендорами оборудования:
Таким образом, это сетевая карта с обычным CPU, который занимается решением задач производительности и безопасности. Она будет состоять из следующих компонентов:
Стандартный процессор общего назначения (general-purpose CPU) - позволяет исполнять часть кода прямо на сетевом адаптере (сервисы сети и хранилищ), что существенно увеличивает производительность (за счет уменьшения пути для операций ввода-вывода) и экономии циклов CPU сервера.
Унифицированный процесс управления CPU сетевой карты, который предоставляет отдельный рабочий процесс, доступный из Lifecycle Manager.
Возможность предоставления виртуальных устройств - SmartNIC может шарить на PCI-шине несколько виртуальных устройств, которые будут показываться гостевым ОС отдельными карточками.
Часть стандартной функциональности сервера и его CPU теперь переезжает на сетевую карту SmartNIC в рамках инфраструктуры VCF:
Тут есть следующие интересные моменты:
ESXi on SmartNIC - да, теперь гипервизор будет работать на сетевой карте! Для этого VMware и делала порт ESXi для ARM-процессоров (помните анонсы 2018 года?), которые в основном и будут использоваться для устройств SmartNIC.
2 экземпляра ESXi на одном сервере - один на обычном CPU, а второй - на SmartNIC. Управлять ими можно как единым функциональным блоком, так и каждым гипервизором по отдельности.
Сервисы сети и доступа к хранилищам - за счет этих сервисов повышается быстродействие и разгружается основной процессор сервера.
SmartNIC ESXi теперь будет уметь управлять хостом ESXi, что упростит процедуры обслуживания жизненного цикла с помощью LCM.
Двойной контроль - если основной гипервизор скомпрометирован, то отдельный SmartNIC ESXi будет продолжать предоставлять сервисы защиты, что улучшает защищенность инфраструктуры.
Управление bare-metal операционными системами теперь будет происходить со стороны карточек SmartNIC, которые существенно упростят управление единой инфраструктурой датацентра.
Теперь архитектура VCF будет позволять шарить ресурсы SmartNIC и для сервисов на других серверах. Это открывает очень широкие возможности по построению кластеров, где ресурсы приложениям доступны из общего пула:
Все это будет поддерживать кластеры Kubernetes и решение VCF with Tanzu, что расширит сферу применения SmartNIC для крупных инфраструктур, где ресурсы и сервисы необходимо выделять по требованию, а не планировать конфигурации серверов под конкретные приложения. Конечно же, все будет управляться не только через консоли, но и через API.
В итоге, вариантами использования SmartNIC станут:
Сетевая производительность (передача сетевых функций на уровень адаптера) и безопасность (например, отдельный L4-7 фаервол на уровне сетевой карты).
Улучшение сервисов датацентра - например, с помощью Project Monterey можно будет использовать offloaded-сервисы доступа к хранилищам, сжатие и т.п., что повысит производительность без создания единого домена отказа и падения производительности. Это повысит гибкость использования решения и даст возможность применения таких сервисов, как dynamic storage profiles (для управления емкостями и операциями ввода-вывода, IOPS) и удаленный доступ к хранилищам по требованию.
Управление системами bare-metal - для тех, кто мечтал о единой консоли vSphere для физических и виртуальных систем.
Также все это сможет работать в гибридных облаках, как работают сейчас инфраструктуры VCF.
На данный момент главными аппаратными партнерами VMware в части технологии SmartNIC являются компании NVIDIA, Pensando и Intel. С точки зрения производителей серверов, первыми партнерами станут Dell Technologies, HPE и Lenovo. Этот список будет со временем расширен.
На прошедшем VMworld 2020 Online проекту Monterey были посвящены следующие сессии, которые вы можете найти тут:
После установки у вас появится утилита vcfkite, которая позволит управлять инфраструктурой VCF через SDDC Manager. Она является кроссплатформенной и протестирована на Linux CentOS и Windows 2012.
Сама утилита это wheel-пакет, который можно развернуть с помощью нативной команды pip3:
Основное назначение данного средства - дать пользователям удобный инструмент для управления VMware Cloud Foundation API с помощью простого языка Python.
Для начала работы вам понадобится Python версии 3.6 или более поздней, а также VCF 4.0.1 или более поздняя.
Скачать Python Utility for VMware Cloud Foundation Management можно по этой ссылке.
Какое-то время назад мы писали о новых возможностях недавно вышедшего обновления платформы виртуализации VMware vSphere 7 Update 1. Одним из главных улучшений стало увеличение максимальных параметров платформы, что привело к возможности организовывать кластер HA/DRS из еще большего числа хостов, а на самих хостах - исполнять виртуальные машины еще большего размера.
Данные нововведения можно проиллюстрировать следующей таблицей:
В кластере теперь может быть до 96 хостов, правда не все технологии поддерживают это число. Например, кластер VMware vSAN 7 Update 1 и топология HCI Mesh поддерживают все еще 64 хоста, а технология Native File Services в vSAN 7 U1 поддерживает только 32 хоста.
Самое большое улучшение - теперь в кластере может быть до 10 тысяч виртуальных машин, а это на 50% выше показателя vSphere седьмой версии:
Для виртуальных машин, находящихся под экстремальной нагрузкой, теперь поддерживается 768 виртуальных процессоров (vCPU) и до 24 ТБ памяти. Это больше, чем для виртуальных машин на любой из других облачных или онпремизных платформ:
К подобным нагрузкам можно отнести системы на базе SAP HANA и EPIC Cache Operational Database. Все эти ресурсы виртуальная машина может реально использовать:
Для виртуальной инфраструктуры в целом на базе одного кластера в Sphere 7 Update 1 максимальные показатели следующие: 393 216 vCPU (96 хостов по 4 096 vCPU) / 2.3 ПБ памяти (96 хостов по 24 ТБ):
Если говорить об исполнении контейнеров vSphere with Tanzu в такой инфраструктуре, то их может поместиться просто огромное количество. Согласно статистике, средний размер контейнера составляет 1 vCPU и 400 МБ памяти (например, контейнер node.js "кушает" 1/3 CPU и 384 МБ памяти). Таких контейнеров в одном кластере vSphere 7 U1 может быть запущено 393 216 штук. А контейнеров node.js можно запустить до миллиона экземпляров!
Многие из вас знают, что компания VMware с каждым новым релизом мажорной версии платформы vSphere улучшает техники горячей миграции виртуальных машин vMotion. Последнее обновление VMware vSphere 7 Update 1 - не исключение, там было сделано много для того, чтобы технология vMotion работала еще быстрее и обеспечивала нужды горячей миграции даже для самых тяжелых виртуальных машин.
Ранее vMotion могла не пройти для больших ВМ, которые имели более 64 vCPU и 512 ГБ памяти (они же Monster VMs). В документе "vMotion Innovations in vSphere 7.0 U1" можно найти конкретное описание улучшений. Давайте посмотрим на них вкратце.
Прежде всего, VMware полностью переписала технологию vMotion memory pre-copy с использованием нового механизма page-tracing, который существенно уменьшает время "заморозки" и переключения копии виртуальной машины на ее копию на другом хосте ESXi.
В документе выше для примера делается миграция vMotion сервера БД Oracle, запущенного в виртуальной машине с 72-vCPU / 1 TБ памяти на борту. На картинке ниже показано число тразакций в секунду с шагом как раз в секунду - до, во время и после vMotion (тест HammerDB):
Основные выводы теста, проведенного для такой нагрузки:
Общее время миграции уменьшилось более чем в 2 раза (с 271 секунды до 120 секунд)
Итоговое время для установления трассировки уменьшилось с 86 секунд до 7.5 секунд (снизилось в 11 раз)
Общее проседание пропускной способности во время миграции - на 50% для vSphere 6.7 и всего лишь 5% для vSphere 7.0 Update 1
Ответ Oracle во время переключения в среднем стал менее одной секунды, а ранее составлял более 6 секунд
Второй тест проводили для миграции vMotion сервера БД Oracle в виртуальной машине с 12 vCPU / 64 ГБ памяти для vSphere 6.7 и vSphere 7.0 U1. На картинке ниже показано число транзакций в секунду с шагом в полсекунды - до, во время и после vMotion (тест HammerDB):
Основные результаты теста:
Общее время горячей миграции сократилось с 23 секунд в vSphere 6.7 до 11 секунд в vSphere 7.0 U1 (уменьшение в 2 раза)
Итоговое время для установления трассировки уменьшилось с 2.8 секунд до 0.4 секунд (снизилось в 7 раз)
Увеличение полосы пропускания где-то на 45% (около 3480 транзакций в секунду, по сравнению с 2403 транзакции в секунду)
На сайте VMware Labs появилась очень нужная многим администраторам вещь - генератор сертификатов VMCA Certificate Generator. С помощью этой утилиты можно получить сертификаты, подписанные центром сертификации VMware Certificate Authority (VMCA) со стороны сервера VMware vCenter / Platform Services Controller (PSC), и использовать их в сервисах VMware или любых других сторонних сервисах.
Это может потребоваться, когда у вас в компании нет собственного Certificate Authority (например, у вас маленький бизнес или своя лаба), чтобы подписывать сертификаты, но, в то же время, вам нужно генерировать сертификаты для ваших служб.
Полученные сертификаты можно использовать для таких продуктов, как vRealize Suite и NSX, а также других из корпоративной линейки VMware. Надо понимать, что если вы доверяете корневому сертификату VMCA, то вы доверяете и всем службам, использующим данные сертификаты.
Срок действия сертификатов вы не можете настраивать, это зависит от версии vCenter. Для vCenter 7.0 вы получите сертификаты сроком действия 2 года.
VMCA Certificate Generator поставляется в виде .jar-файла, который нужно открывать по правой кнопке и выбирать пункт меню "open with jar Launcher", либо надо выполнить следующую команду:
java -jar vmca-cert-generator.jar
Выглядит интерфейс утилиты следующим образом:
Для соединения с vCenter/PSC нужно заполнить данные доступа к серверу и данные сертификата, который необходимо выписать. Далее нужно нажать кнопку "START". Начнется процесс создания сертификата с выводом лога, после чего станет активна кнопка "DOWNLOAD", по нажатию на которую вы получите zip-архив со следующим содержимым:
certool.cfg - конфиг настроек сертификата
root.cer - корневой VMCA-сертификат
Ключи private.key и public.key
.cer - сертификат в формате X509
.pfx - зашифрованный сертификат в формате PKCS#12 (пароль для него будет тот, который вы указывали в форме выше)
chain-with-privkey.pem - цепочка сертификата, включая приватный ключ
chain-without-privkey.pem - цепочка сертификата без приватного ключа
Разные сервисы требуют сертификаты в различных форматах, поэтому данный комплект очень полезен - вам не нужно будет конвертировать сертификаты.
Для работы генератора вам потребуется среда Java Runtime (протестирована версия 1.8.x) и сервер
vCenter 6.7 / 7.0. Скачать VMCA Certificate Generator можно по этой ссылке.
Как многие из вас знают, в последние пару лет очень сильно увеличилось число и масштаб атак, связанных с уязвимостями в аппаратном обеспечении. Наибольшую известность получили уязвимости Meltdown и Spectre, которые были обнаружены в процессорах Intel.
Самый неприятный момент, связанный с подобного рода уязвимостями - это то, что поскольку они связаны с аппаратной частью процессоров на самом низком уровне, то, во-первых, ее сложнее исправить и доставить конечным пользователям, а, во-вторых, неправильное обновление, закрывающее эти дырки, может вызвать различные побочные эффекты.
Так, например, было с производительностью серверов VMware ESXi, когда производители ОС совместно с Intel выпустили соответствующие обновления, а VMware выпустила закрывающий уязвимость патч. Сам патч тогда пришлось отозвать и ждать нового, а ведь это потраченного время администраторов, время пользователей и время, в течение которого существует угроза безопасности инфраструктуры предприятия.
Поэтому производители процессоров, совместно с вендорами платформ виртуализации, сейчас уделяют этому моменту особое внимание. Конечно же, в этом направлении работает и AMD, которая активно внедряет следующие технологии:
Secure Encrypted Virtualization (SEV) - первая версия технологии, анонсированная в 2016 году. Она позволяет изолировать виртуальные машины от гипервизора, со стороны которого может быть угроза безопасности при его компрометации. Если гипервизор попытается считать память гостевой ОС, он увидит только зашифрованные данные.
SEV-ES (Encrypted State) - вторая версия технологии, представленная в 2017 году. Она дополняет защиту памяти гостевой ОС шифрованием регистров CPU гостевой ОС. Таким образом, гипервизор не может видеть регистры процессора, активно используемые виртуальной машиной.
SEV-SNP (Secure Nested Paging) - следующее поколение технологии, которое было анонсировано в этом году. Оно добавляет функции аппаратной безопасности для контроля над интеграцией памяти гостевых ОС, что защищает от таких атак, как data replay, memory re-mapping и других (подробнее тут и на картинке ниже).
В недавнем обновлении платформы виртуализации VMware vSphere 7 Update 1 появилась поддержка технологии SEV-ES (Encrypted State), которая должна еще больше защитить от потенциальных уязвимостей, связанных с доступом к данным в рамках процессора. Работает это на процессорах AMD EPYX 7xx2 CPU
или более поздних и требует VM Virtual Hardware версии 18, которое появилось в Update 1.
Надо начать с того, что у VMware уже есть защита памяти и данных гостевой ОС на уровне платформы (а в самих ОС тоже есть средства защиты памяти и процессора), но, само собой, эти механизмы на надежны на 100%, потому что ключевой компонент платформы - гипервизор, обладает очень широкими полномочиями (в виду необходимости), и при его компрометации ничего особо не поможет. Поэтому самое разумное - это поддержать подход изоляции ВМ от гипервизора на аппаратном уровне. Он, кстати, называется Trusted Execution Environment (TEE).
Подход AMD заключается в том, что они добавляют специальный Secure Processor, маленький сопроцессор, интегрированный в основной чип CPU, который является основой безопасности и поддерживает операции шифрования, в том числе и для SEV-ES.
Первое поколение EPYC CPU поддерживало хранение только 15 ключей шифрования, но следующее поколение уже поддерживает более 500. Один из таких ключей используется для гипервизора, а остальные - для гостевых систем.
Для чего вообще нужно защищать регистры процессора гостевых систем? Очень просто - когда виртуальная машина переключает контекст исполнения (меняет процессор), гипервизор получает ресурсы CPU обратно, вместе с содержимым регистров. А в них может храниться много "полезного" для злоумышленника - например, ключи для расшифровки дисков гостевой системы.
Работает механизм ключей так - гостевая ОС запрашивает у процессора с поддержкой SEV ключ шифрования для памяти, а SEV-ES расширяет его и на регистры процессора тоже, после чего гостевая ОС может безопасно использовать память и регистры, не беспокоясь что гипервизор или другие ВМ, изолированные в рамках процессов VMX, считают их содержимое. Очевидно, что гостевая ОС тоже должна поддерживать реализацию SEV-ES (поэтому надо читать соответствующую документацию к ним, чтобы узнать о поддержке).
Самым большим минусом использования технологии SEV-ES является невозможность поддержки таких техник, как vMotion, Memory Snapshots, Guest Integrity, Hot Add, Suspend & Resume, Fault Tolerance и горячих клонов - ведь для их реализации гипервизор должен иметь прямой доступ к памяти гостевых систем. В то же время надо отметить, что это не ограничение от AMD, которая заявляет, что SEV поддерживает live migration и прочее, а ограничение реализации от VMware.
В большинстве производственных окружений невозможность применения этих технологий будет ограничивать использование SEV-ES только системами, требующих наивысшего уровня защищенности.
С другой стороны, например, недавно вышедшее решение vSphere with Tanzu не использует vMotion для машин с контейнерами виртуализованных приложений - они просто выключаются на одном хосте и включаются на другом, то есть здесь есть перспективы применения SEV-ES.
Также использованием технологии SEV-ES можно управлять в пакетном режиме сразу для нескольких тысяч виртуальных машин через интерфейс PowerCLI, что особенно актуально для контейнеров Tanzu. На данный момент VMware еще не опубликовала официальный референс по командлетам для SEV-ES, ждем.
Ну и недавно VMware выпустила интересное видео, рассказывающее о первой имплементации технологии SEV-ES в платформе VMware vSphere 7 Update 1:
Как итог можно отметить, что пока такие технологии, как Secure Encrypted Virtualization имеют достаточно узкое применение ввиду их ограничений. Однако это лишь первые шаги, которые производители процессоров делают совместно с вендорами платформ виртуализации, чтобы защитить ИТ-среду предприятия он новой волны атак на программно-аппаратную инфраструктуру датацентра. Дальше все это будет развиваться, будет и поддержка AMD SEV-SNP, что уже будет существенно уменьшать поверхность возможных атак.
На этой неделе компания VMware опубликовала новость об окончании поддержки браузера Internet Explorer 11. Шаг этот совершенно логичен, поскольку сама Microsoft анонсировала окончание поддержки Explorer 11 продуктами линейки MS365 (вот официальный guidance). Пользователям предлагается мигрировать на браузер Edge.
Поддержка IE 11 будет прекращена всеми активными версиями vSphere Client, начиная со следующего за vSphere 7.0 Update 1 релиза платформы. На самом деле, де-факто IE 11 был в опале уже довольно давно, и его использует менее 2% пользователей согласно статистике (большинство, конечно же, корпоративные). Одна из причин, помимо качества предоставляемого сервиса (стабильность и производительность) - недостаточная защищенность (смотрим пример от января этого года).
Также IE не поддерживает новые возможности HTML5, не имеет полной поддержки CSS, WebAPI и WebGL. Работает vSphere Client в IE намного хуже, чем в других современных браузерах. Также там возникает много ошибок, работая с которыми VMware тратит много ресурсов.
Таким образом, скоро IE 11 вылетит из списка совместимых браузеров для vSphere Client. Случится это для всех версий с выходом vSphere 7 Update 2. В общем, имейте в виду.
Одной из новых возможностей VMware vSphere 7 U1 стала служба vSphere Clustering Service (vCLS), которая позволяет организовать мониторинг доступности хостов кластера vSphere, без необходимости зависеть от служб vCenter.
Как вы знаете, кластер HA/DRS очень зависит от постоянной доступности сервисов vCenter, который является критическим звеном виртуальной инфраструктуры. Поэтому для него организовывают такие сервисы, как vCenter Server High Availability (VCHA), но и они не идеальны. Также проблема наблюдается при масштабировании кластеров в больших окружениях, которые объединяют онпремизные и облачные площадки, где масштабируемость vCenter является серьезной проблемой.
Учитывая это, VMware придумала такую штуку - сажать на хосты кластера 3 служебных агентских виртуальных машины, составляющих vCLS Control Plane, которые отвечают за доступность кластера в целом:
Таких виртуальных машин три в кластере, где 3 или более хостов, и две, если в кластере два хоста ESXi. Три машины нужны, чтобы обеспечивать кворум (2 против 1) в случае принятия решения о разделении кластера.
Три этих виртуальных машин следят друг за другом и оповещают об этом кластерные службы vCenter:
Это самокорректирующийся механизм, что значит, что если одна из агентских машин становится недоступной или выключенной, то службы vCLS пытаются самостоятельно наладить работу ВМ или включить ее.
Есть 3 состояния служб vCLS:
Healthy – как минимум 1 агентская ВМ работает в кластере, чтобы обеспечить доступность кластера развертываются 3 ВМ для кворума.
Degraded – как минимум одна агентская машина недоступна, но DRS продолжает функционировать и исполнять свою логику. Такое может, например, произойти при передеплое служебных машин vCLS или после какого-то события, повлиявшего на их "включенность".
Unhealthy – логика DRS не выполняется (балансировка или размещение ВМ), так как vCLS control-plane недоступна (то есть ни одной агентской ВМ не работает).
Легковесные машины-агенты исполняются на хостах ESXi и лежат на общих хранилищах, если общие хранилища недоступны - то на локальных дисках. Если вы развернули общие хранилища после того, как собрали кластер DRS/HA (например, развернули vSAN), то рекомендуется перенести агентские ВМ с локальных хранилищ на общие.
Сама гостевая ОС агентских ВМ очень легковесная, используется Photon OS следующей конфигурации:
Диск в 2 ГБ - это тонкий диск, растущий по мере наполнения данными (thin provisioned). Эти машины не имеют своего нетворка, а также не видны в представлении Hosts and Clusters в клиенте vSphere.
Агентские ВМ можно увидеть в представлении VMs and Templates где есть папка vCLS:
Обратите внимание, написано, что для агентских ВМ управление питанием производится со стороны служб vCLS. Если вы попытаетесь выключить эти ВМ, то будет показано следующее предупреждение:
При переводе кластера в режим обслуживания vCLS сам заботится о миграции агентских ВМ с обслуживаемых серверов и возвращении их обратно. Для пользователя это происходит прозрачно. И, конечно же, лучше не выключать эти ВМ вручную и не переименовывать папки с ними.
Жизненный цикл агентских ВМ обслуживается со стороны vSphere ESX Agent Manager (EAM).
EAM отвечает за развертывание и включение агентских ВМ, а также их пересоздание, если с ними что-то произошло. В анимации ниже показано, как EAM восстанавливает ВМ, если пользователь выключил и/или удалил ее:
Важный момент для разработчиков сценариев PowerCLI - это необходимость обрабатывать такие ВМ, чтобы случайно не удалить их. Например, ваш скрипт ищет неиспользуемые и забытые ВМ, а также изолированные - он может по ошибке принять машины vCLS за таковые и удалить, поэтому их надо исключать в самом сценарии.
В интерфейсе vSphere Client список агентских ВМ можно вывести в разделе "Administration > vCenter Server Extensions > vSphere ESX Agent Manager".
У агентских ВМ есть свойства, по которым разработчик может понять, что это они. В частности:
ManagedByInfo
extensionKey == "com.vmware.vim.eam"
type == "cluster-agent"
ExtraConfig keys
"eam.agent.ovfPackageUrl"
"eam.agent.agencyMoId"
"eam.agent.agentMoId"
Основное свойство, по которому можно идентифицировать агентскую ВМ, это HDCS.agent, установленное в значение "true". В Managed Object Browser (MOB) выглядит это так:
Ну и напоследок - небольшое демо технологии vSphere Clustering Service:
Как вы знаете, у компании VMware есть клиент для управления отдельными хостами VMware ESXi, который называется VMware ESXi Embedded Host Client. Последний раз обновлялся он в феврале прошлого года, и VMware не уделяет ему никакого внимания.
Между тем, VMware рассказала о том, что в ближайшем будущем эта недоработка будет исправлена. Дело в том, что интерфейс существующего хост-клиента построен на базе фреймворка Angular JS web framework, последний стабильный релиз которого 1.7 вошел в фазу long term support 30 июня 2018 года. Начиная с 1 января 2022 года, Angular JS больше не будет поддерживаться со стороны Google.
Последующие релизы фреймворка (Angular 4 и более поздние) не будут совместимы с Angular JS. Соответственно, VMware пора уходить с технологии, которая скоро устареет. Поэтому Host Client переедет с технологии Angular JS на последнюю версию Angular web framework (сейчас это Angular 9).
Вместе с этим произойдет и удаление компонентов, которые зависят от Angular JS, а также апдейт основного графического фреймворка Clarity на третью версию.
Собственно, это та причина, по которой VMware не обновляет текущий ESXi Host Client. Этот клиент больше не будет получать новых возможностей, но будет получать некоторые текущие обновления.
А вот новый клиент выйдет уже как Single host managing UI (он же ESXi UI) во второй половине 2021 года.
Для старого клиента будут предоставляться только следующие обновления:
Только доступность самых критичных блоков функциональности и обеспечение апдейтов безопасности
Поддержка текущих рабочих процессов, для которых нет альтернативы
Решение проблем с производительностью
Все прочие проблемы, которые могут привести к оттоку пользователей клиента
Новый ESXi UI будет являться частью ESXi Client и будет построен на базе Clarity 3 в его составе. Соответственно все процессы управления отдельным хостом ESXi будут аналогично таковым в рамках кластера под управлением vCenter.
VMware выпустит этот клиент как только сможет реализовать там все основные рабочие процессы и операции жизненного цикла текущего Host Client, включая развертывание ВМ, конфигурацию, мониторинг, решение проблем и обновление. Это займет время, поэтому нам и ждать полноценной версии где-то год.
Но первую версию нового клиента с базовой функциональностью нам обещают уже в первом квартале следующего года.
Недавно мы писали о новых возможностях платформы виртуализации VMware vSphere 7 Update 1, а также решения для создания отказоустойчивых хранилищ на базе хостов VMware vSAN 7 Update 1. В статье о vSAN мы упоминали о том, что VMware расширяет службы vSAN Native File Services за счет поддержки протокола SMB. Он интегрирован с Microsoft Active Directory и поддерживает аутентификацию Kerberos. Давайте посмотрим на эти возможности подробнее.
Во-первых, начнем с небольшого обзора от Дункана Эппинга:
Поддержка протокола SMB была введена в vSAN не просто так - целью была поддержка постоянных томов read-write many (RWM) volumes для cloud native applications (то есть современных приложений, исполняемых в контейнерах Docker под управлением Kubernetes). Для доступа поддерживаются хранилища SMB версий v2.1, так и v3 (SMB v1 находится в статусе Deprecated).
SMB-хранилища, создаваемые в vSAN, могут быть доступны из Windows-клиентов (версии 8/2012+) и Mac-клиентов (OS 10 и позднее). Это, совместно с поддержкой Active Directory, делает SMB-хранилища отличным вариантом для:
VDI-сценариев, где пользователи предпочитают перенаправление каталога user/home на выделенную файловую шару.
Файловые ресурсы, обслуживающие различные топологии (например, удаленные офисы или филиалы), могут управляться напрямую из vSAN, без необходимости иметь отдельную ВМ для предоставления общего доступа к папкам.
Файловые шары видны через Windows MMC, где администраторы могут:
Смотреть число клиентских соединений к шаре
Смотреть число открытых файлов
Управлять разрешениями и безопасностью (в стиле NTFS)
Закрывать клиентские соединения
Закрывать открытые файлы
Как мы писали выше, поддерживается и протокол аутентификации Kerberos, который предотвращает доступ NFS-клиентов через более уязвимые методы доступа, такие как auth_sys. vSAN поддерживает 3 модели аутентификации:
KRB5, который проводит только безопасную аутентификацию (только на NFS v4.1)
KRB5I, включая аутентификацию и проверку контрольных сумм
KRB5P, включая аутентификацию, проверку контрольных сумм и шифрование
Надо отметить, что несмотря на то, что VMware vSphere 7 U1 поддерживает кластеры до 64 хостов, службы Native File Services поддерживают доступ до 32 хостов к файловым шарам.
Теперь службы Skyline Health (ранее это называлось "vSAN Health") содержат дополнительные хэлсчеки, включая file server health и share health:
Тут есть три основных типа проверок:
Проверки Infrastructure health checks - развернута ли машина FSVM и демон VDFS, а также есть ли файловая система root на хосте. Если чего-то из этого нет, то проверка показывает красный сигнал.
Проверки File Server Health checks показывают, все ли в порядке с файловым сервером на отдельных хостах, и есть ли там файловая система root. Если что-то из этого не в порядке - показывается красный сигнал.
Проверки Share Health отвечают за статус объектов файловых шар. Если служба протокола не работает для данного объекта, то показывается красный сигнал. Также могут быть оповещения для шар - и тогда будет желтый.
Для файловых шар SMB появился мониторинг производительности в интерфейсе vSAN UI. Можно смотреть за пропускной способностью (throughput), IOPS, задержками (latency) на уровне отдельной шары в реальном времени. Можно увеличивать временное окно просмотра для отдельных метрик. Также эти метрики доступны через API, поэтому такие продукты, как vRealize Operations также будут их использовать.
Доступную емкость SMB-хранилищ можно отслеживать через vSAN Capacity view:
Если вы нажмете на ссылку File shares overview в левом нижнем углу, то сможете открыть просмотр емкости на уровне отдельных шар. На картинке ниже представлен микс из SMB и NFS хранилищ, столбики в Usage/Quota показывают жесткие аппаратные квоты с цветовым кодированием заполненности:
Ну и напоследок небольшой обзор VMware vSAN File Services от VMware:
На сайте проекта VMware Labs вышла очередная полезность - сценарий для интеграции VMware vRealize Network Insight (vRNI) и VMware HCX. Напомним, что vRNI - это решение для мониторинга и защиты сетевой инфраструктуры виртуальной среды на уровне приложений, а HCX - продукт для миграций с различных опремизных инфраструктур (на базе как vSphere, так и Hyper-V или KVM) в облако на базе VMware vCloud.
С помощью данного скрипта администраторы VMware vSphere могут упростить и ускорить процесс миграции виртуальных машин. Сначала сценарий за счет vRNI обнаруживает приложение и его границы использования сети и ресурсов в рамках виртуальной машины, после чего создает под него структуры внутри самого vRNI.
Затем эти vRNI application constructs интегрируются в объекты HCX Mobility Groups, экономя время на ручное создание этих сущностей. После подготовки объектов вы можете начать сам процесс миграции виртуальных машин.
Для работы сценария оба продукта vRNI и HCX должны иметь лицензию Enterprise, также у вас должны быть установлены модули PowervRNI and the PowerCLI HCX.
Пример использования сценария:
$vrni_pw = ConvertTo-SecureString 'admin' -AsPlainText -Force
$hcx_pw = ConvertTo-SecureString 'VMware1!' -AsPlainText -Force
./sync-vrni-to-hcx.ps1 -vRNI_Server 10.196.164.134 -vRNI_Username admin@local -vRNI_Password $vrni_pw -HCX_Server hcxe.vrni.cmbu.local -HCX_Username hcx@cmbu.local -HCX_Password $hcx_pw -HCX_DestinationVC vc-pks.vrni.cmbu.local -HCX_DestinationCloud hcxc.vrni.cmbu.local
[03-05-2020_05:19:59] Connecting to vRealize Network Insight..
[03-05-2020_05:20:01] Retrieving all applications..
[03-05-2020_05:20:20] Found application: 'onprem_imagic' with 6 VMs
[03-05-2020_05:20:22] Found application: '3TierApp02' with 1 VMs
[03-05-2020_05:20:25] Found application: 'HIVE Training' with 1 VMs
[03-05-2020_05:20:27] Found application: 'VDI Pool 1' with 8 VMs
[03-05-2020_05:20:29] Found application: 'app_mcclanahanc' with 2 VMs
[03-05-2020_05:20:31] Found application: 'Top-Video' with 15 VMs
[03-05-2020_05:20:33] Found application: 'F5-3TierApp05' with 5 VMs
[03-05-2020_05:20:34] Connecting to VMware HCX..
[03-05-2020_05:20:48] Created Mobility Group: 'onprem_imagic_2020-03-05'
[03-05-2020_05:20:49] Created Mobility Group: '3TierApp02_2020-03-05'
[03-05-2020_05:20:50] Created Mobility Group: 'HIVE Training_2020-03-05'
[03-05-2020_05:20:51] Created Mobility Group: 'VDI Pool 1_2020-03-05'
[03-05-2020_05:20:52] Created Mobility Group: 'app_mcclanahanc_2020-03-05'
[03-05-2020_05:20:53] Created Mobility Group: 'Top-Video_2020-03-05'
[03-05-2020_05:20:54] Created Mobility Group: 'F5-3TierApp05_2020-03-05'
Основной фишкой первого пакета обновления седьмой версии vSphere стал, конечно же, финальный выпуск платформы VMware vSphere with VMware Tanzu, объединяющей миры виртуальных машин и контейнеризованных приложений в рамках инфраструктуры предприятия.
Вот небольшой обзор платформы VMware vSphere with Tanzu, о первых объявлениях компонентов которой мы уже писали тут и тут (а о текущей версии рассказано в блоге VMware):
Нововведения vSphere 7 U1 разбиты на 3 блока:
Инфраструктура для разработчиков (контейнеры)
Продолжение масштабирования возможностей платформы
Упрощение операций администраторов
Итак, давайте посмотрим, что нового в VMware vSphere 7 Update 1:
1. Инфраструктура для разработчиков
Здесь VMware добавила следующие важные возможности:
Служба Tanzu Kubernetes Grid (TKG) - о ней мы упоминали вот тут. Она позволяет администраторам развертывать Kubernetes-окружения и управлять их составляющими с помощью решения для кластеров Tanzu Kubernetes. Делается это теперь за минуты вместо часов. Также TKG идет в соответствии с политиками upstream Kubernetes, что позволяет сделать процесс миграции максимально бесшовным.
Bring Your Own Networking - пользователи могут выбирать, какой сетевой стек использовать для кластеров Tanzu Kubernetes. Можно использовать традиционную инфраструктуру на базе vSphere Distributed Switch (vDS) для конфигурации, мониторинга и администрирования виртуальных машин и кластеров Kubernetes. Новый Networking for Tanzu Kubernetes clusters позволяет использовать и решения VMware NSX. Также можно использовать Antrea для максимальной производительности внутренней сети для сервисов Tanzu Kubernetes Grid.
Bring Your Own Load Balancer - можно выбирать тип балансировки L4 для кластеров Tanzu Kubernetes. Первым партнером VMware стало решение HAProxy в формате виртуального модуля OVA.
Application-focused management - теперь пользователи могут применять vCenter не только для управления виртуальными машинами, но и для обслуживания, мониторинга и траблшутинга инфраструктуры контейнеров, включая приложения и неймспейсы (подход application focused management).
2. Продолжение масштабирования возможностей платформы
В этой категории нужно отметить следующие возможности:
Monster VMs - для пользователей решений SAP HANA, Epic Operational Databases, InterSystems Cache и IRIS компания VMware позволяет масштабировать виртуальные машин до 24 ТБ памяти и до 768 виртуальных процессоров (vCPU). То есть все ресурсы хоста могут быть предоставлены виртуальной машине, требующей их большое количество. Это было сделано за счет улучшения планировщика ESXi, а также логики ко-шедулинга для больших ВМ.
Cluster scale enhancements - теперь в vSphere 7 U1 кластер может содержать до 96 хостов! Это на 50% больше значения в релизе vSphere 7 (64 штуки):
3. Упрощение операций администраторов
vSphere Lifecycle Manager - теперь vLCM поддерживает и хосты vSAN, и конфигурацию сетевого стека NSX-T. В vSphere 7 Update 1 решение vLCM также мониторит соответствие образов непрерывно, что позволяет вовремя запустить процесс обновления (remediation).
vSphere Ideas - эта функциональность позволяет пользователям запросить возможности vSphere следующих версий прямо из интерфейса vSphere Client, отслеживать статус своих запросов, видеть запросы других пользователей и голосовать за них. Не факт, конечно, что к вам прислушаются, но общую обстановку по тому, что хотят администраторы, вы будете видеть.
vCenter Connect - теперь пользователи могут управлять своими виртуальными ресурсами VMware Cloud on AWS или в других облаках на базе vCenter из единого интерфейса.
Доступность для загрузки VMware vSphere 7 Update 1 ожидается в рамках или после конференции VMworld Online 2020. Следите за нашими обновлениями!
RSS
