Новости Статьи Российское ПО VMware Veeam StarWind vStack Microsoft Citrix Symantec События Релизы Видео Контакты Авторы RSS
Виртуализация и виртуальные машины

Все самое нужное о виртуализации и облаках

Более 6360 заметок о VMware, AWS, Azure, Veeam, Kubernetes и других

VM Guru | Ссылка дня: Полный список лабораторных работ VMware Hands-on Labs

Новая версия средства для генерации и тестирования нагрузки приложений в виртуальных ПК - Login PI Release 3 от Login VSI.


Несколько недель назад компания Login VSI, известная своими бенчмарками для виртуальных сред, выпустила обновленную версию своего средства для генерации и тестирования нагрузки приложений в виртуальных ПК - Login PI Release 3. Напомним, что о прошлой версии этого продукта мы писали вот тут.

На наш взгляд, это наиболее продвинутое средство тестирования производительности приложений в виртуальных десктопах на сегодняшний день.

Давайте посмотрим, что нового появилось в Login PI Release 3:

1. Технология Deep Application Performance Testing.

Она позволяет строить расширенные рабочие процессы с помощью логических условных выражений, что позволяет настроить нагрузку в соответствии с требованиями реальных производственных окружений. Сами приложения могут быть добавлены без использования скриптов.

  • Воркфлоу можно создавать с помощью функций автодополнения (intellisense) и подсветки синтаксиса. Их можно редактировать без соединения с бэкендом Login PI, то есть на клиенте без задержек.
  • Более гранулярные действия в рабочих процессах и возможность более детального планирования событий, что позволяет точнее настраивать симулированных пользователей и удобнее оркестрировать их поведение.
  • Расширенная поддержка сторонних приложений (EPIC, Cerner, AllScripts и т.п.), приложений пользователей (Microsoft Office), а также тесно интегрированных сторонних плагинов, рабочих процессов и скриптов.

2. Новая архитектура Login PI Release 3.

Здесь появились следующие улучшения:

  • Теперь поставляется как виртуальный модуль (virtual appliance) и развертывается за несколько минут.
  • За счет использования REST API теперь можно интегрировать Login PI с традиционными решениями для мониторинга, такими как SCOM, или системами управления инцидентами, например, ServiceNow, а также big-data анализаторами (например, Splunk).
  • Login PI R3 поддерживает соединения через RDP, PCoIP, Blast Extreme, Citrix ICA/HDX, NetScaler и любые другие.
  • Повышенная безопасность продукта.

3. Новый интерфейс.

В продукте были улучшены все дэшборды, которые теперь предоставляют более детальную информацию, дают ее более удобном для понимания виде для технического и бизнес-ориентированного персонала.

  • Новый интерфейс для конфигурации, репортинга и быстрых выводов (quick insights) в плане производительности.
  • Более детальная информация и умная агрегация данных на высокоуровневых дэшбордах для проверки и анализа нескольких серверных ферм в разных локациях, а также для нескольких клиентов (удобно для сервис-провайдеров).

4. Проактивный мониторинг.

С помощью функций проактивного мониторинга можно наблюдать за производительностью VDI-инфраструктуры и выявлять потенциальные проблемы еще до их возникновения. Это делается за счет определения метрик производительности на симулированных пользователях при условиях, которые возникнут в будущем.

Скачать пробную версию Login PI Release 3 можно по этой ссылке.

Таги: VMware, VDI, Login PI, Performance, Update

Новое на VMware Labs - vSphere PKS Plugin.


Некоторое время назад мы рассказывали об анонсах конференции VMworld Europe 2018, одним из которых была покупка компании Heptio, предоставляющая решения для управления контейнерами платформы Kubernetes в облаке. Ну а на днях на сайте проекта VMware Labs появился плагин к vSphere Client, который позволяет видеть кластеры и узлы Kubernetes, которые находятся под управлением Pivotal Container Service - vSphere PKS Plugin.

Возможности плагина PKS:

  • Визуализация, настройка и управление кластерами Kubernetes, развернутыми и управлеяемыми с помощью PKS.
  • Средства просмотра нижележащей инфраструктуры для контейнеров, включая виртуальные машины, сетевые ресурсы и объекты хранилищ, которые созданы в кластере Kubernetes, развернутом в окружении VMware vSphere.
  • Единая точка просмотра компонентов кластера Kubernetes, включая узлы и сетевые объекты, такие как роутеры, логические коммутаторы и балансировщики.
  • Простой интерфейс для доступа к кластеру через kubectl и дэшборд.

Для работы плагина вам понадобятся следующие компоненты:

  • PKS v1.2.x
  • NSX-T v2.3
  • vSphere v6.7.x, v6.5 U1, U2

Загрузить vSphere PKS Plugin можно по этой ссылке (там же вы найдете и документацию).


Таги: VMware, vSphere, Docker, PKS, Labs, Kubernetes

3 очень серьезных бага VMware vSphere - обязательно накатите обновления!


Совсем недавно стало известно о трех очень серьезных багах в платформе VMware vSphere, которые затронули, как платформу vSphere 5.x/6.x, так и средство создания отказоустойчивых хранилищ для виртуальных машин VMware vSAN 6.6/6.7.

1. Повреждение данных виртуальных дисков снапшотов формата SEsparse.

Начиная с VMware ESXi 5.5, диски стапшотов виртуальных машин стали создаваться в формате SEsparse. Такой диск создается в ESXi 5.5 если диск машины более 2 ТБ, а начиная с ESXi 6.0 / VMFS6 - он используется для снапшотов всех машин. Так что под угрозой практически все виртуальные машины со снапшотами. А ведь снапшоты используются всеми ВМ, для которых применяется резервное копирование через механизм vSphere API for Data Protection (например, с помощью продукта Veeam Backup and Replication).

Ну а суть бага заключается в том, что блоки данных могут оказаться поврежденными, что приводит к неконсистентности файлов для приложений (например, баз данных), а также иногда к невозможности загрузки виртуальной машины!

Баг и возможные способы решения описаны в KB 59216. В vSphere 6.7 Update 1 баг уже пофикшен. Для остального есть следующие апдейты:

Для ESXi 5.5 обновления нет, но вы можете отключить функцию "IO coalescing" для формата дисков SEsparse. Делается это следующей командой:

esxcli system settings advanced set -i 0 -o /COW/COWEnableIOCoalescing

2. Проблема консистентности виртуальных дисков машин на платформе vSAN 6.6.

Аналогично багу из прошлого пункта, здесь может произойти неприятность с целостностью данных виртуальных машин, которые работают в кластере хранилищ VMware vSAN 6.6. Это может случиться в следующих обстоятельствах:

  • vSAN начинает процесс ресинхронизации
  • В этот момент вы расширяете диск VMDK виртуальной машины
  • vSAN снова начинает ресинхронизировать уже расширенный диск виртуальной машины

Проблема описана в KB 58715. В этом случае вы сможете только восстановить консистентность виртуальных машин, но сами данные приложений вы уже не вернете.

Для устранения бага накатите патчи на vSAN:

Также вы можете временно избежать проблемы, выполнив такую команду на каждом хосте ESXi:

esxcfg-advcfg -s 0 /VSAN/ClomEnableInplaceExpansion

3. Получение доступа root к хосту ESXi из виртуальной машины.

Если вы используете виртуальные машины с драйвером сетевого адаптера vmxnet3 (у него был еще один отдельный баг), то для непропатченных хостов есть возможность получения доступа root к шеллу ESXi из виртуальной машины.

Кстати, это было публично показано впервые:

Информация об этой уязвимости опубликована в VMware advisory VMSA-2018-0027. Там же есть и названия необходимых вам патчей (обратите внимание, что багу подвержены также и платформы Workstation / Fusion).


Таги: VMware, vSphere, Bug, Bugs, vSAN, Security, VMachines, Storage, Networking

Документ о тестировании работы баз данных Oracle в All-Flash кластере VMware vSAN 6.7.


Компания VMware выпустила документ, касающийся работы баз данных Oracle Database 12c на платформе VMware vSAN - Oracle Database on VMware vSAN 6.7. Основная тема дока - тестирование числа операций ввода-вывода (IOPS) и latency операций СУБД на хостах в All-Flash конфигурации, когда и ярус кэширования, и ярус хранения реализован на SSD-дисках:

В документе рассматривается 4 ключевых аспекта для реализации тяжелых баз данных:

  • Производительность OLTP-нагрузок в кластере all-flash vSAN.
  • Политики Storage Policy Based Management (SPBM) для управления хранилищами.
  • Построение платформы для бизнес-критичных задач уровня Tier-1.
  • Валидация архитектуры для уменьшения времени развертывания и операционных рисков.

Для тестирования использовались хосты ESXi в следующей конфигурации:

В тестах использовалось два типа рабочих нагрузок (R1 и R15), отличающихся конфигурацией ВМ, а также включенными или выключенными технологиями дедупликации и компрессии на стороне vSAN:

Описание рабочей нагрузки:

Базовые результаты по IOPS и latency для операций чтения и записи:

После результатов тестирования в документе есть секция с рекомендациями по исполнению Oracle на хранилищах vSAN, которые будет полезно почитать администратору БД и vSphere (большая их часть приведена в vSAN Design and Sizing Guide).


Таги: VMware, vSAN, Performance, Oracle, AWS, Cloud, Storage, Flash, SSD, Whitepaper

Задачи машинного обучения в инфраструктуре VMware vSphere на оборудовании NVIDIA GRID (vGPU).


Мы много писали о рещениях NVIDIA GRID / Quadro vDWS  (они используют технологии virtual GPU или vGPU), например здесь, здесь и здесь. Ранее эта технология предполагала только применение vGPU для нагрузок в виртуальных машинах, которые требовательны к графике, поэтому используют ресурсы графического адаптера в разделенном режиме.

Между тем, начиная с недавнего времени (а именно с выпуска архитектуры Pascal GPU), VMware и NVIDIA предлагают использование vGPU для задач машинного обучения (CUDA / Machine Learning / Deep Learning), которые в последнее время становятся все более актуальными, особенно для крупных компаний. С помощью этой технологии виртуальная машина с vGPU на борту может эффективно использовать библиотеки TensorFlow, Keras, Caffe, Theano, Torch и прочие.

Например, можно создать использовать профиль P40-1q vGPU для архитектуры Pascal P40 GPU, что позволит иметь до 24 виртуальных машин на одном физическом адаптере (поскольку на устройстве 24 ГБ видеопамяти).

Зачем же использовать vGPU для ML/DL-задач, ведь при исполнении тяжелой нагрузки (например, тренировка сложной нейронной сети) загружается все устройство? Дело в том, что пользователи не используют на своих машинах 100% времени на исполнение ML/DL-задач. Большинство времени они собирают данные и подготавливают их, а после исполнения задачи интерпретируют результаты и составляют отчеты. Соответственно, лишь часть времени идет большая нагрузка на GPU от одного или нескольких пользователей. В этом случае использование vGPU дает максимальный эффект.

Например, у нас есть 3 виртуальных машины, при этом тяжелая нагрузка у VM1 и VM2 пересекается только 25% времени. Нагрузка VM3 не пересекается с VM1 и VM2 во времени:

Компания VMware проводила тест для такого случая, используя виртуальные машины CentOS с профилями P40-1q vGPU, которые имели 12 vCPU, 60 ГБ памяти и 96 ГБ диска. Там запускались задачи обучения TensorFlow, включая комплексное моделирование для рекуррентной нейронной сети (recurrent neural network, RNN), а также задача распознавания рукописного текста с помощью сверточной нейронной сети (convolution neural network, CNN). Эксперимент проводился на серверах Dell PowerEdge R740 с 18-ядерным процессором Intel Xeon Gold 6140 и карточками NVIDIA Pascal P40 GPU. 

Результаты для первого теста оказались таковы: 


Время обучения из-за наложения окон нагрузки в среднем увеличилось на 16-23%, что в целом приемлемо для пользователей, разделяющих ресурсы на одном сервере. Для второго теста было получено что-то подобное:

Интересен тест, когда все нагрузки исполнялись в одном временном окне по следующей схеме:

 

Несмотря на то, что число загруженных ML/DL-нагрузкой виртуальных машин увеличилось до 24, время тренировки нейронной сети увеличилось лишь в 17 раз, то есть даже в случае полного наложения временных окон рабочих нагрузок есть некоторый позитивный эффект:

Интересны также результаты с изменением политики использования vGPU. Некоторые знают, что у планировщика vGPU есть три режима работы:

  • Best Effort (это исполнение задач на вычислительных ядрах по алгоритму round-robin).
  • Equal Share (всем дается одинаковое количество времени GPU - это позволяет избежать влияния тяжелых нагрузок на легкие машины, например).
  • Fixed Share (планировщик дает фиксированное время GPU на основе профиля нагрузки vGPU).

VMware поэкспериментировала с настройками Best Effort и Equal Share для тех же тестов, и вот что получилось:

С точки зрения времени исполнения задач, настройка Best Effort оказалась лучшим выбором, а вот с точки зрения использования GPU - Equal Sharing меньше грузила графический процессор:

Некоторые остальные детали вы можете почитать в оригинальной статье VMware.


Таги: VMware, vSphere, vGPU, NVIDIA, Performance, ML

Как настраивается механизм VMware vSphere 6.5 HA Orchestrated Restart (VM Restart Dependency), и как он связан с Restart Priority.


Мы немного рассказывали о новой функции технологии VMware HA, которая появилась в vSphere 6.5 - Orchestrated Restart (она же VM Restart Dependency). С помощью нее можно сделать так, чтобы виртуальные машины (или группы ВМ) могли запускаться после того, как предварительно будет запущена указанная ВМ или группа.

На практике это работает так. В vSphere Web Client идем на вкладку Configure для выбранного кластера HA и в разделе VM/Host Groups добавляем группу ВМ:

Далее в группу добавлем одну или несколько виртуальных машин:

Например, мы создали 3 группы (в данном случае, это классическая трехзвенная архитектура - серверы БД, серверы приложений и веб-серверы):

После этого можно задать правила запуска групп виртуальных машин в разделе VM/Host Rules, указав предварительное условие для запуска некоторой группы:

В данном случае мы запускаем серверы приложений только после запуска серверов баз данных. Очевидно, что нужно создать такое же правило для веб-серверов, которые будут запускаться после серверов приложений. Это и создаст требуемые зависимости ВМ для их запуска в случае сбоя одного или нескольких хостов в кластере VMware HA. Это и называется VMware HA Orchestrated Restart.

В то же время, у виртуальных машин в кластере HA есть параметр VM Restart Priority, который определяет приоритет запуска виртуальных машин в случае их восстановления после сбоя:

Этот вопрос затрагивает Дункан в своей заметке о настройке VM dependency restart condition timeout. Оказывается, она задает задержку между стартом виртуальных машин разного приоритета (а не для групп зависимостей, как может показаться из названия) и по умолчанию выставлена в 600 секунд.

Так вот, возвращаясь к Restart Priority и VM Dependency, Вова в комментариях к статье об HA Orchestrated Restart спросил: а что важнее - приоритет или зависимости? Опираясь на слова Дункана ("Restart Dependency is a rule, a hard rule, a must rule, which means there’s no time-out. We wait until all VMs are restarted when you use restart dependency"), можно сказать, что зависимости важнее - сначала будут подняты все машины первичной группы (между которыми будет соблюдаться порядок запуска в рамках приоритета), а потом уже те, которые от них зависят.

Таким образом, ответ на вопрос Вовы ("Допустим ВМ1 имеет приоритет high, но зависит от ВМ2 которая имеет приоритет low. Какая будет последовательность запуска?") - сначала запустится ВМ2.


Таги: VMware, HA, VMachines

Миграция сервера VMware vCenter для Windows на виртуальный модуль vCenter Server Appliance 6.7 Update 1.


Как многие из вас знают, VMware vCenter для Windows версии 6.7 (на данный момент Update 1) - это последний vCenter, который еще доступен как отдельный продукт для Windows-машины. Следующая версия vCenter будет поставляться только как виртуальный модуль vCenter Server Appliance на базе Photon OS от VMware.

Мы уже писали о некоторых аспектах миграции на vCSA с vCenter for Windows, но в этом посте дадим несколько новых деталей по этому процессу. VMware рекомендует выполнить 2 основных шага миграции с vCenter на vCSA:

  • Migration Assistant - консольная утилита, которую нужно выполнить до мастера миграции vCenter. Она выясняет соответствие требованиям к миграции и показывает дальнейшие шаги.
  • Migration Tool - это мастер миграции, который доступен из основного дистрибутива vCenter.

Полный обзор процесса миграции показан в видео ниже:

Обратите внимание, что во время миграции вы можете выбрать опцию импорта исторических данных из старой копии vCenter for Windows в созданную новую копию vCSA (это опциональный процесс во время миграции, и можно сделать импорт уже позднее).

Migration Tool делает импорт всех скопированных данных в развернутый виртуальный модуль vCSA (включая параметры идентификации vCenter, такие как FQDN, IP-адрес, UUID, сертификаты, MoRef IDs и прочее). Также происходит миграция и vSphere Distributed Switch (vDS).

Надо отметить, что в процессе миграции не происходит никаких изменений в исходном vCenter, поэтому откат в случае неудачного обновления прост - останавливаете vCSA и продолжаете использовать vCenter Server for Windows.

Помимо всего этого есть утилита vCenter Server Converge Tool (о ней мы писали тут и тут), которая позволяет смигрировать внешний сервер Platform Services Controller (PSC) на простой в управлении embedded PSC. Проблема заключалась в том, что ранее администраторы использовали внешний PSC, поскольку он поддерживал Enhanced Linked Mode (ELM). И несмотря на то, что внедренный PSC стал поддерживать ELM еще в vSphere 6.7 и vSphere 6.5 Update 2, многие пользователи еще с предыдущих версий поддерживают комплексную инфраструктуру внешних PSC с репликацией между площадками.

Сейчас все стало проще - утилита vCenter Server Converge Tool устанавливает embedded PSC на vCenter Server Appliance (vCSA), после чего налаживает канал репликации с оставшимися внешними PSC. После того, как эта процедура пройдет на всех площадках, вы сможете отключить внешние PSC, а встроенный механизм vCenter HA сам настроится на работу с внедренными PSC.

Пройтись по шагам различных вариантов миграции vCenter и его PSC (встроенного или внешнего) можно вот в этих обучающих материалах VMware (там вы все это можете прокликать прямо в интерфейсе):

В целом процесс миграции vCenter выглядит так:

Кстати, надо понимать, что процесс миграции vCenter - это одновременно и его апгрейд. То есть вы можете, например, провести миграцию-апгрейд vCenter Server 6.0 на VCSA версии 6.7.

Ну и помните, что весь самый новый функционал есть только в VMware vCSA, который является рекомендуемым вариантом развертывания по умолчанию. Вам уже давно пора перейти на vCSA, если вы все еще пользуетесь vCenter для Windows.


Таги: VMware, vCenter, Migration, vCSA, P2V

Новая уязвимость L1 Terminal Fault в процессорах Intel - как она касается VMware vSphere, и как с ней бороться.


В догонку к найденным и, вроде бы, поборенным уязвимостям Meltdown и Spectre, в процессорах Intel нашли еще одну потенциальную дыру - L1 Terminal Fault Vulnerability, которая затрагивает современные процессоры (2009-2018 годов выпуска) и гипервизор VMware ESXi (а также и все остальные гипервизоры).

Для начала надо сказать, что на днях стали доступны вот такие патчи для платформы виртуализации VMware vSphere, которые настоятельно рекомендуется установить:

VMware vCenter:

VMware ESXi:

Суть уязвимости, описанной в CVE-2018-3646 заключается в том, что виртуальная машина, исполняемая на конкретном ядре, может получить доступ к данным других машин, использующих это ядро, или самого гипервизора через L1 Data Cache, который совместно используется машинами, выполняющими команды на данном ядре.

Для такой уязвимости возможны 2 типа векторов атаки:

  • Sequential-context - вредоносная машина получает доступ к данным другой ВМ, которая исполнялась на этом ядре ранее и получала доступ к кэшу L1.
  • Concurrent-context - вредоносная машина прямо сейчас получает доступ к данным ВМ или гипервизора, которые исполняются планировщиком на этом ядре.

Решение вопроса уровня Sequential-context заключается просто в накатывании патчей, которые не должны приводить к падению производительности (как это было с Meltdown и Spectre). А вот для избавления от риска применения вектора атаки Concurrent-context нужно включить фичу, которая называется ESXi Side-Channel-Aware Scheduler. И вот в этом случае влияние на производительность может уже быть существенным, поэтому нужно либо принять риск Concurrent-context, либо следить за производительностью систем.

Таким образом, процесс обновления инфраструктуры VMware vSphere должен выглядеть так:

  • Обновляете сначала серверы vCenter, потом хосты ESXi.
  • Смотрите, есть ли на хостах запас по CPU на случай возникновения проблем с производительностью.
  • Если запас есть - включаете функцию ESXi Side-Channel-Aware Scheduler и наблюдаете за производительностью систем по CPU.

Детальные инструкции по включению ESXi Side-Channel-Aware Scheduler вы найдете здесь. Действовать нужно по следующей схеме:

Ну и в заключение, вот список процессоров, которые подвержены атакам типа L1 Terminal Fault:

Кодовое имя процессора Intel FMS Товарное наименование Intel
Nehalem-EP 0x106a5 Intel Xeon 35xx Series;
Intel Xeon 55xx Series
Lynnfield 0x106e5 Intel Xeon 34xx Lynnfield Series
Clarkdale 0x20652 Intel i3/i5 Clarkdale Series;
Intel Xeon 34xx Clarkdale Series
Arrandale 0x20655 Intel Core i7-620LE Processor
Sandy Bridge DT 0x206a7 Intel Xeon E3-1100 Series;
Intel Xeon E3-1200 Series;
Intel i7-2655-LE Series;  Intel i3-2100 Series
Westmere EP 0x206c2 Intel Xeon 56xx Series;
Intel Xeon 36xx Series
Sandy Bridge EP 0x206d7 Intel Pentium 1400 Series;
Intel Xeon E5-1400 Series;
Intel Xeon E5-1600 Series;
Intel Xeon E5-2400 Series;
Intel Xeon E5-2600 Series;
Intel Xeon E5-4600 Series
Nehalem EX 0x206e6 Intel Xeon 65xx Series;
Intel Xeon 75xx Series
Westmere EX 0x206f2 Intel Xeon E7-8800 Series;
Intel Xeon E7-4800 Series;
Intel Xeon E7-2800 Series
Ivy Bridge DT 0x306a9 Intel i3-3200 Series; Intel i7-3500-LE/UE, Intel i7-3600-QE,
Intel Xeon E3-1200-v2 Series;
Intel Xeon E3-1100-C-v2 Series;
Intel Pentium B925C
Haswell DT 0x306c3 Intel Xeon E3-1200-v3 Series
Ivy Bridge EP 0x306e4 Intel Xeon E5-4600-v2 Series;
Intel Xeon E5-2400-v2 Series;
Intel Xeon E5-2600-v2 Series;
Intel Xeon E5-1400-v2 Series;
Intel Xeon E5-2600-v2 Series
Ivy Bridge EX 0x306e7 Intel Xeon E7-8800/4800/2800-v2 Series
Haswell EP 0x306f2 Intel Xeon E5-2400-v3 Series;
Intel Xeon E5-1400-v3 Series;
Intel Xeon E5-1600-v3 Series;
Intel Xeon E5-2600-v3 Series;
Intel Xeon E5-4600-v3 Series
Haswell EX 0x306f4 Intel Xeon E7-8800/4800-v3 Series
Broadwell H 0x40671 Intel Core i7-5700EQ;
Intel Xeon E3-1200-v4 Series
Avoton 0x406d8 Intel Atom C2300 Series;
Intel Atom C2500 Series;
Intel Atom C2700 Series
Broadwell EP/EX 0x406f1 Intel Xeon E7-8800/4800-v4 Series;
Intel Xeon E5-4600-v4 Series;
Intel Xeon E5-2600-v4 Series;
Intel Xeon E5-1600-v4 Series
Skylake SP 0x50654 Intel Xeon Platinum 8100 (Skylake-SP) Series;
Intel Xeon Gold 6100/5100 (Skylake-SP) Series
Intel Xeon Silver 4100, Bronze 3100 (Skylake-SP) Series
Broadwell DE 0x50662 Intel Xeon D-1500 Series
Broadwell DE 0x50663 Intel Xeon D-1500 Series
Broadwell DE 0x50664 Intel Xeon D-1500 Series
Broadwell NS 0x50665 Intel Xeon D-1500 Series
Skylake H/S 0x506e3 Intel Xeon E3-1500-v5 Series;
Intel Xeon E3-1200-v5 Series
Kaby Lake H/S/X 0x906e9 Intel Xeon E3-1200-v6

Таги: VMware, vSphere, Security, ESXi, Intel, CPU, Update, vCenter

Ссылки для скачивания видео всех сессий VMworld Europe 2018.


Мы уже публиковали ссылки для скачивания всех сессий конференции VMware VMworld 2018, которая прошла этим летом. На прошлой неделе закончилась и европейская часть этой конференции - VMworld Europe 2018, об анонсах которой мы писали тут и тут.

Ну а недавно стали доступны записи почти всех сессий с европейского VMworld (369 из 389), ссылки на которые добрый человек занес в Excel-таблицу:

Скачать сессии в Linux-машинах можете каким удобно способом:

  • WGET:

wget --no-check-certificate --referer https://videos.vmworld.com/global/2018/videoplayer/26950 https://s3.us-east-2.amazonaws.com/vmworld-europe-2018/MGT3918BE.mp4

  • CURL:

curl --referer https://videos.vmworld.com/global/2018/videoplayer/26950 https://s3.us-east-2.amazonaws.com/vmworld-europe-2018/MGT3918BE.mp4 -O MGT3918BE.mp4

  • PowerCLI:

$headers = @{"referer" = "https://videos.vmworld.com/global/2018/videoplayer/26950"}
Invoke-WebRequest -Uri "https://s3.us-east-2.amazonaws.com/vmworld-europe-2018/MGT3918BE.mp4" -Headers $headers -Outfile MGT3918BE.mp4


Таги: VMware, VMworld, Sessions, VMachines, Blogs, Video

Новые возможности VMware Update Manager в VMware vSphere 6.7 Update 1.


Не так давно мы писали о новых возможностях платформы VMware vSphere 6.7 Update 1, где, помимо прочего, было обновлено средство для накатывания апдейтов на хосты - VMware Update Manager (VUM). Мы вкратце упоминали о его новых фичах, а сегодня посмотрим на них в деталях.

Сперва надо отметить, что Update Manager теперь полностью поддерживается в новом клиенте vSphere Client на базе технологии HTML5, где он получил несколько новых рабочих процессов по сравнению со устаревшим Web Client.

Итак, давайте взглянем подробнее:

1. Новая секция Datacenter and Cluster Overview.

Здесь мы видим версии ESXi, соответствие хостов базовым уровням и статусы предпроверок для процесса обновления (Remediation):

2. Доработанные рабочие процессы.

В разделе Update Manager Administration были обновлены некоторые рабочие процессы, а также появился один новый - возможность отфильтровать обновления по базовому уровню (baseline):

3. Улучшенные функции импорта.

Теперь можно импортировать патчи и образы ESXi по имени файла или указанному URL. Теперь это делается в один клик:

4. Улучшение представления Host Overview.

Теперь в Host Overview появилась дополнительная информация: включена ли функция Quick Boot, какие патчи установлены, в каком состоянии host compliance и предпроверки для обновления: 

5. Проверки перед обновлением (Remediation Pre-Check).

В vSphere 6.7 и более поздних версий есть предпроверка обновления (Remediation Pre-Check). Они могут препятствовать накатыванию обновления на хост. Некоторые изменения может произвести сам VUM перед апдейтом хоста:

  • Отключить HA Admission Control
  • Отключить Fault Tolerance (FT)
  • Отключить Distributed Power Management (DPM)

Но некоторые настройки надо сделать вручную, например:

  • Отключить приводы CD-ROM

Функция Remediation Pre-Check проверит все необходимые требования и даст пользователю знать, если с его стороны нужны какие-нибудь действия.

6. Улучшения процесса обновления (Host Remediation).

Также был улучшен рабочий процесс Host Remediation - теперь на одном экране можно видеть и функцию remediation, и функцию планировщика обновлений (scheduler), которая размещена под списком апдейтов:

Также VMware убрала некоторые настройки, которые раньше можно было менять, например, возможность параллельного обновления хостов и отключение Quick Boot. Поэтому теперь осталось не так много настроек, все их можно посмотреть в Update Manager Overview:

7. Улучшения обновления виртуальных машин в части VMware Tools и Compatibility.

Самое главное, что теперь не нужно создавать baseline для обновления ВМ - ее можно выбрать в представлении VMware Tools и сделать сразу апгрейд тулзов, чтобы соответствовать версии хоста, одним действием:

То же самое можно сделать и в разделе VM Hardware, где обновляется виртуальное железо машин:

8. Обновление Firmware IO-контроллера.

Также появилась интеграция микрокода контроллера ввода-вывода с vSphere Update Manager (VUM), который использует утилиту обновления драйверов от вендора сервера. Таким образом, обновление драйвера I/O-адаптера можно включить в цикл обновления хоста и не заниматься этим отдельно.

Если VUM не нашел утилиты обновления от вендора, он предлагает загрузить ее (можно использовать как дефолтный, так и свой репозиторий):


Таги: VMware, vSphere, Update Manager, VUM, Update

Что нового представила VMware на VMworld Europe 2018. Часть 2.


Вчера мы написали о части того нового, что было представлено на конференции VMworld 2018, проходившей на днях в Барселоне, а сегодня расскажем об оставшихся анонсах.

Итак, к списку:

1. Закрытая бета-версия продукта Project Dimension.

Проект Dimension был представлен еще на VMworld 2018 в США, а сейчас VMware сделала доступной его бета-версию. Напомним, что это специальный сервис VMware по поставке, развертыванию, обслуживанию и сопровождению виртуальных датацентров.

VMware планирует договориться с вендорами аппаратного обеспечения таким образом, чтобы они поставляли оборудование, которое способно сразу после включения соединиться с облачными ресурсами VMware и обеспечить развертывание онпремизной инфраструктуры в рамках концепции Software-defined Datacenter (SDDC) на площадке заказчика.

Бета-версия будет доступна только отобранным VMware заказчикам, если у вас есть интерес принять участие - заполните форму вот тут.

2. Доступность Pivotal Container Service (PKS) как облачного сервиса и покупка Heptio.

Как некоторые помнят, еще на VMworld 2018 компания VMware анонсировала новые возможности vRealize Automation по управлению контейнерами приложений. Теперь, помимо существующей поддержки vSphere Integrated Containers (VIC) и традиционных хостов Docker, появилась и интеграция с Pivotal Container Services (PKS). Это позволяет управлять кластерами Kubernetes прямо из консоли vRA.

На VMworld Europe 2018 компания VMware объявила о том, что этот сервис теперь станет облачным (VMware Cloud PKS), что позволит организовать управление гибридными средами Kubernetes в онпремизных и публичных облаках из единой точки.

Кроме того, на VMworld было объявлено о покупке компании Heptio, которая была основана создателями Kubernetes. Она предоставляет набор продуктов и профессиональных сервисов для управления контейнерами Kubernetes в онпремизных, публичных и гибридных облачных средах. Помимо управления контейнерами, решения Heptio предоставляют такие сервисы, как оркестрация приложений, поддержка жизненного цикла (развертывание, хэлсчек) и обеспечение доступности (снапшоты, резервное копирование).

Все продукты и технологии Heptio планируется включить в портфолио решений PKS и предоставлять контейнеры как услугу из облака (Kubernetes-as-a-Service).

3. Закрытая бета-программа для сервиса VMware Blockchain.

Мы уже затрагивали функциональность и развертывание блокчейн-платформы VMware. Blockchain на vSphere или BoV — это инструмент для развертывания Hyperledger Fabric v1.0 на платформе vSphere, или, другими словами, проект VMware, который помогает администраторам развернуть блокчейн-платформу для разработчиков на базе гипервизора ESXi.

Теперь блокчейн от VMware будет предоставляться как SaaS-платформа, которую предприятия смогут использовать из облака. При этом можно будет ограничивать пользователей данной платформы (permissioned blockchain system).

VMware Enterprise Blockchain уже используется в нескольких крупных компаниях, таких как Dell Technologies и Deloitte, для решения бизнес-задач. Участие в программе осуществляется только по приглашениям от VMware.

4. Возможность запуска ESXi на Raspberry PI (прототип).

На конференции был представлен прототип гипервизора для архитектуры компьютеров Raspberry PI. Это дает возможность для внедрения гипервизора VMware в сфере IoT (интернет вещей) на базе архитектуры ARM.

5. Улучшения Workspace One.

В ближайшее время будут представлены следующие улучшения решения Workspace ONE:

  • Продукт Workspace ONE Intelligence Automation Connector, который позволяет предоставлять аналитику и возможность управления и обновления различных сторонних программных и аппаратных компонентов. Это уже реализовано для приложений Slack и ServiceNow.
  • Сенсоры Workspace ONE Sensors для платформы macOS, которые дают информацию о состоянии программных и аппаратных компонентов настольных устройств Apple.
  • Решение Dell Provisioning for VMware Workspace ONE, которое позволяет произвести фабричную преконфигурацию устройств для дальнейшего управления ими в корпоративной инфраструктуре.

6. Улучшения Horizon 7 on VMware Cloud on AWS.

Тут обещают 2 основных улучшения:

  • Доступность сервисов Horizon 7 (VDI и RDSH, Full Clones и Instant Clones), а также продукта App Volumes на платформе VMware Cloud on AWS с предстоящими релизами Horizon 7.7 и App Volumes 2.15.
  • Интеграция онпремизного решения Horizon 7 с облаком VMware Cloud on AWS средствами Horizon Cloud Service. Это позволит упростить управление инфраструктурами с несколькими площадками и гибридными средами.

На этом все, информацию по остальным анонсам можно получить здесь.


Таги: VMware, Cloud, AWS, Dimension, Blockchain, Horizon, Pivotal, Cloud Computing, Raspberry, Hardware

Что нового представила VMware на VMworld Europe 2018. Часть 1.


Сейчас в Барселоне заканчивается конференция VMworld Europe 2018, которая традиционно проводится после летней конференции VMworld 2018 в США. В отличие от американской конференции, европейская ее версия не содержала так много анонсов новых продуктов и технологий, но кое-что интересное все же было заявлено.

Давайте посмотрим на самые главные новости:

1. Появился VMware vCloud Suite 2018 Platinum.

Компания VMware расширяет функционал своего решения vCloud Suite, которое теперь имеет самое высшее издание - Platinum. Об этом пакете продуктов мы писали последний раз вот тут. В версии 2018 года vCloud Suite содержит в себе следующие продукты:

Таким образом, vCloud Suite Platinum = vRealize Suite + vSphere Platinum

Как ни странно, vCloud Suite 2018 Platinum будет доступен в трех изданиях (два из них соответствуют изданиям пакета vRealize Suite):

  • vCloud Suite 2018 Platinum – Standard (здесь нет продукта vRealize Automation)
  • vCloud Suite 2018 Platinum – Advanced
  • vCloud Suite 2018 Platinum – Enterprise

Более подробно об этом пакете продуктов можно узнать из пресс-релиза и на странице решения.

2. Анонсирован VMware Cloud Foundation 3.5.

Еще в начале октября мы писали об анонсе архитектуры Cloud Foundation 3.0, а уже на VMworld Europe 2018 была анонсирована платформа VMware Cloud Foundation 3.5.

Архитектура VCF включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия, которые желательно развертывать все вместе, но можно какие-то и опустить.

Вот какие версии продуктов VMware будут в составе VCF 3.5:

Новые возможности обновленной облачной архитектуры:

  • Поддержка любых узлов vSAN ReadyNode.
  • Поддержка любых сетевых ToR-коммутаторов, которые соответствуют требованиям vSAN.
  • Пользователи могут создавать домены рабочей нагрузки (workload domains) для хранилищ NFS, а потом постепенно переносить их на гиперконвергентную архитектуру vSAN.
  • Обновление поддерживаемых версий vSphere, vSAN, vRealize и NSX-V.
  • Поддержка нескольких площадок и растянутых кластеров (vSAN Stretched Clusters), а также восстановление после сбоев на уровне площадки/региона с разными vCenter.
  • Возможность перемещать рабочие нагрузки между сайтами и масштабировать их с помощью технологии NSX Hybrid Connect.

3. Сотрудничество с IBM в сфере облачной инфраструктуры.

VMware договорилась с IBM об использовании инфраструктуры IBM Cloud для предоставления пользователям облачных сервисов виртуальной среды:

Упор делается на обеспечение высокой доступности рабочих нагрузок (виртуальых машин и контейнеров) в этом облаке. Более подробно об этом рассказано здесь.

4. Расширение географии присутствия VMware vCloud on AWS.

На конференции было объявлено о еще большей экспансии публичных облаков VMware и Amazon в Европе и США:

Теперь в географию присутствия сервисов vCloud будут включены датацентры AWS EU (Ireland), AWS West (N. California) и AWS East (Ohio) в четвертом квартале 2018 года.

Завтра мы расскажем об остальных интересных новостях VMworld Europe 2018 - приходите!


Таги: VMware, vSphere, vCloud, AWS, VMworld, AWS, IBM, Cloud, vRealize

Вышел обновленный VMware ESXi Embedded Host Client 1.32 - что нового?


Во время проходящей сейчас в Барселоне конференции VMworld Europe 2018 компания VMware выпустила обновление клиента для управления отдельными хостами ESXi - Embedded Host Client версии 1.32. Напомним, что прошлая версия этого продукта была выпущена еще в июле этого года, поэтому обновления пришлось ждать довольно долго.

Давайте посмотрим, что нового появилось в Host Client 1.32:

  • Улучшения функций Import / Export:
    • Файлы ISO и NVRAM теперь можно экспортировать и импортировать (если это поддерживается соответствующей версией ESXi).
    • При экспорте машины можно выбрать только некоторые файлы.
    • Все расширенные настройки ВМ экспортируются по умолчанию.
    • Было исправлено несколько багов в мастере экспорта.
  • Общие улучшения:
    • Предварительный просмотр прав доступа (пермиссий) теперь отображается корректно.
    • Пакеты Support Bundles теперь генерируются на лету.
    • Восстановлена функциональность работы под доменным пользователем.
    • Адреса устройств Fibre Channel WWN отображаются в шестнадцатиричном формате.

Скачать VMware ESXi Embedded Host Client 1.32 можно по этой ссылке.


Таги: VMware, ESXi, Client, Update, Labs

Вышел VMware vSphere 6.7 Update 1 Security Configuration Guide (бывший Hardening Guide).


На днях компания VMware выпустила финальную версию своего руководства по обеспечению безопасности виртуальной инфраструктуры vSphere 6.7 Update 1 Security Configuration Guide. Напомним, что ранее мы писали о документе vSphere 6.5 Update 1 SCG, который описывал основные аспекты обеспечения безопасности прошлой версии платформы (оказывается, был и гайд по vSphere 6.7 - он публично не анонсировался, но теперь находится в статусе Deprecated).

Напомним, что этот документ доносит концепцию "Secure by design", что означает, что среда VMware vSphere изначально настроена оптимальным образом с точки зрения безопасности, поэтому вносить изменения вам нужно только в случае наличия каких-либо специальных требований в вашей инфраструктуре.

В документе, помимо описания рекомендуемой настройки и лога изменений, есть следующие полезные колонки:

  • Hardening - указывает на то, что это действительно настройка, которой нужно уделить внимание при конфигурации.
  • Site Specific Setting - говорит о том, что задать конфигурацию должен сам пользователь, в зависимости от его окружения.
  • Audit Setting - указывает, что вам необходимо время от времени проверять эту настройку, чтобы убедиться, что значение по умолчанию не было изменено администратором необоснованно. 
  • Desired value - рекомендуемое значение, оно же и является значением по умолчанию, если это не site specific.

Сейчас распределение по этим настройкам выглядит так (50 настроек в vSphere 6.7 U1 против 68 опций в версии vSphere 6.5 U1):

Давайте посмотрим на отличие vSphere 6.7 U1 SCG от прошлых версий руководства:

  • Появились настройки категории deprecated - они описывают параметры ESXi или vCenter, которые больше нет необходимости изменять, так как они потеряли актуальность. Все настройки этой категории приведены в отдельном документе, который настоятельно рекомендуется изучить. Если вы их использовали - то лучше перестать это делать, так как это только добавляет дополнительной работы по их обслуживанию.
  • Больше нет категории "Risk Profiles". Причина в том, что только настройка "ESXi.enable-strict-lockdown-mode" подпадает под Risk Profile 1, а остальные находятся во 2-й или 3-й категории, поэтому было решено отказаться от этой таксономии. Вместо этого было добавлено больше содержимого в колонку Vulnerability Discussion, где обсуждаются конкретные факторы риска.
  • Настройка vNetwork.enable-bpdu-filter переместилась из категории Hardening в Site Specific, так как при нормальных условиях функционирования сети ее менять не требуется (а она также затрагивает конфигурацию аппаратных коммутаторов и гостевой ОС). Да, она защищает от Spanning Tree Loops, но в нормально настроенной сетевой конфигурации менять ее не следует.

В гифке ниже можно посмотреть прогресс Security Configuration Guide с версии vSphere 6.5:

Скачать VMware vSphere 6.7 Update 1 Security Configuration Guide можно по этой ссылке.


Таги: VMware, vSphere, Security, Hardening, Update, ESXi, vCenter

Обновленный vSphere 6.7 Topology and Upgrade Planning Tool для развертывания и апгрейда виртуальной инфраструктуры.


Некоторое время назад мы писали об утилите vSphere Topology and Upgrade Planning Tool, которая позволяет спланировать развертывание виртуальной инфраструктуры или ее апгрейд с предыдущих версий. На днях компания VMware выпустила ее обновление - vSphere 6.7 Topology and Upgrade Planning Tool.

Теперь утилита имеет поддержку инсталляций с режимом Enhanced Linked Mode для серверов Embedded vCenter Server платформ vSphere 6.5 Update 2 и vSphere 6.7, а также позволяет спланировать миграцию на них с версий vSphere 6.0 и 6.5.

Эта утилита работает полностью онлайн, спрашивает вас всего несколько вопросов, таких как новая ли это инсталляция или апгрейд, нужны ли вам фичи наподобие Enhanced Linked Mode и vCenter HA и прочее, а в результате выдает рекомендации по развертыванию или обновлению с описанием наиболее важных деталей, а внизу приводятся ссылки на необходимую документацию, блоги и базу знаний VMware.

Получить доступ к  vSphere 6.7 Topology and Upgrade Planning Tool можно по этой ссылке.

P.S. Кстати, обратите внимание, что ресурс vSphere Central тоже обновился за последнее время.


Таги: VMware, vSphere, Central, Upgrade, Planning, Update

Вышел VMware Workspace ONE Intelligent Hub - что это и для кого?


На днях компания VMware выпустила первую версию портала Workspace ONE Intelligent Hub, который представляет собой единую безопасную точку входа для пользователей, где они могут подключаться к командам и рабочим процессам Workspace ONE с любого устройства (как корпоративного, так и собственного BYOD). Этот сервис приходит на смену AirWatch Agent как часть семейства продуктов Workspace ONE.

Данный хаб сочетает в себе возможности Airwatch Agent и Workspace ONE, позволяющие проводить как онбординг пользователей, так и сопровождать их ежедневные операции со своими приложениями.

Помимо этого, на портале Intelligent Hub есть множество вспомогательных возможностей, облегчающих ежедневную работу пользователей со своими ресурсами.

Все пользователи Workspace ONE UEM увидят, что в Apple App Store и Google Play Store агент AirWatch Agent заменился на приложение Intelligent Hub (соответственно, при обновлении приложение получит новое название). Новые пользователи могут скачать приложение для своего устройства через сайт GetWSONE.com, который перенаправит в нужный магазин для его загрузки. Само приложение есть не только для мобильных устройств iOS и Android, но и для десктопов macOS и Windows 10.

В приложении сохранились основные функции UEM, появились функции встроенного каталога приложений Workspace ONE, а также средства управления идентификацией пользователя. Это все позволяет создать 3 сценария работы сервиса:

  • В случае с Core Management реализуются основные функции UEM в облаке или локально в инфраструктуре компании для управления окружениями пользователя и их применении на его устройстве.
  • В сценарии интеграции пользователю предоставляется также онлайн-каталог приложений.
  • В случае с функцией Transform используется решение VMware Identity Manager для расширенной аутентификации и управления политиками доступа.

Последние 2 компонента сервиса Intelligent Hub находятся только в облачной среде:

 

Вот несколько самых интересных возможностей Intelligent Hub:

  • Streamlined end-user enrollment - возможность быстрого включения пользователей в среду Workspace за счет современного UI и интуитивных рабочих процессов.
  • Built-in Hub App Catalog - администраторы UEM могут ускорить адаптацию пользователей за счет подсветки рекомендуемых приложений (со скриншотами), интуитивного поиска, кастомных категорий и прочего.

  • App Ratings and Feedback - новый Hub Catalog позволяет пользователям лайкать или дизлайкать приложения и оставлять к ним комментарии для техподдержки.

  • Home tab: возможность внедрить страницу на домашний экран.
  • Integrated People: с помощью служб Identity Services приложение Intelligent Hub позволяет пользователям находить коллег в организации, видеть оргструктуру и посылать сообщения в один клик через приложение Workspace ONE– Boxer.
  • New App Notifications: пользователям можно показывать алерты, когда им, например, становится доступно новое приложение. Также через Workspace ONE API администраторы могут посылать любые сообщения пользователям. 

Вот иллюстрации последних трех возможностей:

Скачать Workspace ONE Intelligent Hub для Android, iOS, macOS и Windows 10 можно по этой ссылке.


Таги: VMware, Workspace, ONE, Cloud, EUC

Обновление VMware Tools и VM Hardware в новой версии VMware vSphere 6.7 Update 1.


Как некоторые уже читали, в VMware vSphere 6.7 Update 1 появилась возможность управлять обновлениями VMware Tools и VM Hardware updates напрямую через клиент на HTML5 (vSphere Client), который уже является полноценным средством управления виртуальной инфраструктурой.

Если для виртуальной машины перейти на вкладку Updates, то нам предложат включить функционал апгрейдов VMware Tools и виртуального аппаратного обеспечения (VM Hardware):

После его включения мы увидим две панели обновления данных компонентов ВМ:

Тут пока пусто, нам нужно запустить первое сканирование виртуальной машины, после чего мы получим отчет о том, доступно ли обновление тулзов и виртуального железа:

Обратите внимание, что для VMware Tools есть опция автоматического их обновления при перезагрузке (Automatically upgrade on reboot).

При нажатии на Upgrade для тулзов запустится мастер обновления:

Как мы видим из картинки выше, обновление тулзов можно запланировать на нужное время, при этом можно создать снапшот виртуальной машины перед обновлением и хранить его в течение заданного количества часов. Это позволит в случае чего сделать экстренный Rollback.

Но самое интересное, что процесс обновления VMware Tools и Virtual Hardware version вы можете запустить централизованно для всего датацентра в целом, кластера или VM folder - для этого нужно в выбранном объекте перейти на вкладку Updates:


Таги: VMware, Tools, Hardware, VMachines, Upgrade

Новое на VMware Labs - Workspace ONE UEM Profile Migration Utility.


На сайте проекта VMware Labs появилась еще одна полезна утилита для администраторов инфраструктуры VMware Horizon - Workspace ONE UEM Profile Migration Utility. С ее помощью можно перемещать профили пользователей между экземплярами Workspace ONE UEM Console.

Это может пригодиться, например, при перемещении профилей пользователей из окружения для разработки и тестирования в производственную среду по завершении цикла тестирования.

Чтобы собрать необходимые данные для соединения с консолями UEM нужно сделать следующее:

  • Получить API URL источника и назначения в настройках консоли UEM: All Settings -> System -> Advanced -> URLS -> Rest API
  • Получить Tenant Key источника и назначения: All Settings -> System -> Advanced -> API -> REST API -> API Key (admin)
  • Создать административного пользователя и экспортировать сертификат на источнике и назначении. Для этого идем в Users -> Admins -> Add Admin->
    • Role – REST API или AirWatch Administrator.
    • API-> Use Certificate и задаем для него пароль.
    • Нажимаем Save.
    • Идем обратно в Admin на вкладке API, чтобы экспортировать сертификат с заданным паролем в формат p12.
  • Распаковываем утилиту WS1UEM_Profile_Migration_Utility.zip.
  • Перемещаем 2 сертификата в формате p12 в распакованную папку с утилитой.

Надо помнить, что не все типы профилей поддерживаются для миграций с помощью этой утилиты, поэтому она может выдать ошибку (поскольку некоторые профили AirWatch не поддерживает сам Get Profiles API).

Скачать Workspace ONE UEM Profile Migration Utility можно по этой ссылке.


Таги: VMware, UEM, Labs, Migration, Horizon, VDI

Обновленные образы VMware ESXi 6.5 и 6.0 от 23 октября.


Наш читатель Илья обратил внимание на то, что совсем недавно, 23 октября, компания VMware обновила образы своего гипервизора не последних мажорных версий - а именно вышли обновления:

1. Для VMware ESXi 6.5 вышло обновление ESXi-6.5.0-20181004002-standard (Build 10390116).

Оно включает в себя следующие VIB-пакеты:

NameVersionVendorSummaryCategorySeverityBulletin
esx-base6.5.0-2.64.10390116VMwareUpdates the ESX 6.5.0 esx-basebugfiximportantESXi650-201810402-BG
esx-tboot6.5.0-2.64.10390116VMwareUpdates the ESX 6.5.0 esx-tbootbugfiximportantESXi650-201810402-BG
vsan6.5.0-2.64.10390117VMwareUpdates the ESX 6.5.0 vsanbugfixcriticalESXi650-201810402-BG
vsanhealth6.5.0-2.64.10390118VMwareESXi VSAN Health ServicebugfixcriticalESXi650-201810402-BG

В этом обновлении исправлены следующие ошибки:

  • Большой поток ввода-вывода к машине со снапшотом диска типа SEsparse мог вызвать неконсистентность файловой системы.
  • Дисковая группа со включенной дедупликацией могла быть помечена как хранилище с ошибками без оставшегося свободного места, хотя это было не так.

Накатить обновление VMware ESXi 6.5 можно с помощью этих команд:

esxcli network firewall ruleset set -e true -r httpClient
esxcli software profile update -p ESXi-6.0.0-20180804001-standard \
-d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml
esxcli network firewall ruleset set -e false -r httpClient

После этого надо перезагрузить хост ESXi.

2. Для VMware ESXi 6.0 вышло обновление ESXi-6.0.0-20181004001-standard (Build 10474991).

Оно включает в себя следующие пакеты:

NameVersionVendorSummaryCategorySeverityBulletin
esx-base6.0.0-3.107.10474991VMwareUpdates the ESX 6.0.0 esx-basebugfixcriticalESXi600-201810401-BG
misc-drivers6.0.0-3.107.10474991VMwareUpdates the ESX 6.0.0 misc-driversbugfiximportantESXi600-201810404-BG
sata-ahci3.0-28vmw.600.3.107.10474991VMwareUpdates the ESX 6.0.0 sata-ahcibugfiximportantESXi600-201810402-BG
vsan6.0.0-3.107.10400677VMwareESXi VSANbugfixcriticalESXi600-201810401-BG
vsanhealth6.0.0-3000000.3.0.3.107.10400679VMwareUpdates the ESX 6.0.0 vsanhealthbugfiximportantESXi600-201810401-BG
xhci-xhci1.0-3vmw.600.3.107.10474991VMwareUpdates the ESX 6.0.0 xhci-xhcibugfiximportantESXi600-201810403-BG

В этом обновлении пофикшены некоторые критические ошибки:

  • Большой поток ввода-вывода к машине со снапшотом диска типа SEsparse мог вызвать неконсистентность файловой системы.
  • Дисковая группа со включенной дедупликацией могла быть помечена как хранилище с ошибками без оставшегося свободного места, хотя это было не так.
  • Пофикшена ошибка для SATA-контроллера Marvell 9230.
  • Компонент ESXi VMKernel мог упасть при наличии малого объема памяти и древнем стеке драйверов USB.

Накатить обновление VMware ESXi 6.5 можно с помощью этих команд:

esxcli network firewall ruleset set -e true -r httpClient
esxcli software profile update -p ESXi-6.0.0-20181004001-standard \
-d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml
esxcli network firewall ruleset set -e false -r httpClient

После этого надо перезагрузить хост ESXi.


Таги: VMware, ESXi, Update

Что такое и как работает Network I/O Control (NIOC) в VMware vSphere 6.7.


Не все администраторы платформы виртуализации VMware vSphere знают, что такое Network I/O Control (NIOC). Причина проста - функции механизма регулирования полосы пропускания NIOC для различных видов трафика на стороне vSphere Distributed Switch (vDS) есть только в издании vSphere Enterprise Plus, которое, как правило, приобретают большие и средние компании.

Давайте посмотрим, что такое NIOC и разберем эту функциональность на примерах. Прежде всего, функция NIOC появилась тогда, когда с появлением сетей 10G стало понятно, что можно делать сетевую инфраструктуру на хостах ESXi с небольшим числом сетевых адаптеров, обладающих высокой пропускной способностью. Но в этих условиях также стало ясно, что сетевой трафик, идущий по таким сетям, надо в рамках того же 10G-канала как-то разграничивать.

NIOC позволяет системным и сетевым администраторам настраивать приоритизацию следующих видов трафика для пула сетевых адаптеров хостов ESXi:

  • Fault tolerance traffic
  • iSCSI traffic
  • vMotion traffic
  • Management traffic
  • vSphere Replication traffic
  • Network file system (NFS) traffic
  • Virtual machine (VM) traffic
  • User-defined traffic

Механизм NIOC появился еще в 2010 году в VMware vSphere 4.1, и с тех пор был очень сильно доработан (сейчас в vSphere 6.7 Update 1 доступна третья версия NIOC v3).

В интерфейсе HTML5-клиента vSphere Client эти настройки выглядят так (новый клиент полностью поддерживает рабочие процессы NIOC):

В vSphere Web Client вы можете увидеть эти настройки по адресу vDS > Manage > Resource Allocation > System traffic:

Механизм NIOC включен по умолчанию (для vSphere 6.0 и выше), но для типов трафика не заданы никакие ограничения (Limit) и резервации (Reservation) - только приоритеты между типами трафика (Shares). Работают эти 3 техники регулирования типа трафика так же, как и аналогичные механизмы для хранилищ или вычислительных ресурсов:

  • Reservation - гарантирует тому или иному типу трафика пропускную способность канала в Мбит/с. Важно помнить, что эта ширина канала резервируется, но в случае ее простоя ее смогут использовать другие типы системного трафика. Между тем, простой канала зарезервированного системного трафика не дает возможность распределить полосу на виртуальные машины. В любом случае, Reservation (если он вам очень нужен) нужно выставлять таким, чтобы обеспечить только минимальные запросы сервиса для его функционирования, а не средние и максимальные.
  • Limit - ограничивает сверху используемый канал для выбранного типа трафика.
  • Shares - с помощью чисел приоритета (от 1 до 100) позволяет выделить группы которые будут получать больше или меньше пропускной способности канала (например, если одна группа имеет 100, а другая 50 - то первая будет получать в два раза больше на фоне распределения всего трафика адаптеров по группам). Механизм этот начинает распределять канал после раздачи всех заданных резерваций.

Есть еще один нюанс - только 75% совокупной ширины канала на хосте ESXi может быть зарезервировано (а если говорить точнее - от адаптера с самой низкой пропускной способностью в этой группе на хосте). Остальные 25% остаются на всякий случай (например, компенсация всплесков управляющего трафика). Все, что не распределено с помощью Reservation, будет регулироваться средствами механизма Shares.

Для изменения резервации, лимита или shares категорий системного трафика надо открыть настройки конкретного типа трафика:

Для удобства Shares можно указывать не цифрами, а выбрать из комбо-бокса один из вариантов - Low (25), Normal (50) и High (100). В этом случае цифры для Shares автоматически подберутся (они указаны в скобках), чтобы составлять верные соотношения согласно выставленным приоритетам. После выставления этих параметров они будут применены на всех физических адаптерах хостов ESXi, подключенных к распределенному коммутатору vDS на сервере vCenter.

Когда вы задаете Reservation, максимальная пропускная способность для данного типа трафика будет равна этому значению, умноженному на число физических адаптеров на хостах, выделенных для этого типа трафика.

NIOC v3 также позволяет сконфигурировать резервации как на уровне отдельных виртуальных машин (в свойствах адаптера), так и создавать собственные пользовательские пулы (User-Defined Network Resource Pools), которые являются подмножеством корневого пула Virtual machine (VM) traffic.

Для User-Defined Network Resource Pools выставление лимитов и Shares не предусмотрено - только Reservation.

В свойствах адаптера vNIC резервации на уровне отдельной ВМ можно выставить в ее настройках (это только гарантированная полоса, но машина может использовать и больше, если есть доступные ресурсы):

Если вы выставляете Reservation для адаптеров виртуальных машин, то их суммарная резервация не может быть больше, чем резервация для VM system traffic на этом хосте:

Если нужно настроить сетевые пулы ресурсов для групп виртуальных машин, то нужно создать новый пул в Web Client:

А потом указать резервацию для него:

Потом этот пул нужно указать при настройке распределенной группы портов на распределенном коммутаторе vDS:

Ну а к этой распределенной группе портов нужно уже подключить виртуальные машины, которые на всех получат эту резервацию.

При этом если вы задали резервацию 1 Мбит/с, а физических адаптеров на хосте ESXi у вас 5, то такая распределенная группа портов получит до 5 Мбит/с на свои виртуальные машины.

В итоге картина выглядит подобным образом:

Когда вы создадите новый пул в разделе Network Resource Pools, вы сможете посмотреть список виртуальных машин в нем на вкладке Virtual Machines:

Ну и напоследок отметим, что лимиты для сетевых адаптеров машин должны согласовываться с лимитами политики traffic shaping для распределенной группы портов, куда они воткнуты. Например, если для адаптера выставлен лимит 200 Мбит/с, а для всей порт-группы на vDS только 100 Мбит/с, то эффективным ограничением будет именно 100 Мбит/с.


Таги: VMware, vSphere, NIOC, Networking, Performance, Обучение, ESXi, vDS

Новое на VMware Labs - True SSO Diagnostic Utility.


На сайте проекта VMware Labs появилась очередная полезность - утилита True SSO Diagnostic Utility. С ее помощью можно проводить диагностику сертификатов Horizon View Enrollment Server (ES), настроек Active Directory PKI и свойств служб сертификации Enterprise Certificate Authorities (CA).

Horizon View True SSO использует серверы Microsoft Enterprise Certificate Servers для выпуска сертификатов, которые используются при логине пользователя в гостевую ОС виртуального ПК. Horizon View Enrollment Server ответственен за то, чтобы послать запрос на серверы сертификации, а также за мониторинг конфигурационных настроек PKI в инфраструктуре Active Directory.

Утилита True SSO Diagnostic Utility поможет вам найти причину проблем с выпуском и использованием сертификатов:

Для того, чтобы сервер ES мог выпускать сертификаты для пользователей, нужно чтобы было соблюдено несколько требований:

  • ES должен быть установлен в системе, которая является членом домена, где есть пользователь, либо из домена с двусторонним трастом к этому домену. Также он не может быть установлен на контроллер домена или Connection Server, но может быть установлен совместно со службой CA.
  • Должна быть сделана настройка шаблона сертификата со службой Smartcard Logon, а ES должно быть выдано разрешение Enroll на этот шаблон.
  • Для нужного шаблона должна быть настроена служба Enterprise CA для выпуска сертификатов.
  • Сертфикат Enrollment Certificate, который генерируется Enterprise CA из леса, где находятся пользователи, должен быть установлен в хранилище сертификатов на ES.
  • Сервер (или View Pod) Horizon View Connection должен быть слинкован в ES.

Утилиту True SSO Diagnostic Utility нужно скопировать на Horizon 7 Enrollment Server и запускать ее там. Руководство по ее использованию можно скачать тут, а саму утилиту здесь.


Таги: VMware, Labs, Horizon, Security, SSO

Новые возможности VMware vCenter Server 6.7 Update 1 и его vSphere Client 6.7 U1.


Мы уже писали о новых возможностях платформы виртуализации VMware vSphere 6.7 Update 1, которая стала доступна для загрузки совсем недавно. Сегодня мы остановимся на отдельных новых функциях управляющего сервера VMware vCenter Server 6.7 Update 1 и его клиента vSphere Client 6.7 U1 на базе технологии HTML 5, который стал полнофункциональным и заменил ушедший в прошлое Web Client.

Давайте посмотрим, что нового появилось в VMware vCenter Server 6.7 Update 1:

1. Улучшенные возможности поиска.

Теперь при поиске различных объектов можно использовать строковый параметр и различные фильтры (например, тэги, кастомные атрибуты и состояние питания ВМ). Также очень удобная функция - это возможность сохранить результаты поиска:

2. Темная тема vSphere Client.

Об этой функции мы уже упоминали - это один из главных запросов администраторов vSphere, которые любят поуправлять виртуальной инфраструктурой в темноте.

3. Утилита vCenter Server Converge Tool.

Эта новая утилита позволяет смигрировать внешний сервер Platform Services Controller (PSC) на простой в управлении embedded PSC. Проблема заключалась в том, что ранее пользователи использовали внешний PSC, поскольку он поддерживал Enhanced Linked Mode (ELM). И несмотря на то, что внедренный PSC стал поддерживать ELM еще в vSphere 6.7 и vSphere 6.5 Update 2, многие пользователи еще с предыдущих версий поддерживают комплексную инфраструктуру внешних PSC с репликацией между площадками.

Сейчас все стало проще - утилита vCenter Server Converge Tool устанавливает embedded PSC на vCenter Server Appliance (vCSA), после чего налаживает канал репликации с оставшимися внешними PSC. После того, как эта процедура пройдет на всех площадках, вы сможете отключить внешние PSC, а встроенный механизм vCenter HA сам настроится на работу с внедренными PSC.

Утилита vCenter Server Converge Tool работает из командной строки (команда vcsa-converge-cli) и поставляется в комплекте с установщиком vCSA. Ее можно запускать в ОС Windows, macOS и Linux, а конфигурируется она через файл в формате JSON:

Надо понимать, что теперь Embedded PSC - это рекомендуемый способ развертывания инфраструктуры vCenter:

4. Функции Embedded Domain Repoint.

vCenter Server с компонентом embedded PSC с помощью функции Domain Repoint теперь можно перенаправить на другой домен vSphere SSO (это позволяет более гибко распределять и разделять домены SSO в корпоративной инфраструктуре). Ранее это было сделано только для внешних SSO, а теперь доступно и для vCSA.

5. Улучшения vSphere 6.7 Update 1 vCenter High Availability.

Функции vCenter HA были введены еще в vSphere 6.5. Теперь эти возможности были доработаны - вместо рабочих процессов basic и advanced появился единый и простой workflow. Он включает в себя три стадии:

  • Создание vSphere SSO credentials для управление сервером vCenter и всей инфраструктурой.
  • Настройки ресурсов для пассивного узла и узла Witness, включая вычислительные ресурсы, хранилище и сеть.
  • Настройки IP для пассивного узла и узла Witness.

Также в процессе настройки автоматически создается клон активного vCenter для создания пассивного узла и Witness - для этого лишь нужно ввести учетные данные vSphere SSO.

Во время апгрейда автоматически обнаруживаются настройки vCHA, поэтому при обновлении на новую версию не требуется разбивать кластер серверов vCenter. Это учитывает мастер обновления и накатывает апдейт.

6. Интерфейс REST API для VCHA.

Для механизма vCenter High Availability стал доступен API, который позволяет управлять кластером vCenter:

7. Улучшения Content Library.

Теперь OVA-шаблоны можно импортировать из HTTPS-источника или с локального хранилища. Также содержимое OVA-пакетов можно синхронизировать между несколькими серверами vCSA (сами шаблоны синхронизировать пока нельзя). Content Library обрабатывает сертификаты и файлы манифеста, входящие в OVA-пакеты в соответствии с лучшими практиками безопасности.

Content Library также нативно поддерживает формат шаблонов VMTX и ассоциирует с ними операции, такие как развертывание ВМ напрямую из Content Library.

8. Функция vSphere Health.

Это новая функциональность vCenter с большим потенциалом. Она позволяет при включенной функции передачи данных CEIP (customer experience improvement program) обрабатывать данные телеметрии виртуальной инфраструктуры на стороне VMware и на основе экспертных алгоритмов вырабатывать рекомендации по ее улучшению. Например, если у вас один Management network, вам могут порекомендовать его задублировать.

9. Улучшения Virtual appliance management interface (VAMI).

В интерфейсе VAMI появилась новая вкладка Firewall, где можно задавать правила сетевого экрана на vCSA (ранее это было доступно только через VAMI API):

Также появилась возможность зайти в VAMI под локальным vSphere SSO аккаунтом, который является членом группы SytemConfiguration.Administrators. Также члены группы Systemonfiguration.BashShellAdministrators могут зайти в шелл VCSA, например, для целей аудита безопасности.


Таги: VMware, vCenter, Update, vSphere, Client

Вышел VMware Cloud Provider Pod 1.0 для сервис-провайдеров.


На прошедшей в конце лета конференции VMworld 2018 компания VMware сделала несколько интерсных анонсов для сервис-провайдеров, предоставляющих услуги аренды виртуальных машин по модели IaaS. Например, недавно мы писали о Cloud-to-Cloud Disaster Recovery 1.5, а сегодня расскажем про Cloud Provider Pod 1.0, который стал доступен для скачивания на днях.

Cloud Provider Pod - это решение, которое позволяет сервис-провайдерам, приступающим к инсталляции всех облачных компонентов спланировать будущий дизайн инфраструктуры публичного облака и провести развертывание всех сервисов SDDC (Software-Defined Data Center).

Cloud Provider Pod служит для выполнения трех задач:

  • Планирование и дизайн будущей архитектуры публичного облака (Pod Designer). Это онлайн-утилита на стороне VMware, которую можно использовать в двух режимах - упрощенном (только тип хранилищ, зоны доступности, сайзинг, число хостов и т.п.) и расширенном (полный комплект сетевых настроек, планирование ресурсов и управление лицензиями). Результатом работы Pod Designer является пакет с будущей конфигурацией облака, который выгружается для сервис-провайдера

  • Развертывание компонентов SDDC (Pod Deployer) и их конфигурация с учетом созданного дизайна с помощью мастера. Эта штука уже скачивается с сайта VMware в виде готового виртуального модуля в формате OVA и далее исполняется уже на площадке сервис-провайдера, в нее и загружается созданный в дизайнере пакет конфигурации.

  • Генерирование документации с учетом конкретной специфики среды сервис-провайдера - на основе шаблонов VMware Validated Designs for Cloud Providers. Это проверенные лучшие практики VMware, в которые добавляются особенности вашей инфраструктуры.

На данный момент Cloud Pod заточен на развертывание и конфигурацию следующих программных компонентов виртуальной среды:

  • vSphere 6.5u2
  • vSAN 6.6.1
  • NSX 6.4.1
  • vCloud Director 9.1.0.1
  • vCloud Director Extender 1.0.1
  • vRealize Orchestrator 7.4
  • vRealize Operations 7.0
  • vRealize Log Insight 4.6.1
  • vRealize Network Insight 3.8
  • Usage Meter 3.6.1

Понятно, что версии этих решений не самые свежие, но VMware обещает обновлять Cloud Pod каждые полгода.

Основное назначение Cloud Provider Pod - дать сервис-провайдерам инструмент для построения своего облака на базе широкого спектра оборудования (см. User Guide по продукту) и решения VMware vCloud Director для управления облачной средой.

С помощью Cloud Provider Pod можно потенциально сэкономить месяцы работы системных администраторов за счет централизованного мастера настройки параметров виртуальной среды согласно созданному дизайну инфраструктуры (особенно это касается настроек сетевого окружения) и конфигурации управляющих и ресурсных кластеров, в которых будут работать машины клиентов.

Скачать VMware Cloud Provider Pod 1.0 в части Deployer можно по этой ссылке. Онлайн-сервис Designer находится тут.


Таги: VMware, Cloud, Director, Pod

Обновленная версия VMware vCloud Availability Cloud-to-Cloud Disaster Recovery 1.5 - новые возможности.


Недавно компания VMware объявила о выпуске обновленной версии решения vCloud Availability Cloud-to-Cloud Disaster Recovery 1.5, которое предназначено для репликации и восстановления виртуальной инфраструктуры в одном из облаков сервис-провайдеров (между датацентрами, в каждом из которых работает vCloud Director).

Напомним, что это решение дополняет семейство продуктов VMware vCloud Availability for vCloud Director, которое предназначено для сервис-провайдеров и выполняет функции обеспечения доступности виртуальных машин в их публичных облаках.

vCloud Availability Cloud-to-Cloud DR - это часть сервисов VMware Cloud Provider Platform, обеспечивающих функционирование публичных облаков. При этом данное решение подключается как плагин для vCloud Director и работает между облаками различной природы (онпремизными и публичными), предоставляя репликацию и восстановление виртуальных машин и сервисов vApp между различными экземплярами vCloud Director в разных датацентрах.

Кстати, первая версия этого решения по отзывам сократила время ручных операций по обслуживанию и диагностике служб репликации на 72%. Давайте посмотрим, что нового появилось в Cloud-to-Cloud DR версии 1.5.

Улучшения произошли в 5 ключевых областях:

1. Интегрированный пользовательский интерфейс в vCloud Director.

Сервис-провайдеры, использующие vCloud Director 9.1 и более поздние версии продукта, получили обновленный интерфейс (для предыдущих версий останется старый). Кроме того, клиенты сервис-провайдеров получили возможность включить функции Disaster Recovery и зайти в vCloud Director прямо из тулбара.

Также обновился и API до версии 1.5 (он позволяет интегрировать функции vCloud Availability Cloud-to-Cloud DR в пользовательские порталы). API теперь позволяет управлять такими продуктами и процессами, как: Replication manager, рабочие процессы репликации vApp, мониторинг состояния системы, первоначальная конфигурация репликации (создание туннеля, DNS, конфигурации точек репликации и т.п.), а также управление системой на уровне всей площадки.

Помимо этого, теперь для Cloud-to-Cloud DR обеспечена сквозная аутентификация из vCloud Director, что очень удобно для пользователей.

2. Улучшения юзабилити и рабочих процессов.

В новой версии Cloud-to-Cloud DR появилась возможность управления политиками, которые позволяют задать RPO ну уровне клиента, что дает возможность обеспечить различным клиентам разный уровень соответствия политикам RPO (а для последней версии vSphere можно обеспечить RPO=5 минут). Также можно установить максимальное число снапшотов и максимальное число репликаций на клиента.

Одна из новых удобных возможностей - это комплексные фильтры, которыми можно вывести виртуальные машины и объекты vApp, к которым далее можно применить некоторые действия (например, создать снапшоты или запустить восстановление).

3. Улучшения масштабируемости инфраструктуры.

Теперь можно использовать до 300 активных репликаций для одного большого узла vCloud Availability Replicator, около 100 клиентов с активными репликациями, до 7 экземпляров vCloud Availability Replicator на один экземпляр vCloud Availability Cloud-to-Cloud и до 2 ТБ объема защищаемых VMDK-дисков. С точки зрения операций, их может быть где-то до 120 штук одновременно, а всего тестировалось до 3000 активных операций для более чем 100 клиентов (программного ограничения нет).

4. Плагин Orchestration plugin для создания собственных рабочих процессов.

Через некоторое время станет доступен отдельный плагин, который будет работать под vRealize Orchestrator и будет позволять конструировать такие рабочие процессы, как, например, построение инвентори или сбор и обработка данных от экземпляров vCloud Availability vApp Replication Manager. Рабочий процесс можно сделать в vRealize Orchestrator Client, после чего импортировать его в vCloud Director и далее исполнять их там.

5. Функции улучшения ежедневной эксплуатации для администраторов.

vCloud Availability Cloud-to-Cloud 1.5 будет иметь плагин для vRealize Operations 6.6.1 и более поздних версий (будет доступен несколько позже), который будет предоставлять информацию о компонентах и их активностях, инвентори, общему состоянию, сработавших алармах, доступной емкости, статусу репликации и прочему. Сервис-провайдеры теперь смогут показывать клиентам расширенные отчеты, в которых будет информация о соблюдении оговоренных KPI и SLA.

Продукт будет доступен по каналам сервис-провайдеров, узнать больше о нем можно на странице vCloud Availability и портале для облачных партнеров.


Таги: VMware, vCloud, DR, Replication, Cloud, Cloud Computing

Платформа VMware vSphere 6.7 Update 1 и решение vSAN 6.7 Update 1 доступны для скачивания!


Спустя несколько недель ожидания после анонса обновленной версии платформы виртуализации VMware vSphere 6.7 Update 1, компания VMware сделала ее доступной для загрузки. Скачать продукт, включая ESXi 6.7 Update 1 и vCenter 6.7 Update 1, можно по этой ссылке:

https://my.vmware.com/en/web/vmware/info/slug/datacenter_cloud_infrastructure/vmware_vsphere/6_7

Напомним, что обо всех новых возможностях этого решения мы писали вот тут. Кроме того, в составе vSpher 6.1 Update 1 стал доступен и VMware vSAN 6.7 Update 1, про который мы писали вот тут.

Ну и главная новость этого релиза - это, бесспорно, полнофункциональный vSphere Client на базе HTML5! Мы ждали этого годами, и это сбылось. Вот пост об этом от VMware, там много подробностей, о которых мы скоро тоже расскажем.

Для него, кстати, доступна темная тема (см. последние наши новости о vSphere Client 3.42):

Клиент на HTML5 включает в себя не только все старые рабочие процессы, но и новые возможности, такие как упрощенная настройка механизма отказоустойчивости vCenter HA (VCHA) и функции обновлений vSphere Update Manager (VUM).

Вкратце суммаризуем все новые возможности VMware vSphere 6.7 Update 1:

  • Полнофункциональный VMware vSphere Client на базе HTML5
  • Утилита vCenter Server Converge Tool для миграции на внедренный (embedded) PSC
  • Новая версия vSAN и улучшения HCI (обновления микрокода через Update Manager)
  • Улучшения Content Library
  • vMotion для карточек NVIDIA Quadro vDWS и поддержка Intel FPGA

Отдельно давайте посмотрим, а что нового появилось в VMware vSAN 6.7 Update 1:

  • Новый мастер Cluster quickstart
  • Обновление драйверов и firmware через Update Manager
  • Механизмы защиты при выводе хостов из эксплуатации и переводе в режим обслуживания
  • Разные представления vROPs для обычных и растянутых кластеров vSAN
  • Улучшенные возможности Capacity reporting
  • Поддержка TRIM/UNMAP
  • Поддержка режима Mixed MTU для растянутых кластеров
  • Обновленные средства для сайзинга инфраструктуры
  • Улучшенные функции Health Check
  • Улучшенная диагностика для персонала поддержки VMware GSS

Обновить VMware vCenter Server Appliance 6.7 на Update 1 можно через интерфейс VAMI (vCenter Appliance Management Interface, он же Appliance Management User Interface или MUI):

Ну и, конечно же, скоро будет много интересных статей про отдельные фичи. Не забывайте наведываться.


Таги: VMware, vSphere, Update, vSAN, ESXi, vCenter

Функции резервного копирования управляющих сервисов vCSA на уровне файлов - VMware vCenter File-Based Backup and Restore.


Когда мы писали о новых возможностях платформы VMware vSphere 6.5 два года назад, мы упомянули о новой возможности резервного копирования и восстановления сервисов vCenter на уровне файлов. Сегодня мы расскажем о функциональности VMware vCenter File-Based Backup and Restore несколько подробнее.

Этот механизм доступен через интерфейс VMware Appliance Management Interface (VAMI), работа с которым происходит по порту 5480. Бэкапить можно как сам сервер vCSA, так и службы Platform Services Controller (PSC). При этом во время бэкапа не потребуется никаких дополнительных процедур - ни установки агентов, ни "подмораживания" служб vCenter на время работы резервного копирования.

В качестве канала для бэкапа может быть использован один из протоколов: FTP(s), HTTP(s) или SCP. По ним передаются все файлы, составляющие сервисы vCenter, включая файлы базы данных. Во время восстановления vCSA или PSC вам потребуется только монтирование ISO-образа vCSA.

Процесс восстановления подразумевает развертывание нового ISO-образа vCSA с сохранением прошлых параметров идентификации (UUID и прочее). После развертывания образа происходит накат забэкапленных файлов.

В VMware vSphere 6.7 сервисы резервного копирования и восстановления vCenter были существенно улучшены. Во-первых, для этой задачи появился отдельный раздел Backup. Во-вторых, появилась опция запланированного бэкапа, которая очень удобна:

В качестве места назначения резервных копий используется адрес:

Protocol://Server Address: Port/Backup Folder/Subfolder

При этом вам не нужно создавать папки Backup Folder (по умолчанию это "vCenter") и Subfolder (по умолчанию это VCSA FQDN) - они будут созданы автоматически.

В третьих, обратите также внимание на новую опцию Number of backups to retain - она позволит хранить несколько бэкапов. После создания расписания резервного копирования его можно изменять в любой момент:

Обратите внимание, что внизу приведен список выполненных задач и их статусы.

Также в версии vCSA 6.7 появился браузер файлов резервного копирования, поэтому теперь нет необходимости знать все пути к бэкапам. Кстати, обратите внимание на первую букву в названии бэкапа (S - значит scheduled, то есть запланированный, а M - manual, сделанный вручную).

При восстановлении сервера vCSA вам понадобятся данные учетной записи vSphere SSO. Если у вас несколько внешних серверов PSC, то в этом случае не поддерживается восстановление узла PSC при доступности остальных партнеров. Надо вывести этот узел из эксплуатации с помощью команды cmsso-util unregister и развернуть новый узел PSC, синхронизировав его с партнерами. В этом и будет суть восстановления узла PSC.

Также для целей обучения у VMware есть свои Walkthrough, которые очень полезно пройти, чтобы увидеть процесс резервного копирования и восстановления vCenter в деталях:


Таги: VMware, vCenter, Backup, vCSA

Вышел VMware PowerCLI 11 - что нового?


На днях компания VMware сделала доступной для загрузки новую версию своего фреймворка для управления виртуальной инфраструктурой VMware PowerCLI 11.0.0. Напомним, что прошлая версия PowerCLI 10.2 вышла в августа этого года.

Давайте посмотрим, что нового появилось в PowerCLI 11:

1. Добавлен новый модуль Security (VMware.VimAutomation.Security).

В нем есть следующие командлеты:

  • Get-SecurityInfo
  • Get-VTpm
  • Get-VTpmCertificate
  • Get-VTpmCSR
  • New-VTpm
  • Remove-VTpm
  • Set-VTpm
  • Unlock-VM

Также благодаря модулю Security появились следующие параметры у командлета New-VM:

  • KmsCluster
  • StoragePolicy
  • SkipHardDisks
  • StoragePolicy
  • ReplicationGroup
  • StoragePolicyTarget

Для Set-VM теперь есть следующие параметры:

  • DisableEncryption
  • KmsCluster
  • SkipHardDisks
  • StoragePolicy

Для Set-VMHost:

  • KmsCluster

Для Set-HardDisk:

  • DisableEncryption
  • KmsCluster
  • StoragePolicy

Для New-HardDisk:

  • KmsCluster
  • StoragePolicy

2. Добавлены новые командлеты для Host Profiles.

В модуле VMware.VimAutomation.Core появились следующие командлеты для управления функциями Host Profiles:

  • Get-VMHostProfileUserConfiguration
  • Set-VMHostProfileUserConfiguration
  • Get-VMHostProfileStorageDeviceConfiguration
  • Set-VMHostProfileStorageDeviceConfiguration
  • Get-VMHostProfileImageCacheConfiguration
  • Set-VMHostProfileImageCacheConfiguration
  • Get-VMHostProfileVmPortGroupConfiguration
  • Set-VMHostProfileVmPortGroupConfiguration

3. Обновления модуля Storage.

Теперь в модуле VMware.VimAutomation.Storage появились следующие командлеты для автоматизации работы с vSAN (подробнее об этом написано тут):

  • Get-VsanObject
  • Get-VsanComponent

4. Добавлен новый командлет для взаимодействия с NSX-T в облаке VMware Cloud on AWS.

Для этого в модуль VMware.VimAutomation.Vmc добавили командлет Get-VmcSDDCNetworkService.

5. Поддержка новых версий продуктов VMware.

В PowerCLI 11 была добавлена поддержка следующих продуктов и их версий:

  • vSphere 6.7 Update 1
  • NSX-T 2.3
  • Horizon View 7.6
  • vCloud Director 9.5

Для vCloud Director появились следующие командлеты по автоматизации сетевого взаимодействия:

  • Get-EdgeGateway
  • New-OrgVdcNetwork
  • Remove-OrgVdcNetwork
  • Set-OrgVdcNetwork

6. Поддержка нескольких платформ для модуля Cloud.

7. Обновленный командлет Get-ErrorReport (актуальная информация для отладки).

8. Убранные модули из состава PowerCLI.
  • Убрали модуль PCloud
  • Убрали модуль HA

Напомним, что обновить PowerCLI теперь очень просто - надо выполнить команду:

Update-Module -Name VMware.PowerCLI

Также вам могут оказаться полезными следующие материалы:


Таги: VMware, PowerCLI, Update

Апгрейд файловой системы VMware VMFS-5 на VMFS-6 c помощью PowerCLI.


Недавно мы писали про обновление VMware Tools и Virtual Hardware для виртуальных машин на платформе VMware vSphere через PowerCLI. Эта заметка была опубликована как перевод одной из статей цикла об апгрейде VMware vSphere и ее компонентов на версии 6.7 и выше. Сегодня мы поговорим об обновлении кластерной файловой системы хранения ВМ VMFS-5 на следующую версию - VMFS-6.

Напомним, что VMFS-6 впервые появилась в VMware vSphere 6.5 и с тех пор сильно не изменялась, но если посмотреть на отличия шестой версии от пятой, то они весьма существенные:

Как мы видим, основных отличий четыре:

  • Доступ к хостам ESXi 6.0 и более ранних к VMFS-6 уже невозможен.
  • В VMFS-6 присутствуют функции Automatic space reclamation (он же Automatic VMFS UNMAP), доступные также через PowerCLI.
  • Функции возврата дискового на уровне гостевой ОС ограничены в VMFS-5.
  • Нативная поддержка 4K native storage.

Последний пункт как раз и стал причиной того, что произошло изменение в структуре метаданных томов, а значит VMFS-5 нельзя проапгрейдить до VMFS-6. Альтернативой является создание нового датастора VMFS-6, перемещение туда всех виртуальных машин и удаление старого.

Создаем новый VMFS-6:

Перемещаем туда все виртуальные машины тома VMFS-5 через Storage vMotion или Cold migration и удаляем его:

Как стало понятно, для такого "апгрейда" датастора VMFS-5 вам потребуется еще столько же места на другом датасторе или готовом к форматированию под VMFS-6 хранилище, чтобы переместить туда виртуальные машины.

Чтобы посмотреть текущие версии VMFS с помощью PowerCLI, нужно выполнить команду:

Get-Datastore | Select Name, FileSystemVersion | Sort Name

Перед началом процесса апгрейда нужно ознакомиться со статьей KB "Migrating VMFS 5 datastore to VMFS 6 datastore". Для миграции надо использовать командлет Update-VmfsDatastore, который также делает некоторые проверки перед миграцией.

При этом надо учитывать несколько моментов:

  • На время миграции нужен датастор VMFS-5 такой же или большей свободной емкости.
  • Машины перемещаются средствами Storage vMotion на временное хранилище.
  • Командлет убеждается, что на датасторе не осталось ВМ, миграция которых не поддерживается (это машины с поддержкой SRM, VADP, VRM и Clustering).
  • Командлет временно отключает механизм Storage DRS при своей работе (и включает по окончании). Если сценарий во время исполнения упадет, то вам придется включать Storage DRS вручную.
  • Нужно внимательно изучить использование параметров Resume и Rollback в случае появления ошибок.

Посмотрим, какие последовательные действия делает сценарий:

  1. Проверяет наличие ВМ с поддержкой VADP, SMPFT, MSCS/RAC на исходном датасторе.
  2. Убеждается, что датастор доступен со всех хостов.
  3. Валидирует, что временный датастор имеет достаточно емкости для размещения виртуальных машин.
  4. Устанавливает функцию Storage DRS Automation в режим manual.
  5. Размонтирует исходный датастор.
  6. Удаляет старый датастор и создает на его месте новый датастор VMFS-6.
  7. Перемещает ВМ и другие данные со временного датастора на новый.
  8. Восстанавливает настройку Storage DRS Automation.

Теперь, собственно, как использовать командлет Update-VmfsDatastore:

Connect-VIServer ds-vcsa-03.cpbu.lab

$Source = Get-Datastore "DS02"
$Temp = Get-Datastore "DS-TEMP"
$Server = (Get-VIServer -Server "ds-vcsa-03.cpbu.lab")

Update-VmfsDatastore -Datastore $Source -TemporaryDatastore $Temp -TargetVmfsVersion "6" -Server $Server

Если у вас что-то пошло не так, вы сможете использовать параметр rollback для отката, а также если возникают ошибки, то после их исправления можно использовать параметр resume.

Больше об использовании командлета Update-VmfsDatastore написано вот тут.


Таги: VMware, VMFS, Upgrade, Storage, PowerCLI

Издания VMware vCenter Server - в чем отличия?


Информация этой заметки не покажется многим из вас новой, но для некоторых может оказаться полезной. Как вы знаете, управляющий компонент VMware vCenter Server сейчас поставляется в двух изданиях vCenter Server, устанавливаемый на платформе Windows, и vCenter Server Appliance (vCSA), представляющий собой готовую к использованию виртуальную машину с сервисами vCenter.

Напомним, что развертывание vCSA уже является опцией по умолчанию, а vCenter для Windows уже не будет присутствовать в следующих версиях VMware vSphere после 6.7.

На данный момент есть 3 издания VMware vCenter:

1. VMware vCenter Essentials

Это издание vCenter недоступно к отдельному заказу. Оно входит в состав изданий vSphere Essentials и vSphere Essentials Plus, которые допускают управление не более чем тремя хостами ESXi (в каждом не более двух физических CPU). Помимо данного ограничения, vCenter Essentials не имеет поддержки таких функций как (детальнее о них - далее):

  • Enhanced Linked Mode (ELM) 
  • vCenter Server High Availability (VCHA) 
  • vCenter Server File-Based Backup and Restore
  • vCenter Server Migration Tool
  • vRealize Orchestrator

vCenter Essentials в составе издания Essentials Plus можно проапгрейдить на vCenter Standard в составе пакета vSphere with Operations Management Acceleration Kit для одного из более высших изданий:

2. VMware vCenter Foundation

Это издание vCenter также не содержит в себе пять перечисленных выше фичей, но позволяет управлять не тремя, а уже четырьмя хостами ESXi с любым числом физических процессоров на борту (ранее число хостов было равно трем, но, начиная с vSphere 6.5 Update 1, его увеличили до четырех). Его можно купить отдельно от лицензий на хосты VMware vSphere / ESXi.

Одна лицензия vCenter Foundation также позволяет создать растянутый кластер из двух площадок, на каждой из которых есть по два хоста ESXi (суммарно под управлением vCenter там находится 4 хоста и Witness VM).

3. VMware vCenter Standard

Это, несмотря на название, самое максимальное издание vCenter. Оно не ограничивает никакую функциональность, то есть в нем доступно управление аж до 2000 хостами ESXi. Здесь вам будут доступны возможности объединения нескольких управляющих серверов Enhanced Linked Mode (ELM), но для каждого из серверов vCenter нужна, само собой, отдельная лицензия Standard.

Также вы сможете производить резервное копирование на уровне файлов (File-Based Backup and Restore) и обеспечивать высокую доступность сервисов vCenter (VCHA) - при этом для нее не нужна дополнительная лицензия на резервный vCenter, хватит одной:

Помимо этого, пользователи vCenter Standard могут применять vCenter Server Migration Tool для миграции с сервисов vCenter для Windows на платформу vCSA. Ну и можно использовать vRealize Orchestrator, который очень пригодится для автоматизации операций в больших инфраструктурах.


Таги: VMware, vCenter, Licensing

VMware TestDrive - реальное тестирование различных продуктов для партнеров и клиентов VMware.


Многие из вас пользуются лабораторными работами VMware Hands-on Labs, которые позволяют освоить работу с различными продуктами и технологиями, проходя по шагам интерфейса. Но это подходит только для целей обучения работе в интерфейсе этих решений, а если хочется полноценно запустить какой-нибудь продукт (например, vSAN, NSX или PKS) в реальных условиях и посмотреть на его производительность - то для этого есть портал VMware TestDrive, о котором недавно написал Дункан Эппинг.

Сервис TestDrive доступен для сотрудников VMware и ее партнеров, но хорошая новость в том, что партнеры могут давать туда доступ своим потенциальным и действующим заказчикам.

Преимущество данного сервиса в том, что инфраструктура в нем построена на базе референсной архитектуры VMware, на сертифицированном оборудовании, а среда настроена таким образом, что позволяет оценить реальную нагрузку на аппаратные компоненты (сеть, хранилища, процессор/память).

TestDrive работает в облаке Softlayer от IBM и доступен во всех глобальных регионах по миру (US, EMEA, APJ). При этом, работая с инфраструктурой, вы можете делать множество интересных вещей под аккаунтом SuperUser, свободу сильно не ограничивают, за исключением удаления объектов. VMware говорит, что TestDrive в этом году использовали уже 344 тысячи раз.

По окончании тестирования партнер VMware может посмотреть его результаты и обсудить их с клиентом:

Чтобы партнерам VMware использовать данный сервис, им нужна компетенция VTSP HCI, после чего TestDrive будет доступен через Partner Central. Для начала получения компетенции зайдите в Partner University и подпишитесь на аккредитацию Hyper-Converged Infrastructure accreditation:

Одно из самых интересных на портале - возможность тестирования кластеров хранилищ vSAN (на данный момент это vSAN 6.7, но скоро окружение будет обновлено до vSAN 6.7 Update 1). Там доступно управление виртуальной инфраструктурой десктопов Horizon и машинами, а также есть доступ к средству тестирования нагрузки HCIBench. С помощью решений vSAN Health and Performance Service и vROPs можно замерять задержки (latency) и число операций ввода-вывода в секунду (IOPS) в различных условиях эксплуатации виртуальных машин:

Надо понимать, что в качестве аппаратной среды используется All-Flash конфигурация хостов, поэтому все работает довольно шустро.

Для доступа к сервису нужно попросить его у своего поставщика, являющегося партнером VMware, который должен зарегистрироваться на портале vmtestdrive.com.

Бонус для дочитавших до этого места! Дункан выбил возможность всем желающим использовать VMware TestDrive в течение 30 дней, для этого надо зарегистрироваться с промо-кодом DUNCANYB или использовать вот эту ссылку.


Таги: VMware, vSAN, TestDrive, Performance

<<   <    1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104 | 105 | 106 | 107 | 108 | 109 | 110 | 111 | 112 | 113 | 114 | 115 | 116 | 117 | 118 | 119 | 120 | 121 | 122 | 123 | 124 | 125 | 126 | 127 | 128 | 129 | 130 | 131 | 132 | 133 | 134 | 135 | 136 | 137    >   >>
Интересное:





Зал Славы Рекламодателя
Ближайшие события в области виртуализации:

Быстрый переход:
VMware Veeam Broadcom Offtopic Microsoft Cloud StarWind VMachines NAKIVO vStack Gartner Vinchin Nakivo IT-Grad Teradici VeeamON VMworld PowerCLI Citrix VSAN GDPR 5nine Hardware Nutanix vSphere RVTools Enterprise Security Code Cisco vGate SDRS Parallels IaaS HP VMFS VM Guru Oracle Red Hat Azure KVM VeeamOn 1cloud DevOps Docker Storage NVIDIA Partnership Dell Virtual SAN Virtualization VMTurbo vRealize VirtualBox Symantec Softline EMC Login VSI Xen Amazon NetApp VDI Linux Hyper-V IBM Google VSI Security Windows vCenter Webinar View VKernel Events Windows 7 Caravan Apple TPS Hyper9 Nicira Blogs IDC Sun VMC Xtravirt Novell IntelVT Сравнение VirtualIron XenServer CitrixXen ESXi ESX ThinApp Books P2V vSAN CloudHealth NSX Labs Backup AI Chargeback Aria VCP Intel Community Ransomware Stretched Private AI vDefend VCF Workstation Network Tanzu VMUG HCX VCPP Explore Data Protection ONE Live Recovery V2V DPU Update EUC Avi Skyline Host Client GenAI Horizon SASE Workspace ONE Networking Tools Performance Lifecycle AWS API USB SDDC Fusion Whitepaper SD-WAN Mobile SRM ARM HCI Converter Photon OS Operations VEBA App Volumes Certification VMConAWS Workspace Imager SplinterDB DRS SAN vMotion Open Source iSCSI Partners HA Monterey Kubernetes RDMA vForum Learning vRNI UAG Support Log Insight AMD vCSA NSX-T Graphics NVMe HCIBench SureBackup Docs Carbon Black vCloud Обучение Web Client vExpert OpenStack UEM CPU PKS vROPs Stencils Bug VTL Forum Video Update Manager VVols DR Cache Storage DRS Visio Manager Virtual Appliance PowerShell LSFS Client Datacenter Agent esxtop Book Photon Cloud Computing SSD Comparison Blast Encryption Nested XenDesktop VSA vNetwork SSO VMDK Appliance VUM HoL Automation Replication Desktop Fault Tolerance Vanguard SaaS Connector Event Free SQL Sponsorship Finance FT Containers XenApp Snapshots vGPU Auto Deploy SMB RDM Mirage XenClient MP iOS SC VMM VDP PCoIP RHEV vMA Award Licensing Logs Server Demo vCHS Calculator Бесплатно Beta Exchange MAP DaaS Hybrid Monitoring VPLEX UCS GPU SDK Poster VSPP Receiver VDI-in-a-Box Deduplication Reporter vShield ACE Go nworks iPad XCP Data Recovery Documentation Sizing Pricing VMotion Snapshot FlexPod VMsafe Enteprise Monitor vStorage Essentials Live Migration SCVMM TCO Studio AMD-V KB VirtualCenter NFS ThinPrint Orchestrator ML Director Memory SIOC Troubleshooting Bugs ESA Android Python Upgrade Hub Guardrails CLI Driver Foundation HPC Optimization SVMotion Diagram Ports Plugin Helpdesk VIC VDS Migration Air DPM Flex Mac SSH VAAI Heartbeat MSCS Composer
Полезные постеры:

Постер VMware vSphere PowerCLI 10

Постер VMware Cloud Foundation 4 Architecture

Постер VMware vCloud Networking

Постер VMware Cloud on AWS Logical Design Poster for Workload Mobility

Постер Azure VMware Solution Logical Design

Постер Google Cloud VMware Engine Logical Design

Постер Multi-Cloud Application Mobility

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):

 

Популярные статьи:
Как установить VMware ESXi. Инструкция по установке сервера ESXi 4 из состава vSphere.

Включение поддержки технологии Intel VT на ноутбуках Sony VAIO, Toshiba, Lenovo и других.

Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.

Как работают виртуальные сети VLAN на хостах VMware ESX / ESXi.

Как настроить запуск виртуальных машин VMware Workstation и Server при старте Windows

Сравнение Oracle VirtualBox и VMware Workstation.

Диски RDM (Raw Device Mapping) для виртуальных машин VMware vSphere и серверов ESX.

Что такое и как работает виртуальная машина Windows XP Mode в Windows 7.

Работа с дисками виртуальных машин VMware.

Где скачать последнюю версию VMware Tools для виртуальных машин на VMware ESXi.

Подключение локальных SATA-дисков сервера VMware ESXi в качестве хранилищ RDM для виртуальных машин.

Как поднять программный iSCSI Target на Windows 2003 Server для ESX

Как перенести виртуальную машину VirtualBox в VMware Workstation и обратно

Инфраструктура виртуальных десктопов VMware View 3 (VDI)

Как использовать возможности VMware vSphere Management Assistant (vMA).

Интервью:

Alessandro Perilli
virtualization.info
Основатель

Ратмир Тимашев
Veeam Software
Президент


Полезные ресурсы:

Последние 100 утилит VMware Labs

Новые возможности VMware vSphere 8.0 Update 1

Новые возможности VMware vSAN 8.0 Update 1

Новые документы от VMware

Новые технологии и продукты на VMware Explore 2022

Анонсы VMware весной 2021 года

Новые технологии и продукты на VMware VMworld 2021

Новые технологии и продукты на VMware VMworld 2020

Новые технологии и продукты на VMware VMworld Europe 2019

Новые технологии и продукты на VMware VMworld US 2019

Новые технологии и продукты на VMware VMworld 2019

Новые технологии и продукты на VMware VMworld 2018

Новые технологии и продукты на VMware VMworld 2017



Copyright VM Guru 2006 - 2025, Александр Самойленко. Правила перепечатки материалов.
vExpert Badge