В догонку к найденным и, вроде бы, поборенным уязвимостям Meltdown и Spectre, в процессорах Intel нашли еще одну потенциальную дыру - L1 Terminal Fault Vulnerability, которая затрагивает современные процессоры (2009-2018 годов выпуска) и гипервизор VMware ESXi (а также и все остальные гипервизоры).

Для начала надо сказать, что на днях стали доступны вот такие патчи для платформы виртуализации VMware vSphere, которые настоятельно рекомендуется установить:

VMware vCenter:

• vCenter Server 6.7 – VC 6.7.0d build 9451876
• vCenter Server 6.5 – VC 6.5 Update 2c – build 9451637
• vCenter Server 6.0 – VC 6.0 Update 3h – build 9451619
• vCenter Server 5.5 – VC 5.5 Update 3j – build 9313450

VMware ESXi:

• ESXi 6.7 – ESXi670-201808401-BG
• ESXi 6.5 – ESXi650-201808401-BG
• ESXi 6.0 – ESXi600-201808401-BG
• ESXi 5.5 – ESXi550-201808401-BG

Суть уязвимости, описанной в CVE-2018-3646 заключается в том, что виртуальная машина, исполняемая на конкретном ядре, может получить доступ к данным других машин, использующих это ядро, или самого гипервизора через L1 Data Cache, который совместно используется машинами, выполняющими команды на данном ядре.

Для такой уязвимости возможны 2 типа векторов атаки:

• Sequential-context - вредоносная машина получает доступ к данным другой ВМ, которая исполнялась на этом ядре ранее и получала доступ к кэшу L1.
• Concurrent-context - вредоносная машина прямо сейчас получает доступ к данным ВМ или гипервизора, которые исполняются планировщиком на этом ядре.

Решение вопроса уровня Sequential-context заключается просто в накатывании патчей, которые не должны приводить к падению производительности (как это было с Meltdown и Spectre). А вот для избавления от риска применения вектора атаки Concurrent-context нужно включить фичу, которая называется ESXi Side-Channel-Aware Scheduler. И вот в этом случае влияние на производительность может уже быть существенным, поэтому нужно либо принять риск Concurrent-context, либо следить за производительностью систем.

Таким образом, процесс обновления инфраструктуры VMware vSphere должен выглядеть так:

• Обновляете сначала серверы vCenter, потом хосты ESXi.
• Смотрите, есть ли на хостах запас по CPU на случай возникновения проблем с производительностью.
• Если запас есть - включаете функцию ESXi Side-Channel-Aware Scheduler и наблюдаете за производительностью систем по CPU.

Детальные инструкции по включению ESXi Side-Channel-Aware Scheduler вы найдете здесь. Действовать нужно по следующей схеме:

Ну и в заключение, вот список процессоров, которые подвержены атакам типа L1 Terminal Fault:

Во время проходящей сейчас в Барселоне конференции VMworld Europe 2018 компания VMware выпустила обновление клиента для управления отдельными хостами ESXi - Embedded Host Client версии 1.32. Напомним, что прошлая версия этого продукта была выпущена еще в июле этого года, поэтому обновления пришлось ждать довольно долго.

Давайте посмотрим, что нового появилось в Host Client 1.32:

• Улучшения функций Import / Export:
  • Файлы ISO и NVRAM теперь можно экспортировать и импортировать (если это поддерживается соответствующей версией ESXi).
  • При экспорте машины можно выбрать только некоторые файлы.
  • Все расширенные настройки ВМ экспортируются по умолчанию.
  • Было исправлено несколько багов в мастере экспорта.
• Общие улучшения:
  • Предварительный просмотр прав доступа (пермиссий) теперь отображается корректно.
  • Пакеты Support Bundles теперь генерируются на лету.
  • Восстановлена функциональность работы под доменным пользователем.
  • Адреса устройств Fibre Channel WWN отображаются в шестнадцатиричном формате.

Скачать VMware ESXi Embedded Host Client 1.32 можно по этой ссылке.

На днях компания VMware выпустила финальную версию своего руководства по обеспечению безопасности виртуальной инфраструктуры vSphere 6.7 Update 1 Security Configuration Guide. Напомним, что ранее мы писали о документе vSphere 6.5 Update 1 SCG, который описывал основные аспекты обеспечения безопасности прошлой версии платформы (оказывается, был и гайд по vSphere 6.7 - он публично не анонсировался, но теперь находится в статусе Deprecated).

Напомним, что этот документ доносит концепцию "Secure by design", что означает, что среда VMware vSphere изначально настроена оптимальным образом с точки зрения безопасности, поэтому вносить изменения вам нужно только в случае наличия каких-либо специальных требований в вашей инфраструктуре.

В документе, помимо описания рекомендуемой настройки и лога изменений, есть следующие полезные колонки:

• Hardening - указывает на то, что это действительно настройка, которой нужно уделить внимание при конфигурации.
• Site Specific Setting - говорит о том, что задать конфигурацию должен сам пользователь, в зависимости от его окружения.
• Audit Setting - указывает, что вам необходимо время от времени проверять эту настройку, чтобы убедиться, что значение по умолчанию не было изменено администратором необоснованно. 
• Desired value - рекомендуемое значение, оно же и является значением по умолчанию, если это не site specific.

Сейчас распределение по этим настройкам выглядит так (50 настроек в vSphere 6.7 U1 против 68 опций в версии vSphere 6.5 U1):

Давайте посмотрим на отличие vSphere 6.7 U1 SCG от прошлых версий руководства:

• Появились настройки категории deprecated - они описывают параметры ESXi или vCenter, которые больше нет необходимости изменять, так как они потеряли актуальность. Все настройки этой категории приведены в отдельном документе, который настоятельно рекомендуется изучить. Если вы их использовали - то лучше перестать это делать, так как это только добавляет дополнительной работы по их обслуживанию.
• Больше нет категории "Risk Profiles". Причина в том, что только настройка "ESXi.enable-strict-lockdown-mode" подпадает под Risk Profile 1, а остальные находятся во 2-й или 3-й категории, поэтому было решено отказаться от этой таксономии. Вместо этого было добавлено больше содержимого в колонку Vulnerability Discussion, где обсуждаются конкретные факторы риска.
• Настройка vNetwork.enable-bpdu-filter переместилась из категории Hardening в Site Specific, так как при нормальных условиях функционирования сети ее менять не требуется (а она также затрагивает конфигурацию аппаратных коммутаторов и гостевой ОС). Да, она защищает от Spanning Tree Loops, но в нормально настроенной сетевой конфигурации менять ее не следует.

В гифке ниже можно посмотреть прогресс Security Configuration Guide с версии vSphere 6.5:

Скачать VMware vSphere 6.7 Update 1 Security Configuration Guide можно по этой ссылке.

Наш читатель Илья обратил внимание на то, что совсем недавно, 23 октября, компания VMware обновила образы своего гипервизора не последних мажорных версий - а именно вышли обновления:

1. Для VMware ESXi 6.5 вышло обновление ESXi-6.5.0-20181004002-standard (Build 10390116).

Оно включает в себя следующие VIB-пакеты:

В этом обновлении исправлены следующие ошибки:

• Большой поток ввода-вывода к машине со снапшотом диска типа SEsparse мог вызвать неконсистентность файловой системы.
• Дисковая группа со включенной дедупликацией могла быть помечена как хранилище с ошибками без оставшегося свободного места, хотя это было не так.

Накатить обновление VMware ESXi 6.5 можно с помощью этих команд:

esxcli network firewall ruleset set -e true -r httpClient

esxcli software profile update -p ESXi-6.0.0-20180804001-standard \

-d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml

esxcli network firewall ruleset set -e false -r httpClient

После этого надо перезагрузить хост ESXi.

2. Для VMware ESXi 6.0 вышло обновление ESXi-6.0.0-20181004001-standard (Build 10474991).

Оно включает в себя следующие пакеты:

В этом обновлении пофикшены некоторые критические ошибки:

• Большой поток ввода-вывода к машине со снапшотом диска типа SEsparse мог вызвать неконсистентность файловой системы.
• Дисковая группа со включенной дедупликацией могла быть помечена как хранилище с ошибками без оставшегося свободного места, хотя это было не так.
• Пофикшена ошибка для SATA-контроллера Marvell 9230.
• Компонент ESXi VMKernel мог упасть при наличии малого объема памяти и древнем стеке драйверов USB.

Накатить обновление VMware ESXi 6.5 можно с помощью этих команд:

esxcli network firewall ruleset set -e true -r httpClient

esxcli software profile update -p ESXi-6.0.0-20181004001-standard \

-d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml

esxcli network firewall ruleset set -e false -r httpClient

После этого надо перезагрузить хост ESXi.

Не все администраторы платформы виртуализации VMware vSphere знают, что такое Network I/O Control (NIOC). Причина проста - функции механизма регулирования полосы пропускания NIOC для различных видов трафика на стороне vSphere Distributed Switch (vDS) есть только в издании vSphere Enterprise Plus, которое, как правило, приобретают большие и средние компании.

Давайте посмотрим, что такое NIOC и разберем эту функциональность на примерах. Прежде всего, функция NIOC появилась тогда, когда с появлением сетей 10G стало понятно, что можно делать сетевую инфраструктуру на хостах ESXi с небольшим числом сетевых адаптеров, обладающих высокой пропускной способностью. Но в этих условиях также стало ясно, что сетевой трафик, идущий по таким сетям, надо в рамках того же 10G-канала как-то разграничивать.

NIOC позволяет системным и сетевым администраторам настраивать приоритизацию следующих видов трафика для пула сетевых адаптеров хостов ESXi:

• Fault tolerance traffic
• iSCSI traffic
• vMotion traffic
• Management traffic
• vSphere Replication traffic
• Network file system (NFS) traffic
• Virtual machine (VM) traffic
• User-defined traffic

Механизм NIOC появился еще в 2010 году в VMware vSphere 4.1, и с тех пор был очень сильно доработан (сейчас в vSphere 6.7 Update 1 доступна третья версия NIOC v3).

В интерфейсе HTML5-клиента vSphere Client эти настройки выглядят так (новый клиент полностью поддерживает рабочие процессы NIOC):

В vSphere Web Client вы можете увидеть эти настройки по адресу vDS > Manage > Resource Allocation > System traffic:

Механизм NIOC включен по умолчанию (для vSphere 6.0 и выше), но для типов трафика не заданы никакие ограничения (Limit) и резервации (Reservation) - только приоритеты между типами трафика (Shares). Работают эти 3 техники регулирования типа трафика так же, как и аналогичные механизмы для хранилищ или вычислительных ресурсов:

• Reservation - гарантирует тому или иному типу трафика пропускную способность канала в Мбит/с. Важно помнить, что эта ширина канала резервируется, но в случае ее простоя ее смогут использовать другие типы системного трафика. Между тем, простой канала зарезервированного системного трафика не дает возможность распределить полосу на виртуальные машины. В любом случае, Reservation (если он вам очень нужен) нужно выставлять таким, чтобы обеспечить только минимальные запросы сервиса для его функционирования, а не средние и максимальные.
• Limit - ограничивает сверху используемый канал для выбранного типа трафика.
• Shares - с помощью чисел приоритета (от 1 до 100) позволяет выделить группы которые будут получать больше или меньше пропускной способности канала (например, если одна группа имеет 100, а другая 50 - то первая будет получать в два раза больше на фоне распределения всего трафика адаптеров по группам). Механизм этот начинает распределять канал после раздачи всех заданных резерваций.

Есть еще один нюанс - только 75% совокупной ширины канала на хосте ESXi может быть зарезервировано (а если говорить точнее - от адаптера с самой низкой пропускной способностью в этой группе на хосте). Остальные 25% остаются на всякий случай (например, компенсация всплесков управляющего трафика). Все, что не распределено с помощью Reservation, будет регулироваться средствами механизма Shares.

Для изменения резервации, лимита или shares категорий системного трафика надо открыть настройки конкретного типа трафика:

Для удобства Shares можно указывать не цифрами, а выбрать из комбо-бокса один из вариантов - Low (25), Normal (50) и High (100). В этом случае цифры для Shares автоматически подберутся (они указаны в скобках), чтобы составлять верные соотношения согласно выставленным приоритетам. После выставления этих параметров они будут применены на всех физических адаптерах хостов ESXi, подключенных к распределенному коммутатору vDS на сервере vCenter.

Когда вы задаете Reservation, максимальная пропускная способность для данного типа трафика будет равна этому значению, умноженному на число физических адаптеров на хостах, выделенных для этого типа трафика.

NIOC v3 также позволяет сконфигурировать резервации как на уровне отдельных виртуальных машин (в свойствах адаптера), так и создавать собственные пользовательские пулы (User-Defined Network Resource Pools), которые являются подмножеством корневого пула Virtual machine (VM) traffic.

Для User-Defined Network Resource Pools выставление лимитов и Shares не предусмотрено - только Reservation.

В свойствах адаптера vNIC резервации на уровне отдельной ВМ можно выставить в ее настройках (это только гарантированная полоса, но машина может использовать и больше, если есть доступные ресурсы):

Если вы выставляете Reservation для адаптеров виртуальных машин, то их суммарная резервация не может быть больше, чем резервация для VM system traffic на этом хосте:

Если нужно настроить сетевые пулы ресурсов для групп виртуальных машин, то нужно создать новый пул в Web Client:

А потом указать резервацию для него:

Потом этот пул нужно указать при настройке распределенной группы портов на распределенном коммутаторе vDS:

Ну а к этой распределенной группе портов нужно уже подключить виртуальные машины, которые на всех получат эту резервацию.

При этом если вы задали резервацию 1 Мбит/с, а физических адаптеров на хосте ESXi у вас 5, то такая распределенная группа портов получит до 5 Мбит/с на свои виртуальные машины.

В итоге картина выглядит подобным образом:

Когда вы создадите новый пул в разделе Network Resource Pools, вы сможете посмотреть список виртуальных машин в нем на вкладке Virtual Machines:

Ну и напоследок отметим, что лимиты для сетевых адаптеров машин должны согласовываться с лимитами политики traffic shaping для распределенной группы портов, куда они воткнуты. Например, если для адаптера выставлен лимит 200 Мбит/с, а для всей порт-группы на vDS только 100 Мбит/с, то эффективным ограничением будет именно 100 Мбит/с.

Спустя несколько недель ожидания после анонса обновленной версии платформы виртуализации VMware vSphere 6.7 Update 1, компания VMware сделала ее доступной для загрузки. Скачать продукт, включая ESXi 6.7 Update 1 и vCenter 6.7 Update 1, можно по этой ссылке:

https://my.vmware.com/en/web/vmware/info/slug/datacenter_cloud_infrastructure/vmware_vsphere/6_7

Напомним, что обо всех новых возможностях этого решения мы писали вот тут. Кроме того, в составе vSpher 6.1 Update 1 стал доступен и VMware vSAN 6.7 Update 1, про который мы писали вот тут.

Ну и главная новость этого релиза - это, бесспорно, полнофункциональный vSphere Client на базе HTML5! Мы ждали этого годами, и это сбылось. Вот пост об этом от VMware, там много подробностей, о которых мы скоро тоже расскажем.

Для него, кстати, доступна темная тема (см. последние наши новости о vSphere Client 3.42):

Клиент на HTML5 включает в себя не только все старые рабочие процессы, но и новые возможности, такие как упрощенная настройка механизма отказоустойчивости vCenter HA (VCHA) и функции обновлений vSphere Update Manager (VUM).

Вкратце суммаризуем все новые возможности VMware vSphere 6.7 Update 1:

• Полнофункциональный VMware vSphere Client на базе HTML5
• Утилита vCenter Server Converge Tool для миграции на внедренный (embedded) PSC
• Новая версия vSAN и улучшения HCI (обновления микрокода через Update Manager)
• Улучшения Content Library
• vMotion для карточек NVIDIA Quadro vDWS и поддержка Intel FPGA

Отдельно давайте посмотрим, а что нового появилось в VMware vSAN 6.7 Update 1:

• Новый мастер Cluster quickstart
• Обновление драйверов и firmware через Update Manager
• Механизмы защиты при выводе хостов из эксплуатации и переводе в режим обслуживания
• Разные представления vROPs для обычных и растянутых кластеров vSAN
• Улучшенные возможности Capacity reporting
• Поддержка TRIM/UNMAP
• Поддержка режима Mixed MTU для растянутых кластеров
• Обновленные средства для сайзинга инфраструктуры
• Улучшенные функции Health Check
• Улучшенная диагностика для персонала поддержки VMware GSS

Обновить VMware vCenter Server Appliance 6.7 на Update 1 можно через интерфейс VAMI (vCenter Appliance Management Interface, он же Appliance Management User Interface или MUI):

Ну и, конечно же, скоро будет много интересных статей про отдельные фичи. Не забывайте наведываться.

Один из наших читателей Сергей справедливо отметил, что мы обошли вниманием бесплатное решение SexiGraf, предназначенное для мониторинга виртуальной инфраструктуры VMware vSphere. Оно было сделано энтузиастами (Raphael Schitz и Frederic Martin) в качестве альтернативы платным продуктам для мониторинга серверов ESXi и виртуальных машин.

Представления SexiPanels для различных метрик в различных разрезах есть не только для VMware vSphere и vSAN, но и для ОС Windows и FreeNAS, но мы остановимся только на панелях для vSphere. Да и то, давайте посмотрим только на 17 самых интересных из них, поскольку различных фильтров, вариаций и комбинаций этих панелей и представлений очень много, все в одну статью не поместится.

SexiGraf представляет собой виртуальный модуль (Virtual Appliance) с веб-интерфейсом администрирования, который можно удобно настроить под себя. Давайте посмотрим, какие самые интересные представления есть в SexiGraf:

1. Полная статистика по одному или нескольким кластерам.

Кое-что здесь взято из раздела производительности vCenter, но большинство метрик отличаются и могут быть вам очень интересны:

2. Полная статистика по одному или нескольким серверам ESXi.

Это представление похоже на предыдущее, только статистика по датасторам и адаптерам vmnic не агрегируется и представляется отдельно:

3. Планирование емкости одного или нескольких кластеров.

Прикольная штука - задаете кластер (один или несколько), масштаб заполнения для процессорных ресурсов (scale) и получаете статистики по числу используемых виртуальных машин и сколько их еще можно в кластер вместить:

4. Использование процессоров и памяти.

Можно выбрать один или несколько кластеров, сравнить их между собой, а также представить агрегированные данные по всей инфраструктуре:

5. Хранилища по IOPS и Latency.

Можно вывести датасторы и сравнить их по числу операций в секунду (IOPS) и возникающей задержке:

6. Агрегированное заполнение ресурсов по кластерам.

Выбираем кластер, и нам показывают...Читать статью далее->>

Не все знают, что на днях на сайте VMware стали доступны для загрузки ISO-образы VMware ESXi, кастомизированные для серверов HP. Они включают в себя все патчи, обновления и сертифицированные драйверы, доступные на 27 сентября этого года.

ISO-образы ESXi доступны для следующих версий платформ:

• vSphere 6.7
• vSphere 6.5 U2
• vSphere 6.0 U3

Также компания HPE выпустила 2 версии образов кастомного ESXi:

• С поддержкой серверов Gen9 и более поздних версий.
• Кастомный образ для серверов до Gen 9.

Кстати, кастомизированный ISO для vSphere 6.7 есть только для серверов Gen9 и более поздних версий, если у вас Gen8 и ниже будет доступен максимум ESXi 6.5 U2. Вот тут вы можете посмотреть матрицу поддержки VMware ESXi и серверов HPE.

Вот, например, что мы видим для блейдов и подтверждает слова выше:

Ну и, собственно, ссылки на сами VMware ESXi HP Custom ISO:

• vSphere 6.7 Sept 2018 – Поддерживает серверы Gen9 и выше.
• vSphere 6.5 U2 Sept 2018 – Поддерживает серверы Gen9 и выше.
• vSphere 6.5 U2 Sept 2018 – Последний кастомный образ Pre-Gen9.
• vSphere 6.0 U3 Sept 2018 – Поддерживает серверы Gen9 и выше.
• vSphere 6.0 U3 Sept 2018 – Последний кастомный образ Pre-Gen9.

На днях в Лас-Вегасе началась конференция VMworld 2018 - главное в году событие в сфере виртуализации. Компания VMware уже в первый день представила немало анонсов новых продуктов и решений, но одним из главных стало объявление о выпуске обновления серверной платформы виртуализации VMware vSphere 6.7 Update 1.

На картинке выше приведены 5 основных новых возможностей vSphere 6.7 U1, давайте посмотрим на них поближе:

1. Полнофункциональный VMware vSphere Client на базе HTML5.

Наконец-то свершилось - VMware выпустила полную версию vSphere Client на базе технологии HTML5, которая заменяет собой устаревший vSphere Web Client. Теперь все операции можно будет делать через один удобный и быстрый клиент. Напомним, что VMware очень долго к этому шла, постоянно откладывала релиз полной версии, но в итоге пользователи получат единый инструмент управления виртуальной инфраструктурой.

Теперь клиент на HTML5 включает в себя не только все старые рабочие процессы, но и новые возможности, такие как упрощенная настройка механизма отказоустойчивости vCenter HA (VCHA) и функции обновлений vSphere Update Manager (VUM). Теперь нет нескольких рабочих процессов, делающих то же самое (раньше были Basic и Advanced), а также улучшились функции работы с Content Library, появился расширенный поиск, упростилась настройка запланированных задач и появились графики top-N (топы по использованию ресурсов).

2. Утилита vCenter Server Converge Tool.

Эта новая утилита позволяет смигрировать внешний сервер Platform Services Controller (PSC) на простой в управлении embedded PSC. Проблема заключалась в том, что ранее пользователи использовали внешний PSC, поскольку он поддерживал Enhanced Linked Mode (ELM). И несмотря на то, что внедренный PSC стал поддерживать ELM еще в vSphere 6.7 и vSphere 6.5 Update 2, многие пользователи еще с предыдущих версий поддерживают комплексную инфраструктуру внешних PSC с репликацией между площадками.

Сейчас все стало проще - утилита vCenter Server Converge Tool устанавливает embedded PSC на vCenter Server Appliance (vCSA), после чего налаживает канал репликации с оставшимися внешними PSC. После того, как эта процедура пройдет на всех площадках, вы сможете отключить внешние PSC, а встроенный механизм vCenter HA сам настроится на работу с внедренными PSC.

Теперь вам не нужны сложные HA-топологии PSC с балансировщиками на разных площадках, серверы vCSA с внедренными PSC на них можно просто соединить между собой.

Утилита vCenter Server Converge Tool работает из командной строки (команда vcsa-converge-cli) и поставляется в комплекте с установщиком vCSA. Ее можно запускать в ОС Windows, macOS и Linux, а конфигурируется она через файл в формате JSON:

Еще одна задача, которая была решена - vCenter Server с компонентом embedded PSC теперь можно перенаправить на другой домен vSphere SSO (это позволяет более гибко распределять и разделять домены SSO в корпоративной инфраструктуре). Ранее это было сделано только для внешних SSO, а теперь доступно и для vCSA.

3. Новая версия vSAN и улучшения HCI.

В новой версии vSAN появилась функция Cluster Quickstart, которая позволяет инициализировать кластер, добавить в него хосты и накатить идентичную конфигурацию на них. Она включает в себя настройку механизмов HA и DRS, Enhanced vMotion Compatibility (EVC), датасторов vSAN и сетевого взаимодействия, включая Virtual Distributed Switch (VDS).

Этот воркфлоу можно использовать и для добавления новых хост-серверов ESXi в кластер, а также для его валидации (проверка корректности и идентичности настроек на всех хостах с оповещением о найденных несоответствиях).

Также появилась интеграция микрокода контроллера ввода-вывода с vSphere Update Manager (VUM), который использует утилиту обновления драйверов от вендора сервера. Таким образом, обновление драйвера I/O-адаптера можно включить в цикл обновления хоста и не заниматься этим отдельно.

Если VUM не нашел утилиты обновления от вендора, он предлагает загрузить ее (можно использовать как дефолтный, так и свой репозиторий):

4. Улучшения Content Library.

Теперь OVA-шаблоны можно импортировать из HTTPS-источника или с локального хранилища. Также содержимое OVA-пакетов можно синхронизировать между несколькими серверами vCSA (сами шаблоны синхронизировать пока нельзя). Content Library обрабатывает сертификаты и файлы манифеста, входящие в OVA-пакеты в соответствии с лучшими практиками безопасности.

Content Library также нативно поддерживает формат шаблонов VMTX и ассоциирует с ними операции, такие как развертывание ВМ напрямую из Content Library.

5. vMotion для карточек NVIDIA Quadro vDWS и поддержка Intel FPGA.

Теперь технология NVIDIA Quadro vDWS (ранее она называлась GRID) для vGPU поддерживается со стороны vSphere 6.7 Update 1. Напомним, что ранее была введена поддержка операций Suspend/Resume для GRID, а теперь появилась и поддержка горячей миграции vMotion для машин с привязкой к карточкам NVIDIA Quadro vDWS. Это позволит обновлять хосты с тяжелыми операциями (например, десктопы с CAD-приложениями) без прерывания работы пользователей.

Также VMware объявила о поддержке карточек Intel Programmable Acceleration Card с технологией Intel Arria 10 GX FPGA. Эта технология позволяет получить прямой доступ к оборудованию с помощью механизма VMware DirectPath I/O через Intel Acceleration Stack для процессоров Intel Xeon CPU с FPGA.

Также в рамках VMworld 2018 было анонсировано новое издание - vSphere Platinum, которое предоставляет расширенные функции обеспечения безопасности для корпоративной инфраструктуры. О нем мы расскажем в следующей статье.

О дате доступности для загрузки обновления VMware vSphere 6.7 Update 1 пока не сообщается.

Компания VMware выпустила обновленную версию своего клиента для управления отдельными хост-серверами - VMware ESXi Embedded Host Client 1.31. Напомним, что о прошлом релизе клиента, который вышел в марте этого года, мы писали вот тут (это версия 29, тридцатую пропустили).

Давайте посмотрим, что нового появилось в Host Client 1.31:

• Исправлены проблемы, которые проявлялись в некорректном выборе значений комбо-боксов.
• Обновился пользовательский интерфейс настроек клиента синхронизации времени NTP.
• Фреймворк AngularJS был обновлен до версии 1.6.10.
• Исправлены некоторые ошибки.

Маловато для четырех месяцев с момента выпуска прошлой версии, но все же лучше, чем ничего. К сожалению, прошлая версия также не содержала в себе значимого нового функционала.

После того, как вы загрузите VIB-пакет с Host Client, используйте следующую команду для его установки на ESXi:

ssh root@<esx ip or hostname> esxcli software vib install -v <path_to_vib>

После этого вы сможете получить доступ к интерфейсу клиента по адресу:

https://<esx ip or hostname>/ui

Скачать VMware ESXi Embedded Host Client 1.31 можно по этой ссылке.

Некоторые из вас знают, что у VMware есть лицензия VMware vCenter Server Foundation, которая позволяет подцепить к серверу vCenter до 4 хостов VMware ESXi. Такая лицензия стоит дешевле обычного vCenter и позволяет построить растянутый кластер (stretched cluster) из четырех хостов ESXi, например, на уровне основного датацентра и филиала (это обеспечивает отказоустойчивость HA на уровне каждой площадки):

Проблема здесь возникает тогда, когда вы пытаетесь добавить виртуальный модуль Witness Virtual Appliance на один из хостов. Так как Witness VM - это виртуальный хост ESXi, то несмотря на то, что он не исполняет виртуальных машин, сервер vCenter считает его пятым хостом и отказывается добавлять его.

Решение проблемы описано в Release Notes для VMware vCenter Server 6.5 Update 2 (см. пункт в самом низу) - нужно просто с самого начала импортировать Witness VM в inventory сервера vCenter (при добавлении первым он не будет съедать лицензию), после чего уже добавить 4 хоста ESXi, которые в этом случае подцепятся без проблем.

Как вы знаете, компания VMware часто выпускает обновления для платформы VMware ESXi, которые закрывают проблемы безопасности и содержат исправления ошибок. Эти обновления можно загрузить вручную через портал My VMware или автоматически накатить через VMware Update Manager (VUM). Обновление содержит коллекцию VIB-пакетов, которые последовательно накатываются в среде ESXi. Эта коллекция VIB объединяется в бюллетень (bulletin), чтобы соблюсти порядок установки и зависимости, которые между ними заложены. Одно обновление содержит один или несколько бюллетеней.

Есть два типа бюллетеней для обновления VMware vSphere: патчи (patches) и роллапы (rollups). При любом выпуске обновления для ESXi есть как минимум бюллетень, который содержит основные системные пакеты - esx-base, vsan, and vsanhealth. Также в обновление могут быть включены и другие бюллетени, если есть необходимость в их обновлении.

Если обновление небольшое, то оно называется патчем (patch) и содержит небольшой набор пакетов, который закрывает дырки безопасности и некоторые баги. Время от времени VMware выпускает большой набор обновлений, который содержит не только исправления ошибок, но и некоторые новые возможности - оно называется rollup.

Раньше администраторам довольно трудно было убедиться, что у них накатаны все необходимые патчи в промежутке времени между большими мажорными релизами VMware vSphere. Теперь же, начиная с июня этого года, вместе с каждым патчем выходит еще и rollup update, который содержит в себе все обновления пакетов, которые произошли с момента последнего релиза VMware vSphere.

Вот так это выглядит в VMware Update Manager:

Все эти обновления описаны в соответствующей статье базы знаний VMware. Например, взгляните на VMware KB 55917 - там описаны все бюллетени обновления ESXi670-201806001 с соответствующими ссылками на их KB, а также указан rollup bulletin, который содержит все обновления VIB-пакетов с момента последнего релиза, в данном случае VMware ESXi 6.7:

Теперь можно просто накатывать этот роллап и не волноваться, что в вашей инфраструктуре что-то не обновлено.

Недавно мы писали о новой утилите на сайте проекта VMware Labs - ESXi Compatibility Checker, которая представляет собой Python-скрипт, проверяющий аппаратные компоненты хост-серверов на совместимость с платформой VMware vSphere и ее различными версиями. На днях вышла обновленная версия этого сценария, которая имеет несколько важных нововведений.

1. Офлайн режим работы.

Теперь можно собрать данные об аппаратных конфигурациях в формате JSON на системе без доступа к интернету, а потом проверить собранные конфигурации на другой системе с онлайн-доступом на предмет соответствия требованиям HCL (Hardware Compatibility List).

Для сбора конфигурации нужно использовать такую команду:

$compchecker.py -s <host> -u <user> -g <json-data-filename>

А для проверки на аппаратные требования такую:

$compchecker.py -f <json-data-filename>

2. Поддержка нескольких серверов vCenter.

Теперь оператор -s поддерживает несколько имен хостов через запятую. Таким образом, вы получите один отчет о совместимости для нескольких управляющих серверов vCenter. Делается это следующей командой:

$compchecker.py -s <host1>,<host2>,<host3> -u <user>(,<user>)

3. Новая информация в отчете.

Теперь в отчете есть такая информация об окружении, как "Installed Release", "Checked Release", а также информация об аппаратном обеспечении.

4. Задание прокси-сервера для работы скрипта.

С помощью параметра -p можно задать адрес прокси-сервера, через который будет происходить коммуникация при проверке аппаратных конфигураций.

Скачать скрипт ESXi Compatibility Checker можно по этой ссылке.

Не так давно мы писали о том, что вышло обновление клиента VMware ESXi Embedded Host Client, позволяющего управлять хост-сервером ESXi через удобный веб-интерфейс. Сегодня мы поговорим о настройке клиента NTP на хосте, который необходим, чтобы виртуальные машины синхронизировали свое время с хостом через VMware Tools. Тулзы синхронизируют свое время при старте машин, операциях по созданию снапшотов (а значит и при создании бэкапов), vMotion и некоторых других событиях.

Если на хосте установлено неправильное время, то это может привести к проблемам при логине, а также невозможности старта службы vpxd на сервере vCenter Server Appliance (vCSA).

Давайте запустим ESXi Host Client по ссылке:

https://<esxi_ip_or_hostname>/UI

Далее нужно пойти в Manage > System > Time and Date, где нажать Edit settings:

Появится диалог настройки синхронизации времени хоста средствами службы NTP (ESXi NTP Client).

В поле NTP Servers нужно указать адрес сервера времени, а в поле NTP service startup policy есть 3 варианта:

• Start and stop with port usage - если выставлена эта опция, то службы NTP будут запускаться автоматически при доступности порта NTP (UDP Port 123) и отключаться, если он недоступен (например, применен Security Profile для сетевого экрана, который выключает доступ по этому порту). VMware рекомендует использовать эту настройку по умолчанию.
• Start and stop with host - включает и отключает службы NTP при загрузке хоста ESXi или перед его выключением.
• Start and stop manually - ручное управление службами NTP с точки зрения старта и остановки.

После того, как вы настроили политику NTP-клиента, он сам еще не запустится - его нужно запустить вручную из меню Actions:

Если же вы используете для настройки времени на хосте ESXi клиент vSphere Web Client, то они находятся в разделе Configure > System > Time configuration для выбранного хоста ESXi:

7 лет назад мы писали про утилиту ESXi-Customizer, которая позволяет добавлять кастомные драйвера в ISO-образ VMware ESXi. У того же автора (Andreas Peetz) есть еще одна замечательная утилита, которая актуальна и на сегодняшний день - ESXi-Customizer-PS. Актуальна - это значит, что ее последняя версия (от 18 апреля этого года) поддерживает последние версии платформ и фреймворка - vSphere 6.7 и PowerCLI 10.

ESXi-Customizer-PS - это PowerShell-скрипт, который на входе принимает большое число различных параметров, а на выходе дает кастомизированный ISO-образ или офлайн-бандл ESXi:

Сценарий имеет три режима работы:

• Создать установочный образ ISO или Offline Bundle напрямую из хранилища VMware Online depot (стандартный режим).
• Создать установочный образ ISO или Offline Bundle из скачанного ESXi Offline Bundle (параметр -izip).
• Обновление локального ESXi Offline Bundle с помощью ESXi patch bundle из хранилища VMware Online depot (параметры -izip -update).

С помощью этих трех режимов вы можете добавлять бандлы из хранилища V-Front Online Depot, либо любого другого Online Depot, указав его URL, а также можно указывать локальные Offline Bundles и VIB-файлы (собственно, кастомные драйверы или кастомный софт под ESXi).

Об использовании утилиты ESXi-Customizer-PS Alex Lopez снял хороший видеотуториал:

Скрипт можно использовать множеством способов. Давайте рассмотрим основные:

1. Вызов скрипта без параметров.

Например:

.\ESXi-Customizer-PS-v2.6.0.ps1

В этом случае утилита создаст ISO-образ ESXi самой последней версии (6.7 на данный момент) и с самым последним уровнем обновлений. Вы также можете указать конкретный номер версии ESXi, для которой будет получен ISO с последними обновлениями. Например:

• -v50 : ESXi 5.0 ISO
• -v51 : ESXi 5.1 ISO
• -v55 : ESXi 5.5 ISO
• -v60 : ESXi 6.0 ISO
• -v65 : ESXi 6.5 ISO
• -v67 : ESXi 6.7 ISO

Также есть еще три параметра:

• -outDir : записывать ISO-образ в указанную директорию.
• -sip : не использует последний уровень патчей, а показывает меню, где можно выбрать конкретный патч. Новые патчи будут показаны сверху. Также будут показаны и профили, которые содержат только обновления безопасности и/или VMware Tools.
• -ozip : на выходе будет сформирован не ISO, а ESXi Offline Bundle, который можно импортировать в Update Manager, указать вручную для обновления черезesxcli или использовать как входной бандл для следующих кастомизаций.

2. Использование офлайн бандла ESXi Offline Bundle как входного параметра (вместо VMware Online depot).

Например, такая команда позволит вам получить ISO-образ из офлайн-бандла:

.\ESXi-Customizer-PS-v2.6.0.ps1 -izip .\VMware-ESXi-6.0.0-2494585-depot.zip

Офлайн бандл можно скачать через VMware Patch Download portal. Некоторые вендоры также предлагают свои кастомизированные офлайн-бандлы, например HP. Офлайн бандлы VMware можно найти вот тут. Также вы можете использовать параметры из пункта 1.

3. Добавление дополнительных пакетов из присоединенных хранилищ Online depots.

Например, вот эта команда позволит добавить сетевые драйверы, отсутствующие в образе ESXi 5.5:

.\ESXi-Customizer-PS-v2.6.0.ps1 -v55 -load net-r8168,net-r8169,net-sky2

Данные драйверы есть в VMware Online depot, так как они есть в составе ESXi 5.0 и 5.1, но были исключены из дистрибутива ESXi 5.5. Важно, что для ESXi 6.0 такая штука для этих драйверов уже не прокатит, так как они были добавлены в черный список (blacklised).

4. Присоединение онлайн-хранилища V-Front Online Depot и других хранилищ.

Делается это следующей командой:

.\ESXi-Customizer-PS-v2.6.0.ps1 -v60 -vft -load sata-xahci,net55-r8168

В результате в образ ESXi 6.0 будут добавлены драйверы из V-Front Online Depot (sata-xahci и net55-r8168).

5. Добавление локальных офлайн-бандлов и VIB-файлов.

Вот такая команда добавит все офлайн-бандлы и VIB-пакеты в последний образ ESXi 6.7:

.\ESXi-Customizer-PS-v2.6.0.ps1 -pkgDir C:\temp\pkg

Этой командой вы сможете добавить драйверы типа 3rd party или community supported.

6. Обновление локальных офлайн-бандлов.

Вот такая команда обновит ESXi 6.0 Offline bundle последними патчами из онлайн-хранилища VMware:

.\ESXi-Customizer-PS-v2.6.0.ps1 -v60 -izip .\VMware-ESXi-6.0.0-2494585-HP-600.9.1.39-Mar2015-depot.zip -update

Здесь надо не забывать указывать номер версии патчируемого гипервизора (в данном случае -v60 - это ESXi 6.0).

7. Расширенные параметры.

У утилиты есть еще несколько расширенных параметров, которые дают еще больше возможностей по кастомизации образов ESXi:

• -log : указание пути к кастомному лог-файлу.
• -test : тестирование возможности построения или обновления образа без накатывания реальных изменений. Экономит массу времени, так как не перестраивает ISO или zip, а также не качает обновления и образы из VMware Online depot.
• -nsc : это опция -noSignatureCheck, которая отключает проверку сигнатуры при выполнении функции экспорта. Ее нужно использовать, если вы получаете ошибку типа "Could not find trusted signer." (пакет с некорректными или отсутствующими сигнатурами).
• -ipname, -ipdesc, -ipvendor: задание собственных атрибутов в профиле образа. По умолчанию в имени и описании останутся прежние значения с приставкой "customized", а имя вендора не изменится.
• -remove vib1[,...]: удаление одного или нескольких VIB-пакетов из кастомного образа.

Скачать ESXi-Customizer-PS-v2.6.0.ps1 можно по этой ссылке.

Мы иногда пишем о том, что большие обновления как хост-серверов VMware ESXi, так и управляющих компонентов VMware vCenter / vCenter Server Appliance всегда лучше ставить заново, а не делать апгрейд с предыдущих версий (если у вас, конечно, есть такая возможность). Да, вы не сохраните логи и исторические данные, но это позволит вам избежать различных проблем, связанных с устаревшими компонентами, которые останутся при обновлении и могут вступить в конфликт с новыми функциями при определенных обстоятельствах.

Такой вот пример приводит и Mike Foley в статье про механизм безопасной загрузки хостов vSphere Secure Boot. Когда он обновил свою инфраструктуру на VMware vSphere 6.7 с версии 6.5, он решил проверить функции Secure Boot и возможности модуля TPM 2.0.

Но когда он включил эти возможности в UEFI BIOS, он получил "розовый экран смерти" (PSOD) сервера ESXi:

Причина оказалась проста - для некоторых legacy-драйверов при обновлении не были обновлены их сигнатуры для VIB-пакетов, поэтому механизм Secure Boot не может эти сигнатуры проверить и выводит хост в PSOD при загрузке.

Чтобы найти эти драйверы, он запустил скрипт secureBoot.py, который показывает модули, препятствующие безопасной загрузке:

/usr/lib/vmware/secureboot/bin/secureBoot.py -c

Вывод оказался примерно таким:

[root@esxi-117] /usr/lib/vmware/secureboot/bin/secureBoot.py -c Secure boot CANNOT be enabled: 

Failed to verify signatures of the following vib(s): [

net-tg3 

dell-configuration-vib 

net-i40e 

net-igb 

net-ixgbe 

vmware-esx-perccli-1.05.08 

ima-qla4xxx 

misc-cnic-register 

net-bnx2 

net-bnx2x 

net-cnic 

net-qlcnic 

net-qlge 

scsi-bnx2fc 

scsi-bnx2i 

scsi-qla4xxx 

scsi-megaraid-sas 

lsu-lsi-mptsas-plugin].

All tardisks validated. All acceptance levels validated

Посмотрев на каждый драйвер по отдельности, он понял, что все это старые Linux-драйверы, которые были заменены в новых версиях VMware vSphere своими Native-аналогами. Например, для драйвера net-tg3 есть аналогичный нативный драйвер ntg3, а для net-bnx2i есть bnxnet.

Поэтому далее Майк просто удалил все VIB-пакеты со старыми драйверами следующей командой:

esxcli software vib remove -n scsi-megaraid-sas

esxcli software vib remove -n net-tg3

esxcli software vib remove -n net-i40e

esxcli software vib remove -n net-igb

esxcli software vib remove -n net-ixgbe

esxcli software vib remove -n net-qlcnic

esxcli software vib remove -n scsi-bnx2i

esxcli software vib remove -n scsi-bnx2fc

esxcli software vib remove -n net-bnx2x

esxcli software vib remove -n scsi-qla4xxx

esxcli software vib remove -n net-cnic

esxcli software vib remove -n net-bnx2

esxcli software vib remove -n net-qlge

esxcli software vib remove -n misc-cnic-register

esxcli software vib remove -n lsu-lsi-mptsas-plugin

esxcli software vib remove -n ima-qla4xxx

esxcli software vib remove -n vmware-esx-perccli-1.05.08

esxcli software vib remove -n dell-configuration-vib

В итоге его хост смог безопасно загрузиться через Secure Boot. Также Майк далее в статье рассматривает решение еще одной специфической проблемы, которая встречается довольно редко.

Ну а мы еще раз напомним - если есть возможность поставить новую мажорную версию ESXi с нуля - лучше скачайте ISO-образ и сделайте это, вместо того, чтобы "быстро и безопасно" обновиться на новую версию.

Давненько ничего нового не было на сайте проекта VMware Labs. А вот на днях компания VMware выпустила полезную утилиту ESXi Compatibility Checker, представляющую собой Python-скрипт, проверяющий аппаратные компоненты хост-серверов на совместимость с платформой VMware vSphere и ее различными версиями.

Эта утилита может быть использована при замене различных компонентов хостов ESXi, а также обновлении серверов vCenter/ESXi. В целом, такую информацию можно собрать и вручную с помощью различных команд и в графическом интерфейсе, но у сервера так много системных девайсов, устройств ввода-вывода и прочего, что скрипт весьма и весьма упрощает эту задачу.

Результаты работы сценария ESXi Compatibility Checker можно вывести в xls-отчет, который потом можно использовать для планирования обновлений и обсуждения.

Кроме того, можно проверить хосты на возможность апгрейда на какой-нибудь релиз ESXi и соответствие аппаратным требованиям какой-либо версии, например:

Host 10.143.XX.XX> upto 6.5.0 -s
        [OK] The specified release (VMware vSphere Hypervisor (ESXi) 6.5.0) is upgradable from this VMware vSphere Hypervisor (ESXi) 6.0.0
        [Server: Warnings]  Server 'PowerEdge R720' may not be compatible for ESX 6.5.0
        [IO: Warnings]  Some IO devices may not be compatible for ESX 6.5.0
        Compatibility issues:
        - Server Model 'PowerEdge R720' with Intel Xeon E5-2600-v2 Series (ID:33815) is certified
            but current CPU Series (features:0x206d7) is not supported
            Certified BIOS versions are higher than 2.1.2
            More information: http://www.vmware.com/resources/compatibility/detail.php?deviceCategory=server&productid=33815
        - IO Device 'PERC H310 Mini' (PCIID:1000:0073:1028:1f51) is certified
            but current driver (megaraid_sas) is not supported
            More information: http://www.vmware.com/resources/compatibility/detail.php?deviceCategory=io&productid=40344

Возможно, когда-нибудь эта функциональность станет частью vCenter. Скачать скрипт ESXi Compatibility Checker можно по этой ссылке.

Как все уже знают, недавно компания VMware выпустила обновленную версию платформы виртуализации VMware vSphere 6.7. Напомним наши статьи о нововведениях этого решения:

• Новая версия платформы виртуализации VMware vSphere 6.7 доступна для скачивания
• Сравнение максимумов конфигурации VMware vSphere 6.5 и 6.7
• Новые возможности VMware vCenter 6.7 - развертывание vCSA стало опцией по умолчанию
• Как отреагировали вендоры решений резервного копирования виртуальных машин на релиз VMware vSphere 6.7
• Новые возможности VMware vSAN 6.7 в составе vSphere 6.7
• Обновленный VMware Update Manager в vSphere Client 6.7
• Рекомендации по обновлению на VMware vSphere 6.7

Ну а сегодня мы расскажем еще об одной возможности vSphere в плане безопасности - поддержке технологии Virtualization Based Security (VBS) операционных систем Microsoft. Механизм VBS позволяет превратить сервер или рабочую станцию на базе ОС Windows Server 2016 или Windows 10 в защищенные системы, исполняющиеся в рамках гипервизора Windows, при этом некоторые компоненты выносятся за пределы гостевой системы. Например, за рамки ОС выносится система управления хэшированными парами логин/пароль (креденшены), называющаяся Credential Guard.

Как мы видим на картинке, гипервизор обеспечивает виртуализацию гостевой системы на сервере или ноутбуке, а также канал обмена между внешними компонентами (Credential Guard, Device Guard) и ОС. Такая архитектура обеспечивает большие трудности при доступе злоумышленников к областям памяти, где хранятся хэши паролей различных пользователей - ведь эта область вынесена за пределы операционной системы.

Также аппаратное обеспечение компьютера должно иметь в своем составе модуль TPM 2.0 (Trusted Platform Module), который обеспечивает механику безопасной загрузки (Secure Boot). Ведь если не использовать механизм безопасной загрузки, то атаку можно провести на сам гипервизор, подменив его компоненты, а дальше уже иметь доступ к основной виртуальной машине и остальным компонентам гипервизора, в том числе хранилищу паролей. Таким образом, для полной защиты нужно использовать связку VBS+TPM 2.0 (вторая версия TPM поставляется уже со всем современным оборудованием).

Чтобы такая схема работала, нужно обеспечить выполнение следующих требований:

• UEFI firmware (не BIOS).
• Опция безопасной загрузки Secure Boot с поддержкой TPM.
• Поддержка технологии Hardware virtualization (опция процессоров Intel VT/AMD-V) и функций IOMMU.

И самое главное - ОС Windows должна быть установлена со всеми этими включенными опциями, иначе потом настраивать VBS будет проблематично.

В случае с гипервизором ESXi для незащищенной виртуальной машины Windows все выглядит вот таким образом:

Чтобы защитить машину с помощью VBS, потребуется использовать вложенную (nested) виртуализацию - ведь гипервизор Windows Hypervisor надо запустить на платформе VMware ESXi. Для этого в настройках виртуальной машины надо выставить опцию Enable для пункта Virtualization Based Security:

Это позволит открыть все необходимые опции процессора для гостевой ОС виртуальной машины, в которой также будет работать гипервизор.

Выглядеть это будет следующим образом:

Чтобы эта схема работала, нужно выполнить 2 условия:

• Виртуальная машина должна иметь виртуальное железо Virtual Hardware версии 14, которое появилось в vSphere 6.7.
• Гостевую ОС виртуальной машины надо развертывать на базе UEFI и с уже включенной опцией Secure Boot (обратите внимание на эту опцию на панели Boot Options в разделе VM Options (см. скриншот настроек выше).

Ну и последняя деталь - это модуль TPM. Для физических систем этот модуль делается с расчетом на одну систему, имеет небольшой объем памяти защищенного хранилища (измеряется в килобайтах) и работает весьма медленно, так как это serial device.

Поэтому VMware сделала виртуальное устройство - vTPM 2.0, которое в качестве хранилища использует обычный файл .nvram. Физический TPM не рассчитан на то, чтобы поддерживать сотни виртуальных машин на одном сервере (просто не хватит объема хранилища и быстродействия), а виртуальный vTPM отлично справляется с этой задачей. К тому же, виртуальную машину с виртуальным vTPM можно переносить между серверами с помощью vMotion и делать ее резервные копии.

Но, само собой, файл nvram надо хорошо зашифровать, поэтому для виртуальной машины нужно включить VM Encryption. Это обеспечит работоспособность машины в защищенной среде совместно с опцией VBS. При этом диски ВМ шифрованными не будут, что позволит получить доступ к данным на уровне VMDK дисков в случае утери ключей.

Самое интересное, что vTPM 2.0 не требуется как-то отдельно устанавливать и настраивать - он автоматически обнаруживается средствами Windows со стандартными драйверами:

Утилита Device Guard and Credential Guard hardware readiness tool от компании Microsoft определяет этот vTPM, как совместимый, поэтому можете использовать его для виртуальных машин, к которым предъявляются повышенные требования к безопасности.

Недавно мы писали о новых возможностях HTML5-клиента для VMware vSphere 6.7. Он уже содержит в себе интерфейсы VMware vSAN и Update Manager, что делает его уже почти готовым к полноценной эксплуатации в производственной среде.

Но помимо vSphere Client, в инфраструктуре vSphere есть и ESXi Host Client, который позволяет управлять отдельными хост-серверами ESXi через веб-интерфейс.

Посмотрите полезный обзор новых фичей ESXi Host Client 6.7 от Virtualization24x7:

Совсем недавно мы писали об утилите Configuration Maximums Tool, которая позволяет сравнить максимумы конфигурации различных версий VMware vSphere. Туда теперь оперативно добавили VMware vSphere 6.7, поэтому давайте посмотрим, как продвинулась новая версия по сравнению с продуктом, который вышел полтора года назад (vSphere 6.5).

В таблице ниже приведены только изменившиеся значения:

Компания VMware, спустя ровно полтора года с момента релиза vSphere 6.5, анонсировала скорую доступность новой версии платформы - VMware vSphere 6.7.

Этот релиз сфокусирован на четырех основных областях улучшений:

• Поддержка увеличивающегося числа и разнообразия приложений.
• Рост объемов использования гибридных облаков.
• Понимание глобального расширения онпремизных датацентров.
• Безопасность инфраструктуры и приложений.

Давайте посмотрим, что нового появилось в VMware vSphere 6.7:

1. Enhanced vCenter Server Appliance (vCSA) и масштабируемая инфраструктура.

Теперь в vCSA есть несколько новых API, которые выводят управление платформой на качественно другой уровень. Кроме того, теперь vCSA поставляется с интегрированными службами embedded platform services controller (обеспечивающими работу служб Single Sign-On), которые могут работать в режиме enhanced linked mode.

Также существенно была увеличена производительность vCSA:

• В 2 раза выросло число операций vCenter в секунду.
• В 3 раза уменьшилось потребление памяти.
• В 3 раза увеличилось число операций DRS (например, включение виртуальной машины и ее первичное размещение в кластере).

2. Улучшения механизма загрузки/перезагрузки хоста ESXi.

Здесь появилось 2 основных улучшения:

• При накате мажорных обновлений теперь требуется не 2 перезагрузки, а одна (Single Reboot).
• Новый механизм vSphere Quick Boot позволяет перезагрузить гипервизор без рестарта всего хоста ESXi.

3. Доработанный HTML5 vSphere Client.

В новом релизе будет обновленная версия клиента для управления vSphere Client на базе технологии HTML5 (добавлены функции управления vSAN и Update Manager), правда пока не понятно, будет ли это полноценная замена vSphere Web Client, или обе версии пока продолжат существовать совместно.

4. Большие улучшения безопасности.

VMware vSphere 6.7 предоставляет поддержку аппаратного модуля Trusted Platform Module (TPM) 2.0, а также появился виртуальный модуль Virtual TPM 2.0. Все это позволяет защититься от атак с подменой хостов и виртуальных машин, а также предотвратить загрузку неавторизованных компонентов.

Также были сделаны улучшения механизма VM Encryption в части рабочих процессов при использовании шифрования. Теперь при миграции виртуальных машин между различными экземплярами vCenter также можно использовать Encrypted vMotion, что расширяет сферу применения данной технологии до гибридных облачных инфраструктур (защищенная горячая миграция в датацентр сервис-провайдера) или инфраструктур с географически разнесенными датацентрами.

Помимо этого, vSphere 6.7 теперь поддерживает технологию Virtualization Based Security, которая используется в гостевых ОС Microsoft Windows.

5. Улучшения поддержки высокопроизводительных приложений.

Как многие из вас знают, поддержка vGPU от NVIDIA и AMD есть в платформе vSphere уже довольно давно. Используется она сейчас не только для виртуальных ПК, но и для таких задач, как системы искусственного интеллекта, machine learning, big data и прочее. Теперь в vSphere 6.7 поддержка такого рода вариантов использования была расширена.

С помощью технологии vSphere Persistent Memory пользователи могут использовать специальные аппаратные модули от Dell-EMC и HPE, которые могут использовать высокопроизводительные системы хранения с большим числом IOPS или предоставлять их возможности гостевым системам как non-volatile memory. Теперь во многих вариантах использования высокопроизводительные приложения смогут работать быстрее.

6. Бесшовная интеграция с гибридной средой.

Теперь в VMware vSphere 6.7 появился режим работы vCenter Server Hybrid Linked Mode, в котором можно соединить две инфраструктуры - вашу онпремизную с одной версией vSphere и облачную, например, VMware Cloud on AWS с другой версией платформы.

Помимо этого, в vSphere 6.7 появились механизмы Cross-Cloud Cold и Hot Migration, которые позволяют переносить нагрузки в онлайн и офлайн режиме между облаками и онпремизной инфраструктурой.

Когда это происходит, виртуальной машине приходится перемещаться между хостами с разными наборами инструкций процессора. Поэтому в vSphere появилась технология Per-VM EVC (Enhanced vMotion Compatibility), которая позволяет подготовить виртуальную машину к миграции на совершенно другое оборудование.

Также появилась фича поддержки операций cross-vCenter, mixed-version provisioning (таких как vMotion, полное клонирование, холодная миграция), которая позволяет производить эти операции между различными vCenter различных версий (что тоже неизбежно в гибридной среде - вроде связки с vCloud on AWS).

Скачать VMware vSphere 6.7 можно уже сейчас по этой ссылке.

Также обратите внимание на эту страницу, посвященную запуску vSphere 6.7. В ближайшее время мы расскажем о некоторых из описанных функций подробнее.

На днях компания VMware выпустила Configuration Maximums Tool - средство, которое позволяет посмотреть максимумы конфигурации платформ виртуализации, виртуальных машин и других решений VMware в различных категориях. На данный момент поддерживаются версии VMware vSphere 6.0, 6.5 и 6.5 Update 1 (кстати о сравнении максимумов 6.5 и 6.0 мы писали вот тут).

По умолчанию мы видим следующие Configuration Maximums, которые можно сворачивать-разворачивать в пределах категории:

• Virtual Machine Maximums
• ESXi Host Maximums (Compute)
• ESXi Host Maximums (Memory)
• ESXi Host Maximums (Storage)
• ESXi Host Maximums (Networking)
• ESXi Host Maximums (Cluster and Resource Pools)
• ESXi Host Maximums (VMDirectPath)
• vCenter Server Maximums
• vCenter Server Maximums (Storage DRS)
• Platform Services Controller
• vCenter Server Extensions (Update Manager)
• vCenter Server Extensions (vRealize Orchestrator)
• VMware vSphere Flash Read Cache
• VMware vSAN
• Virtual Volumes

Также многим будет интересна фича сравнения максимумов различных версий VMware vSphere:

Сравнить можно 2 или 3 версии платформы, а результат выгрузить в XLS-файл, чтобы использовать его в MS Excel.

VMware Configuration Maximums Tool доступен по этой ссылке: https://configmax.vmware.com/.

Многие администраторы платформы VMware vSphere заметили, что в версии VMware vSphere 6.5 несколько поменялся механизм запуска виртуальных машин в случае сбоя в кластере HA. Об этом интересно недавно написал Дункан Эппинг.

Напомним, что приоритет HA Restart Priority нужен для того, чтобы виртуальные машины могли запуститься в определенном порядке, и их сервисы корректно подхватили уже работающие приложения, запущенные предыдущей очередью ВМ. Всего один хост VMware ESXi может одновременно начать запуск до 32 виртуальных машин, поэтому в большом кластере с большим числом ВМ это действие нужно приоритизировать.

С точки зрения наступления момента запуска следующей очереди набора ВМ есть 4 таких события:

• Resources are allocated - это дефолтная настройка в кластере HA. Ресурсы аллоцируются в тот момент, когда master-хост выбрал хосты для восстановления и запуска ВМ. Это занимает совсем небольшое время (миллисекунды).
• VMs are powered on - это означает, что машина запустилась, и ESXi считает ее запущенной (но не гостевую ОС). Это занимает иногда 10-20 секунд, а иногда и несколько минут.
• Guest heartbeat is detected - это когда от гостевой ОС VMware получает отклик, например, через VMware Tools.
• App heartbeat is detected - это когда получен отклик от определенного приложения. В этом случае у вас должен быть настроен VM/Application Monitoring, который позволит оповестить о том, что приложение запустилось, и можно его использовать.

Если вам нужно убедиться, что работает сервис (то есть гостевая ОС и приложения), так как ВМ следующей очереди должны его использовать - то нужно опираться на последние два события.

Теперь приоритет восстановления ВМ (Restart Priority) содержит 5 уровней вместо трех, которые были в vSphere 6.0:

• Lowest
• Low
• Medium
• High
• Highest

Такие странные названия сделаны в целях совместимости с прошлой классификацией - Low, Medium и High.

Чтобы начать настройку Restart Priority, в vSphere Web Client нужно выбрать кластер HA и перейти на вкладку Configure, после чего выбираем раздел VM Overrides и нажимаем кнопку "Add":

Далее выбираем виртуальные машины, для которых мы хотим задать приоритет запуска:

И здесь главное - это выбор нужного приоритета из пяти уровней и выставление условия "Start next priority VMs when", то есть триггера запуска следующей очереди приоритета:

Все эти настройки применяются и для кластера, в котором не работает vCenter (в случае большого сбоя). Ну и посмотреть текущие настройки приоритетов запуска ВМ в кластере HA можно следующей командой:

/opt/vmware/fdm/fdm/prettyPrint.sh clusterconfig

Вывод будет очень большим, так что ищите в нем текст "restartPriority".

У некоторых пользователей VMware vSphere при обновлении серверов VMware ESXi возникает проблема - при выполнении команды "esxcli software vib update" в ответ возникает ошибка "No space left on device", хотя с дисками все в порядке, и на них много свободного места, в чем можно убедиться с помощью команды df -h.

Например, появляется вот такой вывод при попытке обновления:

[InstallationError]

[Errno 28] No space left on device

vibs = VMware_bootbank_esx-base_6.5.0-1.41.7967591

Please refer to the log file for more details.

В то же время вывод df -h говорит, что места на всех разделах достаточно:

Очень редко причина такого поведения оказывается проста - на хосте не хватает файловых объектов inodes, как описано в KB 1007638. Это объекты файловой системы, которых может быть до 640 тысяч на одном томе VMFS. Их используемое количество зависит от числа файлов в файловой системе в данный момент.

Проверить наличие свободных inodes можно командой stat -f /:

На картинке мы видим, что запас их еще весьма большой - они почти не израсходованы. Как правило, указанного лимита достичь очень и очень сложно, поэтому чаще всего упомянутое выше сообщение об ошибке связано совсем с другим. Но если вы все же достигли этого лимита, решение тут несложное - удалить какое-то число файлов с ESXi.

Например, можно найти лог-файлы и прочие файлы на хосте ESXi размером более 50 МБ, которые находятся НЕ на томах VMFS (чтобы не задеть логи ВМ), можно следующей командой:

find / -path "/vmfs" -prune -o -type f -size +50000k -exec ls -l '{}' \;

По итогу будет сгенерирован список преимущественно локальных файлов, который будет содержать ISO-образы, большие лог-файлы и т.п., которые уже скорее всего не нужны, и их можно удалить (а лучше переместить на какое-нибудь хранилище в целях архивирования). Также рекомендуем почитать KB 1008643, которая как раз посвящена удалению файлов в целях высвобождения объектов inodes.

Между тем, в случае появления приведенной в начале статьи ошибки о недостатке свободного места очень вероятно, что хост ESXi не может аллоцировать достаточно оперативной памяти (RAM) для проведения обновления. В этом случае вам просто надо включить ESXi system swap, который будет размещен на одном из датасторов, куда будут сбрасываться страницы оперативной памяти при недостатке памяти во время обновления.

Сделать это можно, зайдя в раздел Manage > Settings > System Swap, после чего нажав Edit...:

Выберите датастор и нажмите Ok. Также это можно сделать с помощью функционала Host Profiles:

После выбора датастора для системного свопа обновите хост ESXi и перезагрузите его.

В самом конце прошлого года компания VMware выпустила обновление пакета улучшений гостевых систем VMware Tools 10.2.0. А на днях эта ветка пакета обновилась до версии VMware Tools 10.2.5. Напомним, что ветка тулзов 10.2 - это идейный продолжатель первого ответвления 10.1, которое содержит развивающиеся версии для современных гостевых ОС.

Обновленные VMware Tools совместимы с VMware vSphere 5.5 и более поздними версиями платформы, а также с продуктами для настольной виртуализации VMware Workstation и Fusion.

Давайте посмотрим, что нового появилось в VMware Tools 10.2.5:

• VMware Tools 10.2.5 поддерживает следующие операционные системы:
  • Образ windows.iso поддерживает Windows Vista и более поздние ОС.
  • Образ linux.iso поддерживает Red Hat Enterprise Linux (RHEL) 5 и более поздние, SUSE Linux Enterprise Server (SLES) 11 и позднее, Ubuntu 10.04 и позднее. Также он поддерживает другие дистрибутивы с glibc версии 2.5 и более поздние.
  • Образ darwin.iso поддерживает Mac OS X версии 10.11 и позднее.
  • Образ solaris.iso поддерживает какие может версии Solaris.
• Изменения драйвера NSX: VMware Tools 10.2.5 поддерживают драйвер vnetWFP от Windows 7 и более поздних ОС.
• Возможности Quiesced snapshots - теперь можно исключать некоторые файловые системы из "подмороженных" снапшотов (quiesced snapshots) в гостевых ОС Linux. Эта конфигурация может быть установлена в файле настроек VMware Tools (подробнее написано в документации).
• Настройка отключения display resolution mode: в KB 53572 написано о том, как отключить эту настройку. Чтобы не позволить изменять разрешение экрана через VMware Tools, в VMX-файл виртуальной машины нужно добавить строчку:
  guestInfo.svga.wddm.modeset="FALSE"
  
• Изменения в сетевом драйвере виртуальных сетевых адаптеров виртуальных машин VMXNET3:
  • Функции Receive Side Scaling (RSS) включены по умолчанию.
  • Receive Throttle: дефолтное значение этой настройки установлено в 30.
    Важно отметить, что эти две настройки не обновят существующие сетевые адаптеры. Новые настройки будут применены только к свеженакатанным VMware Tools или при добавлении новых адаптеров к ВМ. Для обновления существующих адаптеров используйте скрипт. Более подробно об этом рассказано в KB 2008925.

Загрузить VMware Tools 10.2.5 можно по этой ссылке. Release notes доступны тут, а полный набор документации - тут.

В ноябре прошлого года компания VMware выпустила VMware ESXi Embedded Host Client версии 1.24. На днях вышло очередное обновление, которое перепрыгнуло через 5 минорных версий - Host Client 1.29.

Давайте посмотрим, что нового появилось в функциональности Host Client за почти полгода:

• Пофикшен баг с очисткой выделения области при удалении виртуальной машины.
• Исправлена ошибка с мастером хранилищ для очень больших датасторов.
• Обновление списка доступных RDM-дисков в списке создания виртуальной машины.
• Исправлена ошибка с неправильным отображением размера датастора в мастере.
• Улучшена поддержка сетей решения NSX.
• Пофикшены проблемы с переходом в полноэкранный режим и открытием новой вкладки консоли.
• Опциональное поле на странице логина теперь не заполняется менеджерами паролей браузеров.
• Небольшие исправления ошибок и косметические изменения.

Согласитесь, практически никакое обновление для версии, которую ждали больше 5 месяцев. Ну что делать, все равно обновиться не помешает, скачать VMware ESXi Embedded Host Client 1.29 можно по этой ссылке.

Недавно мы писали о полезном документе для администраторов VMware vSphere 6.5 - Performance Best Practices for VMware vSphere 6.5. Этот документ обязательно надо прочитать, там много всего полезного и интересного.

Например, там есть немного про улучшение команды esxtop, показывающей производительность хоста и виртуальных машин в различных аспектах. Теперь там добавилась метрика Power Management, где можно в реальном времени наблюдать за актуальной частотой процессора. Эта информация теперь отображается в колонке %A/MPERF.

Чтобы добавить ее, после запуска esxtop нажмите клавишу <p> и затем клавишу <f> для добавления колонки.

Вы увидите значения, некоторые из которых больше 100. Например, для процессора 2 и 4 на картинке выше значения равны 150. При этом это процессор Xeon E5-2699 v3 2.3 ГГц с функцией разгона частоты Turbo Boost до 3.6 ГГц. Значение 150 означает, что в данный момент процессор работает на частоте 2.3*1.5 = 3.45 ГГц, то есть почти на пределе.

Продолжаем информировать вас о выпусках обновлений и заплаток уязвимостей Meltdown и Spectre для виртуальной инфраструктуры VMware vSphere. Напомним наши прошлые посты:

• Как отслеживать производительность хостов VMware ESXi после патчей Meltdown и Spectre с помощью VMware vSphere Operations Manager
• Вышел VMware vCenter Server Appliance 6.5 Update 1f - исправлена уязвимость Meltdown и Spectre (частично)
• Производительность хост-серверов VMware ESXi и других платформ после наката патчей для Meltdown и Spectre
• Для VMware vSphere, Workstation и Fusion пофикшена уязвимость Spectre
• Скрипт для проверки виртуальной инфраструктуры VMware vSphere на подверженность уязвимости Spectre

На днях наш читатель Стас прислал новость о том, что VMware выпустила обновления, закрывающие уязвимость Spectre, на этот раз для ключевых компонентов виртуальной инфраструктуры - серверов vCenter и ESXi. Таким образом, согласно VMware Security Advisory VMSA-2018-0004.3, теперь от уязвимости Spectre защищены все основные продукты VMware трех последних поколений:

Начнем с обновлений для vCenter. Тут были выпущены следующие апдейты:

• VMware vCenter Server 5.5 Update 3h (Release notes, скачать)
• VMware vCenter Server 6.0 Update 3e (Release notes, скачать)
• VMware vCenter Server 6.5 Update 1g (Release notes, скачать)

Для серверов VMware ESXi были выпущены следующие патчи:

• ESXi550-201803001 (ESXi550-201803401-BG и ESXi550-201803402-BG)

• ESXi600-201803001 (ESXi600-201803401-BG и ESXi600-201803402-BG)

• ESXi650-201803001 (ESXi650-201803401-BG и ESXi650-201803402-BG)

Чтобы скачать эти обновления для ESXi, нужно пойти VMware Patch Portal и поискать там обновления для соответствующей версии ESXi.

Кроме наката патчей гипервизора VMware ESXi, вам также придется обновить микрокод серверов. Более подробная информация об этом приведена в KB 52085.

Помните, что порядок наката обновлений безопасности таков:

1. Накатываем обновления vCenter.

2. Обновляем ПО гипервизора на серверах VMware ESXi - накатываем апдейты, заканчивающиеся на 01-BG (позволяет гостевым ОС использовать новый механизм speculative-execution control), одновременно с этим обновляем и микрокод серверов (апдейты, заканчивающиеся на 02-BG), которое применяется в процессе загрузки ESXi. Оба патча накатываются в рамках одного профиля.

Многие из вас иногда хотят получить так называемый "Support Bundle", содержащий лог-файлы, диагностическую информацию и метрики производительности, который помогает решать проблемы в инфраструктуры VMware vSphere. В первую очередь, этот бандл нужен для предоставления службе технической поддержки VMware GSS (Global Support Services) информации о конфигурации виртуальной среды, чтобы она могла решать возникающие у клиентов проблемы в рамках обращений (тикетов) в техподдержку.

Но, кроме этого, данный бандл может пригодиться и вам, как, например, описано в этой статье для анализа причин "розового экрана смерти" и прочих аномалий.

Давайте рассмотрим основные способы получения support bundle как для серверов VMware vCenter (для Windows или виртуального модуля vCenter Server Appliance, vCSA), так и для серверов VMware ESXi. Кстати, надо учитывать, что после экспорта бандла с логами результирующий файл будет размером 30-300 МБ в зависимости от того, что вы туда включите, а также как давно и интенсивно менялась конфигурация виртуальной среды.

Получение Support Bundle для серверов vCenter

Самый простой способ получить саппорт бандл - это выгрузить его с помощью vSphere Web Client. Для этого нужно выбрать сервер vCenter в иерархии инвентори и выбрать пункт Export System Logs (работает как для обычного vCenter, так и для vCSA):

Далее вам предложат, какие разделы нужно включить в сгенерированный бандл логов:

Если вы используете vCSA, то можно получить логи через веб-интерфейс. Для этого надо перейти по адресу:

https://<ip vcsa>/appliance/support-bundle

И далее ввести логин и пароль root от виртуального модуля vCSA.

После этого support bundle будет сгенерирован и загружен через ваш браузер.

Кроме этого, есть способ получить логи vCSA из Linux-системы с помощью утилиты curl. Для этого нужно выполнить следующую команду:

curl -k -u root -o support-bundle.tar.gz -O https://<ip vcsa>/applmgmt/support-bundle

После того, как вы скачаете этот бандл, нужно будет разархивировать его командой:

tar -zxvf support-bundle.tar.gz

Также Support Bundle можно получить с помощью PowerCLI. Для этого нужно соединиться с сервером vCenter:

Connect-VIServer -Server HostnameOrIPAddress

И далее использовать следующую команду:

Get-Log -Bundle -DestinationPath c:\Storage\Location\

Более подробная информация об этом приведена в KB 1027932. Там же, кстати, есть информация и о том, как искать в файлах логов с помощью PowerCLI:

Get-VMHost HostNameOrIP | Get-Log LogName | Select -expand Entries | Select-String SearchTerm | More

Здесь SearchTerm - это строка поиска, а LogName - это один из следующих логов:

• hostd
• vpxa
• messages
• vmkernel
• vmksummary
• vmkwarning

Получение Support Bundle для серверов ESXi

По аналогии с получением бандла для сервера VMware vCenter или vCSA, в vSphere Client можно выбрать сервер VMware ESXi и выбрать для него пункт "Export System Logs":

Также можно сгенерировать Support Bundle через тонкий клиент для управления серверами VMware ESXi - Embedded Host Client (он же - просто веб-интерфейс для управления хостами ESXi). Он доступен при соединении с хостом ESXi по ссылке:

https://<ip esxi>/ui

Для генерации саппорт бандла нужно выбрать пункт "Generate support bundle" из контекстного меню хоста:

Помимо этого, его можно сгенерировать и в консоли ESXi. Для этого используется команда vm-support без параметров (подробнее об этом написано в KB 1010705). Чтобы получить Support Bundle нужно в консоли ESXi выполнить следующую команду:

# vm-support

Надо отметить, что у утилиты есть множество разных параметров:

Аналогично получению бандла для vCenter, через PowerCLI можно получить и бандл для хоста ESXi. Соединяемся с хостом, забираем бандл и складываем его в нужную папку:

Get-VMHost HostNameOrIP | Get-Log -Bundle -DestinationPath c:\Storage\Location\

Для тех, кто хочет узнать, что же находится внутри Support Bundle, мы рекомендуем статью "What's Inside an ESXi vm-support Bundle?".

Если вы зайдете на страницу поддерживаемых устройств ввода-вывода (I/O Devices) в списке VMware Hardware Compatibility List (HCL), то в правой колонке увидите там следующие параметры:

• VID (Vendor ID)
• DID (Device ID)
• SVID (Sub-Vendor ID)
• SSID (Sub-Device ID)

Все эти категории там не просто так - это очень удобный способ проверить совместимость вашего устройства ввода-вывода (сетевая карта, HBA-адаптер, SCSI-контроллер, USB-контроллер, и т.п.) с платформой VMware vSphere / ESXi и другими продуктами.

Например, если вы хотите узнать эти параметры для сетевой карты, то можно вывести список PCI-устройств командой vmkchdev, отфильтровав их с помощью grep по свойству vmnic (сетевой адаптер):

vmkchdev -l | grep vmnic

Далее вы увидите подобный вывод:

[dpasek@esx01:~] vmkchdev -l | grep vmnic

0000:02:00.0 14e4:1657 103c:22be vmkernel vmnic0

0000:02:00.1 14e4:1657 103c:22be vmkernel vmnic1

0000:02:00.2 14e4:1657 103c:22be vmkernel vmnic2

0000:02:00.3 14e4:1657 103c:22be vmkernel vmnic3

0000:05:00.0 14e4:168e 103c:339d vmkernel vmnic4

0000:05:00.1 14e4:168e 103c:339d vmkernel vmnic5

0000:88:00.0 14e4:168e 103c:339d vmkernel vmnic6

0000:88:00.1 14e4:168e 103c:339d vmkernel vmnic7

Здесь вот этот участок - 14e4:1657 103c:22be - для адаптера vmnic0 позволяет разложить его на 4 приведенных выше параметра:

• VID = 14e4
• DID = 1657
• SVID = 103c
• SSID = 22be

После этого вы просто вбиваете эти параметры в VMware HCL для I/O-устройств в правую колонку и смотрите, совместима ли данная сетевая карта с данной версией VMware ESXi.

Если вы отфильтруете вывод по строчке vmhba, то можете получить локальные SCSI-контроллеры или HBA-адаптеры, которые также можно проверить аналогичным образом.