Новости Статьи Российское ПО VMware Veeam StarWind vStack Microsoft Citrix Symantec События Релизы Видео Контакты Авторы RSS
Виртуализация и виртуальные машины

Все самое нужное о виртуализации и облаках

Более 6370 заметок о VMware, AWS, Azure, Veeam, Kubernetes и других

VM Guru | Ссылка дня: Полный список лабораторных работ VMware Hands-on Labs

Очередные новые версии веб-клиента VMware vSphere Client 3.28-3.30.


С начала ноября мы не писали про тонкий клиент на базе HTML5 для управления виртуальной инфраструктурой - VMware vSphere Client (тогда он был версии 3.27). На днях компания VMware выпустила его версию 3.30, поэтому давайте рассмотрим новые возможности, которые появились в последних трех версиях клиента - VMware vSphere Client 3.28-3.30.

Итак, что нового:

  • Просмотр имеющихся лицензий (Host/Cluster/функции Solutions) - пока работает в режиме Read-Only.
  • Доступны детали лицензированных продуктов и их фичей.
  • Детали лицензий сервера vCenter и хостов ESXi (Host License) - доступно в разделе Configure > Licensing.
  • Проверки состояния vSphere Distributed Switch (vDS health checks).
  • Настройка фильтрации трафика и правил его маркировки на уровне распределенных порт-групп.
  • Экспорт и импорт распределенных виртуальных коммутаторов (vDS) и распределенных порт-групп.
  • Настройка политик распределенных порт-групп внутри мастера создания новой порт-группы.
  • Настройка CPU Identification Mask в разделе Advanced.
  • Выбор паравиртуализованного сетевого адаптера PVRDMA для сети виртуальных машин.

Скачать последнюю версию VMware vSphere Client 3.30 можно по этой ссылке.


Таги: VMware, vSphere, Client, Update

Как расходуется дисковое пространство в кластере VMware vSAN при удалении файлов?


Cormac Hogan написал занимательный пост о об использовании дискового пространства в кластере VMware vSAN. Всех интересует - умеет ли vSAN возвращать дисковое пространство хранилищу при удалении файлов в гостевой ОС виртуальной машины? Ответ - пока нет, но над этим работают.

Cormac провел вот какой эксперимент: взял виртуальную машину в кластере vSAN с гостевой ОС Windows Server 2012 R2, у которой было 386.7 ГБ занятого места (сама ВМ была развернута на тонких дисках):

Затем он скопировал туда данные на 800 МБ, после чего увидел, что занятое место увеличилось до 388.37 ГБ, то есть выросло на 1,6 ГБ. Это логично, так как vSAN работал в режиме RAID-1 (зеркалированные VMDK-диски):

Далее он удалил только что скопированные файлы и убедился, что занятое дисковое пространство осталось тем же самым (то есть, в vSAN нет поддержки UNMAP/TRIM изнутри гостевой системы):

Между тем, он снова скопировал те же 800 МБ и к радости администраторов заметил, что дисковое пространство увеличилось лишь на 20 МБ (в совокупности на 40 МБ с учетом RAID-1).

То есть занятые после прошлого копирования блоки были использованы повторно:

Такая штука есть у Windows Server, но у Linux в файловой системе ext4 такой трюк не прокатит - все равно при повторном копировании блоки разместятся в другом месте, и пространство будет использовано повторно. Но это особенность файловой системы ext4, об этом подробно написано тут и тут. Для ФС ext3 и XFS это не актуально, там блоки тоже будут переиспользоваться.

Ну и помните, что описанное применимо только для удаления файлов изнутри гостевой ОС, если же вы удалите на хранилище vSAN виртуальную машину или другой объект - пространство сразу же вернется в общий пул хранения.


Таги: VMware, vSAN, Storage, vSphere, VMachines

Полезный документ для Enterprise-администраторов: "Horizon 7 Enterprise Edition Multi-Site Reference Architecture".


Недавно компания VMware опубликовала интересный документ, описывающий референсную архитектуру решения для виртуализации и доставки виртуальных ПК и приложений - "Horizon 7 Enterprise Edition Multi-Site Reference Architecture". Он предназначен для тех Enteprise-администраторов, которые планируют построение распределенной VDI-инфраструктуры для VDI-пользователей на базе двух географически разделенных площадок.

Цель подобных документов (Reference Architecture) - показать на высоком уровне возможные сферы применения продукта для построения указанной архитектуры (в данном случае - отказо и катастрофоустойчивости), а также валидировать ее дизайн и соответствие его решаемым задачам.

Вот какие кейсы раскрываются и сравниваются в документе:

С точки зрения рассматриваемых архитектур, в документе приводятся следующие варианты использования:

1. Архитектура Active/Active и Active/Passive для сервисов.

Тут Windows-сервис пользователю доставляется в виде терминальной сессии на RDS-хосте, либо через виртуальную машину, которая реплицируется на другой хост. Приложения, которые развертываются в ВМ в виде подключаемых виртуальных дисков App Volumes, также реплицируются. Опционально настраивается также репликация профилей пользователей и их данных.

В этом случае пользователи могут получить доступ к своим данным и приложениями через любую площадку, которая ему географически ближе:

А вот так выглядит в этом случае архитектура Active/Passive, которая берет на себя нагрузку только с случае отказа основной площадки:

2. Архитектура Active/Active и Active/Passive для приложений через App Volumes.

В этом случае можно использовать хосты RDS и подключать к ним тома App Volumes напрямую с приложениями при загрузке серверов, либо при логине пользователей. Пользователь может использовать свои приложения при соединении с любой площадкой:

А так выглядит отказоустойчивая архитектура Active/Passive для AppVolumes:

3. Архитектура Active/Active для профилей пользователей.

В этом случае можно обеспечить отказо и катастрофоустойчивость данных пользователей и их профилей при использовании доставляемых через RDSH-сервисы приложений.

Также возможно настроить инфраструктуру таким образом, чтобы на резервной площадке, например, пользователи получали ограниченную функциональность реплицируемых профилей.

4. Резервирование рабочего пространства Workspace ONE.

Workspace ONE - это веб-портал, через который пользователь корпоративной ИТ-инфраструктуры посредством SSO получает доступ к своим приложениям. Здесь используется решение VMware Identity Manager и репликация баз данных этого продукта средствами SQL AlwaysOn:

Ну и главное, что рассматриваются все аспекты переключения VDI-инфраструктуры на резервную площадку в контексте хранилищ, сетей и серверов:

Ну а все технические подробности и детали настройки конфигураций приведены в интересном 136-страничном документе.


Таги: VMware, Horizon, DR, VDI, HA, Whitepaper

Резервное копирование сервера VMware vCenter Server Appliance (vCSA) через PowerCLI.


Некоторое время назад мы писали о том, как делать резервное копирование и восстановление базы данных сервера vCenter Server и виртуального модуля vCenter Server Appliance (vCSA). А сегодня мы поговорим о том, как сделать бэкап всей виртуальной машины vCSA с помощью средств PowerCLI.

Для начала напомним, что простейший способ бэкапить сервер vCSA - это сделать его резервную копию в графическом интерфейсе на вкладке Summary:

Но если вам нужно резервное копирование и восстановление с помощью сценариев PowerCLI, то для этого можно использовать функцию Backup-VCSAToFile, о которой Brian Graf рассказывал вот тут. Бэкап может проводиться в следующие хранилища назначения:

  • FTP
  • FTPS
  • HTTP
  • HTTPS
  • SCP

Для управления процессом резервного копирования можно использовать следующие функции:

  • Backup-VCSAToFile
  • Get-VCSABackupJobs
  • Get-VCSABackupStatus

Отрабатывает Backup-VCSAToFile следующим образом:

Некто Magnus Andersson на базе функции Backup-VCSAToFile создал вот такой скрипт попроще, который позволяет забэкапить сервер vCSA, задав в заголовке сценария несколько параметров:

  • Сервер бэкапов и директория
  • Имя пользователя и пароль на хранилище назначения
  • Тип бэкапа - Fullbackup (полный) или Seatbackup (только конфигурация vCSA)
  • Пароль к файлу бэкапа, который понадобится при восстановлении
  • Тип хранилища бэкапа
  • Комментарий

Пользоваться скриптом просто, вот он:

# Script to backup vCenter Server Appliance
# Author: Magnus Andersson - Sr Staff Solutions Engineer @Nutanix
# Version 1.0
# Created 2017-11-15
# Kudos to Brian Graf for creating the Backup-VCSAToFile function, used in this script, which can be found here Backup-VCSAToFile Function Created By Brian Graf - https://www.brianjgraf.com/2016/11/18/vsphere-6-5-automate-vcsa-backup/
#
#--------------------------------------------
# User Defined Variables Sections Starts Here
#
# Specify vCenter Server, vCenter Server User name and vCenter Server Password
$vcsa="vcsa01.vcdx56.local"
$vcsauser="vcsabkpuser@vsphere.local"
$vcsapasswd="TopSecret76!"
# 
# Backup location
$bkpserver="10.10.100.199/vcsabackups/"
$bkpdir=get-date -uformat %Y-%m-%d
$bkpLocation=$bkpserver+$bkpdir
#
# Specify backup location user and password
$LocationUser="ftps-user"
$LocationPasswd="TopSecret67!"
#
# Specify backup type where Fullbackup is 1 and Seatbackup is 2
$BackupType=2
#
# Specify backup password - needed when performing restore
$bkpPassword="TopSecret68!"
#
# Specify backup localtion type where you must specify HTTP, HTTPS, SCP, FTP or FTPS
$LocationType="FTPS"
#
# Specify Backup Comment
$Comment="vCenter Server Appliance vcsa01.vcdx56.local backup"
#
# User Defined Variables Sections Ends Here
#--------------------------------------------
#
# Import Module VMware.VimAutomation.Cis.Core
Import-module VMware.VimAutomation.Cis.Core
#
# #--------------------------------------------
# Import Backup-VCSAToFile Function
Function Backup-VCSAToFile {
    param (
        [Parameter(ParameterSetName=’FullBackup’)]
        [switch]$FullBackup,
        [Parameter(ParameterSetName=’SeatBackup’)]
        [switch]$SeatBackup,
        [ValidateSet('FTPS', 'HTTP', 'SCP', 'HTTPS', 'FTP')]
        $LocationType = "FTP",
        $Location,
        $LocationUser,
        [VMware.VimAutomation.Cis.Core.Types.V1.Secret]$LocationPassword,
        [VMware.VimAutomation.Cis.Core.Types.V1.Secret]$BackupPassword,
        $Comment = "Backup job",
        [switch]$ShowProgress
    )
    Begin {
        if (!($global:DefaultCisServers)){ 
            [System.Windows.Forms.MessageBox]::Show("It appears you have not created a connection to the CisServer. You will now be prompted to enter your vCenter credentials to continue" , "Connect to CisServer") | out-null
            $Connection = Connect-CisServer $global:DefaultVIServer 
        } else {
            $Connection = $global:DefaultCisServers
        }
        if ($FullBackup) {$parts = @("common","seat")}
        if ($SeatBackup) {$parts = @("seat")}
    }
    Process{
        $BackupAPI = Get-CisService com.vmware.appliance.recovery.backup.job
        $CreateSpec = $BackupAPI.Help.create.piece.CreateExample()
        $CreateSpec.parts = $parts
        $CreateSpec.backup_password = $BackupPassword
        $CreateSpec.location_type = $LocationType
        $CreateSpec.location = $Location
        $CreateSpec.location_user = $LocationUser
        $CreateSpec.location_password = $LocationPassword
        $CreateSpec.comment = $Comment
        try {
            $BackupJob = $BackupAPI.create($CreateSpec)
        }
        catch {
            Write-Error $Error[0].exception.Message
        }
            

        If ($ShowProgress){
            do {
                $BackupAPI.get("$($BackupJob.ID)") | select id, progress, state
                $progress = ($BackupAPI.get("$($BackupJob.ID)").progress)
                Write-Progress -Activity "Backing up VCSA"  -Status $BackupAPI.get("$($BackupJob.ID)").state -PercentComplete ($BackupAPI.get("$($BackupJob.ID)").progress) -CurrentOperation "$progress% Complete"
                start-sleep -seconds 5
            } until ($BackupAPI.get("$($BackupJob.ID)").progress -eq 100 -or $BackupAPI.get("$($BackupJob.ID)").state -ne "INPROGRESS")

            $BackupAPI.get("$($BackupJob.ID)") | select id, progress, state
        } 
        Else {
            $BackupJob | select id, progress, state
        }
    }
    End {}
}
#
#--------------------------------------------
# Create passwords
[VMware.VimAutomation.Cis.Core.Types.V1.Secret]$BackupPassword=$bkpPassword
[VMware.VimAutomation.Cis.Core.Types.V1.Secret]$LocationPassword=$LocationPasswd
#
# Connect to vCenter Server Appliance
Connect-CisServer -Server $vcsa -User $vcsauser -Password $vcsapasswd 
#
# Start the backup
If ($BackupType -eq 1) {
	Backup-VCSAToFile -BackupPassword $BackupPassword -LocationType $LocationType -Location $bkpLocation -LocationUser $LocationUser -LocationPassword $locationPassword -Comment $Comment -Fulbackup ShowProgress
	}
	Else {
	Backup-VCSAToFile -BackupPassword $BackupPassword -LocationType $LocationType -Location $bkpLocation -LocationUser $LocationUser -LocationPassword $locationPassword -Comment $Comment -Seatbackup -ShowProgress
	}
#
# Disconnect from vCenter Server Appliance
disconnect-CisServer $vcsa -confirm:$false
#

Надо сказать, что для скрипта нужно использовать пользователя, определенного на уровне SSO, так как если вы возьмете пользователя из AD, но с правами группы SSO Administrators - сценарий все равно работать не будет.

Скачать сценарий можно с репозитория на GitHub по этой ссылке.

Восстановить бэкап vCSA можно через vCenter Server Appliance Installer, выбрав опцию Restore:


Таги: VMware, PowerCLI, vCSA, Backup

VMware vSphere из облака Microsoft Azure - хосты ESXi на оборудовании Microsoft.


Те из вас, кто следит за новостями VMware, знают, что некоторое время назад компания отказалась от развития своего публичного облака (ранее оно называлось vCloud Air и было продано в OVH) в пользу партнерских решений на стороне облаков сервис-провайдеров. Главным и первым из таких партнеров стала компания Amazon, которая совместно с VMware предлагает IaaS-услугу аренды виртуальных машин на базе AWS.

В мае этого года случилось невероятное: два заклятых конкурента - VMware и Microsoft - предложили совместную услугу VMware Horizon Cloud on Microsoft Azure, позволяющую получить в аренду виртуальные десктопы и приложения.

Но главная новость пришла в конце ноября - теперь две компании, жестко борящиеся за рынок серверной виртуализации, будут давать в аренду серверы VMware vSphere на оборудовании облака Azure.

Как оказалось, VMware не очень-то довольна этим фактом, но рынок есть рынок - VMware проиграла войну за публичные облака и теперь IaaS-сервисы VMware будет предлагать в том числе Microsoft.

Пока технология находится в стадии технологического превью, но есть уже первые новости от Microsoft. Вкратце они заключаются в следующем:

  • Microsoft предоставит средства миграции рабочих нагрузок частного облака в инфраструктуру VMware в облаке Azure. Эти средства позволят вам обнаружить виртуальные машины VMware vSphere и связи между ними (как показано на картинке выше), а потом смигрировать их на платформу Azure. При этом заранее будут посчитаны требуемые ресурсы и, главное, примерная стоимость месячной аренды ресурсов Azure. Решение Azure Site Recovery (ASR) позволит обеспечить правильный порядок миграции и минимальное время простоя. Azure Database Migration Service позволит перенести БД SQL Server и Oracle на PaaS-платформу Azure SQL Database.
  • Microsoft обеспечит интеграцию сервисов Azure и VMware. Это включает в себя такие решения, как Azure Backup, Azure Site Recovery (для Disaster Recovery-решений), управление апдейтами и конфигурациями, Azure Security Center и средства аналитики Azure Log Analytics. Кроме этого, можно будет управлять инфраструктурой и средствами VMware - с помощью консоли vRealize Automation.
  • Microsoft будет развивать средства эксплуатации гибридных облаков. Это позволит создать единую гибридную инфраструктуру между онпремизным облаком VMware vSphere и виртуальными машинами на платформе Azure. Заявляется, что ВМ в облаке будут запущены на оборудовании датацентров Microsoft и ее партнеров (про загадочных партнеров очень интересно написано тут), но на серверах ("на колокейшене") как bare-metal гипервизоры будет установлен полный стек решений VMware vSphere.

Такие дела, Microsoft победила:) Несколько полезных ресурсов на почитать:

Пока идет обкатка технологического превью, а полностью сервисы VMware из облака на платформе Azure будут доступны в 2018 году.


Таги: VMware, Microsoft, Azure, IaaS, Cloud

Полезное видео: "Using esxtop to Troubleshoot Performance Problems".


Мы часто пишем о встроенной утилите на хосте ESXi - esxtop, которая позволяет отслеживать все основные аспекты производительности хост-серверов и виртуальных машин (процессор, память, диски и сеть). Напомним, что наши последние посты о esxtop расположены тут, тут, тут, тут, тут и тут.

А недавно вышло весьма полезное образовательное видео "Using esxtop to Troubleshoot Performance Problems", в котором показано на практическом примере, как именно использовать esxtop для решения проблем производительности (хотя голос и весьма уныл):

Ну и напомним, что у esxtop есть графический интерфейс - это утилита VisualEsxtop.


Таги: VMware, esxtop, ESXi, Performance, vSphere, Troubleshooting

Предотвращение создания виртуальных машин на определенных датасторах в VMware vSphere Storage Policy Based Management (SPBM).


Довольно давно мы уже рассказывали о механизме применения политик для хранилищ при развертывании виртуальных машин - VMware vSphere Storage Policy Based Management (SPBM). А недавно Кормак Хоган опубликовал интересную заметку, касающуюся возможности выбора политик SPBM конкретным пользователем во время развертывания новой виртуальной машины.

Прежде всего, в vSphere нет механизма назначения прав доступа пользователей на конкретную политику SPBM - все пользователи видят все политики. Но сам механизм разграничения прав существует - его можно реализовать на уровне прав доступа к хранилищам.

Например, пользователю ben мы даем доступ Read-only к хранилищу VVols1, то есть создавать виртуальные машины он на нем не может:

А на хранилище VVols2 делаем его администратором:

В итоге, при развертываниии виртуальной машины пользователь ben видит оба хранилища - VVols1 и VVols2 и все доступные политики хранилищ (комбобокс VM storage policy):

Однако, обратите внимание, что при выборе хранилища VVols1 в разделе Compatibility написано о том, что пользователь не имеет достаточных привилегий, чтобы создать машину на этом датасторе.

You do not hold the privilege to allocate space on the selected datastore

Между тем, кнопка Next активна. Но если нажать ее, мастер все равно дальше не пустит:

Вверху мы увидим:

Specify a valid location

Ну а если выбрать VVols2, то все проверки пройдут успешно, и пользователь сможет там создать виртуальную машину:


Таги: VMware, Storage, Security, SPBM, vSphere

Миграция между облаками c использованием инструментов VMware.


Гостевой пост сервис-провайдера ИТ-ГРАД, предоставляющего виртуальные машины из облака IaaS в аренду.

В статье «Миграция в облако» мы рассказывали о частичном и полном переходе на облачную площадку, рассматривали примеры реальных кейсов, затрагивая наиболее распространенные ошибки. Сегодня поговорим о том, какие инструменты помогают мигрировать между различными облаками и когда возникает такая необходимость.

Зачем мигрировать

На практике нередки ситуации, когда требуется перенести виртуальные машины с одной площадки на другую, например из частного облака компании в публичное облако IaaS-провайдера. Это актуально и тогда, когда наблюдается мгновенная нехватка собственных ресурсов или клиент решает сменить поставщика облачных услуг. Миграция между облаками также может быть вызвана изменениями в законодательстве. К слову сказать, многие иностранные компании, осуществляющие деятельность на территории РФ, размещали собственные информационные системы, а с ними и персональные данные россиян на зарубежных облачных площадках. Но с выходом ФЗ-152 «О защите персональных данных» потребовалась миграция в облака российских поставщиков.

Так, известная во всем мире компания VBH («Фаубеха») — крупнейший дистрибьютор товаров и услуг для оконных, дверных производств — столкнулась с задачей внедрения нового на тот момент ERP-решения Microsoft Dynamics Axapta 2009. Компания размещала собственную инфраструктуру в облачном дата-центре на территории Германии. Используя единое облачное пространство, удалось создать стандартизированную инфраструктуру с такими ERP-решениями, как Microsoft Dynamics Navision, Axapta, 1С и SAP.

С выходом нового закона, который обязал хранить персональные данные на территории Российской Федерации, потребовалось перенести часть систем в Россию. Сервис в результате разместился на площадке российского облачного провайдера «ИТ-ГРАД». Об опыте подобных переездов расскажем ниже. Читать статью далее ->>


Таги: IT-Grad, Cloud, Migration, VMware

Сообщение "Customization of the guest operating system is not supported in this configuration" при развертывнии виртуальной машины на VMware vSphere.


Бывает, что попытке развернуть виртуальную машину из шаблона (Template) вы получаете сообщение об ошибке "Customization of the guest operating system is not supported in this configuration":

Как правило, это происходит из-за того, что в машине не установлены VMware Tools. Просто сконвертируйте шаблон в ВМ, потом включите ее и установите тулзы, после чего конвертируйте машину опять в Template.

Также такая ситуация бывает, когда vCenter не поддерживает гостевую ОС виртуальной машины для кастомизации, либо когда развертывание происходит на NFS-хранилище, для которого не включена опция "no root squash".


Таги: VMware, vSphere, VMachines

Шифрование виртуальных машин VMware vSphere и обеспечение доступности KMS (Key Management Service).


С момента выхода последнего мажорного релиза платформы виртуализации VMware vSphere 6.5 мы много писали о шифровании виртуальных машин (и, кроме того, затрагивали тему производительности этого процесса), а также техниках шифрования кластеров vSANнекоторых особенностях этого). Сегодня мы поговорим о самом важном компоненте инфраструктуры шифрования vSphere - Key Management Service (KMS).

Прежде всего, KMS - это сервисы шифрования не только для виртуальных машин, но и любых других объектов ИТ-инфраструктуры. Поэтому KMS уже может быть в вашей организации, при этом он может не быть прикрученным к VMware vSphere. Вы можете использовать любой KMS-сервер, но VMware сертифицировала лишь следующие системы из списка (см. вот этот документ VMware):

Если же у вас другой KMS-провайдер, не расстраивайтесь - он, скорее всего, будет работать, если поддерживает протокол управления ключами KMIP 1.1.

Начать надо с вопросов доступности KMS-сервера. Как вы понимаете, это самый важный сервер в вашей инфраструктуре, важнее DNS или контроллера домена. Если у вас недоступен DNS, все тоже не работает, как и в случае с KMS, но если оказались недоступными данные хранилища KMS - это катастрофа для организации. И нет абсолютно никакого пути восстановить их. Совершенно никакого. Обо всем этом рассказывает видео ниже:

Таким образом, KMS становится бизнес-критичной точкой не только инфраструктуры, но и бизнеса в целом. И вопросы бэкапа и его доступности - это вопросы номер 1. Давайте посмотрим на несколько базовых понятий KMS:

  • KMIP (Key Management Interoperability Protocol) - это стандарт, по которому клиент KMIP может общаться с серверами KMS. Каждый год он проходит серьезную проверку на конференции RSA.
  • DEK (Data Encryption Key). Это ключ, который хост ESXi генерирует, когда требуется зашифровать виртуальную машину. Этот ключ используется также и для расшифровывания данных ВМ, он записан в VMX/VM Advanced settings в зашифрованном виде.
  • KEK (Key Encryption Key). Это ключ, которым зашифрован DEK. KEK key ID также находится в VMX/VM Advanced settings.
  • Key Manager Cluster/Alias - это коллекция адресов FQDN/IP всех реплицируемых между собой серверов KMS. Она также хранится вместе с зашифрованной машиной в VMX/VM Advanced settings, чтобы после ее включения можно было обратиться к нужному кластеру KMS, получить KEK для cервера vCenter, который разлочит ВМ.
  • VM и vSAN encryption - это, на самом деле, с точки зрения реализации механизма шифрования одно и то же. То есть, для обоих типов шифрования используются одни и те же библиотеки, конфигурации и интерфейсы.

Когда мы говорим о кластере KMS - это всего лишь KMS-серверы, реплицирующие между собой хранилища ключей. Они не обеспечивают доступность друг друга, как, например, это делает VMware HA. Например, есть серверы KMS-A, KMS-B и KMS-C, в хранилищах которых при добавлении ключа новой ВМ он появляется мгновенно.

Если KMS-A недоступен как сервер, то сервер vCenter запрашивает ключи у хоста KMS-B. Если же KMS-A недоступен как сервис (то есть сервер работает, а служба KMS не отвечает), то vCenter ждет 60 секунд восстановления работоспособности сервиса и только потом переключается на KMS-B. Это поведение изменить нельзя.

Лучшие практики по использованию KMS таковы:

  • По возможности нужно делегировать обязанности по поддержке инфраструктуры KMS отдельной команде (Security Team) или человеку.
  • Не класть KMS-серверы в виртуальной машине в тот же кластер (например, vSAN), который также зашифрован. Иначе коробочка закроется (выключится кластер), а ключ от нее останется внутри нее же. То есть, необходимо держать хотя бы один из KMS-серверов за пределами такого домена отказа.
  • Предыдущий пункт относится и к серверам vCenter и PSC. Чтобы они могли расшифровать другие сервера, они должны быть доступны в случае сбоя.

Теперь надо сказать о катастрофоустойчивости серверов KMS. Типичный кластер в рамках одной площадки выглядит так:

Но если на этой площадке будет авария, которая затронет все 3 сервера - бизнесу может настать конец. Поэтому в идеале надо использовать конфигурацию с двумя площадками:

Понятное дело, что у малого и среднего бизнеса резервных площадок, как правило, нет. В этом случае помочь может публичное облако Amazon AWS или Microsoft Azure. Чтобы поддерживать там одну резервную машину, много денег не нужно.

Ну и если вы используете конфигурацию с несколькими площадками, то обязательно нужно учитывать в конфигурации порядок обращения к серверам KMS в рамках площадки. Если на первой площадке находятся сервера KMS-A, KMS-B и KMS-C, а на второй - KMS-D, KMS-E и KMS-F, то в первом случае порядок должен быть A,B,C,D,E,F, а во втором - D,E,F,A,B,C.

Если на второй площадке вы будете использовать конфигурацию аналогичную первой, сервер vCenter может ходить по серверам другой площадки, которая может быть недоступна, а только обойдя все ее серверы, начнет использовать локальные KMS.


Таги: VMware, vSphere, KMS, Security, VMachines

Кто использует VVols в качестве хранилищ VMware vSphere?


Мы много пишем о технологии Virtual Volumes (VVols), которая сравнительно недавно появилась в платформе виртуализации VMware vSphere. Совсем недавно мы писали о том, что будет в следующих версиях VVols, а сегодня давайте посмотрим на текущее положение дел.

Eric Siebert написал интересный пост о том, сколько компаний использует VVols сейчас в производственно среде. На данный момент VVols применяется примерно у 2% клиентов VMware, что весьма и весьма мало. Связано это, в первую очередь, с ограничениями технологии и небольшим количеством партнеров ее поддерживающих.

Между тем, подвижки в этом направлении уже есть. Вот какие факторы будут способствовать развитию VVols в ближайшем будущем (Эрик считает, что более половины всех пользователей vSphere будут применять эту технологию):

  • Все больше клиентов переходят с vSphere 5.5 на vSphere 6.x, где VVols полностью поддерживаются.
  • В vSphere 6.5 поддерживается функциональность аппаратной репликации томов VVol, что является очень важной и нужной фичей.
  • Партнеры расширяют поддержку этой технологии в своих новых массивах.
  • Клиенты все больше узнают о технологии, в том числе через этот пост:)

Если посмотреть на статистику использования VVols администраторами vSphere в различных компаниях, то во времени она выглядит так:

Категория Январь 2016 Январь 2017 Сентябрь 2017
Общее число систем с использованием VVols 46 258 361
Системы, где до 10 томов VVol 36 111 165
Системы, где 11-50 томов VVol 5 51 71
Системы, где 51-100 томов VVol 3 11 35
Системы, где более 100 томов VVol 2 43 90
Самый большой клиент (по числу томов VVol) N/A 1 457 VVols / 576 машин 2 656 VVols / 727 машин
10-й по величине клиент VVol (по числу томов) N/A 477 VVols / 169 машин 944 VVols / 216 машин

В принципе, прогресс за этот период выглядит неплохо (особенно в категории 100+), но в абсолютном выражении это, все-таки, очень мало. Ну и вот небольшой августовский отчет IDC про данную технологию - "VVols Provides Powerful Application-Aware Management for vSphere Environments".

Пара интересных роликов, вышедших на днях:


Таги: VMware, VVols, Storage, vSphere

Несколько фактов о VMware Tools, которые должен знать каждый администратор vSphere.


Не так давно мы публиковали несколько интересных заметок о VMware Tools (раз, два, три, четыре), которые объясняют множество моментов, касающихся развертывания и эксплуатации данного пакета, предназначенного для улучшения работы гостевых ОС в среде виртуализации VMware vSphere.

В этой заметке мы постараемся обобщить эти вещи и добавить еще несколько фактов о VMware Tools, которые должен знать каждый администратор платформы ESXi:

  • Пакет VMware Tools для основных гостевых ОС входит в состав ESXi, но остальные поставляются отдельно от дистрибутивов платформы, и их можно скачать отсюда.
  • Чтобы узнать версии тулзов для ОС Windows и Linux, идущие вместе с дистрибутивом ESXi или патчем, загляните по этой ссылке https://packages.vmware.com/tools/versions (а мы писали об этом вот тут).
  • Стандартные VMware Tools, которые подходят для большинства ОС Windows и Linux можно обновлять через VMware Update Manager (VUM). Они накатываются в виде VIB-пакетов под названием "tools-light".
  • Традиционный подход к обновлению VMware Tools на множестве хостов VMware ESXi - это использовать общий репозиторий для VMware Update Manager, который накатывает обновления на серверы. Более современный подход - это использовать механизм Auto Deploy для развертывания stateless-хостов, которые забирают актуальные версии VMware Tools прямо из онлайн-репозитория VMware.
  • Версии VMware Tools состоят из двух релизов - VMware Tools 10.1.x и VMware Tools 10.0.x (это два разных ISO-образа). Версия 10.1.x - это развивающаяся ветка для современных гостевых систем (сейчас актуальна 10.1.15), а 10.0.12 - замороженная, которая предназначена для устаревших ОС, которые уже не обновляются. То есть апгрейд с версии тулзов 10.0.9 происходит на 10.1. Подробнее об этом рассказано в KB 2015161.

  • Почти все Linux-дистрибутивы идут с интегрированной версией Open VM Tools.
  • ISO-файлы VMware Tools теперь идут с файлами контрольных сумм, по которым можно проверить соответствие пакетов на аутентичность их происхождения за счет сверки хэшей. Поэтому надо быть внимательным при распаковке составляющих пакета, и ничего оттуда не убирать.
  • Для VMware Tools, начиная с версии 10.1, доступна подробная документация.
  • Все новые версии VMware Tools обратно совместимы со всеми версиями VMware ESXi, которые моложе как минимум на одно поколение. В этом можно убедиться, посмотрев VMware Interoperability Matrix:

  • Для Linux существует 3 вида VMware Tools (подробнее тут):
    • Operating System Specific Packages (OSP) - пакеты, которые размещены на сайте VMware (их можно скачать/обновить без аутентификации), содержащие в себе те же самые компоненты, которые находятся в ISO-образах, идущих с дистрибутивами VMware ESXi. Этот метод поставки VMware Tools для Linux уже несколько устарел и используется для старых гостевых ОС.
    • Open VM Tools (OVT) - это пакеты VMware Tools с открытым исходным кодом, которые встраиваются в большинство современных Linux-дистрибутивов. Соответственно, при установке такой гостевой ОС в виртуальной машине, пакет VMware Tools будет там уже установлен. Исходный код OVT доступен для всех желающих в репозитории на GitHub, но официально поддерживаются только те OVT, которые идут вместе с дистрибутивами Linux. Если вы скомпилировали их самостоятельно - учтите, поддержки от VMware не будет.
    • TAR Tools - они предоставляются VMware и устанавливаются через сценарий. Но VMware рекомендует использовать OVT.
  • VMware Tools дают множество возможностей для виртуальной машины и гостевой ОС, обо всех них написано вот тут.
  • Виртуальные машины с Windows используют паравиртуализованные драйвера хранилищ и сетевых адаптеров, что улучшает взаимодействие гостевой ОС и соответствующих ресурсов. Вот почему после обновления тулзов машина хочет перезагрузиться.
  • Для унификации развертывания VMware Tools нужно настроить централизованный репозиторий и сконфигурировать хосты ESXi таким образом, чтобы они брали последние версии тулзов оттуда. Об этом мы подробно писали вот тут, также вкратце информация есть об этом здесь и здесь.

Если у вас есть еще интересные моменты на эту тему - пишите в каменты!


Таги: VMware, Tools, Обучение, ESXi, VMachines

Обновился VMware ESXi Embedded Host Client до версии 1.24.


С момента выпуска прошлой версии VMware ESXi Embedded Host Client 1.23 прошло довольно много времени (аж три месяца), и вот на днях компания VMware выпустила обновление - Host Client 1.24 (спасибо Илье за новость). Напомним, что это решение позволяет управлять отдельными хостами VMware ESXi через веб-интерфейс, построенный на базе HTML5. Для управления всей инфраструктурой vSphere используется vSphere Client.

Посмотрим на новые возможности VMware ESXi Embedded Host Client 1.24:

  • Пофикшена ошибка при развертывании образа OVF/OVA с дисками, привязанными к нескольким дисковым контроллерам.
  • Корректная обработка адресов (проблемы race condition) при добавлении сетевого адаптера виртуальной машине.
  • Возможность просматривать хранилища VVol из datastore browser.
  • Решена проблема с таймаутом, когда клиент получает от хоста неизвестный тип хранилища.
  • Решена проблем с автостартом ВМ.
  • Теперь можно загружать VMDK-файлы типа Flat через datastore browser.
  • Показ корректной строчки VMware Tools в свойствах VM summary.
  • Паджинация в VM editor, когда ВМ имеет много дисков.
  • Поддержка свойств OVF с предопределенными значениями и показ комбобоксов для них.
  • Возможность изменения пермиссий пользователя root.
  • Поддержка выбора зависимых PCI-устройств при включении режима проброса устройства (passthrough).
  • Минорные исправления ошибок.

Напомним, что для установки Host Client используется команда (также его можно обновить прямо из клиента, используя пункт Update):

ssh root@<esx ip or hostname> esxcli software vib install -v <URL>

где <URL> - это локальный путь или веб-адрес VIB-пакета.

Загрузить ESXi Embedded Host Client 1.24 можно по этой ссылке (там же можно скачать и VMware Remote Console, выбрав ее из списка объектов загрузки).


Таги: VMware, ESXi, Host Client, Update

PowerCLI-сценарий для обнаружения логических дисков Windows в виртуальных дисках VMDK.


Allan Kjaer написал интересный скрипт PowerCLI, который позволит определить, какие логические тома Windows находятся в виртуальных дисках VMDK машин на платформе vSphere. Как-то я сталкивался с такой проблемой, поэтому может быть она не такая уж и редкая.

Скрипт соединяется с управляющим сервером VMware vCenter, запрашивает учетные данные к гостевой ОС Windows, после чего строит отчет о том, на каких дисках VMDK какие разделы были обнаружены. Отчет включает в себя индекс диска Windows, букву диска и метку тома.

Вот так он выглядит:

"vmName      vmHardDiskDatastore vmHardDiskVmdk           vmHardDiskName windowsDiskIndex windowsDiskSerialNumber          vmHardDiskUuid                   windowsDeviceID    drives   volumes
------ ------------------- -------------- -------------- ---------------- ----------------------- -------------- --------------- ------ -------
test-vm FC01 test-vm/test-vm.vmdk Hard disk 1 0 6000c29c481f32e9763fe6d2d8dc8f7b 6000C29c481f32e9763fe6d2d8dc8f7b \\.\PHYSICALDRIVE0 C:
test-vm FC01 test-vm/test-vm_1.vmdk Hard disk 2 1 6000c297d1a7352ed5ee1b870023f57d 6000C297d1a7352ed5ee1b870023f57d \\.\PHYSICALDRIVE1 D: Data
test-vm FC03 test-vm/test-vm.vmdk Hard disk 3 2 6000c290e36c2f3b641a56308551e998 6000C290e36c2f3b641a56308551e998 \\.\PHYSICALDRIVE2 {E:, F:} {New Volume, New Volume}

Скрипт не особо тестировался, поэтому запуская его, предварительно смотрите по коду, что именно он делает и как. Посмотреть данный PowerCLI-сценарий можно по этой ссылке.


Таги: VMware, PowerCLI, Storage, VMachines

Новая версия калькулятора VMware vSAN 6.5 и vSAN 6.6.1 Resource Calculator.


Летом мы писали о калькуляторе для сайзинга хранилищ инфраструктуры VMware vSAN 6.2. С тех пор вышли новые версии vSAN 6.5 и vSAN 6.6.1, в которых было реализовано несколько новых возможностей, соответственно, обновился и калькулятор - его новая версия доступна по этой ссылке. Новая версия построена на базе документов VMware vSAN Design and Sizing Guide 6.5 и 6.6.1 (глава 10.2 Capacity Sizing Example II).

Калькулятор представляет собой Excel-таблицу, в которой есть поля для ввода исходных данных (черные - это аппаратные параметры инфраструктуры и данные по консолидации ВМ, синие и зеленые - остальные параметры). Ранее этот калькулятор представлял собой Excel-документ в облаке OneDrive, но теперь любой может скачать его.

В верхней части таблицы черным шрифтом обозначаются ресурсы, которые рассчитываются только для того, чтобы можно было исполнять виртуальные машины в кластере Virtual SAN, а красным шрифтом выделен тот объем ресурсов, который вам потребуется, чтобы обеспечить требуемый уровень избыточности и отказоустойчивости.

В левой области таблицы данные параметры рассчитываются для All-Flash архитектуры кластера Virtual SAN, а правая часть предназначена для расчетов гибридной архитектуры (обычные HDD-диски для данных, а SSD-носители - для кэша).

Более подробно о калькуляторе написано вот тут.


Таги: VMware, vSAN, Calculator, Storage

Сохранять и извлекать учетные данные с помощью PowerCLI


Рано или поздно каждый администратор приходит к тому, что ему необходимо каким-то образом сохранить, а потом и извлечь учётные данные. Причём это должно быть быстро, эффективно, удобно и самое главное безопасно. Ни один из известных мне способов не отвечал всем этим требованиям одновременно. Я стал искать и нашел свой способ, которым и хочу поделиться с вами. Это PowerCLI! Удивлены? Порой самое простое решение лежит на поверхности.


Таги: VMware, PowerCLI, Security, ESXi, vSphere

Последние обновления VMware vSphere 6.0 - ESXi и vCenter Update 3c.


Наш читатель Стас обратил внимание на то, что в начале ноября компания VMware выпустила значительное обновление для шестой версии платформы виртуализации VMware vSphere 6.0. Были опубликованы апдейты и патчи для ESXi 6.0 - ESXi600-201711001.

В составе гипервизора и прочих компонентов были обновлены следующие пакеты ESXi 6.0:

  • VMware_bootbank_esx-base_6.0.0-3.79.6921384
  • VMware_bootbank_vsan_6.0.0-3.79.6766495
  • VMware_bootbank_vsanhealth_6.0.0-3000000.3.0.3.79.6769065
  • VMware_bootbank_esx-dvfilter-generic-fastpath_6.0.0-3.79.6921384
  • VMware_bootbank_misc-drivers_6.0.0-3.79.6921384
  • VMware_bootbank_ipmi-ipmi-devintf_39.1-5vmw.600.3.79.6921384
  • VMware_bootbank_ipmi-ipmi-msghandler_39.1-5vmw.600.3.79.6921384
  • VMware_locker_tools-light_6.0.0-3.76.6856897

Обновления коснулись новых возможностей, подсистемы безопасности и исправлений наиболее серьезных ошибок. Чтобы скачать апдейт, нужно пойти на VMware Patch Portal, выбрать ESXi 6.0 и ввести там номер билда (6921384).

Правильно устанавливать обновление нужно следующими командами (если, конечно, на хосте есть интернет):

esxcli network firewall ruleset set -e true -r httpClient
esxcli software profile update -p ESXi-6.0.0-20171104001-standard -d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml
esxcli network firewall ruleset set -e false -r httpClient

Кроме того, на днях также было выпущено обновление VMware vCenter 6.0 Update 3c. Там появилось три основных новых улучшения:

  • Включенная поддержка SMB2 для виртуального модуля vCenter Server Appliance 6.0 Update 3c, чтобы избежать уязвимости протокола SMB1.
  • Совместимость с решениями VMware vSphere Replication 6.1.2.1 и VMware Site Recovery Manager 6.1.2.1.
  • Улучшения кластеров VMware Storage DRS.

Получить больше информации об обновлении VMware vCenter 6.0 Update 3c можно по этим ссылкам:

Скачать vCenter 6.0 u3c можно по этой ссылке.


Таги: VMware, ESXi, Update, vSphere, vCenter

Как работает изоляция хостов ESXi в кластере VMware vSAN и HA.


Дункан написал интересный пост про работу кластера откзоустойчивых хранилищ VMware vSAN совместно с технологией отказоустойчивости хост-серверов VMware HA. Суть проблемы заключается в том, что кластер vSAN, как правило, организуется на базе обычной Ethernet-сети, которая не подразумевает наличие дополнительных хранилищ Heartbeat Datastores (на которых создаются специальные локи на файлы со стороны хостов).

А эти хранилища очень важны для кластеров VMware HA, так как по ним через сеть хранения данных (например, общие FC-хранилища) он определяет остались ли хосты работающими в случае отказа/разделения сети передачи данных, а также продолжают ли там работать виртуальные машины.

Если таких хранилищ в кластере vSAN нет (а их, скорее всего, нет), то могут возникнуть проблемы вот какого плана. В случае изоляции хоста (например, разделилась сеть или отказали порты коммутатора), сам кластер vSAN обрабатывает ситуацию корректно, но виртуальные машины продолжают быть запущены на изолированных хостах. В то же время, главная часть кластера HA (та, в которой остался Master) имеет копии этих же виртуальных машин и может запустить их, подумав, что они уже недоступны вместе с хостами, а это уже может привести к ситуации с дубликатами машин и их MAC/IP адресов, когда сеть восстановится.

Чтобы этого не происходило, на хостах ESXi нужно настроить реакцию на событие изоляции (isolation response). Хост декларирует себя изолированным при совместном наступлении двух событий:

  • Он не получает коммуникации от хоста Master
  • Он не может достучаться до isolation address

Если вы ничего не настраивали дополнительно в кластере HA, то ваш isolation address находится в Management network, которая и есть та сеть, в которой работает кластер vSAN (и которая, как мы помним, упала). И, на самом деле, это хорошо! Ведь если бы этот адрес продолжал быть доступен, то изолированная часть кластера не считала бы себя изолированной и случился бы split-brain с появлением возможных дубликатов машин.

Из этой всей ситуации можно сделать 3 вывода:

  • Используйте отдельные от кластера vSAN хранилища Heartbeat Datastores, работающие в другой сети или по другим интерфейсам (если это возможно, конечно, в вашей инфраструктуре). Для этого нужно выбрать опцию "Use datastore from only the specified list" в настройках HA и добавить расширенную настройку "das.ignoreInsufficientHbDatastore = true" в advanced HA settings.
  • Всегда ставьте действие isolation response в Power Off, чтобы машины выключились в случае изоляции хостов кластера HA, а главная часть кластера могла их перезапустить.
  • Делайте isolation address в той же сети, что и основная сеть vSAN (интерфейсы VMkernel хостов), чтобы в случае изоляции хост ESXi считал себя изолированным, а не продолжающим нормально пинговать какой-то сторонний адрес. Для этого можно использовать Switch Virtual Interface (SVI) на физическом коммутаторе (если у вас немаршрутизируемая сеть vSAN).

Ну и напомним тут нашу подробную статью о совместном существовании vSAN и HA.


Таги: VMware, vSAN, HA, ESXi

Бесплатная книга "vSphere 6.5 Host Resources Deep Dive" (570 страниц!).


Автор известного технического блога о платформе VMware vSphere, Frank Denneman, совместно с одним из коллег выпустил весьма интересную книгу "vSphere 6.5 Host Resources Deep Dive".

В рамках 570-страничного талмуда авторы рассказывают все технические детали управления ресурсами на уровне хоста ESXi, такими как память, процессор, стек работы с хранилищами и сетевая архитектура. Довольно много содержимого книги посвящено архитектуре NUMA-узлов и оперативной памяти, механикам работы CPU и ядра VMkernel, а также прочим самым глубоким моментам программных и аппаратных компонентов хоста ESXi.

По уверению авторов книга покрывает, например, следующие технические вопросы:

  • Оптимизация рабочих нагрузок для систем Non-Uniform Memory Access (NUMA).
  • Объяснение того, как именно работает механика vSphere Balanced Power Management, чтобы получить преимущества функциональности CPU Turbo Boost.
  • Как настроить компоненты VMkernel для оптимизации производительности трафика VXLAN и окружений NFV.

В общем, книга очень крутая и мудрая. Скачать ее можно по этой ссылке.


Таги: VMware, Book, ESXi, Blogs, Storage, CPU, Memory

Как правильно вывести хост VMware ESXi из кластера vSAN.


Иногда администратору решения по организации отказоустойчивых кластеров VMware vSAN требуется вывести отдельный хост VMware ESXi из кластера, после чего использовать его диски для организации томов VMware VMFS виртуальных машин уже не в рамках кластера.

Правильно делать это следующим образом.

1. Проверяем, является ли хост членом кластера vSAN:

esxcli vsan cluster get

2. Выводим хост ESXi из кластера:

esxcli vsan cluster leave

3. Убедимся, что хост вышел из кластера:

esxcli vsan cluster get

мы должны получить сообщение:

Virtual SAN Clustering is not enabled on this host

4. После этого надо очистить конфигурацию vSAN для дисков на хосте.

Для начала найдем все диски командой:

esxcli vsan storage list

далее идентифицируем диски vSAN, выполнив команду:

partedUtil getptbl <путь к устройству>

Здесь мы видим, что один из разделов еще видит себя частью vSAN. Сначала надо снять лок с диска, отключив автоуправление со стороны кластера vSAN (то есть, разрешаем ручные операции с хранилищами vSAN):

esxcli vsan storage automode set --enabled false

Если этого не сделать, мы получим такую ошибку:

Unable to remove device: Can not destroy disk group for SSD naa.6000c29c581358c23dcd2ca6284eec79 : storage auto claim mode is enabled

5. После этого можно окончательно вывести диск из кластера vSAN следующей командой:

esxcli vsan storage remove -s naa.50026b724712194a

здесь опция -s значит SSD-диск (так отключаются устройства кэширования), а если мы хотим вывести обычный диск, то вместо -s надо использовать опцию -d.


Таги: VMware, vSAN, Обучение, Storage, ESXi

Новые возможности клиента для управления виртуальной инфраструктурой VMware vSphere Client 3.25-3.27.


В середине октября мы писали о новых возможностях VMware vSphere Client версий 3.22-3.24. Напомним, что этот тонкий клиент на основе технологии HTML5 скоро заменит собой устаревающий Web Client на основе Adobe Flex. За последние 3 недели компания VMware успела выпустить целых три версии vSphere Client 3.25, 3.26 и 3.27.

Давайте посмотрим на новые возможности этих версий клиента:

  • Всплывающее окно файлового менеджера Datastore File browser. Также была улучшена его производительность и информативность окна загрузки (показаны файлы в очереди и общий объем загружаемого контента).
  • Добавление лицензии для хостов vSphere и возможность задания ее имени в рабочем процессе добавления. Также можно ее переименовывать и удалять.
  • Просмотр свойств лицензий (лицензированных продуктов и технологий на хостах).
  • Просмотр ассетов лицензии vCenter (в режиме read-only).
  • Редактирование свойств и политик для распределенных портов vDS.
  • Можно развернуть ВМ из шаблона, выбрав мастер создания новой ВМ, далее Deploy from template > вкладка Data center.
  • Операция Rescan теперь выполняется параллельно на уровне датацентра и кластера.
  • Группами Replication groups можно управлять через действие Edit VM Storage Policy.

Скачать VMware vSphere Client 3.27 можно по этой ссылке.


Таги: VMware, vSphere, Client, Update

Вышла новая версия VMware Photon OS 2.0 - новые возможности.


Компания VMware объявила о выпуске обновленной версии Open Source операционной Linux-системы Photon OS 2.0. Эта ОС является главной системой для контейнеров Docker, cloud-native приложений, публичных облачных платформ и инфраструктуры VMware (виртуальные модули). Напомним, что о релизе первой версии Photon OS мы писали в середине прошлого года.

Посмотрим на новые возможности VMware Photon OS 2.0:

  • Защищенное удаленное управление - новая служба Photon Management Daemon - это утилита на базе защищенного API, которая управляет фаерволом, сетью, пакетами и пользователями на удаленных машинах под управлением Photon OS. Эта утилита предоставляет три интерфейса администраторам: утилита командной строки, Python и REST.
  • Дополнительная защита - опционально можно сконфигурировать дополнительные опции ядра в соответствии со стандартами Kernel Self-Protection Project (KSPP).
  • Защищенная загрузка EFI - операционная система теперь валидируется перед загрузкой, в соответствии с лучшими практиками доверенной загрузки.
  • Интеграция с проектом Lightwave - эта open source платформа от VMware позволяет аутентифицировать и авторизовывать пользователей и группы с помощью AD и LDAP.
  • Нативные бинарники Kubernetes - они расположены в репозитории Photon, что позволяет создавать контейнеры Kubernetes в Photon OS.
  • Поддержка персистентных томов VMware vSAN, что позволяет хранить данных cloud-native приложений.
  • Совместимость NSX-T CNI c сетями Kubernetes.
  • Обновления ключевых компонентов, включая версию LTS ядра Linux Kernel 4.9 и systemd.
  • Новый образ, который готов к запуску на платформе Microsoft Azure (в дополнение к имеющимся Google Compute Engine (GCE), Amazon Elastic Compute Cloud (EC2) и VMware vSphere, Fusion, Workstation).
  • Поддержка Python 3 (при этом Python 2 больше не поддерживается).
  • В качестве сетевого окружения для контейнеров можно использовать Calico.
  • Опционально можно использовать Heapster для мониторинга контейнеров и анализа производительности.
  • nginx-ingress можно использовать для DNS разрешения имен.
  • RabbitMQ поддерживается для процессинга сообщений из очередей.
  • Для хранения ключей можно использовать распределенную систему ceph.
  • Поддержка Redis для кэширования.
  • Прокси-компонент от продукта Wavefront для мониторинга данных и метрик контейнеров и кластеров Kubernetes.

Скачать VMware Photon OS 2.0 можно по этой ссылке.


Таги: VMware, Photon, Update, Linux, Open Source

Несколько советов по дедупликации, компрессии и экономии дискового пространства в кластере VMware vSAN.


John Nicholson написал интересный пост с советами по экономии дискового пространства в кластере VMware vSAN, а также некоторыми рекомендациями по использованию техник дедупликации и сжатия данных.

Вот каким моментам следует уделить внимание:

1. Посмотрите на параметр политики хранения object space reservation (OSR) - если он установлен в 0, то виртуальные диски машин будут тонкими. Если же он будет больше 0, то пространство под диски будет резервироваться и vSAN не сможет эффективно использовать дедупликацию, так как будет вынужден поддерживать фиксированные резервы дискового пространства под ВМ.

2. Помните, что параметр резервирования свопа установлен в 100%, но это можно поменять, как мы писали в этой статье. Уменьшение параметра резервирования свопа оправдано, когда вы не собираетесь использовать memory overcommitment (то есть, ресурсов у вас с запасом), а значит виртуальным машинами не потребуется активно сбрасывать страницы в своп в случае недостатка физической памяти.

3. Помните, что отдельно развертываемые виртуальные машины c дисками типа "thick" или "Eager Zero Thick" (например, со старых клиентов vSphere Client или через консоль) могут перекрывать настройку политики OSR. Чтобы пофиксить это, вы можете переприменить политику хранения (storage policy) на эти хранилища. William Lam написал несколько скриптов, которые позволяют найти такие ВМ и накатить политики по-новой.

4. Убедитесь, что данные записываются на capacity tier - только там они будут дедуплицироваться и сжиматься. Если вы развернули всего 3-4 машины, они могут остаться в буффере (write buffer). Механизмы vSAN не тратят ресурсы на дедупликацию и сжатие объектов, которые долго не живут (то есть, находятся в буффере на запись). Например, 10 машин по 8 ГБ диска каждая тоже могут остаться на стейджинге и, пока не переместятся в постоянное хранилище, не будут дедуплицированы.

Вот тут можно посмотреть, как именно отрабатывает дедупликация, и сколько она экономит дискового пространства:

Ну и вот что Джон рекомендует в плане тестирования дедупликации и компрессии:

  • Самый простой способ организовать тестирование - запустить клонирование 200+ виртуальных машин, они сразу пойдут в capacity tier, и механизм дедупликации включится.
  • Надо помнить, что тестирование этих механизмов и реальное их применение дадут разные результаты, так как при тестировании вы последовательно пишете данные на хранилище и избегаете узких мест, связанных с дестэйджингом из кэша во время размеренного использования кластера vSAN в продакшене.
  • Тестирование алгоритма сжатия на данных, которые плохо сжимаются - плохая идея, так как в этом случае vSAN не будет тратить ресурсы на их сжатие, чтобы записать на хранилище. Это позволит быстрее читать их, а экономия с точки зрения диска будет небольшой (к тому же, алгоритм сжатия LZ4 не такой быстрый, как хотелось бы).
  • При резких всплесках объема записываемых данных и IOPS, которые не помещаются в кэш, видно, что механизмы сжатия и дедупликации приостанавливаются и теряют эффективность. Это связано с тем, что vSAN прежде всего должен обеспечить хороший показатель latency (то есть уровня сервиса), а уже во вторую очередь эффективность механизмов дедупликации и компрессии.

Ну и в довершение, интереснейший документ от VMware - "vSAN Space Efficiency Technologies".


Таги: VMware, Storage, vSAN

Интересная лабораторная работа (Hand-on Lab) - VMware vCloud on AWS.


На прошедшем VMworld 2017 компании VMware и Amazon представили IaaS-решение публичного облака - VMware vCloud on AWS. Штука эта довольно дорогая, и чтобы попробовать ее, нужно заводить аккаунт на Amazon, платить за его сервисы и прочее.

Но есть и более простой путь, чтобы посмотреть, как это работает вживую - лабораторная работа "VMware Cloud on AWS Hands-on Lab". Зарегистрировавшись на портале MyVMware, в течение 60 дней вы будете иметь доступ к лабораторной работе, в рамках которой вы сможете поиграться с виртуальным датацентром VMware vSphere на стороне публичного облака AWS в рамках терминальной сессии.

На время выполнения лабы можно создать кластер из 4 хостов ESXi:

Ну и далее можно просматривать состояние датацентра, настраивать сетевое взаимодействие между компонентами и заходить на свою инфраструктуру через vCenter:

Сама лабораторная работа рассчитана на полчаса, за которые вы вполне поймете, как это выглядит и управляется. Ну и бонусом технический обзор облака VMware vCloud on AWS:

Также не забывайте про специальный Youtube-канал, посвященный решению VMware vCloud.


Таги: VMware, vCloud, AWS, IaaS, Labs

Всё-всё-всё с прошедших VMware VMworld 2017.


Как многие из вас знают, в конце лета и начале осени прошли главные конференции по виртуализации этого года - VMworld 2017 и VMworld Europe 2017. Об основных анонсах мероприятий мы писали по этой ссылке, но в рамках этих ивентов было еще столько всего, что обо всем, конечно же, не напишешь.

Специально для тех, кто хочет узнать тонкости всех докладов, которые были представлены на конференциях, компания VMware создала репозиторий на GitHub, где содержатся вообще все ссылки на сессии, многие из которых дадут много новой информации и технических деталей о продуктах и технологиях виртуализации от VMware:

Сессии доступны как в виде роликов на Youtube, так и виде PDF-документов.

Ну а вот список самых популярных сессий (топ-10 по числу просмотров на Youtube):

  • [SER1143BU] - A Deep Dive into vSphere 6.5 Core Storage Features and Functionality [NET1152BU] - Introduction to VMware NSX
  • [SER1534BUR] - vSphere Performance Troubleshooting and Root Cause Analysis
  • [VIRT1309BU] - Monster VMs (Database Virtualization) with vSphere 6.5: Doing IT Right
  • [NET1345BU] - NSX in Small Data Centers for Small and Medium Businesses
  • [SER2724BU] - Extreme Performance Series: Performance Best Practices
  • [VIRT1430BU] - Performance Tuning and Monitoring for Virtualized Database Servers
  • [ADV1587BU] - NSX + VMware Horizon: A Security Architecture for Delivering Desktops and Applications with VMware
  • [SER2355BU] - Best Practices for All-Flash Arrays with VMware vSphere
  • [SER2965BU] - Advanced Troubleshooting of ESXi Server 6.x for vSphere Gurus
  • [SER2077BU] - Achieve Maximum vSphere Stability with PowerCLI Assisted Documentation: From Buildout to Daily Administration

Таги: VMware, VMworld, vSphere

VMware Weathervane - open source утилита для бенчмаркинга производительности в виртуальных средах.


Оказывается, у VMware есть интересная утилита с открытым исходным кодом - Weathervane. Это бенчмаркинг-тул, предназначенный для запуска тестов производительности в виртуальных средах VMware vSphere (как онпремизных, так и облачных), с учетом симуляции реальной нагрузки различных приложений. Утилита доступна в открытом репозитории на GitHub.

Weathervane позволяет, например, снять метрики с двух различных окружений или его конфигураций, что позволит выбрать наиболее производительную конфигурацию виртуального окружения и выставить самые эффективные настройки виртуальной среды. Также с помощью Weathervane компания VMware сама делает различные тесты, к примеру, вот документ о производительности контейнеров Docker в виртуальной среде VMware vSphere - "Performance of enterprise web applications in Docker containers on VMware vSphere 6.5".

Weathervane имеет возможности по развертыванию нескольких независимых экземпляров приложения и его отдельных сервисов в контейнерах Docker, запуску различных нагрузок и конфигурации параметров их исполнения для измерения необходимых метрик производительности. То есть, это утилита для бенчмаркинга производительности именно на уровне приложений.

Weathervane состоит из трех основных компонентов:

  • Приложение (Auction application), которое развертывается в среде тестирования.
  • Драйвер рабочей нагрузки (Workload driver), который выдает реалистичную нагрузку для приложения с учетом заданных параметров тестирования.
  • Компонент исполнения (Run harness), который автоматизирует процесс исполнения тестовых запусков приложения и собирает результаты, логи и, собственно, данные о производительности.

Также в составе Weathervane есть Supporting tools, которые включают в себя скрипты для настройки экземпляра операционной системы со всем необходимым для запуска утилиты, создания образов Docker и подготовки приложения для запуска в среде тестирования.

При проведении тестирования вы можете изменять следующие параметры:

  • Число экземпляров на уровне каждого сервиса. Например, может быть любое число балансировщиков нагрузки, серверов приложений или узлов веб-серверов. Это позволяет создавать конфигурации любого масштаба.
  • Число ярусов целевой архитектуры. Например, вы можете не использовать некоторые компоненты, такие как балансировщики и веб-сервера, если вам нужно протестировать небольшую по объему среду.
  • Вариант развертывания среды. Например, Weathervane сейчас поддерживает PostgreSQL и MySQL в качестве транзакционной БД, а также Apache Httpd и Nginx в качестве веб-серверов. Ну и надо помнить, что это open source проект, а значит вы сами можете расширять его.
  • Конфигурацию сервисов. В настроечном файле можно изменять параметры для каждого из ярусов, которые будут применяться компонентом run harness перед началом каждого прогона бенчмарка.

Для больших инфраструктур и тестовых сред Enterprise-приложений Weathervane предоставляет следующие средства:

  • Вы можете запускать экземпляры приложения напрямую в ОС, неважно в физической или виртуальной машине, а также в контейнерах Docker (это позволит сравнить эти варианты развертывания между собой по производительности). Как мы писали выше, Weathervane содержит скрипты для создания образов Docker для всех сервисов приложений.
  • Вы можете задать пользовательскую нагрузку для экземпляров приложения, которая позволит оценить поведение приложения при критических нагрузках, циклических паттернах нагрузки и поведение сервиса в плане эластичности.
  • Поддерживается изменение числа экземпляров приложения прямо во время исполнения теста, что позволит снять метрики, относящиеся к эластичности сервиса (то есть его способности динамически выделять и освобождать ресурсы при изменении нагрузки). В будущем будет также добавлен мониторинг поведения среды в реальном времени, чтобы оперативно оценивать эластичность и инертность сервиса по отношению к нагрузке.

Руководство по использованию VMware Weathervane доступно по этой ссылке. Ну а сам проект Weathervane на GitHub доступен тут: https://github.com/vmware/weathervane.


Таги: VMware, Weathervane, Performance, vSphere, Open Source, Docker

Книга о VMware Horizon Cloud.


На днях компания VMware выпустила не просто whitepaper, а целую книгу о своем публичном облаке VMware Horizon Cloud. Напомним, что данное решение представляет собой инфраструктуру виртуальных десктопов Horizon View, работающую на стороне IaaS-облака с возможностью интеграции с онпремизной инфраструктурой VMware Horizon.

Собственно, сама книга Horizon Cloud Overview Bootcamp eBook на 83 страницах:

Основные темы, которые раскрываются в книге:

  • Общее описание архитектуры и назначения Horizon Cloud.
  • Развертывание решения Horizon Cloud.
  • Архитектура Horizon Cloud Hosted и On-Premises.
  • Управление образами ВМ в инфраструктурах Horizon Cloud Hosted и On-Premises.
  • Интеграция со службами каталога Active Directory в облаках Horizon Cloud Hosted и On-Premises.
  • Платформа Just-in-Time Management.

Таги: VMware, Horizon, Book, Cloud, Azure

Вышла новая версия VMware vCloud Availability for vCloud Director 2.0.


На днях компания VMware выпустила обновленную версию решения vCloud Availability for vCloud Director 2.0, предназначенного предназначенного для создания резервной инфраструктуры в одном из публичных облаков сервис-провайдеров на основе VMware vCloud Director (так называемая услуга Disaster-Recovery-as-a-Service, DRaaS). Напомним, что о первой версии данного продукта мы писали вот тут.

Это решение, работающее на площадках IaaS-провайдеров, построено на базе технологии vSphere Replication и используется у тысяч клиентов по всему миру.

Посмотрим на новые возможности vCloud Availability for vCloud Director 2.0:

1. Five-minute Recovery Point Objective.

Теперь показатель RPO (требования к контрольной точке восстановления) уменьшен до 5 минут, что позволяет защищать приложения уровня Tier 1.  Совместно с технологией Multi Point in Time Recovery Snapshots (MPIT) это позволит обеспечить постоянную защиту бизнес-критичных систем.

2. vSphere 6.5 Support.

Последняя версия платформы виртуализации vSphere 6.5 теперь полностью поддерживается. Долговато конечно ждали этого релиза, но по уверениям VMware большинство сервис-провайдеров еще только начало апгрейд на новую версию платформы.

3. Enhancements to Service Provider Portal.

Для клиентов сервис-провайдера теперь предоставляется отдельный интерфейс по управлению и мониторингу процесса репликации. Например, клиент сам может отрегулировать параметр RPO для своих виртуальных сервисов, реплицируемых в облако, или посмотреть статус реплицируемых виртуальных машин. Кроме того, была существенно улучшена производительность, а также появилась функция impersonation, которая позволяет сервис-провайдеру войти в панель управления инфраструктурой как клиент и видеть то же, что и он, в целях поддержки и решения проблем.

4. Seamless upgrades.

Обновления продукта теперь бесшовны и теперь не представляют собой болезненный для сервис-провайдера процесс.

Полезные ссылки по продукту:


Таги: VMware, vCloud, IaaS, DRaaS, Enterprise, Cloud

Диаграмма компонентов, соединений и портов vRealize Operations Manager 6.6.


Компания VMware выпустила полезную администраторам VMware vSphere диаграмму компонентов, соединений и портов, посвященную решению vRealize Operations Manager 6.6. Напомним, что о самом продукте vROPs 6.6, выпущенном летом этого года, мы писали вот тут.

Коммуникации, обозначенные на диаграмме рассматриваются как на уровне кластера, так и в рамках компонентов одного узла. Слева на плашках приведены комментарии для различных уровней - на зеленом фоне пояснение принципов взаимодействия между компонентами и требования продукта (например, необходимость обеспечения 5 ms latency между узлами или пояснения к механизму HA), а на синем фоне детально рассказывается об устройстве ноды, ее компонентах - сервисах, базе данных, адаптерах и прочем.

На странице KB о диаграмме vRealize Operations Manager 6.6 есть ссылка на загрузку файла в формате PDF.


Таги: VMware, vROPs, Diagram, Networking, Automation, Monitoring

Новое на VMware Labs - Blockchain on vSphere.


На сайте VMware Labs появилась очередная интересная утилита - Blockchain on vSphere. О блокчейне сейчас говорят все, но немногие знают, что эти решения уже используются не только в криптовалютах, но и в самых различных областях - медицине, экономике, а также есть даже такие необычные кейсы, как пресечение торговли людьми и отслеживание сбыта "кровавых" алмазов.

Компания VMware также не осталась в стороне и запустила вспомогательный проект Blockchain on vSphere, который помогает администраторам развернуть блокчейн-платформу для разработчиков на основе гипервизора ESXi. Эта утилита представляет собой средство развертывание решения Hyperledger Fabric v1.0 на платформе vSphere.

Hyperledger - это open source проект сообщества Linux Foundation и основа Hyperledger Fabric, которая предоставляет разработчикам возможности сделать свой блокчейн-проект с необходимой бизнес логикой. Blockchain on vSphere позволяет просто развернуть узлы кластера Hyperledger Fabric (Pods), так как это довольно сложная процедура, которую и упрощает VMware.

Целевая архитектура развернутого решения выглядит следующим образом:

Hyperledger Fabric - это распределенная система на основе технологии контейнеров. Она может быть развернута на платформе, которая поддерживает стандарт OCI (VMware его поддерживает). Решение Kubernetes используется для управления контейнерами Hyperledger Fabric.

Чтобы понять, как именно Blockchain on vSphere облегчает построение блокчейн-платформы на основе vSphere, посмотрите видео ниже:

Также при скачивании Blockchain on vSphere по этой ссылке, в комбо-боксе над кнопкой Download можно выбрать whitepaper о продукте, в котором подробно описывается весь процесс развертывания Hyperledger Fabric с помощью BoV.


Таги: VMware, vSphere, Labs, Containers, Blockchain, Open Source, Linux

<<   <    1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104 | 105 | 106 | 107 | 108 | 109 | 110 | 111 | 112 | 113 | 114 | 115 | 116 | 117 | 118 | 119 | 120 | 121 | 122 | 123 | 124 | 125 | 126 | 127 | 128 | 129 | 130 | 131 | 132 | 133 | 134 | 135 | 136 | 137 | 138    >   >>
Интересное:





Зал Славы Рекламодателя
Ближайшие события в области виртуализации:

Быстрый переход:
VMware Veeam Broadcom Offtopic Microsoft Cloud StarWind VMachines NAKIVO vStack Gartner Vinchin Nakivo IT-Grad Teradici VeeamON VMworld PowerCLI Citrix VSAN GDPR 5nine Hardware Nutanix vSphere RVTools Enterprise Security Code Cisco vGate SDRS Parallels IaaS HP VMFS VM Guru Oracle Red Hat Azure KVM VeeamOn 1cloud DevOps Docker Storage NVIDIA Partnership Dell Virtual SAN Virtualization VMTurbo vRealize VirtualBox Symantec Softline EMC Login VSI Xen Amazon NetApp VDI Linux Hyper-V IBM Google VSI Security Windows vCenter Webinar View VKernel Events Windows 7 Caravan Apple TPS Hyper9 Nicira Blogs IDC Sun VMC Xtravirt Novell IntelVT Сравнение VirtualIron XenServer CitrixXen ESXi ESX ThinApp Books P2V VCF Live Recovery vDefend vSAN CloudHealth NSX Labs Backup AI Chargeback Aria VCP Intel Community Ransomware Stretched Private AI Workstation Network Tanzu VMUG HCX VCPP Explore Data Protection ONE V2V DPU Update EUC Avi Skyline Host Client GenAI Horizon SASE Workspace ONE Networking Tools Performance Lifecycle AWS API USB SDDC Fusion Whitepaper SD-WAN Mobile SRM ARM HCI Converter Photon OS Operations VEBA App Volumes Certification VMConAWS Workspace Imager SplinterDB DRS SAN vMotion Open Source iSCSI Partners HA Monterey Kubernetes RDMA vForum Learning vRNI UAG Support Log Insight AMD vCSA NSX-T Graphics NVMe HCIBench SureBackup Docs Carbon Black vCloud Обучение Web Client vExpert OpenStack UEM CPU PKS vROPs Stencils Bug VTL Forum Video Update Manager VVols DR Cache Storage DRS Visio Manager Virtual Appliance PowerShell LSFS Client Datacenter Agent esxtop Book Photon Cloud Computing SSD Comparison Blast Encryption Nested XenDesktop VSA vNetwork SSO VMDK Appliance VUM HoL Automation Replication Desktop Fault Tolerance Vanguard SaaS Connector Event Free SQL Sponsorship Finance FT Containers XenApp Snapshots vGPU Auto Deploy SMB RDM Mirage XenClient MP iOS SC VMM VDP PCoIP RHEV vMA Award Licensing Logs Server Demo vCHS Calculator Бесплатно Beta Exchange MAP DaaS Hybrid Monitoring VPLEX UCS GPU SDK Poster VSPP Receiver VDI-in-a-Box Deduplication Reporter vShield ACE Go nworks iPad XCP Data Recovery Documentation Sizing Pricing VMotion Snapshot FlexPod VMsafe Enteprise Monitor vStorage Essentials Live Migration SCVMM TCO Studio AMD-V KB VirtualCenter NFS ThinPrint Memory Orchestrator ML Director SIOC Troubleshooting Bugs ESA Android Python Upgrade Hub Guardrails CLI Driver Foundation HPC Optimization SVMotion Diagram Ports Plugin Helpdesk VIC VDS Migration Air DPM Flex Mac SSH VAAI Heartbeat MSCS Composer
Полезные постеры:

Постер VMware vSphere PowerCLI 10

Постер VMware Cloud Foundation 4 Architecture

Постер VMware vCloud Networking

Постер VMware Cloud on AWS Logical Design Poster for Workload Mobility

Постер Azure VMware Solution Logical Design

Постер Google Cloud VMware Engine Logical Design

Постер Multi-Cloud Application Mobility

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):

 

Популярные статьи:
Как установить VMware ESXi. Инструкция по установке сервера ESXi 4 из состава vSphere.

Включение поддержки технологии Intel VT на ноутбуках Sony VAIO, Toshiba, Lenovo и других.

Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.

Как работают виртуальные сети VLAN на хостах VMware ESX / ESXi.

Как настроить запуск виртуальных машин VMware Workstation и Server при старте Windows

Сравнение Oracle VirtualBox и VMware Workstation.

Диски RDM (Raw Device Mapping) для виртуальных машин VMware vSphere и серверов ESX.

Что такое и как работает виртуальная машина Windows XP Mode в Windows 7.

Работа с дисками виртуальных машин VMware.

Где скачать последнюю версию VMware Tools для виртуальных машин на VMware ESXi.

Подключение локальных SATA-дисков сервера VMware ESXi в качестве хранилищ RDM для виртуальных машин.

Как перенести виртуальную машину VirtualBox в VMware Workstation и обратно

Как поднять программный iSCSI Target на Windows 2003 Server для ESX

Инфраструктура виртуальных десктопов VMware View 3 (VDI)

Как использовать возможности VMware vSphere Management Assistant (vMA).

Интервью:

Alessandro Perilli
virtualization.info
Основатель

Ратмир Тимашев
Veeam Software
Президент


Полезные ресурсы:

Последние 100 утилит VMware Labs

Новые возможности VMware vSphere 8.0 Update 1

Новые возможности VMware vSAN 8.0 Update 1

Новые документы от VMware

Новые технологии и продукты на VMware Explore 2022

Анонсы VMware весной 2021 года

Новые технологии и продукты на VMware VMworld 2021

Новые технологии и продукты на VMware VMworld 2020

Новые технологии и продукты на VMware VMworld Europe 2019

Новые технологии и продукты на VMware VMworld US 2019

Новые технологии и продукты на VMware VMworld 2019

Новые технологии и продукты на VMware VMworld 2018

Новые технологии и продукты на VMware VMworld 2017



Copyright VM Guru 2006 - 2025, Александр Самойленко. Правила перепечатки материалов.
vExpert Badge