В блоге компании VMware появился интересный пост с некоторыми подробностями о работе технологии репликации виртуальных машин vSphere Replication. Приведем здесь основные полезные моменты.
Во-первых, репликация с точки зрения синхронизации данных, бывает двух типов:
Full sync - это когда требуется полная синхронизация виртуальной машины и всех ее дисков в целевое местоположение. Для этого в версии VMware vSphere 5.x использовалось сравнение контрольных сумм дисков на исходном и целевом хранилище. Если они не совпадают, и нужно делать Full sync, исходя из начальных условий - начинается процесс полной репликации ВМ. В первую очередь, основным подвидом этого типа является Initial full sync - первичная синхронизация работающей виртуальной машины, для которой репликация включается впервые.
Кроме того, полная синхронизация включается, когда по какой-либо причине произошла ошибка отслеживания блоков виртуального диска машины при дельта-репликации и передать на целевую ВМ только изменения виртуальных дисков становится невозможным.
Delta sync - после того, как полная синхронизация закончена, начинается процесс передачи целевой ВМ только различий с момента полной репликации. Тут используется технология changed block tracking, чтобы понять, какие блоки надо отреплицировать с последнего Full sync. Периодичность дельта-репликации зависит от установленной политики Recovery Point Objective (RPO).
Чтобы политика RPO соблюдалась нужно, чтобы дельта-синхронизация полностью проходила за половину времени, установленного в RPO, иначе будут нарушения политики, сообщения о которых вы увидите в vSphere Client. Почему половину? Подробно мы писали об этом вот тут (почитайте, очень интересно). Также еще и в документации VMware есть информация о расписании репликации.
Если вы настроите репликацию для виртуальной машины, то автоматически работать она будет для включенной ВМ, а если она выключена, то сама работать не будет, о чем будет выдано соответствующее предупреждение:
Вот так запускается репликация для выключенной ВМ:
Во время offline-репликации виртуальную машину нельзя включить, а ее диски будут залочены. Кроме того, вы не сможете отменить эту операцию. Поэтому при нажатии Sync Now будет выведено вот такое предупреждение:
Обычно offline-репликация используется для создания гарантированной копии ВМ на другой площадке (например, при переезде датацентра или частичном восстановлении инфраструктуры на другом оборудовании). Ну или если у вас была настроена online-репликация, а вы выключили ВМ, то в конце нужно сделать еще ручной Sync Now.
Также в VMware vSphere 6.0 было сделано существенное улучшение в производительности процесса репликации. Если раньше идентичность копий основного диска и реплики сверялась только на базе контрольных сумм (все данные диска надо прочитать - а это затратно по вводу-выводу и CPU), то теперь иногда используются данные о конфигурации виртуального диска на базе регионов. Например, если на исходном диске есть регионы, которые не были аллоцированы на целевом диске, то репликация это отслеживает и передает данные в эти регионы на целевое хранилище. Это работает значительно быстрее вычисления контрольных сумм.
Но такая оптимизация работает не для всех типов виртуальных дисков, а только для Lazy zeroed thick disks, thin disks и vSAN sparse disks и только на томах VMFS. Тома NFS, тома VVols, а также диски типа Eager zeroed thick не предоставляют информации об аллокации регионов, поэтому для них оптимизация работать не будет. Более подробно об этом написано тут.
На днях компания VMware выпустила интересный открытый документ "Virtualizing Microsoft Applications on VMware Virtual SAN", в котором описываются результаты тестирования бизнес-критичных приложений Microsoft в кластере отказоустойчивых хранилищ VMware VSAN.
В документе рассматривается стрессовое тестирование следующих приложений, работающих в кластере Virtual SAN, состоящем из 8 узлов:
Microsoft Exchange 2013 с поддержкой Database Availability Groups (DAG)
Microsoft SQL Server 2014 с включенными AlwaysOn Availability Groups (AAG)
Microsoft SharePoint 2013 как фронтэнд баз данных
Для теста использовалась такая конфигурация серверов:
ESX host CPU - 2 x Intel(R) Xeon(R) CPU E5-2690 v2 @ 3.00GHz 10C (60 GHz)
Результаты тестирования первого узла с ролью Mailbox средствами Jetstress:
Результаты тестирования второго узла с ролью Mailbox:
Результаты теста Load Generator:
Архитектура сервисов Microsoft SQL Server с технологией защиты данных Always On:
Для тестирования SQL Server использовался инструмент DVD Store. Конфигурация виртуальных машин:
Результаты тестов DVD Store.
Ну и в заключение - сводные результаты тестирования:
В итоге утверждается, что приложения Microsoft уровня Tier 1 прекрасно себя чувствуют в кластере VMware Virtual SAN, и их быстродействие мало чем отличается от ситуации, если бы на бэкэнде были аппаратные SAN/NFS-массивы.
Многие из вас знакомы с продуктом VMware Site Recovery Manager, который позволяет построить катастрофоустойчивую виртуальную инфраструктуру за счет репликации виртуальных машин на хосты резервной площадки, помещения или стойки. Как известно, VMware SRM может использовать два типа репликации:
Array Based Replication - репликация уровня массива, котора требует наличия соответствующего типа дискового массива на основной и резервной площадке, канала репликации, а также, собственно, программного продукта, который реализует эту репликацию. Как правило, данный тип представляет собой синхронную репликацию с возможностью быстрого переключения на резервную инфраструктуру в случае сбоя без потери данных.
vSphere Replication - репликация уровня массива, которая не требует ничего кроме сетевого соединения между площадками, но она происходит в асинхронном режиме, а значит возможна потеря данных в случае сбоя.
Давайте попробуем рассмотреть особенность обоих методов репликации в таблице:
Категория
Репликация уровня массива (Array-Based Replication)
Репликация уровня хоста ESXi (vSphere Replication)
Тип репликации
Репликация на уровне массива по выделенному каналу
Репликация на уровне хостов ESXi по сети
Минимальная и максимальная потеря данных (требования к контрольной точке восстановления - RPO)
От 0 до максимально определенной вендором массива.
От 15 минут до 24 часов
Максимальное число ВМ
До 5 000 защищенных ВМ и до 2 000 машин, одновременно восстанавливаемых с одного vCenter
До 2 000 ВМ (и защищаемых, и одновременно восстанавливаемых) на один vCenter
Порядок записи данных на резервной инфраструктуре (Write order fidelity)
Write order fidelity поддерживается для нескольких ВМ в пределах одной consistency group
Write order fidelity поддерживается для дисков VMDK одной ВМ. Для нескольких ВМ одной consistency group это не гарантируется.
Уровень репликации
Репликация на уровне LUN/VMFS или томов NFS
Репликация на уровне виртуальной машины
Метод настройки репликации
Репликация настраивается на стороне дискового массива средствами продуктов вендора
Репликация настраивается и управляется через vSphere Web Client
Тип дискового массива
Необходим массив с поддержкой репликации на обеих площадках (например, EMC RecoverPoint, NetApp vFiler, IBM SVC и т.п.)
Любое хранилище, включая локальное хранилище (в случае наличия в списке vSphere HCL)
Тип хранилища и протокол
Только для хранилищ с протоколами FC, iSCSI или NFS
Поддержка ВМ на локальном хранилище, VSAN, FC, iSCSI или NFS
Стоимость решения
Относительно высокая. Нужна лицензия на функции Replication и Snapshot.
vSphere Replication включена в издание vSphere Essentials Plus 5.1 и более высокие
Развертывание
Необходимо привлечение администраторов хранилищ и, возможно, сетевых администраторов
Администратор vSphere может настроить самостоятельно
Консистентность данных на уровне приложений
В зависимости от дискового массива и производителя консистентность приложений может поддерживаться средствами агентов в гостевой ОС ВМ
Поддержка VSS и Linux file system application consistency
Возможность репликации ВМ, защищенных технологией Fault Tolerance (FT)
Можно реплицировать FT ВМ, но при восстановлении FT будет выключена. Также не поддерживаются ВМ с несколькими vCPU.
Репликация ВМ с включенной FT не поддерживается
Возможность репликации выключенных ВМ, шаблонов, связанных клонов (Linked clones), ISO-образов
Все эти объекты (как и любые другие файлы на виртуальных хранилищах) можно реплицировать на уровне томов VMFS
Можно реплицировать только запущенные виртуальные машины.
Поддержка томов RDM
Тома RDM в режиме физической и виртуальной совместимости могут быть реплицированы
Только тома RDM в режиме виртуальной совместимости (virtual mode)
Поддержка кластеров MSCS
Да, машины, являющиеся частью кластера MSCS, можно реплицировать
Нет, репликация ВМ в составе MSCS-кластера не поддерживается (нельзя реплицировать диски в режиме записи с нескольких хостов - multi-writer)
Поддержка виртуальных сервисов vApp
Да, полностью поддерживается
Нет, объекты vApp реплицировать нельзя. Можно реплицировать машины виртуальных сервисов по отдельности, а потом вручную собрать из них vApp на резервной площадке.
Поддержка версий хостов vSphere
Поддерживаются версии vSphere 3.5-6.0
Только начиная с vSphere 5.0 и более поздние версии
Несколько точек восстановления (Multiple point in time - MPIT)
Снапшоты Multiple point in time и возможность отката к ним поддерживается только отдельными производителями (например, в продукте EMC RecoverPoint)
До 24 точек восстановления
Снапшоты
Поддержка репликации ВМ со снапшотами в неизменяемом виде
Поддержка репликации ВМ со снапшотами, на на целевой площадке они будут удалены (ВМ будет в последнем состоянии, без снапшотов)
Реакция на сбой хоста
Не влияет, так как репликация идет независимо на уровне дискового массива
При сбое хоста, машина перезапускается на другом ESXi и вызывается полная ресинхронизация ВМ (больше подробностей в vSphere Replication FAQ)
Также при использовании репликации уровня дискового массива рекомендуется прочитать документацию к соответствующему компоненту SRA (storage replication adapter).
Недавно компания EMC сделала доступным виртуальный модуль (Virtial Appliance) vVNX community edition, представляющий собой готовую ВМ в формате OVF, с помощью которой можно организовать общее хранилище для других виртуальных машин.
Видеообзор vVNX с EMC World:
Сам продукт фактически представляет собой виртуальный VNXe 3200. Для его работы вам потребуется:
VMware vSphere 5.5 или более поздняя версия
Сетевая инфраструктура с двумя адаптерами 1 GbE или 10 GbE
Replication – возможность асинхронной репликации на уровне блоков для локальных и удаленных инстансов vVNX. Также поддерживается репликация между vVNX и настоящим VNXe 3200.
Unified Snapshots – поддержка технологии снапшотов как на уровне блоков, так и на уровне файлов. Для этого используется технология Redirect on Write (ROW).
VMware Integration – vVNX предоставляет несколько механизмов интеграции с платформой VMware vSphere, таких как VASA, VAI и VAAI. Это позволяет производить мониторинг хранилищ vVNX из клиента vSphere, создавать хранилища из Unisphere, а также использовать техники compute offloading.
Flexible File Access – к хранилищам можно предоставить доступ через CIFS или NFS. Причем оба протокола можно использовать для одной файловой системы. Также можно использовать FTP/SFTP-доступ.
Для виртуальной машины с Virtual VNX потребуется 2 vCPU, 12 ГБ оперативной памяти и до 4 ТБ хранилища для виртуальных дисков.
Также кое-где на сайте EMC заявляется, что vVNX поддерживает технологию Virtual Volumes (VVOls) от VMware, что позволяет потестировать эти хранилища, не имея физического хранилища с поддержкой этого механизма. Это неверно. Поддержка VVols в vVNX будет добавлена только в третьем квартале этого года (пруф).
Пока можно посмотреть вот это видео на эту тему:
Скачать vVNX и получить бесплатную лицензию к нему можно по этой ссылке. Материалы сообщества, касающиеся vVNX объединены по этой ссылке, а вот тут можно посмотреть видео развертывания продукта и скачать гайд по установке. Ну и вот тут вот доступен FAQ.
Как многие из вас знают, одной из новых возможностей VMware vSphere 6.0 в плане хранилищ стала новая архитектура Virtual Volumes (VVols). VVols - это низкоуровневое хранилище для виртуальных машин, с которым позволены операции на уровне массива по аналогии с теми, которые сегодня доступны для традиционных LUN - например, снапшоты дискового уровня, репликация и прочее. Тома VVols создаются на дисковом массиве при обращении платформы к новой виртуальной машине (создание, клонирование или снапшот). Для каждой виртуальной машины и ее файлов, которые вы видите в папке с ВМ, создается отдельный VVol.
Между тем, поскольку технология VVol на сегодняшний день находится в первой своей релизной версии, а продуктов у VMware очень много, на сайте VMware появился список продуктов (в пункте 1 выберите Virtual Volumes), с которыми VVols работают, и тех, где поддержка еще не заявляена.
В целом можно сказать, что внедрять VVols в производственной среде полноценно пока рано, первая версия технологии предназначена скорее для тестирования и пробной эксплуатации с отдельными системами предприятия.
Продукты и технологии, которые поддерживают Virtual Volumes (VVols):
Продукты VMware:
VMware vSphere 6.0.
VMware vRealize Automation 6.2.
VMware Horizon 6.1.
VMware vSphere Replication 6.0
VMware NSX for vSphere 6.x
Возможности платформы VMware vSphere 6.0:
Storage Policy Based Management (SPBM)
Thin Provisioning
Linked Clones
Native Snapshots
View Storage Accelerator also known as Content Based Read Cache (CBRC)
Storage vMotion
vSphere Flash Read Cache
Virtual SAN (VSAN)
vSphere Auto Deploy
High Availability (HA)
vMotion
xvMotion
vSphere Software Development Kit (SDK)
NFS version 3.x
Продукты и технологии, которые НЕ поддерживают Virtual Volumes (VVols):
Продукты VMware:
VMware vRealize Operations Manager 6.x
VMware vCloud Air
VMware Site Recovery Manager 5.x to 6.x
VMware vSphere Data Protection 5.x to 6.x
VMware Data Recovery 2.x
VMware vCloud Director 5.x
Возможности VMware vSphere 6.0:
Storage I/O Control
NFS version 4.1
IPv6
Storage Distributed Resource Scheduler (SDRS)
Fault Tolerance (FT) + SMP-FT
vSphere API for I/O Filtering (VAIO)
Array-based replication
Raw Device Mapping (RDM)
Microsoft Failover Clustering (MSCS)
Отслеживать официальную поддержку VVols со стороны продуктов и технологий VMware можно в специальной KB 2112039. Там же, кстати, находится и полезный FAQ.
Для поиска совместимого с технологией VVols оборудования необходимо использовать VMware Compatibility Guide:
Производительность, готовность и большой объем дискового пространства! Компания ИТ-ГРАД представляет вашему вниманию систему, способную удовлетворить современные требования: All-Flash массив FAS2552A.
Надежная конфигурация
Двухузловой кластер FAS2552A (НА-пара) с 12 твердотельными накопителями по 400 ГБ
Множество преимуществ
Значительное ускорение работы приложений.
Использование флеш-дисков со всеми протоколами (FCP, ISCSI, NFS, CIFS).
Больше никаких простоев! Все задачи технического обслуживания (включая техническое обновление и перенос) можно выполнять без отключения системы.
Гибкая конфигурация. СХД может быть увеличена до 8 узлов с объемом дискового пространства 3 ПБ3. Возможно перемещение данных без отключения системы.
Эффективность хранения данных для всех протоколов.
Дедупликация, компрессия и гибкое выделение ресурсов для всех протоколов (FCP, ISCSI, NFS, CIFS).
Удобное резервное копирование и аварийное восстановление.
Функция резервного копирования Snapshot с интеграцией приложений и гибкие возможности аварийного восстановления в других ЦОД.
Корпоративная система хранения данных, проверенная в реальных условиях эксплуатации тысяч установленных систем. Стабильная работа с помощью Data ONTAP, лучшей в мире операционной системы для СХД, а также широкий спектр сервисов технической поддержки (например, AutoSupport).
Новых возможностей VMware vSphere 6.0 так много, что все они не уместятся в одной статье, поэтому приведем тут ссылки на наши заметки с описанием нового функционала платформы:
Мы много пишем про новые возможности платформы виртуализации VMware vSphere 6, релиз которой должен состояться уже в ближайшее время. Напомним наши последние посты:
Но и компания VMware тоже старается от нас не отставать. Например, недавно она объявила о доступности вебинара "Новинки vSphere 6" на русском языке, который можно в любое время посмотреть по запросу.
Многовато болтовни в начале, но для тех, кто готов слушать о VMware от VMware - почему бы и нет.
Продолжаем вас знакомить с новыми возможностями платформы виртуализации VMware vSphere 6, которая еще не вышла, но про которую уже все что можно написано. Напомним и наши посты на эту тему:
Теперь на очереди улучшения хранилищ, а именно - возможность работы по протоколу NFS версии 4.1, которую ожидали очень долго (еще со времен ESX 3 хост-серверы работают с хранилищами по протоколу NFS 3). Об этом написал Cormac Hogan, являющийся экспертом в области инфраструктуры хранилищ VMware vSphere.
Итак, начать нужно с того, что при монтировании тома NFS на хосте ESXi важно использовать одну версию протокола, так как если один хост смонтирует том как NFS 3, а другой этот же том как NFS 4.1 - последствия для данных этого тома могут оказаться очень печальными (данные будут повреждены). Это во многом потому, что третья версия протокола использует клиентские блокировки (client side co-operative locking), а 4.1 - блокировки на стороне сервера (server-side locking).
Поэтому самый надежный метод - на хранилище разрешить использовать для тома только одну версию протокола NFS. Ну и соответственно при монтировании папки надо указать правильную версию протокола, везде одинаково:
Ну а теперь возможности при работе vSphere 6.0 с общими ресурсами NFS 4.1:
1. Multipathing и Load-blanacing
Протокол NFS 4.1, помимо улучшений производительности, имеет встроенные возможности доступа по нескольким путям и балансировки нагрузки.
В списке Servers to be added можно плюсиком из поля выше ввести список из нескольких IP-адресов серверов кластера для обеспечения балансировки нагрузки по нескольким путям. Ранее такое было доступно только для протокола iSCSI.
Отмечается, что поддержки pNFS (Parallel NFS) в VMware vSphere 6.0 нет.
2. Поддержка аутентификации Kerberos.
В NFS 3 добавлять папки нужно было только под пользователем root, соответственно на хранилищах нужно было везде включать настройку no_root_squash, что не очень-то безопасно.
В NFS 4.1 можно создать нерутового юзера для папок, а на хостах нужно создать специального пользователя следующей командой:
esxcfg-nas -U -v 4.1
Везде на хостах ESXi, имеющих доступ к одним и тем же NFS-ресурсам должны быть добавлены одинаковые пользователи. Если пользователи разные, то у вас, например, не пройдет vMotion (вывалится с ошибкой).
Чтобы возможность аутентификации Kerberos работала, нужно чтобы все хосты ESXi были введены в домен Active Directory (об этом написано на скриншоте, у восклицательного знака).
3. Работа NFS 4.1 с другими технологиями VMware.
К сожалению, поддержка NFS 4.1 в vSphere 6.0 неполная - такие хранилища не поддерживаются для следующих технологий и продуктов VMware:
Storage DRS
Storage I/O Control
Site Recovery Manager
Virtual Volumes
При этом функции кластеров высокой доступности HA и балансировка нагрузки DRS полностью поддерживается. Ну и отметим тут, что IPv6 поддерживается для доступа по протоколу NFS 4.1, однако только в режиме AUTH_SYS (то есть без аутентификации Kerberos).
Продолжаем рассказывать о возможностях новой версии серверной платформы виртуализации VMware vSphere 6, выход которой ожидается в ближайшее время. Напомним наши последние посты на эту тему:
Сегодня у нас на очереди одна из самых интересных тем в vSphere 6 - технология организации хранилищ VMware vSphere Virtual Volumes (VVOls). Напомним, что ранее мы подробно писали о ней тут. С тех пор появилось некоторое количество новой информации, которую мы постараемся актуализировать и дополнить в этом посте.
Начнем с того, что vVOL - это низкоуровневое хранилище для виртуальных машин, с которым позволены операции на уровне массива по аналогии с теми, которые сегодня доступны для традиционных LUN - например, снапшоты дискового уровня, репликация и прочее. vVOLs - это новый способ организации хранилищ в виде удобном для массива, когда используется не традиционная файловая система VMFS, а массив сам определяет, каким образом решать задачи доступа и организации работы с данными для виртуальных машин.
Тома vVOLs создаются на дисковом массиве при обращении платформы к новой виртуальной машине (создание, клонирование или снапшот). Для каждой виртуальной машины и ее файлов, которые вы сейчас видите в папке с ВМ, создается отдельный vVOL. В итоге же, создаются следующие тома на хранилище:
1 config vVOL создается для метаданных ВМ, он включает в себя конфигурационный файл .vmx, дескрипторные vmdk для виртуальных дисков, лог-файлы и прочие вспомогательные файлы.
1 vVOL создается для каждого виртуального диска .VMDK.
1 vVOL создается для файла подкачки, если это требуется.
1 vVOL создается для каждого снапшота и для каждого снимка оперативной памяти.
Дополнительные тома vVOL могут быть созданы для клонов или реплик виртуальной машины.
Давайте посмотрим на архитектуру VVols:
Здесь мы видим следующие компоненты:
Storage Provider (SP)
Технология vVOLs при взаимодействии с аппаратным хранилищем реализуется компонентом Storage Provider (SP), который также называется VASA Provider (подробнее об интерфейсе VASA - тут). Storage provider - это предоставляемый вендором аппаратного обеспечения слой ПО, который обеспечивает взаимодействие платформы vSphere и, собственно, хранилища с организованными на нем томами vVOLs в виде контейнеров (storage containers). vVOLs используют механизм VASA 2.0, который позволяет управлять объектами виртуальных машин (дискми) прямо на хранилище.
Protocol EndPoint (PE)
Если раньше каждый хост налаживал в случае необходимости соединение с каждым из vmdk-дисков виртуальных машин и получалось куча связей, то теперь у хранилища есть логическое I/O-устройство, через которое происходит общение с томами vVOL. PE можно считать сущностью, пришедшей на замену LUN, этих PE может быть создано сколько угодно (кстати, длина очереди у PE - 128 по умолчанию, вместо 32 у LUN).
То есть, через PE хост ESXi получает доступ к данным конкретной виртуальной машины. PE совместимы с существующими протоколами FC, iSCSI и NFS и позволяют использовать уже имеющееся ПО для управления путями в SAN. К отдельному PE через vCenter можно привязать или отвязать тома vVOL отдельных виртуальных машин. Для хранилища не нужно много PE, одно это логическое устройство может обслуживать сотни и тысячи виртуальных томов vVOL.
Storage Container (SC)
Это логическая сущность, которая нужна для объединения томов vVOL по типам в целях выполнения административных задач. Storage Container создается и управляется на стороне дискового массива и предназначен для логической группировки и изоляции виртуальных машин (например, виртуальные машины отдельного клиента в публичном облаке vCloud).
vVOL Datastore
Это хранилище, которое непосредственно создается из vSphere Client. По-сути, это представление Storage Container (SC) для платформы VMware vSphere. Этот тип датастора можно, например, выбрать при создании виртуальной машины:
С точки зрения администрирования, эти датасторы аналогичны VMFS-томам - вы так же можете просматривать их содержимое и размещать там виртуальные машины. Но для них недоступны операции расширения или апгрейда - они полностью контролируются со стороны дискового массива.
Policy Based Management
Это механизм, который позволяет назначать виртуальным машинам политики, которые определяют ее размещение, а как следствие, и производительность с точки зрения подсистемы ввода-вывода (например, можно задавать необходимые трешхолды по ReadOPs, WriteOPs, ReadLatency и WriteLatency.).
Дисковый массив на базе этих политик позволяет разместить виртуальную машину на нужном хранилище и обеспечить необходимые операции по обеспечению нужного уровня производительности.
По прочтении этого материала возникает вопрос - а чем vVOLs лучше механизма VAAI, который уже давно существует для VMware vSphere? Ответ прост - это замена VAAI, которая позволяет еще больше функций по работе с виртуальными машинами и организации хранилищ переложить на сторону аппаратного обеспечения. В случае невозможности операций с vVOLs будет произведено переключение на использование примитивов VAAI:
Многие из вас знают про решение VMware Virtual SAN, представляющее собой средство для создания отказоустойчивых кластеров хранилищ на базе локальных дисков серверов VMware ESXi. Но это всего лишь средство для хранения и обеспечения отказоустойчивости виртуальных машин, а можно ли все пространство хранения в небольшой компании организовать полностью на базе локальных дисков серверов и управлять ими из одной точки?
Компания Nexenta считает, что можно, предлагая пользователям VMware vSphere и VMware Virtual SAN продукт NexentaConnect, позволяющий создавать NFS и SMB ресурсы для размещения данных виртуальной среды и пользователей на локальных дисках хост-серверов.
NexentaConnect это надстройка над Virtual SAN, которая предоставляет следующие возможности централизованно управляемого хранилища:
Экспорт файловых шар по протоколам NFSv3, NFSv4 и SMB 2.1.
Оптимизированный кэш на чтение, размещенный на стороне хост-серверов.
Техники сжатия данных и дедупликации.
Быстрая настройка прямо из vSphere Web Client.
Совместимость с VMware HA и DRS.
Интеграция с доменом AD (поддержка AAA и Kerberos).
Использование преимуществ Virtual SAN.
NexentaConnect состоит из следующих компонентов:
Плагин для vSphere (как для Web Client, так и для vSphere Client).
NexentaConnect Manager – виртуальный модуль (Virtual Appliance) на базе Ubuntu Linux (64 Bit), предоставляющий сервисы управления решением, такие как мониторинг, планировщик событий, база данных, обслуживание операций и т.п.
NexentaConnect Filers – это компоненты, реализующие, собственно, экспорт сетевых шар. Развертываются автоматически по одному на кластер Virtual SAN в момент создания первой общей папки.
Особенности файлеров:
Отдельная файловая система, составленная из виртуальных дисков VMDK по 2 ТБ (для каждой из политик хранения). 2 ТБ - это для того, чтобы обеспечить поддержку со стороны VMware VSAN. Всего можно объединить до 30 VMDK на файлер.
Размер блока 128 КБ.
Развертывание при первом обращении - масштабирование пространства хранения по требованию.
Развертывание как Thin provisioned, так и в режиме заранее аллоцированного пространства.
Параметры файлеров:
ОС Ubuntu Linux (64 Bit)
4 vCPU
16 GB RAM
Минимум 2 виртуальных диска (до 30)
Объем диска до 2 TB
2 сетевых адаптера
Достоинства продукта:
Сжатие данных алгоритмом LZ4 в реальном времени с небольшой нагрузкой на CPU.
До 500 MB/s на компрессию (на ядро).
До 1.5 GB/s на декомпрессию (на ядро).
Дедупликация нулевых блоков.
Дедупликация данных в режиме Tech Preview (полноценная будет во второй версии).
Требования для развертывания NexentaConnect:
VMware vSphere 5.5 или выше
VMware vCenter Server 5.5 U1 или выше (Windows и Linux)
ESXi 5.5 U1 или выше
Кластер VMware vSphere с установленным Virtual SAN
VMware vSphere Web Client
VMware HA (опционально)
Службы каталога (Directory Services - опционально)
Microsoft Windows Active Directory 2008 R2 или выше
VMware vCenter Server 5.5 U1 или выше
DNS
DHCP
NexentaConnect - это еще один способ построить Scale-Out файловый сервер (то есть масштабирующиеся по требованию службы хранения). Например, это востребованной в инфраструктуре виртуальных ПК предприятия, где требуется хранить не только виртуальные машины, но и данные их пользователей.
Об одном из подобных решений - StarWind Virtual SAN - мы регулярно пишем (сейчас это лучшее решение на рынке). Вот тут, например, мы писали про документ о построении инфраструктуры файловых сервисов на базе StarWind.
Добавим, что решение NexentaConnect доступно не только для инфраструктуры VMware vSphere, но и для Citrix XenServer (пока в бете). Больше подробностей о продукте можно узнать вот на этой странице.
На днях компания VMware выпустила очень полезный для администраторов виртуальных инфраструктур документ VMware Horizon 6 Reference Architecture на 53 страницах, в котором приведена типовая конфигурация VDI-среды на 2000 виртуальных ПК, расширяемая до 10 000 пользователей в случае необходимости.
В документе рассмотрена архитектура на базе серверной инфраструктуры Supermicro и хранилища EMC VNX 5500. На данной конфигурации удалось добиться следующих результатов:
Конфигурация программно-аппаратного комплекса:
Хосты ESXi с процессорами 2.1 ГГц Intel E5-2658 или 2.9 ГГц E5-2690
128 ГБ RAM на один хост ESXi
Хранилище для виртуальных ПК EMC VNX5500 на базе протокола NFS (20 ТБ)
Сетевое оборудование 10 Gigabit Ethernet (GbE)
Виртуальные машины Windows 7 с одним vCPU и 1GB vRAM (типовая "легкая" пользовательская нагрузка)
Виртуальные машины с ролью Microsoft Remote Desktop Session Host (RDSH) с четырьмя vCPU и 24 ГБ RAM
ПО VMware Horizon 6 на платформе VMware vSphere 5.5
А вот собственно и сама аппаратная конфигурация описанной в документе архитектуры:
В качестве составляющих программной среды используются все компоненты решения VMware Horizon 6 (View, Mirage 5.0 и Workspace Portal 2.0), работающие на платформе VMware vSphere 5.5.
Документ очень насыщен техническими деталями и рекомендуется к прочтению всем тем, кто планирует масштабное развертывание инфраструктуры виртуальных и физических ПК на базе семейства решений VMware Horizon 6.
Почти три года назад мы писали про средство VMware I/O Analyzer, предназначенное для генерации нагрузки и анализа статистики ввода-вывода хостов VMware ESXi, доступное на сайте проекта VMware Labs. Не так давно вышло обновление этого средства, которое, как оказалось, живет и развивается.
VMware I/O Analyzer поставляется в виде виртуального модуля (готовой ВМ), предоставляющего администраторам следующие возможности:
Интегрированный фрейворк для тестирования производительности хранилищ средствами генераторов нагрузки.
Готовый к развертыванию виртуальный модуль (управляющая ВМ и "воркеры" - генераторы нагрузки).
Прост в настройке и возможность исполнения тестов на одном или нескольких хостах ESX/ESXi.
Возможность просмотра результатов производительности как на уровне хоста, так и на уровне гостевой ОС.
Возможность экспорта данных для последующего анализа.
Средства "повторения" нагрузки на хранилища путем ее воспроизведения из трейса ввода-вывода.
Возможность загрузки трейсов ввода-вывода для автоматического извлечения необходимых метрик.
Графическая визуализация метрик и результатов анализа производительности.
В обновленном VMware I/O Analyzer 1.6.x появились следующие возможности:
Улучшенный планировщик заданий ввода-вывода.
Сам виртуальный модуль теперь на платформе SLES 64-bit, а сервер на Tomcat 6.
Экспериментальная поддержка статистик клиента NFS.
Возможность использования непостоянной (non-persistent) конфигурации (без сохранения настроек).
Сама ВМ с I/O Analyzer теперь версии 7, что позволяет запускать и использовать ее в ESX/ESXi 4.x.
Улучшения на бэкэнде, позволяющие поддерживать до 240 и более генераторов нагрузки.
На самом деле с 2011 года много что изменилось в этом продукте, поэтому ознакомьтесь с юзер-гайдом, в котором есть история добавления фичей по версиям.
Скачать VMware I/O Analyzer можно по этой ссылке. Очень хорошо, что подобные утилиты не ограничиваются одним релизом, а развиваются и обрастают функционалом.
В этом посте специалисты компани ИТ-ГРАД расскажут о решении Cisco UCS Director и покажут как сделать так, чтобы конечные пользователи могли самостоятельно сформировать запрос на портале самообслуживания Cisco UCS Director и автоматически получить готовую виртуальную машину.
Для этого мы с вами научимся создавать наборы политик и объединять несколько политик в группу в рамках vDC, а также создадим каталог (шаблон) на базе этих политик, чтобы предоставить пользователям доступ к этому каталогу через портал самообслуживания.
Начнем с инфраструктуры. Инфраструктура, на базе которой мы будем выполнять все настройки, состоит из:
NetApp Clustered DataONTAP 8.2 Simulator в качестве дискового массива;
виртуальной инфраструктуры развернутой на базе:
ESXi appliance 5.5.0;
vCenter appliance 5.5.0a.
Выглядит это примерно так:
Сразу отмечу, что все настройки политик и параметров для шаблона(ов) виртуальных машин в нашем посте будут относиться к VMWare vSphere инфраструктуре..Читать статью далее
На прошлой неделе мы писали о том, что компания Red Hat выпустила мажорную версию своего дистрибутива Red Hat Enterprise Linux 7, где появилось достаточно много новых возможностей, в том числе касающихся технологий виртуализации. Несколько дней спустя было объявлено и о выпуске платформы Red Hat Enterprise Virtualization 3.4 (RHEV), полностью поддерживающей обновленную ОС RHEL 7. Напомним, что о возможностях бета-версии решения мы уже писали вот тут.
Напомним, что RHEV основана на гипервизоре Kernel-based Virtual Machine (KVM) и поддерживает открытую облачную архитектуру OpenStack. Давайте посмотрим, что нового появилось в обновленном RHEV версии 3.4.
Инфраструктура
Сервис настройки SNMP для поддержки сторонних систем мониторинга.
Сохранение настроек облачной инсталляции RHEV для возможности ее восстановления при сбое или для целей тиражирования в других облаках.
Переписаны и улучшены сервисы аутентификации RHEV.
Возможность горячего добавления процессора в ВМ (Hot Plug CPU). Тут нужна поддержка со стороны ОС.
Нерутовые юзеры теперь имеют доступ к логам.
Новый установщик, основанный на TUI (textual user interface).
Поддержка IPv6.
Возможность выбора соединения с консолью ВМ в режиме Native Client или noVNC.
Возможность изменения некоторых настроек запущенной виртуальной машины.
Полная поддержка RHEL 7 в качестве гостевой ОС.
Возможность включения/отключения KSM (Kernel Samepage Merging) на уровне кластера.
Возможность перезагрузки ВМ из RHEVM или консольной командой.
Сетевое взаимодействие
Более плотная интеграция с инфраструктурой OpenStack:
Улучшения безопасности и масштабируемости для сетей, развернутых с помощью Neutron.
Поддержка технологии Open vSwitch (расширяемый виртуальный коммутатор) и возможностей SDN-сетей.
Network Labels - метки, которые можно использовать при обращении к устройствам.
Корректный порядок нумерации виртуальных сетевых адаптеров (vNIC).
Поддержка iproute2.
Единая точка конфигурации сетевых настроек множества хостов в указанной сети.
Возможности хранилищ
Смешанные домены хранилищ (mixed storage domains) - возможность одновременного использования дисковых устройств из хранилищ iSCSI, FCP, NFS, Posix и Gluster для организации хранения виртуальных машин.
Multiple Storage Domains - возможность распределить диски одной виртуальной машины по нескольким хранилищам в пределах датацентра.
Возможность указания дисков, которые будут участвовать в создании снапшотов, а также тех, которые не будут.
Улучшен механизм восстановления ВМ из резервной копии - теперь есть возможность указать снапшот состояния, в которое хочется откатиться.
Асинхронное управление задачами Gluster-хранилищ.
Read-Only Disk for Engine - эта функция дает средству управления Red Hat Enterprise Virtualization Manager возможность использовать диски только для чтения.
Доступ по нескольким путям (multipathing) для хранилищ iSCSI.
Средства виртуализации
Агенты гостевых ОС (ovirt-guest-agent) для OpenSUSE и Ubuntu.
SPICE Proxy - возможность использовать прокси-серверы для доступа пользователей к своим ВМ (если они, например, находятся за пределами инфраструктурной сети).
SSO (Single Sign-On) Method Control - возможность переключаться между различными механизмами сквозной аутентификации. Пока есть только два варианта: guest agent SSO и без SSO.
Поддержка нескольких версий одного шаблона виртуальной машины.
Улучшения планировщика и средств обеспечения уровня обслуживания
Улучшения планировщика виртуальных машин.
Группы Affinity/Anti-Affinity (правила существования виртуальных машин на хостах - размещать машины вместе или раздельно).
Power-Off Capacity - политика электропитания, позволяющая выключить хост и подготовить его виртуальные машины к миграции в другое место.
Even Virtual Machine Distribution - возможность распределения виртуальных машин по хостам на базе количества ВМ.
High-Availability Virtual Machine Reservation - механизм позволяет гарантировать восстановление виртуальных машин в случае отказа одного или нескольких хост-серверов. Он работает на базе расчета доступной емкости вычислительных ресурсов хостов кластера.
Улучшения интерфейса
Фиксы багов, касающихся того, что интерфейс не всегда реагировал на происходящие в инфраструктуре события.
Поддержка низких разрешений экрана (когда не было видно некоторых элементов консоли управления на низких разрешениях).
Скачать Red Hat Enterprise Virtualization 3.4 можно по этой ссылке. Документация доступна тут.
На прошлой неделе компания Red Hat выпустила мажорное обновление операционной системы Red Hat Enterprise Linux 7.
Новая версия ОС RHEL имеет множество новых интересных возможностей, среди которых немало касаются технологий виртуализации. Некоторые основные новые возможности RHEL 7:
Встроенная поддержка упакованных приложений в формате Docker.
Kernel patching utility Technology Preview - патчинг ядра без перезагрузки ОС.
Прямая и непрямая интеграция с Microsoft Active Directory, подробнее описано вот тут.
Для разделов boot, root и user data дефолтной файловой системой теперь является XFS.
Для XFS максимальный размер файловой системы увеличен со 100 ТБ до 500 ТБ.
Для ext4 этот размер увеличен с 16 ТБ до 50 ТБ.
Улучшенный процесс установки ОС (новый визард).
Возможность управления серверами Linux с использованием Open Linux Management Infrastructure (OpenLMI).
Улучшения файловых систем NFS и GFS2.
Новые возможности технологии виртуализации KVM.
Возможность выполнять RHEL 7 в качестве гостевой OS.
Улучшения NetworkManager и новая утилита командной строки для выполнения сетевых задач NM-CLI.
Поддержка сетевых соединений Ethernet на скорости до 40 Гбит/с.
Поддержка беспроводной технологии WiGig (IEEE 802.11ad) (на скорости до 7 Гбит/с).
Новый механизм Team Driver, который виртуально объединяет сетевые устройства и порты в единый интерфейс на уровне L2.
Новый динамический сервис FirewallD, представляющий собой гибкий сетевой экран, имеющий преимущество перед iptables и поддерживающий несколько трастовых зон (network trust zones).
GNOME 3 в режиме классического рабочего стола.
Более подробно о новых возможностях RHEL 7 рассказано вот в этом документе Red Hat.
В плане виртуализации в Red Hat Enterprise Linux 7 появились следующие основные нововведения:
Технологическое превью возможности virtio-blk-data-plane, которая позволяет выполнять команды ввода-вывода QEMU в отдельном оптимизированном потоке.
Появилось технологическое превью технологии PCI Bridge, позволяющей поддерживать более чем 32 PCI-устройства в QEMU.
Поддержка "горячего" добавления виртуальных процессоров машинам (vCPU Hot Add).
Multiple Queue NICs - каждый vCPU имеет собственные очереди на передачу и получение, что позволяет не задействовать другие vCPU (только для гостевых ОС Linux).
Технология сжатия страниц памяти при горячей миграции (Page Delta Compression) позволяет гипервизору KVM проводить миграцию быстрее.
В KVM появились функции поддержки паравиртуализованных функций ОС Microsoft, например, Memory Management Unit (MMU) и Virtual Interrupt Controller. Это позволяет гостевым ОС Windows работать быстрее (по умолчанию эти функции отключены).
Поддержка технологии EOI Acceleration, основанной на интерфейсе Advanced Programmable Interrupt Controller (APIC) от Intel и AMD.
Технологическое превью поддержки USB 3.0 в гостевых ОС на KVM.
Поддержка гостевых ОС Windows 8, Windows 8.1, Windows Server 2012 и Windows Server 2012 R2 на гипервизоре KVM.
Функции I/O Throttling для гостевых ОС на QEMU.
Поддержка технологий Ballooning и transparent huge pages.
Новое устройство virtio-rng доступно как генератор случайных чисел для гостевых ОС.
Поддержка горячей миграции гостевых ОС с хоста Red Hat Enterprise Linux 6.5 на хост Red Hat Enterprise Linux 7.
Поддержка назначения устройств NVIDIA GRID и Quadro как второго устройства в дополнение к эмулируемому VGA.
Технология Para-Virtualized Ticketlocks, улучшающая производительность, когда виртуальных vCPU больше чем физических на хосте.
Улучшенная обработка ошибок устройств PCIe.
Новый драйвер Virtual Function I/O (VFIO) улучшающий безопасность.
Поддержка технологии Intel VT-d Large Pages, когда используется драйвер VFIO.
Улучшения отдачи точного времени виртуальным машинам на KVM.
Поддержка образов формата QCOW2 version 3.
Улучшенные статистики Live Migration - total time, expected downtime и bandwidth.
Выделенный поток для Live Migration, что позволяет горячей миграции не влиять на производительность гостевых ОС.
Эмуляция процессоров AMD Opteron G5.
Поддержка новых инструкций процессоров Intel для гостевых ОС на KVM.
Поддержка форматов виртуальных дисков VPC и VHDX в режиме "только для чтения".
Новые возможности утилиты libguestfs для работы с виртуальными дисками машин.
Новые драйверы Windows Hardware Quality Labs (WHQL) для гостевых ОС Windows.
Интеграция с VMware vSphere: Open VM Tools, драйверы 3D-графики для OpenGL и X11, а также улучшенный механизм коммуникации между гостевой ОС и гипервизором ESXi.
Release Notes новой версии ОС доступны по этой ссылке. О функциях виртуализации в новом релизе RHEL 7 можно почитать вот тут (а здесь - на русском). Исходные коды rpm-пакетов Red Hat Enterprise Linux 7 теперь доступны только через Git-репозиторий.
На прошедшей неделе компания VMware вплотную занялась патчингом и фиксингом своих продуктов, закрывая те проблемные места, которые накопились за прошедшие пару-тройку месяцев. Прежде всего, было выпущено обновление ESXi550-201406401-SG, которое решает сразу две проблемы на VMware vSphere 5.5 Update 1.
Во-первых, мы уже писали о том, что в VMware vSphere 5.5 Update 1 был баг - если использовать NFS-хранилища, то они периодически отваливаются, переходя в состояние APD (All paths down). Это касается и VSA-хранилищ. В логах при этом наблюдается что-то вроде такого:
2014-04-01T14:35:08.074Z: [APDCorrelator] 9413898746us: [vob.storage.apd.start] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down state.
2014-04-01T14:35:08.075Z: [APDCorrelator] 9414268686us: [esx.problem.storage.apd.start] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down state.
2014-04-01T14:36:55.274Z: No correlator for vob.vmfs.nfs.server.disconnect
2014-04-01T14:36:55.274Z: [vmfsCorrelator] 9521467867us: [esx.problem.vmfs.nfs.server.disconnect] 192.168.1.1/NFS-DS1 12345678-abcdefg0-0000-000000000000 NFS-DS1
2014-04-01T14:37:28.081Z: [APDCorrelator] 9553899639us: [vob.storage.apd.timeout] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down Timeout state after being in the All Paths Down state for 140 seconds. I/Os will now be fast failed.
2014-04-01T14:37:28.081Z: [APDCorrelator] 9554275221us: [esx.problem.storage.apd.timeout] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down Timeout state after being in the All Paths Down state for 140 seconds. I/Os will now be fast failed.
В выпущенном обновлении эта ошибка была исправлена.
Во-вторых, была также исправлена ошибка безопасности в OpenSSL, которая может оказаться даже серьезнее, чем исправленный ранее баг OpenSSL Heartbleed. В ESXi существует вероятность атаки типа MiM (Man in the Middle), о которой подробнее рассказано вот тут. Этот баг в приведенном выше обновлении был также зафикшен. Кстати, в своем блоге компания VMware объявила о том, что ее команда безопасности расследует новые возможные уязвимости OpenSSL, и вот тут приведены результаты ее работы.
Чтобы скачать патч, идем на VMware Patch Portal, выбираем там продукт "ESXi Embedded & Installable", версию релиза 5.5.0 и дату - 10 июня. Получаем ссылку на патч:
Применить этот патч можно и не скачивая его с сайта VMware, а просто с помощью следующей последовательности команд:
# открываем фаервол для http
esxcli network firewall ruleset set -e true -r httpClient
# устанавливаем образ ESXi-5.5.0-20140604001-standard из хранилища VMware Online depot
Оба этих исправления прежде всего несут в себе фиксы в плане безопасности протокола OpenSSL, однако там есть и другие мелкие улучшения. Рекомендуется их установить.
Надо отметить, что VMware vCenter Server Appliance не подвержен багу OpenSSL, поэтому и исправлений для него нет.
Таги: VMware, vSphere, Security, Bug, Bugs, ESXi, vCenter, vCloud, Director
Как вы знаете, совсем недавно была выпущена новая версия продукта StarWind Virtual SAN, предназначенного для создания отказоустойчивых хранилищ на базе iSCSI для виртуальных машин VMware vSphere и Microsoft Hyper-V. О новых возможностях этого продукта мы уже рассказывали тут, кроме того, скоро мы расскажем о нововведениях более детально.
Некоторое время назад мы уже писали об изданиях решения StarWind (и тут), но сейчас продукт существенно поменялся - появились новые возможности и улучшения, которые мы просуммировали в таблице ниже:
Возможности продукта
StarWind iSCSI SAN Free Edition (бесплатно)
StarWind Virtual SAN для VMware и Hyper-V
Комментарий
Емкость хранилищ
Для одного узла - не ограничено, для HA-конфигурации - 128 ГБ
Зависит от типа лицензии - от 1 до 512 ТБ
Можно купить лицензию на 1 ТБ и расширять ее апгрейдами
Размер допустимого к использованию кэша
512 МБ
Не ограничено
Для коммерческой лицензии можно использовать всю память сервера под кэш
Централизованное управление
StarWind Management Console
Консоль бесплатного и коммерческого издания - одна. Апгрейд происходит с помощью ключа.
Число серверов на лицензию
2
2 или 3
Для коммерческой лицензии можно использовать 3 узла при соблюдении лицензированной емкости. Подробнее тут.
Число одновременных соединений по iSCSI
Не ограничено
Обе версии позволяют неограниченное число клиентов.
Число лицензированных портов Ethernet
Не ограничено
Любые порты можно как угодно агрегировать и использовать.
Число дисков хоста
Не ограничено
Диски можно использовать в любой конфигурации.
Техническая поддержка
Ограничена (только веб-форум)
Полная поддержка (уровень Standard или Premium)
Уровень Standard - время реакции 4-12 часов (почта, телефон), можно сделать апгрейд на премиум-поддержку.
Отказоустойчивость узлов типа Active-Active
Поддержка прозрачной для виртуальных машин отказоустойчивой конфигурации (как Failover, так и Failback). Для бесплатной версии - только для 128 ГБ.
Асинхронная WAN-репликация
Возможность асинхронной репликации между узлами и возможность создания катастрофоустойчивого решения для хранилищ. Теперь также возможна репликация даже на очень медленных каналах
Использование ресурсов NAS/SAN
Поддержка в качестве хранилищ как NAS, так и SAN-ресурсов. Утилита NAS Configurator - помогает сделать экспорт NFS/SMB-шары для использования в кластерах StarWind High Availability или MS Cluster.
Технология Disk bridge
Технология эмуляции SCSI-слоя, что позволяет использовать любые типы хранилищ (PATA/SATA/RAID).
Техника SPTI
Техника, позволяющая соединять физические устройства с удаленными машинами.
Возможности Thin Provisioning (растущие по мере наполнения диски)
Аллоцируется только необходимое для записей данных пространство диска.
Технология High speed caching
Использование памяти для защищенного и высокопроизводительного кэширования.
Сервисы мониторинга и нотификаций администраторов
Единая консоль мониторинга происходящих с хранилищами событий и средство оповещения администраторов по email или SNMP.
Дедупликация данных (собственный высокопроизводительный механизм)
Inline-дедупликация StarWind не создает нагрузку на подсистему хранения и не "крадет" IOPS'ы у продуктивного хранилища.
Из таблицы видно, что бесплатная версия StarWind Virtual SAN Free мало чем отличается от платной, кроме ограничения на размер отказоустойчивого хранилища в 128 ГБ. Поэтому если у вас есть необходимость в создании кластеров хранилищ на базе локальных дисков серверов - StarWind на сегодняшний день является единственным на сегодняшний день продуктом, позволяющим сделать это бесплатно.
Скачать пробную или бесплатную версию StarWind Virtual SAN для VMware или Hyper-V можно по этой ссылке.
Не так давно мы писали о доступности бета-версии средства VMware Log Insight 2.0, предназначенного для автоматизированного управления файлами журналов, а также сбора различных данных, их анализа и поиска. Вчера компания VMware анонсировала релизную версию VMware Log Insight 2.0.
Приведем здесь полный список новых возможностей решения Log Insight 2.0:
1. Улучшения производительности масштабируемости:
VMware заявляет, что Log Insight работает в 6 раз быстрее конкурента - продукта Splunk.
До 8 раз увеличена скорость сбора данных и до 6 раз - скорость выполнения запросов.
До 2 ТБ анализируемых данных на узел.
До 30% улучшения производительности отдельных узлов.
Возможность масштабирования до 6 узлов при анализе данных.
2. Высокая доступность:
Улучшения скорости обмена до 5-10 раз при работе в режиме Cluster mode.
Нет единой точки отказа - при запросах можно использовать внешний балансировщик, перенаправляющий запросы к узлам. Появилась интеграция с решением vCenter Operations Management Suite.
Единый интерфейс для работы со всеми данными узлов.
3. Проактивная аналитика:
Обучаемая система типов событий и распознавания схем данных с интеллектуальной группировкой (близкие сообщения хранятся рядом).
"Умные поля" в отчетах (распознается тип данных в поле).
Возможность взаимодействия между разными виджетами одного дэшборда.
Теперь работа с диаграммами стала намного удобнее (новые виды диаграмм, можно прятать колонки, можно добавлять чарты на дэшборд).
5. Поддержка RESTful API при работе с логами.
6. Улучшенные механизмы мониторинга собственного состояния.
7. Агент для сбора логов Windows:
Перенаправляет Windows event logs.
Мониторит изменения файлов журнала.
Функции централизованной отчетности и управления логами.
Потребляет мало ресурсов (до 5% CPU и 100-200 МБ оперативной памяти).
Поддерживает автоматическую ротацию логов.
Кроме того, в скором времени будут доступны дополнительные контент-паки для следующих продуктов:
Brocade SAN Content Pack – мониторит события с FC-коммутаторов Brocade, генерирует алерты
Microsoft Active Directory Content Pack
Microsoft Exchange Content Pack
Microsoft Windows Content Pack
Дефолтный контент-пак для VMware vSphere содержит следующие представления:
General – Overview
General – Inventory
General – Security
vCenter – Alarms
vCenter – Tasks
ESXi
DRS
HA
Networking
Storage – Overview
Storage – SCSI latency/errors
Storage SCSI Sense Codes
Storage – NFS
Virtual Machine
Теперь лицензирование VMware Log Insight построено не на базе объема обрабатываемых данных, а на базе анализируемых систем (стоит это $200 за систему). Можно также купить лицензию на 1 физический процессор (CPU) сервера Log Insight.
Сам продукт VMware Log Insight 2.0 будет доступен для загрузки во втором квартале этого года. Более подробно о продукте можно узнать тут, а контент-паки можно загрузить отсюда.
Пару недель назад мы писали об уязвимости OpenSSL HeartBleed, которая коснулась виртуальной инфраструктуры VMware vSphere, а также других продуктов компании VMware. Напомним, что эта уязвимость позволяла злоумышленнику получить доступ к памяти сервера, где могут храниться логины/пароли и другая информация пользователей.
На прошлой неделе компания VMware выпустила фиксы для этого бага в виде обновлений VMware vSphere 5.5 Update 1a и VMware vSphere 5.5c, подробнее о которых написано в специальной статье KB 2076665.
Но тут, как часто бывает, вышла оказия. Нашелся еще один баг в VMware vSphere 5.5 Update 1 - оказывается, если для этого билда использовать NFS-хранилища, то они периодически отваливаются, то есть переходят в состояние APD (All paths down). Это касается и VSA-хранилищ. В логах при этом наблюдается что-то вроде такого:
2014-04-01T14:35:08.074Z: [APDCorrelator] 9413898746us: [vob.storage.apd.start] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down state.
2014-04-01T14:35:08.075Z: [APDCorrelator] 9414268686us: [esx.problem.storage.apd.start] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down state.
2014-04-01T14:36:55.274Z: No correlator for vob.vmfs.nfs.server.disconnect
2014-04-01T14:36:55.274Z: [vmfsCorrelator] 9521467867us: [esx.problem.vmfs.nfs.server.disconnect] 192.168.1.1/NFS-DS1 12345678-abcdefg0-0000-000000000000 NFS-DS1
2014-04-01T14:37:28.081Z: [APDCorrelator] 9553899639us: [vob.storage.apd.timeout] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down Timeout state after being in the All Paths Down state for 140 seconds. I/Os will now be fast failed.
2014-04-01T14:37:28.081Z: [APDCorrelator] 9554275221us: [esx.problem.storage.apd.timeout] Device or filesystem with identifier [12345678-abcdefg0] has entered the All Paths Down Timeout state after being in the All Paths Down state for 140 seconds. I/Os will now be fast failed.
Решения для этой проблемы пока нет, поэтому рекомендуется просто откатиться на VMware vSphere 5.5 (без Update 1), если вы используете NFS-хранилища или модуль VSA.
Так вот, поэтому vSphere 5.5 Update 1 и просто vSphere 5.5 надо обновлять разными патчами для устранения уязвимости OpenSSL HeartBleed (чтобы на 5.5 не накатилась проблема с APD):
VMware ESXi 5.5, Patch Release ESXi550-201404001
Это патч только для фикса хостов
ESXi 5.5 Update 1
VMware ESXi 5.5, Patch Release ESXi550-201404020
А этот патч для фикса хостов разных версий 5.5 за исключением ESXi 5.5 Update 1, а именно:
ESXi 5.5.0 hosts
ESXi 5.5.0 hosts patched with ESXi550-201312101-SG bulletin
ESXi 5.5.0 hosts patched with ESXi550-201312401-BG bulletin
ESXi 5.5.0 hosts patched with ESXi550-201403101-SG bulletin
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20131201001s-standard image profile
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20131201001s-no-tools image profile
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20131204001-standard image profile
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20131204001-no-tools image profile
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20140301001s-standard image profile
ESXi 5.5.0 hosts patched with ESXi-5.5.0-20140301001s-no-tools image profile
Для серверов vCenter есть также соответствующие патчи:
Единая точка конфигурации сетевых настроек множества хостов в указанной сети.
Улучшения enterprise-функций хранилищ:
Смешанные домены хранилищ (mixed storage domains) - возможность одновременного использования дисковых устройств из хранилищ iSCSI, FCP, NFS, Posix и Gluster для организации хранения виртуальных машин.
Возможность указания дисков, которые будут участвовать в создании снапшотов, а также тех, которые не будут. Кроме того, улучшен механизм восстановления ВМ из резервной копии - теперь есть возможность указать снапшот состояния, в которое хочется откатиться.
Улучшения средств управления на всех уровнях:
Улучшения планировщика виртуальных машин.
Группы Affinity/Anti-Affinity (правила существования виртуальных машин на хостах - размещать машины вместе или раздельно).
Возможность горячего добавления процессора в ВМ (Hot Plug CPU). Тут нужна поддержка со стороны ОС.
Сервис настройки SNMP для поддержки сторонних систем мониторинга.
Сохранение настроек облачной инсталляции RHEV для возможности ее восстановления при сбое или для целей тиражирования в других облаках.
Решение RHEV 3.4 Beta доступно уже сегодня для всех пользователей Red Hat Enterprise Virtualization. Скачать решение RHEV можно на этой странице.
Таги: Red Hat, RHEV, Update, Beta, VMachines, Cloud, Cloud Computing
На днях компания StarWind Software выпустила долгожданный Release Candidate своей новой версии решения для создания отказоустойчивых хранилищ под виртуализацию - StarWind SAN V8 RC. Напомним, что несколько ранее вышла третья бета-версия данного продукта. Ну а в текущей версии появилось еще несколько новых возможностей, которых не было в предыдущих бетах.
Итак, окончательно определился список новых возможностей StarWind V8, которые мы увидим в финальном релизе продукта:
L2 Flash Cache - кэш уровня L2, который работает непосредственно с кэшем уровня L1 в RAM, что существенно улучшает производительность.
Файловая система LSFS, которая изначально работает с большими блоками данных, что положительно сказывается на сроке службы флеш-накопителей (SSD), на которых размещаются виртуальные машины (это дело недалекого будущего). Файловая система LSFS преобразовывает small random writes в большие последовательные операции записи, что также существенно увеличивает производительность.
Inline-дедупликация StarWind, которая не создает нагрузку на подсистему хранения и не "крадет" IOPS'ы у продуктивного хранилища.
Улучшенный интерфейс мастеров развертывания хранилищ для Windows Server 2012 с поддержкой скриптов PowerShell.
Возможность интеграции с механизмом SMI-S для Windows Server 2012 R2.
Massive Scale-Out storage architecture - возможность масштабирования узлов кластера хранилищ до любого числа (а не только 3 как сейчас).
Asynchronous WAN-replication - возможность асинхронной репликации между узлами и возможность создания катастрофоустойчивого решения для хранилищ. Теперь также возможна репликация даже на очень медленных каналах.
Поддержка примитивов VAAI для устройств на одном узле и устройств с синхронной репликацией: поддерживаются команды WRITE SAME, EXTENDED COPY, ATS.
Репликация конфигурации узла, включая информацию о снапшотах, что позволяет в случае сбоя сохранить созданную оригинальную конфигурацию и реплицировать ее уже, например, на третий узел.
VSS-провайдеры для поддержки устройств с LSFS - появились Hardware VSS provider (для устройств с синхронной/асинхронной репликацией) и Software VSS Provider (только для обычных LSFS-устройств).
Утилита NAS Configurator - помогает сделать экспорт NFS/SMB-шары для использования в кластерах StarWind High Availability или MS Cluster.
Утилита VSA Builder - позволяет развернуть готовую виртуальную машину StarWind VSA на серверах VMware ESXi.
V2V Converter в StarWind Management console - теперь прямо из консоли можно конвертировать файлы дисков виртуальных машин из формата VMDK в VHD и обратно, а также из/в нативный формат IMG StarWind.
Release notes по продукту StarWind SAN V8 доступны здесь. Скачать релиз-кандидат можно по этой ссылке. До финальной версии осталось совсем чуть-чуть.
Системы хранения данных NetApp серии FAS8000 — это сочетание унифицированной горизонтально масштабируемой архитектуры с лидирующими функциями управления данными. Системы отличаются быстрой адаптацией к меняющимся потребностям предприятия и соответствуют требованиям к продолжительности безотказной работы, масштабируемости и рентабельности.
Быстрое выполнение бизнес-операций. Выгодно используя высокие показатели производительности, а также преимущества многоядерной архитектуры и самоуправляемых флэш-технологий ускорения, унифицированные горизонтально масштабируемые СХД FAS8000 увеличивают пропускную способность и уменьшают время ожидания, обеспечивая стабильную работу приложений с разнородными рабочими нагрузками SAN и NAS.
Рационализация ИТ-операций. Благодаря упрощенному управлению и апробированной интеграции со средами поставщиков облачных услуг вы можете смело внедрять систему FAS8000 в свой центр обработки данных и гибридное облако. Бесперебойные операции упрощают долговременный процесс масштабирования и увеличивают период бесперебойной работы, обеспечивая проведение ремонта аппаратных компонентов, модернизацию технических средств и других обновлений без отключения системы.
Обеспечение эффективного показателя общей стоимости владения. Апробированные технологии повышения эффективности и отличное соотношение «цена-производительность» оптимизируют занимаемое дисковое пространство и улучшают показатели окупаемости в долгосрочной перспективе. Программное обеспечение виртуализации СХД FlexArray позволит интегрировать существующие массивы с системами FAS8000, повышая уровень консолидации и ценность вашего бизнеса.
Для получения более детальной информации о дисковых массивах NetApp - обращайтесь в компанию ИТ-ГРАД. Там специальные цены!
Те из вас, кто интересуется безопасностью виртуальной инфраструктуры VMware vSphere, наверняка знают такое нужное руководство, как "VMware vSphere Hardening Guide", которое предоставляет рекомендации и практичные советы по комплексной защите виртуальной инфраструктуры, включая хосты, виртуальные машины, сервер vCenter и т.п.
Однако этот документ - еще не все, что есть полезного на тему безопасности от VMware (кстати, централизованно все ресурсы находятся в VMware Security Center). Недавно обновился документ "Security of the
VMware vSphere Hypervisor" (25 страниц), который описывает инфраструктуру безопасности непосредственно хоста ESXi на уровне ядра и интерфейсов.
Содержание документа:
Secure Virtual Machine Isolation in Virtualization
Virtualization Extensions
Instruction Isolation
Memory Isolation
Memory Protection
Device Isolation
Device Access to Hardware
I/O Remapping
Resource Provisioning, Shares, and Limits
Provisioning
Shares
Limits
Network Isolation
ESXi Networks
Virtual Machine Networks
Virtual Networking Layer
Virtual Switches
Virtual Switch VLANs
Virtual Ports
Virtual Network Adapters
Virtual Switch Isolation
Virtual Switch Correctness
Virtualized Storage
Linked Clones
Raw Device Mapping
I/O Path
SAN Security
iSCSI Security
VMFS
NFS Security
Secure Management
ESXi Is Not Linux
Administrative Interfaces
DCUI
Host Agent
VMware vSphere ESXi Shell
Network Access to Administrative Interfaces
SSL Certificates
Management Interface Firewall
Security of Management Protocols
Administrative User Access
Limit Root Access
Lockdown Mode
Platform Integrity Protection
Secure Software Packaging
Software Assurance and Integrity Protection
VMware Secure Development Life Cycle
Документ отличает высокий технический уровень, который позволяет понять процессы, происходящие в недрах ESXi. Вот так, например, выглядит схема прохождения инструкций процессора на различных уровнях:
А вот так - использование физической и виртуальной памяти хостов виртуальными машинами:
Интересный наброс произошел некоторое время назад в среде виртуализаторов. Оказывается, что Microsoft Exchange 2013 (который станет одним из главных почтовых серверов в ближайшем будущем) не поддерживается для размещения его в виде виртуальной машины на томах NAS / NFS. Вот такая штука - многие используют, а не знают, что это не поддерживается.
При этом NAS-хранилища SMB 3.0, появившиеся в Windows 8 и Windows Server 2012, вполне себе поддерживаются. Напомним, что NFS-протокол используют хранилища таких производителей, как Tintri, Maxta, NetApp и Nutanix.
All storage used by an Exchange guest machine for storage of Exchange data must be block-level storage because Exchange 2013 doesn't support the use of network attached storage (NAS) volumes, other than in the SMB 3.0 scenario outlined later in this topic.
То есть, данные Exchange (почтовые ящики, очереди и т.п.) должны храниться только на блочных хранилищах SCSI или iSCSI (block-level storage), а для файловых хранилищ, кроме SMB 3.0, поддержки нет.
В статье "NFS and Exchange - not a good combination" эксперт по инфраструктуре Microsoft Exchange Тони Рэдмонд раскрывает причину такого явления - дескать, все дело в механизме ESE (Extensible Storage database engine), используемом сервером Exchange. Блочное хранилище на базе протокола SCSI поддерживает обязательный сброс транзакции в случае сбоя, а вот файловое хранилище обеспечивает этот сброс "по мере возможности".
Как многие из вас знают, в виртуальной инфраструктуре VMware vSphere некоторое количество программного обеспечения распространяется в виде виртуальных модулей (Virtual Appliances), представляющих собой готовые виртуальные машины с необходимыми сервисами внутри.
К ним, например, относятся следующие вспомогательные модули от самой VMware:
vCenter Server Virtual Appliance 5.5 (VCVA) - главный сервер управления виртуальной инфраструктурой vSphere на базе ОС SUSE Linux.
vCenter Orchestrator 5.5 (vCOva) - средство автоматизации операций для виртуальных машин и хост-серверов.
vCenter Operations Manager 5.7.1 (vCOPs) - средство комплексного мониторинга и анализа виртуальной среды.
vCenter Infrastructure Navigator 2.0 (VIN) - решение для автоматического обнаружения и визуализации компонентов приложений и зависимостей инфраструктуры.
vCloud Automation Center Virtual Appliance 6.0 (vCACva) - средство управления облачной инфраструктурой предприятия (SaaS, PaaS, IaaS) за счет единого решения, построенного поверх VMware vCloud Director.
vCenter Management Assistant (vMA) - вынесенная "сервисная консоль" за пределы хост-серверов ESXi в отдельный виртуальный модуль, с которого удобно выполнять консольные команды RCLI (например, мониторинга - resxtop), а также хранить и запускать различные скрипты.
VMware Log Insight - централизованное средство сбора и анализа логов, о нем мы уже писали тут.
Horizon Workspace Manager 1.5 (наша статья тут) - средство автоматизации инфраструктуры виртуальных и физических ПК.
vCloud Connector 2.5.1 (vCC) - средство миграции виртуальных машин на платформе VMware vSphere из частного облака предприятия в публичное хостинг-провайдера и обратно.
Все эти модули (а также и модули от сторонних производителей), будучи неотъемлемыми компонентами виртуальной среды, нуждаются в защите. Чтобы облегчить эту задачу пользователям, компания VMware выпустила документ "Hardened Virtual Appliance Operations Guide", в котором на 16 страницах вкратце рассказывают о том, как нужно защищать эти виртуальные модули в следующих контекстах:
Password Expiry - поставить нормальную политику устаревания паролей.
Выполнить скрипт повышенной безопасности для параноиков (Dodscript.sh - сделан для Минобороны США). Там же написано про то, как поменять Security Banner (то есть скрин логина в консоль ESXi, на котором вывешено предупреждение об ответственности за несанкционированный доступ).
Secure Shell, Administrative Accounts, and Console Access - использовать защищенный доступ к консоли виртуальных модулей.
Time Sourcing and Synchronization - применять синхронизацию времени с доверенным источником.
Log Forwarding – Syslog-ng and Auditd - перенаправлять собираемые логи на отдельный защищенный сервер.
Boot Loader (Grub) Password - поставить пароль на загрузчик, исключающий также загрузку в Single user mode.
Отключить сервисы NFS и NIS.
Начинание это, безусловно, является хорошим шагом со стороны VMware в плане обеспечения безопасности виртуальных модулей и инфраструктуры в целом. Но как-то маловато 16 страниц, вы не находите?
Сегодня мы хотим обратить внимание на два интересных документа, которые раскрывают подробности использования этой технологии.
Напомним, что Flash Read Cache позволяет использовать кэширование данных только на чтение для дисков VMDK виртуальных машин, работает она на уровне гипервизора и существенно улучшает производительность виртуальных машин, которые интенсивно используют подсистему ввода-вывода для операций на чтение. Очевидно, что SSD-кэш, который по производительности находится между оперативной памятью и обычными дисками, существенно повышает быстродействие в системах, где периодически наблюдается недостаток ресурсов RAM. Все это дело работает в кластере до 32 хостов ESXi.
В этом документе описано, как работает инфраструктура vFlash в рамках виртуальной инфраструктуры vSphere, для каких целей можно использовать данную технологию, требования, а также шаги по установке и настройке этого механизма.
Второй документ - это официальный FAQ VMware по технологии Flash Read Cache - "VMware vSphere Flash Read Cache 1.0 FAQ". Так как она появилась впервые, и не все технические особенности ясны администраторам, в документе даны ответы аж на 67 вопросов.
Интересные факты из этого FAQ:
В качестве интерфейсов накопителей поддерживаются SATA, SAS и PCI Express.
До 8 устройств vFlash на один хост ESXi и до 4 ТБ емкости на устройство (до 400 ГБ на один VMDK). На один контейнер VFFS (то есть на хост) поддерживается до 32 ТБ.
В качестве хранилищ ВМ механизмом поддерживаются тома VMFS/NFS/vRDM (pRDM не поддерживается).
Настраивается только через Web Client.
При изменении настроек vFlash все кэши для дисков сбрасываются.
Thin provisioning не поддерживается технологией vFlash.
При миграции виртуальной машины средствами vMotion можно использовать 2 политики: Always migrate the cache contents (copy) - кэш копируется вместе с ВМ и Do not migrate the cache contents (drop) - кэш очищается. Техники VMware HA / SVMotion также полностью поддерживается.
Механизм VMware DRS при миграции не затрагивает машины с включенным Virtual Flash Read Cache.
Операции, которые очищают кэш ВМ: suspend, изменение конфигурации, удаление,
перезапуск машины или хоста, восстановление из снапшота. Операции, которые не очищают кэш: снятие снапшота, клонирование, миграция vMotion, fast suspend/resume.
В vCenter есть 3 специальных метрики для мониторинга vFlash (IOPS, Latency и объем кэша).
Кэшем vFlash можно управлять через ESX CLI: get –m <module> -c <cache file name>
Файлы кэша vFlash находятся в следующей директории на хосте: /vmfs/volumes/vffs/vflash
Невозможно ощутить все преимущества виртуализации, не имея системы хранения данных. В рамках семинара "Критерии выбора СХД под виртуализацию" на примере СХД NetApp специалисты компании ИТ-ГРАД расскажут про основные критерии, на которые стоит обратить внимание при выборе системы хранения данных для построения виртуальной инфраструктуры. Таги:
Напомним, что продукты семейства VMware vCenter Operations (VCOPS) упрощают и автоматизируют управление виртуальной средой с помощью средств анализа для сбора данных и визуализации, которые необходимы для соблюдения уровней обслуживания и обеспечения эксплуатационной эффективности в динамичных гибридных облачных средах (в основном крупных компаний и сервис-провайдеров).
Ранее продукт VMware vCO Management Suite был несколько перепакован, и теперь он включает в себя следующие компоненты (в максимальной комплектации Enterprise):
VMware vCenter Operations Manager - средство комплексной визуализации производительности, ресурсов и работоспособности инфраструктуры, операционных систем и приложений.
VMware vCenter Configuration Manager - ПО для автоматизации управления конфигурацией виртуальных и физических серверов и непрерывной оценки уровня соответствия ИТ-политикам, нормативным требованиям и стандартам в области безопасности.
VMware vCenter Hyperic - средства мониторинга физических аппаратных ресурсов, операционных систем, баз данных и приложений.
В версии vCO Management Suite 5.8 появились следующие новые возможности:
Monitor business critical applications
Теперь средства мониторинга vCO поддерживают Microsoft Exchange Server и SQL Server, что существенно упращает управление инфраструктурой приложений Microsoft средствами vCenter Operations Management Packs. Теперь для этих и других приложений можно будет отслеживать специфические метрики производительности, а также взаимосвязи между компонентами.
Например, отслеживается состояние компонентов MSSQL Agent, MSSQL Analysis, MSSQL Report и баз данных MSSQL. Отметим, что Management Packs будут доступны только для самого дорогого издания Enterprise.
Monitor fiber channel storage
Теперь vCO дает возможность отслеживать статус хранилищ на уровне отдельного HBA-адаптера, всей фабрики или дискового массива. Основная задача такого мониторинга - ответ на вопрос, почему подсистема хранения работает медленно. На данный момент поддерживаются только FC-хранилища, но обещается и поддержка iSCSI и NFS.
В том числе, мониторятся различные виды ошибок (например, CRC), latency и прочие характерные для хранилищ параметры. Infrastructure management packs будут частью изданий vCenter Operations Management Suite Advanced и Enterprise.
Monitor Hyper-v servers
В этой версии поддерживается мониторинг инфраструктуры не только VMware vSphere, но и кластеров Microsoft Hyper-V, то есть гетерогенной инфраструктуры.
Для этого агент Hyperic устанавливается на хост-серверы Hyper-V. Можно также использовать пакет SCOM management pack для vCenter Operations (для тех, кто мониторит инфраструктуру через Microsoft SCOM).
Для Hyper-V можно мониторить следующие вещи:
Cluster, Host, VM Utilization – топ 25 машин по CPU, Memory, Disk IOPS, Network и т.п.
Datastore Capacity and Performance – использованное дисковое пространство, Latency, число команд в секунду и т.п.
Load Heatmaps – CPU, Memory, Disk, Network.
Monitor Amazon AWS services
В целях поддержки гибридных облачных инфраструктур в VCOPS 5.8 есть мониторинг инфраструктуры Amazon, включая EC2, Elastic Block Store, Elastic Map Reduce, Elastic Load Balancing и Auto Scaling Group средствами пакета AWS management pack. Данный MP работает совместно с Cloudwatch service (по REST API), предоставляемым Amazon.
vCOPS предоставляет метрики на VM utilization dashboard, включая статистики по использованию CPU, памяти, диска и прочего для служб Amazon AWS.
Ну и сравнение изданий vCenter Operations Management Suite 5.8, которые в целом остались прежними:
Доступен VCOPS 5.8 будет в середине декабря 2013 года.
В следующих новостях мы расскажем об анонсах следующих продуктов, также сделанных на VMworld 2013 в Европе:
RSS
