Перед самой конференцией VMworld 2019, которая прошла на прошлой неделе в Сан-Франциско, компания VMware анонсировала полезный сервис ports.vmware.com, где любой желающий может вывести порты и соединения по различным протоколам для следующих продуктов серверной линейки:
vSphere
vSAN
NSX for vSphere
vRealize Network Insight
vRealize Operations Manager
vRealize Automation
Выглядит это вот таким образом (кликабельно):
Как мы видим, в левой части можно выбрать один или несколько продуктов, для которых будут выведены все соединения с указанием портов и характера взаимодействий. Это позволит правильно настроить сетевые экраны, через которые происходит коммуникация между компонентами виртуальной инфраструктуры.
Результаты можно вывести в отдельный красивый PDF-документ, либо распечатать. Что удобно, в колонке version указана версия продукта, для которой эта информация актуальна.
Если раньше всю эту информацию приходилось вылавливать из статей базы знаний VMware, а также подглядывать в различные постеры, то теперь все очень удобно организовано на одном экране (и что важно с возможностью поиска по результатам). Также есть удобная функция - сортировка по колонкам, например, по номеру порта - когда хочется найти конкретный порт или диапазон.
На прошедшей конференции VMworld 2019 было сделано немало интересных анонсов (о самых интересных из них мы рассказываем тут), один из них - это определенно технологическое превью Project Magna (год назад мы рассказывали о начале разработки этого продукта). Это облачное решение VMware, которое предназначено для постоянной непрерывной оптимизации инфраструктуры отказоустойчивых хранилищ VMware vSAN.
Magna представляет собой движок, который позволяет проводить самооптимизацию решения vSAN и его тюнинг, то есть автоматически тонко настраивать параметры кластеров хранилищ, наблюдая за их работой и постоянно анализируя метрики. Работать это будет как SaaS-продукт, который из облака будет осуществлять контроль над инфраструктурой vSAN:
Суть движка заключается в постоянной работе AI/ML-алгоритмов, которые непрерывно собирают и анализируют конфигурации и метрики хранилищ, после чего вносят корректировки, имея в виду главную цель - не ухудшить производительность. Как только алгоритм понимает, что в результате изменения настроек стало хуже, он откатывает действие назад, запоминает и анализирует эту ситуацию, дополняя свои внутренние алгоритмы оптимизаций.
В качестве ML-алгоритма используется так называемый Reinforcement Learning, который анализирует заданные вами KPI по производительности и сравнивает их с аналогичными конфигурациями для похожих нагрузок. Этот алгоритм постоянно проверяет тысячи различных сценариев конфигурации, чтобы найти оптимальный именно для вашей инфраструктуры. Само испытание производится методом проб и ошибок:
Также продукт vRealize Operations можно будет интегрировать с Project Magna таким образом, чтобы первый мог получить от последнего нужные конфигурации, а пользователь может поставить настройку селф-тюнинга, которая будет следовать заданной вами цели.
Цели (KPI) могу быть заданы в виде следующих вариантов:
Read Performance
- все настраивается для наименьших задержек на чтение (latency), увеличения пропускной способности (максимум для этого будет использоваться до 10% памяти хоста).
Write Performance - конфигурация стремится уменьшить задержки и увеличить производительность на запись (пренебрегая скоростью чтения).
Balanced - оптимизация сбалансированного режима чтения-записи, в зависимости от требований рабочей нагрузки.
Также полученные целевые KPI можно будет сравнить со средними по отрасли (эти данные будут агрегироваться от клиентов VMware). Для глубокого понимания происходящего в консоли Magna будет доступен график производительности, который в ключевых точках будет показывать, какие изменения были сделаны:
Например, на этом скриншоте мы видим, что Magna увеличила размер кэша на чтение до 50 ГБ 23 июля - и это благотворно повлияло на performance index.
Больше о решении Project Magna можно узнать из следующих сессий VMworld 2019:
HCI1620BU – Artificial Intelligence and Machine Learning for Hyperconverged Infrastructure
MLA2021BU – Realize your Self-Aware Hybrid Cloud with Machine Learning
HCI1650BU – Optimize vSAN performance using vRealize Operations and Reinforcement Learning
Доступность Project Magna ожидается в следующем году.
Улучшения производительности и фиксы подсистемы безопасности.
Нововведения VMware Worlstation 15.5:
Сохранение сетевой конфигурации - при апгрейде Workstation на новую версию у вас сохраняются все кастомные сетевые настройки.
Экспорт сложной сетевой конфигурации - теперь это можно сделать через обычный текстовый файл.
Быстрые клавиши для конфигурации с несколькими мониторами - теперь с помощью комбинации ctrl+shift+m можно быстро выбрать приоритет показа виртуальных дисплеев.
Нововведения VMware Fusion 11.5:
Поддержка macOS 10.15 Catalina
- эта ОС поддерживается и как хостовая, и как гостевая.
Режимы Dark Mode и Dark Mode Sync
- теперь Fusion переключается в ночной режим, когда Mac OS 10.14+ также переключается в него, эту настройку можно синхронизировать и с Windows 10.
Sidecar (требует хост Catalina)
- можно использовать Windows на вашем iPad c аппаратной клавиатурой и поддержкой Apple Pencil.
Ну и одна из главных новостей в тему - это сотрудничество VMware и Microsoft в плане поддержки VMware Workstation на серверах Hyper-V. Ранее это было невозможно ввиду наличия функций расширенной безопасности в платформе Hyper-V:
Теперь же платформа VMware Workstation будет работать на серверах с ролью Hyper-V благодаря сотрудничеству VMware и Microsoft. Пока ВМ на платформе Workstation на хосте Hyper-V работают медленно, но в следующем году обещают, что все будет близко к нативной производительности.
Официальный выпуск VMware Workstation 15.5 и Fusion 11.5 состоится в сентябре этого года.
Многие из вас следят за новостями и событиями конференции VMworld 2019, которая проходит в эти дни в Сан-Франциско. Одним из первых и важных анонсов конференции стало объявление о скором выпуске проекта VMware Tanzu. Те из вас, кто следит в последнее время за новыми релизами от VMware, знают, что компания выпускает очень много чего интересного для инфраструктуры контейнеризованных приложений Kubernetes.
Например, совсем недавно мы писали о новой подсистеме хранения для K8s - Cloud Native Storage (CNS), утилите для контроля и мониторинга состояния кластеров VMware Octant, а также средстве для управления инфраструктурой контейнеров приложений VMware Enterprise PKS 1.5 (Pivotal Container Service).
На данный момент свежепоявившееся семейство Tanzu представлено двумя продуктами:
Project Pacific — набор средств для преобразования среды VMware vSphere в нативную платформу для кластеров Kubernetes (будет доступно в следующих релизах vSphere).
VMware Tanzu Mission Control - единая операционная консоль для кластеров Kubernetes, которая позволит контролировать все аспекты жизненного цикла приложений.
Project Pacific
Project Pacific сейчас находится в статусе технологического превью. Это средство представляет собой набор инструментов, который позволяет преобразовать платформу vSphere в средство нативного исполнения приложений в среде Kubernetes.
Данный продукт будет решать следующие задачи:
Использование vSphere для нативной среды Kubernetes
Предоставление средств управления, сфокусированных на приложениях
Возможность взаимодействия команд разработки и администрирования/оперирования
С помощью Pacific разработчики продолжат управлять приложениями посредством Kubernetes, но сами приложения за счет этого будут "комфортно себя чувствовать" на платформе ESXi. Администраторы же смогут выполнять рутинные задачи через средства управления VMware vCenter.
Так как подразумевается, что Kubernetes будет нативно работать в среде vSphere, то будет поддерживаться концепция пространств имен в рамках инфраструктуры vSphere. Пространства имен в K8s - это коллекции объектов (контейнеры, виртуальные машины, диски и т.п.).
На уровне пространств имен в среде K8s можно выполнять стандартные для vSphere операции, такие как контроль и выделение ресурсов, vMotion, шифрование, HA и снапшоты.
VMware Tanzu Mission Control
Tanzu MC дает менеджерам и администраторам датацентров средства для создания и развертывания новых приложений на платформе Kubernetes, а также дает управлять кластерами K8s из единой точки. Таким образом, команды разработки могут запросить нужные ресурсы, когда им требуется, и получить их самым быстрым и оптимальным образом.
Платформа Tanzu Mission Control полностью построена на базе универсального API, который могут использовать разработчики для оперирования кластерами Kubernetes через Cluster API. Это касается всех рабочих процессов (например, создание или обновление кластера), а также аутентификации и прочих вспомогательных сервисов.
Сама консоль - это SaaS-решение, которое объединяет объекты разной природы в облачной консоли (например, это могут быть компоненты платформы vSphere, объекты из публичных облаков, средства OpenShift или просто самопальные инсталляции собственной архитектуры). Также вы можете привязать кластер VMware Essential PKS к консоли Tanzu Mission Control и использовать средства автоматизации обслуживания жизненного цикла кластеров, либо можно открыть и использовать расширенные средства сервисов PKS-кластера.
Консоль Mission Control использует:
Cluster API для управления жизненным циклом (Lifecycle Management)
Velero для резервного копирования и восстановления
Sonobuoy для контроля конфигураций
Contour для контроля компонентов ingress
Также все кластеры и их объекты покрываются гибко настраиваемыми политиками. Их можно применять к кластерам и группам кластеров, разграничивая таким образом зоны ответственности между разработчиками.
Ну и одно из самых удобных для оператора - это федерация данных кластеров K8s из разных источников в единой консоли:
Пока мы готовим большие посты об анонсах проходящего в эти дни в Сан-Франциско VMworld 2019, расскажем о небольших обновлениях. На сайте проекта VMware Labs появился апдейт средства для управления инфраструктурой VMware vSphere с мобильного телефона - vSphere Mobile Client 1.3. Напомним, что о прошлой версии клиента Mobile Client 1.2 мы писали вот тут. Надо заметить, что обновляется он хорошими темпами.
Давайте посмотрим, что нового добавили в Mobile Client 1.3:
Наконец-то появилось представление уровня хостов - Hosts View.
Дэшборд vCenter теперь включает объекты с наибольшим числом сработавших алертов.
Для iOS-клиента появилась функция сообщения о вылетах приложения (Crash reporting).
Категории событий теперь видны в интерфейсе (что это - alarm, error или warning).
Улучшена обработка получения имени сервера vCenter.
Скачать обновленный vSphere Mobile Client 1.3 можно по этим ссылкам:
Android - до того, как устанавливать клиент, вам надо присоединиться к этой группе Google Groups, члены которой принимают участие в альфа-тестировании.
Чтобы получать пуш-уведомления на ваши устройства, нужно будет поднять vSphere Mobile Client Notification Service в виде контейнера Docker. О том, как это сделать написано тут, а скачать сам контейнер можно на странице vSphere Mobile Client.
Год назад компания StarWind Software анонсировала собственный таргет и инициатор NVMe-oF для Hyper-V, с помощью которых можно организовать высокопроизводительный доступ к хранилищам на базе дисков NVMe (подключенных через шину PCI Express) из виртуальных машин. За прошедший год StarWind достаточно сильно улучшила и оптимизировала этот продукт и представила публично результаты его тестирования.
Для проведения теста в StarWind собрали стенд из 12 программно-апаратных модулей (Hyperconverged Appliances, HCA) на базе оборудования Intel, Mellanox и SuperMicro, составляющий высокопроизводительный вычислительный кластер и кластер хранилищ, где подсистема хранения реализована с помощью продукта Virtual SAN, а доступ к дискам происходит средствами инициатора NVMe-oF от StarWind. Между хостами был настроен 100 Гбит Ethernet, а диски SSD были на базе технологии NVMe (P4800X). Более подробно о конфигурации и сценарии тестирования с технологией NVMe-oF написано тут.
Аппаратная спецификация кластера выглядела так:
Platform: Supermicro SuperServer 2029UZ-TR4+
CPU: 2x Intel® Xeon® Platinum 8268 Processor 2.90 GHz. Intel® Turbo Boost ON, Intel® Hyper-Threading ON
RAM: 96GB
Boot Storage: 2x Intel® SSD D3-S4510 Series (240GB, M.2 80mm SATA 6Gb/s, 3D2, TLC)
Storage Capacity: 2x Intel® Optane™ SSD DC P4800X Series (375GB, 1/2 Height PCIe x4, 3D XPoint™). The latest available firmware installed.
RAW capacity: 9TB
Usable capacity: 8.38TB
Working set capacity: 4.08TB
Networking: 2x Mellanox ConnectX-5 MCX516A-CCAT 100GbE Dual-Port NIC
Для оптимизации потока ввода-вывода и балансировки с точки зрения CPU использовался StarWind iSCSI Accelerator, для уменьшения latency применялся StarWind Loopback Accelerator (часть решения Virtual SAN), для синхронизации данных и метаданных - StarWind iSER initiator.
Как итог, ввод-вывод оптимизировался такими технологиями, как RDMA, DMA in loopback и TCP Acceleration.
С точки зрения размещения узлов NUMA было также сделано немало оптимизаций (кликните для увеличения):
Более подробно о механике самого теста, а также программных и аппаратных компонентах и технологиях, рассказано здесь. Сначала тест проводился на чистом HCA-кластере без кэширования.
Результаты для 4К Random reads были такими - 6,709,997 IOPS при теоретически достижимом значении 13,200,000 IOPS (подробнее вот в этом видео).
Далее результаты по IOPS были следующими:
90% random reads и 10% writes = 5,139,741 IOPS
70% random reads и 30% writes = 3,434,870 IOPS
Полная табличка выглядит так:
Потом на каждом хосте Hyper-V установили еще по 2 диска Optane NVMe SSD и запустили 100% random reads, что дало еще большую пропускную способность - 108.38 GBps (это 96% от теоретической в 112.5 GBps.
Для 100% sequential 2M block writes получили 100.29 GBps.
Полные результаты с учетом добавления двух дисков:
А потом на этой же конфигурации включили Write-Back cache на уровне дисков Intel Optane NVMe SSD для каждой из ВМ и для 100% reads получили 26,834,060 IOPS.
Полная таблица результатов со включенным кэшированием выглядит так:
Да-да, 26.8 миллионов IOPS в кластере из 12 хостов - это уже реальность (10 лет назад выжимали что-то около 1-2 миллионов в подобных тестах). Это, кстати, 101.5% от теоретического максимального значения в 26.4М IOPS (12 хостов, в каждом из которых 4 диска по 550 тысяч IOPS).
Для тестов, когда хранилища были презентованы посредством технологии NVMe-oF (Linux SPDK NVMe-oF Target + StarWind NVMe-oF Initiator), было получено значение 22,239,158 IOPS для 100% reads (что составляет 84% от теоретически расчетной производительности 26,400,000 IOPS). Более подробно об этом тестировании рассказано в отдельной статье.
Полные результаты этого теста:
Все остальное можно посмотреть на этой странице компании StarWind, которая ведет учет результатов. Зал славы сейчас выглядит так :)
Как вы знаете, недавно обновленная платформа виртуализации VMware vSphere 6.7 Update 3 стала доступной для загрузки. Одновременно с этим компания VMware сделала доступной для скачивания и развертывания систему отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3. В обоих этих решениях появилась встроенная поддержка технологии Cloud Native Storage (CNS), о которой мы сегодня расскажем.
Итак, Cloud Native Storage (CNS) - это функциональность VMware vSphere и платформы оркестрации Kubernetes (K8s), которая позволяет по запросу развертывать и обслуживать хранилища для виртуальных машин, содержащих внутри себя контейнеры. По-сути, это платформа для управления жизненным циклом хранения для контейнеризованных приложений.
При этом для такого управления сделано специальное представление в интерфейсе vCenter, которое вы видите на картинке выше.
Основная задача CNS - это обеспечивать развертывание, мониторинг и управление хранилищами для Cloud Native Applications (CNA), то есть современных приложений, исполняемых в контейнерах Docker под управлением Kubernetes (но, кстати, в будущем возможна поддержка и таких платформ, как Mesos и Docker Swarm).
Архитектура CNS реализована двумя компонентами:
Интерфейс Container Storage Interface (CSI), представляющий собой плагин для K8s.
Консоль управления CNS Control Plane на сервере vCenter, доступная через vSphere Client.
Через консоль управления CNS администратор может получить представление об имеющихся хранилищах в среде K8s (и видеть маппинги хранилищ на виртуальные диски VMDK), а также управлять ими в большом масштабе, что очень сложно при оперировании на уровне отдельных контейнеров, так как их могут быть сотни на одном хосте ESXi.
Кстати, про оперирование CNS есть интересное видео от VMware:
Надо понимать, что технология CNS появилась не впервые. Ранее подобные функции реализовывал механизм vSphere Storage for Kubernetes (он же vSphere Cloud Provider, VCP). Проект VCP появился как результат внутреннего хакатона VMware, когда требовалось быстро сделать драйвер для кластеров Kubernetes.
До этого приходилось вручную монтировать хранилища контейнеров на виртуальные диски VMDK, что было крайне неудобно, а при большом количестве контейнеров - практически нереально.
Сейчас архитектура VCP реализуется такими решениями Kubernetes as a Service (KaaS), как VMware PKS, RedHat OpenShift, Google Cloud Anthos и Rancher. Для этой архитектуры было возможно 2 режима развертывания - "in-tree" и "out-of-tree". В первом случае VCP был интегрирован в дистрибутив Kubernetes и развертывался одновременно с ним, а во втором - подразумевал последующую интеграцию после развертывания K8s.
Ввиду того, что обновлять VCP при первом варианте развертывания можно было только одновременно с K8s, вариант "in-tree" был исключен из конфигурации развертывания Kubernetes. VMware использовала эту ситуацию для того, чтобы полностью переписать код VCP (который, скорее всего, был не самым оптимальным еще с хакатона) и получить новую архитектуру - CNS.
Также кстати оказалась и покупка компании Heptio (об этом мы упоминали вот тут) - в итоге VMware интегрировала решение CNS прямо в платформу vSphere, без необходимости что-либо развертывать дополнительно. Мало того, архитектура CNS поддерживает любой оркестратор контейнеров, построенный на базе спецификации CSI.
Таким образом, CNS Control Plane на сервере vCenter брокеризует соединение с плагином (на данный момент только для K8s), который уже взаимодействует на уровне Kubernetes.
Частью решения CNS являются First Class Disks (FCDs), о которых мы рассказывали вот тут. Они были придуманы для того, чтобы управлять сервисами, заключенными в VMDK-диски, но не требующими виртуальных машин для своего постоянного существования. Это очень удобно для контейнеров, так как их можно динамически привязывать и отвязывать, не оставляя после себя "осиротевших" VMDK.
Кроме всего этого, CNS полностью подчиняется политикам Storage Policy-Based Management (SPBM), а это значит, что инфраструктура таких хранилищ отлично согласуется с пространством ярусного хранения VMware vSAN и концепцией K8s StorageClass. Также CNS, конечно же, работает и с классическими хранилищами VMFS и NFS, что позволяет использовать политики SPBM на базе тэгов.
Надо отметить, что технология CNS доступна для всех пользователей VMware vSphere, начиная с издания Standard, поэтому платить отдельно за нее не придется. Ну и в заключение обзорное видео о том, что такое и как работает Cloud Native Storage:
Скачать VMware vSphere 6.7 Update 3 с интегрированной технологией CNS можно по этой ссылке.
Недавно мы писали о выпуске новой версии продукта VMware Enterprise PKS 1.5 (Pivotal Container Service), который предназначен для управления инфраструктурой контейнеров приложений в кластерах Kubernetes. Наш читатель справедливо заметил, что у VMware есть еще один продукт, который позволяет работать с кластерами Kubernetes на платформе vSphere и получать больше информации об этой инфраструктуре - это VMware Octant.
Данное средство, доступное как Open Source проект, позволяет визуализовать кластер Kubernetes на дэшборде с точки зрения пространств имен и объектов, которые они содержат. Также там отображаются связи объектов и ресурсов. В отличие от дэшборда Kubernetes, Octant запускается локально на вашей рабочей станции, что позволяет избежать проблем, связанных с требованиями к безопасности.
Сам дэшборд выглядит следующим образом:
Проект Octant, в первую очередь, имел целью визуализовать ваши рабочие нагрузки в контейнерах кластеров Kubernetes. Это непростая задача, так как приложение может быть связано с сервисом или другим внутренним или внешним объектом - для этого Octant и визуализует взаимосвязи.
В рамках одного Deployment есть как минимум один объект ReplicaSet, который обслуживает как минимум один узел (pod). Octant умеет находить и показывать эти объекты. Узлы (pods) имеют ServiceAccount и могут быть ассоциированы с одним или несколькими сервисными объектами, которые могут принадлежать к одному или нескольким входным (Ingress) объектам. Octant также все это визуализует на дэшборде.
Все это позволяет администраторам корректно понимать устройство архитектуры контейнеризованных приложений, проводить отладку и решать проблемы, понимая в какой точке возможно их возникновение.
Для управления инфраструктурой Kubernetes существует множество различных утилит и средств (например, kubectl и kustomize), выполняющих схожие задачи - создание и управление объектами, предоставление информации о компонентах, работа с инструментами непрерывной интеграции (continuous integration) и утилитами для доставки приложений пользователям.
Octant предоставляет единую точку входа в дэшборд через бразуер, а архитектура плагинов позволяет расширять его функционал. Таким образом вы сможете интегрировать графики использования у структуру узлов (pods), добавить информацию по точкам входа и подсветить объекты, которые недавно были добавлены через механизм continuous delivery.
Octant - это не просто средство визуализации. Имея с помощью плагинов доступ к объектам кластера, он может управлять ими, даже если они не отображены на дэшбордах.
Одно из преимуществ Kubernetes - это кастомные определения ресурсов (custom resource definitions), которые расширяют стандартный API. Octant умеет визуализовывать эти определения в реальном времени и отображать кастомные колонки в свойствах. Octant использует встроенные схемы (embedded schemas), чтобы определить, правильно ли настроены кастомные ресурсы. Возможность видеть кастомные ресурсы дает администратору более полную картину того, что именно работает в кластерах.
Используя Octant plugin API, пользователи могут создавать представления для кастомных ресурсов точно так же, как и для встроенных объектов. Также можно и создавать визуальные редакторы для таких ресурсов.
Сам проект Octant доступен для скачивания с репозитория на GitHub. Также для разработчиков есть несколько полезных ресурсов:
Перед предстоящей конференцией VMworld 2019, которая состоится на следующей неделе в Сан-Франциско, компания VMware сделала несколько небольших анонсов, чтобы они не потерялись на фоне больших. В частности, стала доступной для скачивания новая версия платформы VMware vSphere 6.7 Update 3, решение VMware vSAN 6.7 Update 3 и продукт VMware PKS 1.5. Ну а на днях было выпущено еще одно обновление фреймворка для управления виртуальной инфраструктурой через PowerShell - VMware PowerCLI 11.4.
Напомним, что о прошлой версии PowerCLI 11.3 мы писали в начале лета вот тут. Давайте посмотрим, что нового появилось в PowerCLI 11.4:
В PowerCLI 11.4 был существенно доработан модуль по работе с хранилищами, чтобы поддерживать последнюю версию продукта для создания отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3. Например, были обновлены командлеты Get/Set-VsanClusterConfiguration, которые теперь поддерживают функции Proactive Rebalance и vSphere Update Manager baseline preference.
Вот пример работы с этими функциями в действии (на красный текст внимание не обращайте, он говорит о том, что для работы нужен vSAN 6.7 U3):
Также появилось три новых командлета. Первый - это Add-VsanObjectToRepairQueue, он может восстанавливать объекты, которые добавляются в очередь на восстановление (ранее эта функция была частично доступна в командлете Repair-VsanObject). Второй и третий - это Get-VsanResyncingOverview и Get-VsanEnterMaintenanceMode, они работают с новыми функциями vSAN 6.7 U3.
3. Обновленный модуль HCX.
Теперь в этот модуль было добавлено целых 6 новых командлетов:
Get-HCXAppliance - возвращает информацию о текущей версии виртуального модуля и доступных версиях.
Его можно использовать с командлетом New-HCXAppliance - он позволяет проапгрейдить виртуальный модуль на одну из доступных версий.
Get-HCXContainer - добавляет возможность вывести список контейнеров типа "OrgVdc".
Get-HCXNetwork - добавляет возможность посмотреть 2 типа сетей: NsxtSegment и OrgVdcNetwork.
New-HCXNetworkExtension - дает возможность работать с сетями типа NsxtSegment.
Get-HCXServiceMesh - он имеет свойства, которые дают посмотреть параметры некоторых сервисов.
Пример использования командлетов Get-HCXAppliance и Get-HCXServiceMesh для просмотра нового свойства ServiceStatus:
Командлеты Get-HCXServiceMesh и Get-HCXInterconnectStatus были существенно доработаны, чтобы уметь исправлять ситуацию при различных ошибках. Также свойство DestinationNetworkValue теперь отображается корректно.
Как обычно, обновление модулей PowerCLI происходит командой:
Это гостевой пост нашего спонсора - облачного провайдера ИТ-ГРАД, предоставляющего услугу аренды виртуальных машин из облака. Говорим о балансировщике нагрузки от инженеров MIT, который планируют использовать в ЦОД. В статье — о принципах работы и возможностях решения.
Цель разработки
Аналитики одного из крупных облачных провайдеров говорят, что мировые ЦОД используют треть имеющихся у них вычислительных ресурсов. В исключительных случаях этот показатель может вырастать до 60%. Из-за неэффективного расходования мощностей в машинных залах появляются так называемые серверы-зомби. Они не выполняют полезную работу (находятся в состоянии «комы») и лишь впустую расходуют электричество. По данным Uptime Institute, без работы стоит около 10 млн серверов (это 30% всех машин). На поддержание их работоспособности ежегодно уходит 30 млрд долларов.
Инженеры из Массачусетского технологического института (MIT) решили исправить ситуацию. Они разработали балансировщик нагрузки, который в теории повысит эффективность использования ресурсов процессоров до 100%. Система получила название Shenango.
Как работает балансировщик
Shenango — это Linux-библиотека на языке программирования C (есть биндинги на Rust и C++). Она мониторит буфер задач CPU и распределяет процессы между свободными ядрами.
В основе системы лежит алгоритм IOKernel. Он запускается на отдельном ядре процессора и управляет запросами к CPU, которые поступают по сетевому интерфейсу NIC. Для этих целей IOKernel использует фреймворк DPDK (Data Plane Development Kit). Фреймворк дает приложениям возможность «общаться» с сетевыми картами напрямую.
Когда процессору поступает новая задача, IOKernel самостоятельно выбирает, какому ядру (или ядрам) ее передать. При этом для каждого процесса выделяются основные ядра (guaranteed) и вспомогательные (burstable) — последние подключаются только в том случае, если количество запросов резко возрастает.
Алгоритм проверяет буфер задач с интервалом в 5 мкс. Он ищет «застрявшие» процессы, которые CPU уже долгое время не может обработать. Если таковые обнаруживаются, они сразу же назначаются свободным ядрам (или другим серверам в дата-центре). Приоритет отдается ядрам, на которых уже выполнялся аналогичный процесс и часть информации о котором осталась в кэше.
Чтобы повысить эффективность балансировки, Shenango также использует метод work stealing. Ядра, работающие с одним приложением, автоматически снимают друг с друга часть нагрузки, если выполняют свои задачи раньше остальных.
Общую схему работы алгоритма IOKernel и системы Shenango можно представить следующим образом:
Код проекта и примеры приложений вы можете найти в официальном репозитории на GitHub.
Возможности
Разработчики говорят, что Shenango способен обрабатывать 5 млн запросов в секунду. Среднее время реакции при этом составляет 37 мкс. Эксперты ИТ-индустрии отмечают, что система поможет оптимизировать работу веб-приложений, например онлайн-магазинов. По статистике, секундная задержка при загрузке страницы снижает количество просмотров на 11%, что в дни распродаж может быть критично. Эффективное распределение нагрузки поможет обслужить большее количество клиентов.
Сейчас инженеры из MIT работают над устранением недостатков и расширением функциональности своего решения. Пока что Shenango не умеет работать с многопроцессорными NUMA-системами. В них чипы подключены к различным модулям памяти и не могут взаимодействовать друг с другом напрямую. Такой подход усложняет распределение нагрузки: IOKernel может контролировать работу отдельного кластера процессоров, но не все устройства сервера.
Кто еще разрабатывает балансировщики нагрузки на CPU
Не только в MIT занимаются разработкой систем распределения нагрузки на процессоры. В качестве еще одного примера можно привести систему Arachne — это библиотека C++ для Linux (код есть на GitHub, документацию по API можно найти на официальном сайте). Arachne рассчитывает, сколько ядер понадобится конкретному приложению, и выделяет необходимое количество при запуске соответствующего процесса.
Еще одним примером балансировщика может служить ZygOS — специализированная операционная система, которая использует структуры данных с общей памятью, NIC с несколькими очередями и межпроцессорные прерывания для распределения нагрузки между ядрами. Как и Shenango (в отличие от Arachne), решение также использует подход work stealing. Код проекта можно найти на GitHub.
Современные дата-центры становятся все крупнее. В мире уже построено более четырехсот гипермасштабируемых ЦОД. В ближайшее время их число вырастет еще на 30%. Технологии балансировки нагрузки позволят эффективнее расходовать вычислительные ресурсы. Поэтому решения подобные Shenango, ZygOS и Arachne будут становиться все более востребованными — уже сейчас их внедряют крупные корпорации.
Недавно мы писали про интересную штуку - утилиту Machine Learning on VMware Cloud Foundation, которая предоставляет инженерам по работе с данными инструменты в области Data Science в рамках виртуальной инфраструктуры. К сожалению, она пока не поддерживает использование GPU хостов, а работает только с CPU. Но заслуживает внимание сам факт такого решения - VMware начинает плотно прорабатывать тему машинного обучения.
Еще один элемент этой концепции - выпущенный на днях документ "Learning Guide – GPUs for Machine Learning on vSphere". В нем VMware рассказывает о том, как правильно строить системы, заточенные под алгоритмы машинного обучения, на платформе VMware vSphere.
Документ позволит архитекторам ИТ-инфраструктур и командам DevOps ответить на следующие вопросы:
Зачем нужны серверы с GPU для задач machine learning (ML) на платформах high performance computing (HPC).
Как именно используется модуль GPU.
Как на платформе vSphere строить ML-системы.
Как транслировать модуль GPU в рабочую нагрузку ML в виртуальной машине.
Как наладить взаимодействие между командой data scientists и администраторов виртуальной инфраструктуры.
Задачи машинного обучения с использованием GPU можно решать тремя способами:
Эти способы реализуют соответствующие технологии:
Об остальном читайте в интереснейшем документе на 43 страницах. В конце вайтпэйпера приведена огромная коллекция полезных ссылок на документы и статьи по практическому применению задач машинного обучения в виртуальных средах.
На сайте проекта VMware Labs появилась очередная интересная утилита - виртуальный модуль vSAN Performance Monitor, предназначенный для мониторинга метрик в среде отказоустойчивых кластеров VMware vSAN и их визуализации.
С помощью vSAN Performance Monitor администратор может на регулярной основе собирать метрики производительности в кластерах vSAN, которые потом визуализуются на уже преднастроенных дэшбордах, встроенных в продукт.
С помощью этих данных администраторы смогут диагностировать проблемы, а также распознавать текущие и намечающиеся узкие места в инфраструктуре, которые могут оказаться причиной низкой производительности.
Напомним, что 5 лет назад была выпущена похожая утилита - vSAN Observer, ну а создатели vSAN Performance Monitor открыто пишут, что при разработке вдохновлялись именно ей.
Само средство поставляется в виде виртуального модуля (Virtual Appliance), который реализует 3 основных компонента:
Коллектор Telegraf - это агент, который собирает метрики в кластере и сохраняет их в базе данных InfluxDB.
InfluxDB - собственно, сама база данных, хранящая метрики.
Grafana - это фреймворк, который используется для визуализации метрик из базы.
После развертывания администратору лишь нужно указать простые настройки и подключить коллектор к одному или нескольким целевым кластерам и стартовать сервис. После этого данные будут собираться на периодической основе и могут быть визуализованы в любой момент.
В качестве платформы и целевой машины для vSAN Performance Monitor поддерживаются vSphere 6.0 и VM hardware 11 (или более поздние). Для работы утилиты вам потребуется включить службу Virtual SAN Performance Service (о том, как это сделать, написано вот тут).
Скачать vSAN Performance Monitor можно по этой ссылке.
На этой неделе, перед предстоящей конференцией VMworld 2019, компания VMware сделала пару интересных анонсов, а именно: было объявлено о новой версии платформы VMware vSphere 6.7 Update 3 и обновлении платформы создания отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3.
Одновременно с этим было рассказано еще об одном обновлении решения для управления инфраструктурой контейнеров приложений VMware Enterprise PKS 1.5 (Pivotal Container Service). Новый релиз построен на базе ПО Kubernetes 1.14, предназначенного для развертывания и обслуживания контейнерных сред. Напомним, что ранее мы писали о возможностях PKS версии 1.3 для облака Microsoft Azure.
Давайте посмотрим, что нового появилось в PKS 1.5:
1. Поддержка Windows-сред для контейнеров.
Пока данная возможность доступна в бета-режиме. Таким образом, теперь на платформе PKS можно одновременно управлять работой контейнеров на базе Linux и Windows. Это позволит разработчикам использовать единый стек средств разработки и фреймворки, а администраторам единые утилиты для управления контейнерами.
Более подробно о бета-программе по работе с Windows-контейнерами на платформе Kubernetes под управлением PKS можно почитать вот тут.
2. Увеличение гибкости, безопасности и прозрачности для операций с кластерами.
Тут появилось 3 значимых нововведения:
Появились новые функции по управлению кластерами Kubernetes - поддержка апгрейда отдельных кластеров, дополнительные параметры конфигурации балансировщика, а также поддержка аутентификации и авторизации на базе SAML.
Поддержка приоритизации правил фаервола с помощью секций на уровне VMware NSX-T Distributed Firewall.
Улучшилась обзорность кластеров - появились новые метрики, было добавлено больше информации о статусе и здоровье кластеров, разработчикам была предоставлена большая видимость в рамках пространств имен.
Теперь у решения есть обновленная консоль (пока в бета-режиме), которая предоставляет интуитивно понятный интерфейс при управлении кластерами Kubernetes и их компонентами:
Предыдущая версия решения позволяла выполнять функции развертывания новых кластеров, теперь также доступны и функции апгрейда и накатывания патчей. Кроме того, был упрощен онбординг пользователей - теперь можно добавить их в специальном разделе, и они сразу же получают доступ в соответствии с ролью:
4. Прочие возможности.
Новый PKS 1.5 даст администраторам и некоторые другие новые возможности, такие как постоянный IP балансировщика (это позволит использовать человекопонятные URL), а также поддержку нового релиза Harbor 1.8, где есть новые функции автоматизации интеграций, безопасности, мониторинга и поддержки репликации между реестрами.
Вчера мы писали о том, что в перед предстоящим VMworld 2019 компания VMware рассказала о новых возможностях решения для организации отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3. Одновременно с этим была анонсирована и новая версия главной платформы виртуализации VMware vSphere 6.7 Update 3.
Напомним, что прошлая версия - vSphere 6.7 Update 2 - вышла весной этого года. Давайте посмотрим, что нового будет в vSphere 6.7 U3:
1. Поддержка нескольких vGPU (от NVIDIA) для одной виртуальной машины.
Теперь vSphere поддерживает несколько устройств NVIDIA GRID virtual GPU (vGPU), привязанных к одной виртуальной машине. Это, прежде всего, даст возможность увеличения вычислительных мощностей для тяжелых нагрузок, предъявляющих высокие требования к расчетам графического процессора (например, задачи машинного обучения).
2. Поддержка AMD EPYC Generation 2.
Новый релиз vSphere будет полностью совместим с поколением процессоров AMD EPYC. VMware и AMD работают в тесном сотрудничестве в целях поддержки самых последних нововведений в плане безопасности и производительности, заявленных в последних моделях данной линейки CPU.
3. Возможность изменить PNID для vCenter.
Идентификатор PNID (Primary Network IDentifier) сервера vCenter Server - это его сетевое имя (оно же FQDN), которое задается на этапе установки. Теперь есть возможность изменить его прямо в интерфейсе:
4. Поддержка Dynamic DNS (DDNS).
Dynamic DNS - это механизм обновления записей DNS-серверов новыми данными при изменении IP-адресов хостов. Ранее при использовании динамических IP для vCenter Server appliance (VCSA), в случае, если адрес менялся, приходилось вручную обновлять DNS-записи (собственно, поэтому никто и не использовал динамические IP). Теперь же с поддержкой DDNS этот процесс автоматизирован.
5. Улучшения поддержки драйверов.
Для сетевого драйвера VMXNET3 версии 4 были добавлены следующие возможности:
Guest encapsulation offload and UDP (расчет контрольных сумм)
Поддержка ESP RSS для стека Enhanced Networking Stack (ENS)
Также было обновлено множество драйверов, например, в драйвере ixgben появились функции queue pairing для оптимизации производительности CPU, а в драйвере bnxtnet добавилась поддержка адаптеров Broadcom 100 GbE и потоков multi-RSS.
Вот полный список обновленных драйверов:
VMware nvme
Microchip smarpqi
Marvell qlnativefc
Broadcom lpfc/brcmfcoe
Broadcom lsi_msgpt2
Broadcom lsi_msgpt35
Broadcom lsi_msgpt3
Broadcom lsi_mr3
Intel i40en
Intel ixgben
Cisco nenic
Broadcom bnxtnet
Скорее всего, новая версия VMware vSphere 6.7 Update 3 будет доступна для скачивания либо во время VMworld 2019, либо через несколько дней после его завершения. Следите за нашими обновлениями.
Компания VMware на днях объявила о скором выпуске новой версии решения для создания отказоустойчивых кластеров хранилищ - VMware vSAN 6.7 Update 3. Основная тема нововведений - поддержка облачных сред размещения виртуальных машин и работа с контейнеризованными приложениями.
Давайте посмотрим, что именно нового появилось в vSAN 6.7 Update 3:
1. Поддержка контейнеров приложений в облачных средах.
Контейнеры стали одной из главных моделей распространения приложений в облачной среде. Сама технология контейнеризации упрощает развертывание и обслуживание приложений, выделяя их в микросервисы, но все процессы вокруг них становятся сложнее (оркестрация, организация персистентных хранилищ, сетевая коммуникация).
vSAN 6.7 Update 3 имеет встроенные инструменты по организации постоянных хранилищ для контейнеров приложений, в том числе в облачных средах. Технология vSAN cloud native storage поддерживает все ключевые API-вызовы к хранилищам внутри кластеров Kubernetes через драйвер Container Storage Interface (CSI). Теперь разработчики смогут применять политики хранилищ SPBM при развертывании новых pods и монтировании томов с постоянными хранилищами, точно так же, как они делают это с виртуальными дисками машин.
Если же вы используете тома Virtual Volumes на платформе vSAN, то получите еще больше преимуществ:
Развертывание хранилищ контейнеров через API параллельно с самими контейнерами.
Возможность портирования приложений между частным и публичным облаком в рамках гибридной среды с поддержкой одного набора операций и инструментов.
2. Нативная гибридная среда инфраструктуры vSAN.
Сейчас гибридные среды становятся очень распространенной моделью доставки ИТ-сервисов, так как именно сочетание частного и публичного облаков дает самый большой эффект с точки зрения масштабирования и обеспечения показателей качества предоставления услуг. При этом администраторы хотят, чтобы приложения Docker также имели возможность бесшовно перемещаться между публичным и частным облаками со всеми их хранилищами.
Теперь vSAN предоставит интеграцию с сотнями облачных провайдеров, включая "большую четверку" Amazon, Microsoft, Google и IBM, которая позволит использовать тот же набор средств и утилит vSAN для хранилищ контейнеров в облаке, что и в частной инфраструктуре.
3. Унифицированные средства управления vSAN для контейнеров и виртуальных машин.
В одной виртуальной машине может быть много контейнеров приложений, вплоть до нескольких сотен. При возникновении проблем с хранилищем для одного из контейнеров становится очень и очень сложно понять ее причину. Теперь же vSAN предоставляет администраторам гранулярную видимость внутри ВМ до уровня контейнеров, что позволяет мониторить состояние отдельных хранилищ контейнеров на уровне томов для каждого из них.
В рамках единого пространства хранения можно анализировать использование емкости виртуальными машинами и контейнерами:
Все это позволит командам DevOps быстрее решать проблемы с хранилищами контейнеризованных приложений через стандартную консоль vSphere Client.
4. Интеллектуальные средства управления вводом-выводом.
Теперь vSAN еще более эффективно работает при обмене данными между буффером на чтение (write buffer) и пространством хранения (capacity tier). Особенно заметна эта оптимизация для последовательных операций записи (что очень актуально для процессов ресинхронизации и восстановления данных).
Адаптивная ресинхронизация теперь идет в рамках множества параллельных потоков, что увеличивает ее эффективность:
Также в vSAN 6.7 U3 появились дополнительные метрики, касающиеся использования CPU хост-серверов ESXi (особенно актуально для дедупликации, шифрования и компрессии). Кроме того, появилась новая команда vsantop, которая показывает эти и многие другие полезные метрики:
5. Прочие улучшения.
Тут собраны различные улучшения vSAN 6.7 Update 3:
Механизмы управления емкостью были улучшены таким образом, чтобы запускать операцию ресинхронизации на базе доступной емкости. Если какая-то дисковая группа заполнена, то операции ресинхронизации ставятся на паузу, чтобы предотвратить повреждения хранилищ.
Администратор может выбрать опцию автоматической или ручной ребалансировки данных в кластере. Така как каждая инфраструктура индивидуальна, доступна тонкая настройка механизма ребалансировки, в зависимости от потребностей администратора.
Теперь применения политик SPBM идут пачками, что существенно ускоряет производительность при изменении структуры политик.
Выполнение обслуживания или изменении конфигурации во время операций ресинхронизации может привести к неправильному завершению этого процесса, поэтому в SAN 6.7 U3 клиент vSphere Client лучше понимает, когда выполняется этот процесс, и не дает мешать ему.
Механизм pre-check симуляции, который позволяет администратору понять, что произойдет в случае изменения конфигурации кластера или его обслуживания.
При изменении конфигурации шифрования, компрессии или дедупликации требуется изменения формата дисков (Disk format changes, DFC). Если для этого процесса недостаточно ресурсов, то специальная проверка даст знать об этом еще до выполнения операции.
vSAN теперь сам предлагает обновиться на новый мажорный релиз или накатить обновления.
Ранее vSAN требовал, чтобы vCenter был той же версии или более новый, теперь же поддержка прошлых версий vCenter стала более гибкой.
Теперь в vSAN 6.7 U3 проще включить vSAN Support Insight и взаимодействовать с поддержкой VMware.
iSCSI LUN, презентованные из vSAN, теперь можно ресайзить без необходимости переводить том в оффлайн.
SCSI-3 persistent reservations (SCSI-3 PR) теперь дают возможность нативной поддержки кластеров Windows Server Failover Clusters (WSFC), требующих общего диска.
Издание vSAN Enterprise Plus
Да, теперь VMware, как и для многих других продуктов, вводит издание Enterprise Plus для платформы vSAN. Эта лицензия будет включать в себя комбинацию продукта vSAN Enterprise и средства управления облачной средой vRealize Operations Advanced.
Все это даст следующую функциональность в связке двух решений:
Географически растянутые кластеры с возможностями локальной защиты и синхронной репликацией.
Средства нативного шифрования vSAN Encryption с поддержкой дедупликации и компрессии. В качестве провайдеров KMIP можно использовать такие решения, как CloudLink, Hytrust, SafeNet, Thales и Vormetric.
Постоянная оптимизация производительности с возможностями предиктивной аналитики и проактивного планирования.
Возможность интеллектуального решения проблем и продвинутый траблшутинг на базе аналитики метрик и логов с использованием средств обзора приложений на уровне всей инфраструктуры.
Более подробно о VMware vSAN 6.7 Update 3 мы узнаем на предстоящей конференции VMworld 2019, которая пройдет в конце августа в Сан-Франциско.
С помощью этой утилиты администратор vROPs может изменять свойства алерта перед его отправкой на сторону. А именно, можно изменить его поля, добавить новые или удалить некоторую чувствительную информацию, передаваемую с алертом (убрать поля).
В прошлом мы много писали о стенсилах Visio для различных продуктов VMware (а также от других вендоров, например, Veeam Stencils). Между тем, пользоваться Visio не всем удобно - кто-то привык работать на Mac OS, где нет Microsoft Visio, кому-то не хочется покупать этот инструмент ради простеньких диаграмм и т.п.
Потому я думаю, что многим будет полезно узнать о проекте draw.io, который бесплатно позволяет рисовать схемы и диаграммы средствами онлайн-утилиты с использованием стенсилов VMware, Veeam и других. Для начала работы загрузите, например, стенсилы VMware с помощью меню Import:
После импорта можно сразу начать рисовать диаграммы:
После составления диаграммы или схемы, ее можно экспортировать в формат картинки или PDF, а также в файл VSDX (это пока в состоянии beta).
Напомним, что сами стенсилы можно скачать по этим ссылкам:
Безусловно, онлайн-редактор draw.io не заменяет полноценного Visio, но для рисования простых диаграмм и визуализации рабочих процессов его вполне хватит. Также у этого решения развиваются и офлайн-клиенты, которые можно скачать по этим ссылкам:
В апреле мы писали о релизе облачной архитектуры VMware Cloud Foundation 3.7, в которую входит большинство основных продуктов для развертывания, исполнения, мониторинга и поддержки виртуальной инфраструктуры в онпремизном датацентре.
В конце июля компания VMware выпустила обновление этой архитектуры - Cloud Foundation 3.8. Теперь в состав комплекса решений входят следующие компоненты:
Давайте посмотрим, что там появилось нового:
1. Первый релиз публичного API.
Теперь облачной инфраструктурой можно управлять через публично доступный API, который включает в себя функции для создания, удаления и получения свойств объектов домены рабочей нагрузки (Workload Domains), кластеры, сетевые пулы и хосты. Данный API пока очень простой, но будет дорабатываться в дальнейшем.
2. Упрощение управления жизненным циклом.
Теперь вся архитектура поддерживает автоматическое обновление продуктов семейства Realize с помощью продукта vRealize Suite Lifecycle Manager (vRSLCM). Можно обновлять vRealize Log Insight, vRealize Operations Manager и vRealize Automation. Также автоматическое обновление доступно и для решения VMware NSX-T.
3. Поддержка Cloud Foundation на платформе VxRail.
Начиная с прошлого релиза, все компоненты vCF можно развернуть на аппаратной платформе Dell EMC VxRail. Но теперь эта поддержка позволяет использовать самый последний набор решений виртуального датацентра, включая продукт NSX-T в последней версии архитектуры.
Также консоль SDDC Manager теперь поддерживает управление сертификатами для VxRail Manager. Помимо этого, VxRail Manager теперь интегрирован с решением Log Insight таким образом, что он предоставляет автоматизацию управления логами и мониторинг для всей инфраструктуры.
4. Улучшения масштабируемости.
Теперь vCF поддерживает расширение кластера vRealize Operations Manager в консоли SDDC Manager для случаев, когда пользователям нужно промасштабировать кластер и добавить новые узлы.
5. Улучшения SSO.
Для обеспечения лучшего взаимодействия между доменами управления (Management Domains) и доменами рабочей нагрузки (Workload Domains), архитектура Cloud Foundation теперь может объединять домены SSO (а точнее их контроллеры PSC) для двух или более экземпляров Cloud Foundation.
Более подробно узнать об архитектуре VMware Cloud Foundation 3.8 можно по этой ссылке. Release Notes доступны тут (а вот тут - для платформы VxRail).
Как многие из вас знают, с 25 по 29 августа в Сан-Франциско пройдет главная конференция года в области виртуализации - VMworld 2019. На конференции будут представлены сотни докладов, практических семинаров и лабораторных работ, поэтому планировать свое время нужно заранее.
Напомним, что конференцию можно посетить не только лично, но и посмотреть онлайн. Чтобы найти подходящую вам сессию, нужно воспользоваться вот этим порталом поиска. На данный момент там представлено 1032 материала:
Extreme Performance Series - это маст си о производительности платформы VMware vSphere, где нам покажут новые максимумы платформы и достижения в сфере высокой производительности.
На сайте проекта VMware Labs появилось новое средство Enterprise OpenShift as a Service on Cloud Automation Services, позволяющее облачным администраторам загрузить пакет, интегрировать его с Cloud Assembly и другими сервисами инфраструктуры, чтобы организовать кластер OpenShift как услугу (OpenShift Cluster as a Service) для гибридной облачной среды.
Данное средство автоматизирует весь процесс развертывания пакетов OpenShift в облаке VMware vCloud on AWS (end-to-end). Таким образом можно построить полностью готовый промышленный кластер OpenShift с использованием служб VMware Cloud Assembly Services. При этом данный процесс полностью повторяем и автоматизирован.
Как именно это работает, вы можете увидеть в видео ниже:
Для начала работы с данным средством вам понадобится достаточно серьезный набор решений в вашей ИТ-инфраструктуре:
ОС Red Hat Enterprise 7.5 с активной подпиской для получения пакетов.
OpenShift версии 3.11.
Аккаунт в облачной инфраструктуре VMware Cloud on AWS или онпремизная среда vSphere.
Аккаунт VMware Cloud Services с доступом к Cloud Assembly Services (CAS).
vRealize Orchestrator 7.6, лицензированный с SaaS.
Windows 2016, работающий как хост PowerShell (Windows PowerShell версии 5.1.14393.3053)
Инфраструктурный сервер Windows 2016 Server (с ролями AD, DNS и NTP).
Скачать Enterprise OpenShift as a Service on Cloud Automation Services можно по этой ссылке. В комплекте с утилитой идет подробная документация на 40 страниц.
На прошлой неделе мы писали об организации среды управления на базе vCenter Hybrid Linked Mode для гибридной виртуальной инфраструктуры, объединяющей ресурсы частного и публичного облаков. Сегодня мы поговорим еще об одной полезной вещи - библиотеке контента Content Library, в которой можно хранить шаблоны виртуальных машин (VM Templates), готовые виртуальные устройства (Virtual Appliances) в формате OVF/OVA, а также другие объекты (например, ISO-образы).
VMware vSphere Content Library позволяет подписать датацентры на обновления главного датацентра (который представляется как издатель/publisher), где можно создать шаблон виртуальной машины, а на уровне подчиненного датацентра (подписчик/subscriber) администраторы видят содержимое библиотеки и развертывают машины из него.
Такая же ситуация и с облачной и гибридной средой - Content Library очень просто и быстро позволяет распространять контент по сети датацентров.
Так же, как и в онпремизной инфраструктуре, в облаке VMware vCloud on AWS вы можете подписаться на обновления существующей Content Library. Для этого в vSphere Client перейдите в Menu > Content Libraries:
Нажмите плюсик для создания новой библиотеки:
Там нужно задать имя библиотеки и указать адрес облачного сервера SDDC vCenter Server (можно указать и онпремизный vCenter, если у вас библиотека на нем):
Далее указываем Subscription URL вашей библиотеки:
Можно сделать и локальную библиотеку, чтобы пользоваться ее ресурсами только в рамках облачной среды этого vCenter.
Дальше выбираем хранилище, где будет находиться контент:
Ну и после создания библиотека появится в списке:
Когда вы кликните на библиотеку, вы увидите разделение на шаблоны виртуальных машин, готовые виртуальные модули OVF/OVA и другой контент, такой как ISO-образы:
Далее можно выбрать, например, шаблон ВМ, нажать на него правой кнопкой и выбрать пункт создания новой ВМ из этого шаблона (New VM from This Template...):
Мы часто пишем об облачной платформе VMware vCloud on AWS (VMConAWS), которая позволяет разместить виртуальные машины на базе VMware vSphere в облаке Amazon AWS, а также построить гибридную среду, сочетающую в себе онпремизные и облачные ресурсы виртуальной инфраструктуры.
Сегодня мы поговорим об основном инструменте VMC, который позволяет управлять гибридной облачной средой. Сначала отметим, что управление такой структурой основывается на механизме Linked Mode, который объединяет серверы vCenter и позволяет использовать единое пространство объектов в географически распределенных датацентрах. Сейчас он называется Enhanced Linked Mode или Embedded Linked Mode (когда Platform Services Controller и vCenter Server Appliance находятся вместе на одном сервере).
Если вы разворачиваете Linked Mode на собственной инфраструктуре, то все серверы vCenter должны быть в одном домене SSO и иметь одну и ту же версию (включая номер билда). Когда же вы используете общий режим vCenter в гибридной среде (Hybrid Linked Mode), то ситуация, когда в облаке развернута более новая версия vCenter, считается нормальной.
Есть 2 способа использовать гибридный режим управления vCenter. Первый - это развернуть виртуальный модуль (virtual appliance) Cloud Gateway в своей инфраструктуре и соединить его с облачной инфраструктурой SDDC. Второй - это зайти с помощью vSphere Client на облачный SDDC и управлять объединенными ресурсами частного и публичного облака оттуда.
Во втором случае вы можете подключить только один домен онпремизной инфраструктуры, поэтому если у вас сложная доменная инфраструктура, то необходимо использовать первый метод.
Чтобы начать работу по созданию единой управляющей среды гибридного облака, нужно скачать установщик Cloud Gateway installer. Для этого надо зайти в консоль VMware Cloud on AWS и перейти на вкладку Tools. Там можно скачать этот виртуальный модуль:
Скачиваем ISO-образ Cloud Gateway и монтируем его к вашей рабочей станции. Запускаем его из папки /ui-installer и проходим по шагам мастера. На одном из них задаем параметры сервера онпремизного vCenter, где будет установлен шлюз:
В процессе установки вас попросят указать пароль root, целевой датастор, конфигурацию сети, NTP и SSO, также будет возможность присоединить шлюз к домену Active Directory.
Далее нужно переходить ко второму этапу - настройке гибридного режима Hybrid Linked Mode. Не забудьте свериться с требованиями к этому режиму в документации.
Далее нужно будет указать IP-адрес облачного сервера vCenter и параметры учетной записи cloudadmin@vmc.local.
Эту информацию можно получить в консоли VMware Cloud on AWS, выбрав ваш SDDC, затем Settings и развернуть поле Default vCenter User Account:
В качестве Identity Source нужно указать ваш онпремизный домен AD, для которого вы хотите настроить доступ.
После этого все будет настроено, и вы можете начинать управлять своей гибридной инфраструктурой через vSphere Client:
На прошлой неделе мы писали о выпуске мобильного клиента для управления виртуальной инфраструктурой VMware vSphere - Mobile Client версии 1.1.
А на днях компания VMware на сайте проекта Labs уже выложила его обновление - vSphere Mobile Client 1.2. Давайте посмотрим, что там нового:
Улучшения inventory - возможность добавить ВМ в закладки, после чего можно быстро перейти к ней из верхней панели в заголовке.
Дэшборд vCenter теперь агрегирует хосты и виртуальные машины.
Свайп карточки ВМ теперь показывает скриншот, по клику на который отображается большая картинка.
Множество исправлений ошибок.
Скачать обновленный vSphere Mobile Client 1.2 можно по этим ссылкам:
Android - до того, как устанавливать клиент, вам надо присоединиться к этой группе Google Groups, члены которой принимают участие в альфа-тестировании.
Чтобы получать пуш-уведомления на ваши устройства, нужно будет поднять vSphere Mobile Client Notification Service в виде контейнера Docker. О том, как это сделать написано тут, а скачать сам контейнер можно на странице vSphere Mobile Client.
Многи администраторы VMware vSphere, особенно в крупных инфраструктурах, развертывают механизм VMware vCenter HA, обеспечивающий отказоустойчивость сервера VMware vCenter (а точнее виртуальной машины vCenter или vCenter Server Appliance, vCSA). Все понимают, что vCenter / vCSA - это важнейшая часть виртуальной инфраструктуры, ведь без нее не работают такие критичные сервисы, как Site Recovery Manager, NSX и Horizon View.
Функции vCenter HA появились еще в VMware vSphere 6.5, но в vSphere 6.7 Update 1 они были существенно доработаны, а сам процесс обновления и апгрейдов vCenter упрощен. При этом управление механизмом vCenter HA полностью перешло в vSphere Client в рамках единого рабочего процесса (раньше были 2 воркфлоу - Basic и Advanced).
Давайте посмотрим, какие пути апгрейда и обновления существуют для конфигурации vCenter HA. Для начала напомним, как это выглядит:
Две машины с vCenter (активный узел и его клон - пассивный узел), а также компонент Witness образуют собой кластер, где Witness защищает от сценария Split Brain в среде vCenter HA (не путайте это с обычным vSphere HA). В случае отказа основного узла, его функции берет на себя резервный, что существенно быстрее по сравнению с восстановлением vCenter средствами стандартного HA (перезапуск на другом сервере). Это в итоге отражается на меньшем времени RTO для таких критичных сервисов, как SRM и NSX, в случае сбоев.
Перед обновлением помните, что для vCenter HA не поддерживается создание снапшотов, а значит нужно обязательно сделать File-Based Backup основного сервера vCenter перед обновлением.
Если у вас VMware vSphere 6.5, то при обновлении вы можете не разбивать кластер vCenter HA, а просто скачать ISO-образ с обновлениями (через VMware Patch Portal), либо ничего не скачивать и сразу инициировать процесс обновления из командной строки, если у вас есть доступ в интернет из компонентов кластера.
Делается все это так:
Сначала кластер vCenter HA надо перевести в режим обслуживания (maintenance mode), что не прервет репликацию, но предотвратит автоматический запуск процесса восстановления (failover).
Затем заходим на компонент Witness по SSH и запускаем его обновление из командной строки. Если у вас есть доступ в интернет на этом экземпляре vCenter, то делается это простой командой:
software-packages install --url --acceptEulas
Если же вы скачали ISO-образ с обновлениями, то делается это следующей командой:
software-packages install --iso --acceptEulas
Далее заходим на пассивный узел vCenter и там делаем то же самое.
Инициируем вручную процесс восстановления vCenter на пассивный узел (failover).
Обновляем активный узел vCenter.
Возвращаем конфигурацию в исходное состояние (failback).
Отключаем режим обслуживания (maintenance mode).
Если же у вас vCenter 6.7, то опция обновления у вас одна - отключение и удаление конфигурации HA, после чего происходит накат обновления на активном узле и повторное развертывание HA-конфигурации (такая же опция доступна и для vCenter 6.5). Этот рабочий процесс обусловлен изменениями в схеме базы данных, которые происходят в vCenter 6.7.
Начиная с vSphere 6.7 Update 1, установщик vCenter Server Upgrade installer может автоматически обнаружить присутствие кластера vCenter HA:
Далее в процессе обновления он сохранит его конфигурацию, обновит активный узел vCenter, а потом развернет его реплики для пассивного узла и узла Witness.
Надо понимать, что в процессе обновления машины с пассивным узлом и Witness будут удалены, поэтому не забудьте сделать бэкап. И сам процесс лучше проводить в ручном режиме, а не автоматическом, чтобы иметь больший контроль над получающейся итоговой конфигурацией.
Некоторые пользователи сталкиваются с проблемой при обновлении сервера VMware vCenter Server Appliance (vCSA). После накатывания апдейта на vCSA (в частности, здесь пишут про билд 6.5.0.30100) администратор идет по адресу:
https://<vCenter_FQDN>:5480
И видит, что страница не открывается, браузер не находит веб-сервер.
Это происходит потому, что иногда после обновления vCSA не поднимается служба vami-lighttp, которая отвечает за веб-интерфейс VAMI (Virtual Appliance Management Infrastructure). Нужно пойти в консоль vCSA и там выполнить следующую команду для вывода статуса этой службы:
ps -ef | grep vami-lighttp
Если вы увидите, что данный процесс лежит, то есть его нет в списке запущенных, то можно запустить его следующей командой:
/etc/init.d/vami-lighttp start
После этого VAMI должен начать работать. Также у vCSA есть загадочная зависимость от протокола IPv6, которая описана здесь.
Ну и посмотрите нашу статью, в которой описывается ситуация, когда страница VAMI на vCSA открывается, но при вводе учетных данных выводится сообщение "Unable to login".
Недавно компания VMware обновила платформу виртуализации и доставки настольных ПК и приложений VMware Horizon 7.9, а также выпустила новые версии клиентов Horizon Clients 5.1 и решения User Environment Manager 9.8. Одновременно с этим была также выпущен и обновленный продукт Unified Access Gateway 3.6, предназначенный для организации шлюзов и безопасных соединений для доступа к инфраструктуре Workspace ONE и Horizon.
Напомним, что о прошлой версии VMware Unified Access Gateway (UAG) 3.5 мы писали вот тут, она вышла сразу после релиза платформы VMware Horizon 7.8.
Основные нововведения UAG 3.6 включают в себя:
Новый сервис Secure Email Gateway Edge
Возможности миграции из Tunnel Proxy на туннель для каждого из приложений (per-app Tunnel)
Множество прочих улучшений, особенно в сфере безопасности
Вот тут можно увидеть обзор компонента Secure Email Gateway (SEG) Edge Service, который позволяет защитить корпоративную почтовую инфраструктуру и открывает возможности мобильного управления Mobile Email Management (MEM) в продукте Workspace ONE UEM:
Защита почтовика заключается в том, что ограничивается список устройств на уровне Workspace ONE, которым позволено общаться с компонентами почтовой инфраструктуры.
Также с помощью специального SDK можно создавать приложения, которые будут нативно общаться с корпоративными ресурсами предприятия напрямую, в рамках собственного туннеля на уровне приложения. Описание того, как это работает, вы также найдете на видео выше (примерно, начиная с 11:27).
Такой подход позволяет задавать правила для трафика на уровне устройств, существенно повышает производительность и дает возможность поддерживать различные типы трафика (например, UDP).
Про функции OCSP stapling, которые позволяют безопасно установить достоверность SSL-сертификата путем запроса удостоверяющего центра, можно посмотреть, начиная с 13:39:
Ну а про возможности валидации артефактов SAML JWT рассказывают в районе 14:15:
Если вы хотите детальнее узнать об этих возможностях, особенно о Secure Email Gateway Edge и новых функциях безопасности Unified Access Gateway 3.6, посмотрите вот это видео:
Ну а по интерфейсу UAG 9.6 и его настройкам можно детально пройтись вот в этом ролике:
Скачать VMware Unified Access Gateway 3.6 можно по этой ссылке. Release Notes доступны тут.
Недавно мы писали о выходе серьезного обновления платформы виртуализации и доставки ПК и приложений в инфраструктуре предприятия VMware Horizon 7.9. Одновременно с этим вышли и обновления клиентов - VMware Horizon Clients 5.1. Также мы упоминали, что вышли новые версии User Environment Manager 9.8 и App Volumes 2.17. В App Volumes практически не появилось ничего нового, а вот в UEM 9.8 есть много всего интересного. Напомним, что о User Environment Manager 9.6 мы писали вот тут.
Давайте, посмотрим на список новведений и улучшений:
1. Дополнительные умные политики (Smart Policies).
Теперь можно включить или выключить воспроизведение аудио, которое применяется для протоколов Blast и PCoIP. Также через умные политики можно оптимизировать протокол Blast Extreme. Кроме того, можно настраивать механизм Drag and Drop. Для работы всех этих функций вам потребуется Horizon agent версии 7.9 или более поздней.
2. Поддержка условий для регулярных выражений.
Теперь в UEM 9.8 есть регулярные выражения при настройке умных политик, а также механизм определения условий, который очень ценен при составлении шаблонов поиска:
Пользователи продуктов AppSense и RES уже знакомы с этим механизмом регулярных выражений, теперь они появились и в UEM.
3. Новая опция Chrome Client при задании условия для Endpoint Platform.
Теперь для устройств Chrome появилось 2 новых опции - настройка Chrome ARC++ для Android-приложений, исполняемых на устройстве, а также Chrome Native для нативного клиента.
Для этой опции вам понадобится Horizon Client 5.1 или более поздней версии. Доступна эта возможность для устройств с протоколами Chrome Horizon Blast и PCoIP (Citrix ICA пока не поддерживается).
4. Поддержка Amazon FSx.
В этой версии UEM появилась полная поддержка файловой системы Amazon FSx for Windows File Server, которая представляет собой нативную облачную ФС для машин на базе Windows Server. Это упрощает развертывание инсталляций User Environment Manager для гибридных облаков, построенных на базе технологий VMware и Amazon (см. VMC on AWS).
Скачать VMware User Environment Manager 9.8 можно уже по этой ссылке, Release Notes доступны тут.
Эта платформа предоставляет инженерам по работе с данными следующие возможности в области Data Science в рамках виртуальной инфраструктуры:
Виртуальное окружение на основе облака VMware Cloud Foundation (VCF) и платформы Kubernetes.
На данный момент для вычислений поддерживается только CPU (но модули GPU будут поддерживаться в будущем).
Платформа построена на базе фреймворков Open Source Kubeflow и Horovod.
Также в составе идет коллекция обучающих примеров (Notebooks) и библиотек, которые помогают понять выполнение следующих задач:
Data collection and cleaning (получение данных из различных источников и описание семантики данных с использованием метаданных).
Data cleansing and transformation (приведение собранных данных в порядок и их трансформация из сырого формата в структурированный, который больше подходит для процессинга).
Model training (разработка предиктивных и оптимизационных моделей машинного обучения).
Model serving (развертывание модели для запуска в реальном окружении, где могут обслуживаться онлайн-запросы).
Для использования движка vMLP вам потребуется развернутая инфраструктура VMware Cloud Foundation 3.8.
В комплекте с платформой идет документация. Скачать весь пакет можно по этой ссылке.
Вчера мы писали об очередной новинке на VMware Labs, мобильном клиенте vSphere Mobile Client для iOS и Android, а сегодня расскажем еще об одной утилите - Virtual Machine Compute Optimizer. Это средство представляет собой PowerShell-сценарий для модуля PowerCLI VMware.VimAutomation.Core, который собирает информацию о хостах ESXi и виртуальных машинах в вашем виртуальном окружении и выдает отчет о том, правильно ли они сконфигурированы с точки зрения процессоров и памяти.
Для этого в отчете есть колонка VMCPUsOptimized, которая принимает значения Yes или No.
Далее также идут колонки, где показаны оптимальные количества сокетов и ядер для виртуальных машин, которые было бы неплохо сделать для текущей конфигурации (OptimalSockets и OptimalCores). Текущая конфигурация также представлена в колонках VMNumSockets и VMCoresPerSocket.
Назначения колонок представлены на картинке ниже:
Надо понимать, что VMCO анализирует вашу инфраструктуру только на базе рекомендаций для оптимальной конфигурации виртуальных машин без учета реальной нагрузки, которая исполняется внутри. Для такой задачи нужно средство для сайзинга посерьезнее - например, VMware vRealize Operations Manager.
Скрипт Virtual Machine Compute Optimizer можно запускать как минимум под аккаунтом с правами на чтение инфраструктуры vCenter. Скачать его по этой ссылке.
Еще очень давно, 8 лет назад, компания VMware развивала мобильный клиент (см. также тут) для управления инфраструктурой VMware vSphere, но забросила это дело на некоторое время.
И вот совсем недавно на сайте проекта VMware Labs появилось средство vSphere Mobile Client 1.1. Это очередной подход VMware к управлению виртуальной средой через мобильные приложения для iOS и Android.
Само собой, vSphere Mobile Client предоставляет лишь малую часть функций полноценного клиента (но для мобильных устройств это и не нужно), вот основные из них:
Просмотр информации и виртуальных машинах - просмотр статуса ВМ (включено/выключено), использования ресурсов и конфигурации машин.
Управление ВМ - операции с питанием (в том числе, перезагрузка). Возможность найти виртуальную машину с помощью поиска. Если вы свайпните влево карточку с виртуальной машиной, то получите скриншот ее консоли, который можно сохранить.
Мониторинг задач - можно "подписаться" на любую запущенную задачу и получать нотификации на телефон о том, когда она завершится. При этом неважно, что ваш девайс находится в неактивном режиме или в данный момент вы работаете с другим приложением.
Графики производительности - можно отслеживать использование ресурсов виртуальными машинами в реальном времени, либо в разрезе дня, недели, месяца или года назад. Счетчики включают в себя метрики CPU, памяти, хранилищ и сети. Также на дэшборде можно посмотреть общее использование ресурсов vCenter.
Ссылки на загрузку vSphere Mobile Client:
Android - до того, как устанавливать клиент, вам надо присоединиться к этой группе Google Groups, члены которой принимают участие в альфа-тестировании.
Чтобы получать пуш-уведомления на ваши устройства, нужно будет поднять vSphere Mobile Client Notification Service в виде контейнера Docker. О том, как это сделать написано тут, а скачать сам контейнер можно на странице vSphere Mobile Client.
RSS
