Вильям Лам написал интересную статью о поддержке технологии Intel Neural Processing Unit (NPU) на платформе VMware ESXi.
Начиная с процессоров Intel Meteor Lake (14 поколения), которые теперь входят в новый бренд Intel Core Ultra Processor (серия 1), встроенный нейронный процессор (Neural Processing Unit, NPU) интегрирован прямо в систему на кристалле (system-on-chip, SoC) и оптимизирован для энергоэффективного выполнения AI-инференса.
Хотя вы уже можете использовать интегрированную графику Intel iGPU на таких платформах, как Intel NUC, с ESXi для инференса рабочих нагрузок, Вильяму стало интересно, сможет ли этот новый нейронный процессор Intel NPU работать с ESXi?
Недавно Вильям получил доступ к ASUS NUC 14 Pro (на который позже он сделает подробный обзор), в котором установлен новый нейронный процессор Intel NPU. После успешной установки последней версии VMware ESXi 8.0 Update 3, он увидел, что акселератор Intel NPU представлен как PCIe-устройство, которое можно включить в режиме passthrough и, видимо, использовать внутри виртуальной машины.
Для тестирования он использовал Ubuntu 22.04 и библиотеку ускорения Intel NPU, чтобы убедиться, что он может получить доступ к NPU.
Шаг 1 - Создайте виртуальную машину с Ubuntu 22.04 и настройте резервирование памяти (memory reservation - это требуется для PCIe passthrough), затем добавьте устройство NPU, которое отобразится как Meteor Lake NPU.
Примечание: вам нужно будет отключить Secure Boot (этот режим включен по умолчанию), так как необходимо установить более новую версию ядра Linux, которая всё ещё находится в разработке. Отредактируйте виртуальную машину и перейдите в VM Options -> Boot Options, чтобы отключить его.
Когда Ubuntu будет запущена, вам потребуется установить необходимый драйвер Intel NPU для доступа к устройству NPU, однако инициализация NPU не удастся, что можно увидеть, выполнив следующую команду:
dmesg | grep vpu
После подачи обращения в поддержку Github по поводу драйвера Intel NPU, было предложено, что можно инициализировать устройство, используя новую опцию ядра, доступную только в версии 6.11 и выше.
Шаг 2 - Используя эту инструкцию, мы можем установить ядро Linux версии 6.11, выполнив следующие команды:
После перезагрузки вашей системы Ubuntu вы можете убедиться, что теперь она использует версию ядра 6.11, выполнив команду:
uname -r
Шаг 3 - Теперь мы можем установить драйвер Intel NPU для Linux, и на момент публикации этой статьи последняя версия — 1.8.0. Для этого выполните следующие команды:
Нам также нужно создать следующий файл, который включит необходимую опцию ядра (force_snoop=1) для инициализации NPU по умолчанию, выполнив следующую команду:
Теперь перезагрузите систему, и NPU должен успешно инициализироваться, как показано на скриншоте ниже.
Наконец, если вы хотите убедиться, что NPU полностью функционален, в библиотеке Intel NPU Acceleration есть несколько примеров, включая примеры малых языковых моделей (SLM), такие как TinyLlama, Phi-2, Phi-3, T5 и другие.
Для настройки вашего окружения Python с использованием conda выполните следующее:
Автор попробовал пример tiny_llama_chat.py (видимо, тренировочные данные для этой модели могли быть основаны на изображениях или художниках).
Независимо от того, используете ли вы новую библиотеку Intel NPU Acceleration или фреймворк OpenVino, теперь у вас есть доступ к ещё одному ускорителю с использованием ESXi, что может быть полезно для периферийных развертываний, особенно для рабочих нагрузок, требующих инференса AI, и теперь с меньшим энергопотреблением.
Следующий пример на Python можно использовать для проверки того, что устройство NPU видно из сред выполнения, таких как OpenVino.
from openvino.runtime import Core
def list_available_devices():
# Initialize the OpenVINO runtime core
core = Core()
# Get the list of available devices
devices = core.available_devices
if not devices:
print("No devices found.")
else:
print("Available devices:")
for device in devices:
print(f"- {device}")
# Optional: Print additional device information
for device in devices:
device_info = core.get_property(device, "FULL_DEVICE_NAME")
print(f"\nDevice: {device}\nFull Device Name: {device_info}")
if __name__ == "__main__":
list_available_devices()
Платформа VMware vSAN 8 Express Storage Architecture (ESA), работающая на процессорах Intel Xeon Scalable 4-го поколения, представляет собой современное решение для гиперконвергентной инфраструктуры (HCI), способствующее консолидации серверов и поддержке высокопроизводительных рабочих нагрузок, включая ИИ.
Преимущества работы vSAN 8 ESA на Intel Xeon 4 поколения
Оптимизация хранения: в отличие от двухуровневой архитектуры предыдущих версий, ESA использует одноуровневую систему с NVMe-накопителями на базе TLC флэш-памяти, что позволяет увеличить емкость и производительность хранилища. Это снижает расходы на хранение данных, благодаря более эффективной компрессии данных и встроенной системе снапшотов.
Скорость и производительность: VMware vSAN 8 ESA, в сочетании с Intel Xeon 4, значительно ускоряет работу как традиционных, так и современных приложений. Интеграция с новейшими технологиями Intel, такими как AMX (Advanced Matrix Extensions) и AVX-512 (Advanced Vector Extensions), увеличивает количество транзакций и снижает время отклика при обработке больших данных.
Снижение задержек и повышение производительности: в тестах ESA показала до 6.2-кратного роста производительности и до 7.1-кратного снижения задержек по сравнению с предыдущими поколениями vSAN и Intel Xeon. Это позволяет консолидировать критически важные рабочие нагрузки, такие как базы данных SQL и VDI, без снижения производительности.
Поддержка AI и современных рабочих нагрузок
Для обеспечения поддержки AI-приложений, vSAN 8 ESA, благодаря новейшим процессорам Intel Xeon, справляется с обработкой больших объемов данных, необходимых для глубокого обучения и инференса, особенно в задачах классификации изображений и обработки естественного языка. Тесты показали до 9-кратного увеличения производительности при использовании INT8 в задачах машинного обучения.
Снижение затрат и повышение эффективности
За счет высокой плотности виртуальных машин и оптимизированного использования ресурсов, VMware vSAN 8 ESA позволяет сократить инфраструктурные расходы, связанные с оборудованием и энергопотреблением. Использование RAID-6 на уровне кластера с производительностью RAID-1 повышает надежность и безопасность данных без ущерба для производительности.
Заключение
VMware vSAN 8 ESA, в сочетании с процессорами Intel Xeon четвертого поколения, представляет собой мощное и экономичное решение для поддержки как традиционных, так и современных рабочих нагрузок, включая AI-приложения. Это позволяет компаниям модернизировать свою инфраструктуру, улучшить производительность и оптимизировать использование ресурсов, что особенно важно в условиях сокращающихся ИТ-бюджетов и растущих требований к производительности приложений.
Не так давно мы подробно рассказывали об инициативе Private AI компании VMware, которая позволит создать надежную инфраструктуру для корпоративных систем искусственного интеллекта. Сегодня мы расскажем о новых инициативах VMware и Intel в этой сфере.
Поскольку AI обеспечивает огромный рост производительности и позволяет создавать новые возможности, многие основные функции в типичном бизнесе будут трансформироваться, включая продажи, маркетинг, разработку программного обеспечения, операции с клиентами и обработку документов. Компания McKinsey прогнозирует, что влияние генеративного AI на производительность может добавить около $4.4 триллиона ежегодно к мировой экономике.
Но в основе этого остается конфиденциальность данных предприятий. Поэтому в августе 2023 года на мероприятии VMware Explore в Лас-Вегасе VMware объявила о запуске VMware Private AI и VMware Private AI Foundation с NVIDIA. Ну а на конференции Explore Europe было объявлено о дальнейшем расширении экосистемы VMware Private AI с двумя ключевыми партнерами.
VMware Private AI с Intel дает возможность использования AI для всех организаций
VMware и Intel сотрудничают более 20 лет для обеспечения возможностей следующего поколения - от центров обработки данных до облаков с самым широким портфолио надежных корпоративных решений, позволяющих компаниям двигаться быстрее, внедрять больше инноваций и работать эффективнее.
VMware и Intel помогут предприятиям создавать и развёртывать частные и безопасные модели AI, работающие на основе архитектуры VMware Cloud Foundation, и повысить производительность AI, используя программный пакет Intel AI software suite, процессоры Intel Xeon Scalable четвёртого поколения со встроенными ускорителями и графическими процессорами Intel Max Series.
Давайте рассмотрим, какую ценность предприятия могут ожидать от этого партнёрства.
Обеспечение конфиденциальности и безопасности для моделей AI: архитектурный подход VMware Private AI для AI-сервисов обеспечивает конфиденциальность и контроль корпоративных данных, а также интегрированную безопасность и управление. Это партнёрство поможет предприятиям создать и развернуть частные и безопасные модели AI с интегрированными возможностями безопасности в VCF и его компонентах.
Повышение производительности AI: достижение высокой производительности моделей AI и LLM с использованием интегрированных возможностей, встроенных в VCF, процессоры Intel, аппаратные ускорители и оптимизированное программное обеспечение. Например, vSphere, один из основных компонентов VCF, включает планировщик Distributed Resources Scheduler (DRS), который улучшает управление рабочими нагрузками AI, группируя хосты в кластеры ресурсов для разных приложений и обеспечивая доступ ВМ к необходимому количеству вычислительных ресурсов, предотвращая узкие места на уровне ресурсов и оптимизируя их использование.
Повсеместный доступ к AI: VMware и Intel предоставляют предприятиям полностью проверенный стек ИИ на уже развёрнутых кластерах. Этот стек позволяет предприятиям проводить подготовку данных, машинное обучение, тонкую настройку и оптимизацию вывода, используя процессоры Intel, аппаратные ускорители, программный пакет Intel для AI и VCF в вашей локальной среде.
Архитектура решения
VMware Private AI на базе Intel поддерживает как генеративный AI, так и классические случаи использования AI/ML. Он использует мощность VMware Cloud Foundation и программного пакета Intel для AI, процессоров и аппаратных ускорителей. Эта архитектурная экосистема объединяет VMware, Intel, поставщиков ML Ops (cnvrg.io, Domino Data Labs, DKube, Kubeflow и т.д.), крупных производителей серверов OEM (таких как Dell Technologies, Hewlett Packard Enterprise и Lenovo), и глобальных системных интеграторов, таких как HCL, Kyndryl и Wipro.
Варианты использования
VMware Private AI и сотрудничество с Intel позволяют предприятиям использовать несколько сценариев, безопасно внедряя классические модели AI/ML и большие языковые модели, тонкую настройку и развертывание их в частной корпоративной среде. Вот описание основных случаев использования.
Генерация кода: предприятия могут использовать свои модели без риска потери интеллектуальной собственности или данных и ускорить работу разработчиков, включив генерацию кода.
Опыт решения проблем в контактных центрах: предприятия могут настраивать модели на основе своей внутренней документации и статей базы знаний, включая конфиденциальные данные поддержки, и, в свою очередь, обеспечить более эффективное обслуживание клиентов и поддержку с существенным сокращением человеческого взаимодействия в инцидентах поддержки/обслуживания.
Классическое машинное обучение: классические модели ML используются для различных реальных приложений в таких отраслях, как финансовые услуги, здравоохранение и Life Sciences, розничная торговля, исследования и производство. Популярные случаи использования ML включают персонализированный маркетинг, визуальный контроль качества в производстве, персонализированную медицину и прогнозирование спроса в розничной торговле.
Рекомендательные движки: предприятия могут улучшить взаимодействие с потребителями, предлагая или рекомендуя дополнительные продукты. Это может основываться на различных критериях, включая предыдущие покупки, историю поиска, демографическую информацию и другие факторы.
VMware Private AI с IBM обеспечивает доступ к WatsonX в локальных средах
IBM и VMware работают над VMware Private AI, чтобы позволить предприятиям получить доступ к платформе IBM WatsonX в частных, локальных средах и гибридном облаке для безопасного обучения и тонкой настройки своих моделей с помощью платформы WatsonX. Стратегическое партнерство между IBM и VMware направлено на то, чтобы обеспечить клиентам возможность легко перейти на гибридное облако и модернизировать их критически важные рабочие нагрузки. Теперь, имея возможность выбора времени, места и способа интеграции технологий GenAI с VMware Cloud Foundation, предприятия смогут быстро обучать и развертывать индивидуальные возможности AI в рамках всего предприятия, сохраняя при этом полный контроль и соответствие требованиям к их данным. Благодаря этому партнерству в области AI между VMware и IBM, предприятия получают мощное решение, использующее лучшие инновации от локальных решений VMware в едином стеке, чтобы обеспечить унифицированную среду, интегрированную с данными и возможностями AI, предоставляемыми технологией партнера IBM Cloud.
Получите частные и безопасные модели с VMware Private AI: конфиденциальность и безопасность имеют первостепенное значение для предприятий. Теперь предприятия могут создавать свои частные и безопасные модели AI с VMware Private AI с IBM, используя несколько интегрированных возможностей конфиденциальности, безопасности и микросегментации в VCF.
Развертывание моделей AI/ML в локальной среде и в облаке: это партнерство позволяет предприятиям обучать, проверять, настраивать и развертывать частные и безопасные модели AI/ML как в локальной среде, так и в облаке IBM Cloud.
Выбор между открытыми или проприетарными моделями IBM: это партнерство позволяет предприятиям выбирать большие языковые модели (LLM), предоставляя доступ к открытым моделям от Hugging Face, выбранным IBM, моделям сторонних производителей и серии обученных IBM фундаментальных моделей.
Вот несколько примеров поддерживаемых моделей, доступных на watsonx.ai:
Открытые модели: Llama 2 (70b)
Модели сторонних производителей: StarCoder (15.5b)
Проприетарные модели IBM: Granite (13b)
Архитектура решения
Эта полноценная архитектура, построенная на основе VMware Cloud Foundation, использует Red Hat OpenShift и сочетает в себе возможности платформы IBM WatsonX для Gen AI и классических AI/ML-нагрузок с Enterprise-уровнем безопасности. С помощью этой архитектуры предприятия могут использовать watsonx.ai для доступа к открытым моделям IBM, выбранным из Hugging Face, а также к другим моделям сторонних производителей и серии обученных IBM фундаментальных моделей для поддержки вариантов использования GenAI и для обучения, проверки, настройки и развертывания классических моделей AI/ML.
Варианты использования
VMware Private AI с IBM может обеспечить несколько сценариев использования для предприятий, безопасно активируя настройку больших языковых моделей, тонкую настройку и развертывание их в частной корпоративной среде. В области генерации кода акцент сделан на ускорении продуктивности разработчиков с учетом критически важных вопросов конфиденциальности и интеллектуальной собственности. Кроме того, VMware Private AI в сотрудничестве с IBM представляет значительную возможность улучшить взаимодействие в контактных центрах. Это партнерство обещает улучшение качества контента и обратной связи для клиентов, что приводит к более точным ответам и, в целом, улучшению клиентского опыта. Это партнерство может значительно упростить ИТ-операции, автоматизировав задачи, такие как управление инцидентами, отчетность, управление тикетами и мониторинг, в конечном итоге экономя время и усилия агентов ИТ-операций. Наконец, продвинутые возможности поиска информации, возникшие благодаря этому сотрудничеству, могут повысить продуктивность сотрудников, оптимизируя поиск документов и исследование политик, способствуя более продуктивной рабочей среде.
IBM Consulting предоставляет клиентам экспертизу в решениях, специфичных для VMware и генеративного AI
Ранее в этом году IBM Consulting создала Центр компетенции по генеративному AI и теперь имеет более 1000 консультантов со специализированными знаниями в области генеративного AI, которые работают с глобальными клиентами, чтобы повысить производительность в ИТ-операциях и основных бизнес-процессах, таких как кадровые или маркетинговые, улучшить клиентский опыт и создать новые бизнес-модели.
Это, в сочетании с экспертизой IBM, специфичной для VMware, и сервисными возможностями, поможет ускорить бизнес-трансформации клиентов с использованием корпоративного AI на архитектуре VMware Private AI.
Кроме того, для клиентов, желающих модернизировать и трансформировать свои рабочие нагрузки, IBM Consulting планирует интегрировать услуги IBM WatsonX и VMware Private AI в свой проприетарный IBM Consulting Cloud Accelerator, чтобы помочь ускорить процесс трансформации инфраструктур в облака. После релиза эта интеграция поможет с процессами reverse engineering и генерацией кода, а также с управлением операциями Day-2 и последующими для бесперебойного предоставления услуг управления гибридным облаком от IBM Consulting.
На прошедшей недавно конференции Explore 2023 Europe компании VMware и Intel рассказали о своем видении того, как в будущем будет происходить управление и контроль над уязвимостями ниже уровня ОС.
Благодаря расширенному партнерству VMware и Intel, данные телеметрии от процессоров Intel Core позволят решению Workspace ONE Unified Endpoint Management (UEM) собирать данные об уязвимостях ниже уровня операционной системы. Эта новая интеграция сочетает в себе данные на уровне чипа с автоматическим устранением проблем и возможностями отчетности Workspace ONE UEM для повышения безопасности конечных устройств.
Видео старое, но суть объясняет:
Фундаментальные уязвимости
Обеспечение безопасности современных работников является постоянной задачей, так как киберугрозы увеличиваются как в частоте, так и в сложности. На конференции VMware Explore 2023 в Лас-Вегасе команда VMware рассказала о важности принятия комплексного подхода к управлению уязвимостями и его влиянии на безопасность организации. Новая эффективная платформа управления уязвимостями предлагает не только широкий охват платформ ОС, но и глубокое понимание от уровня приложений и ОС до firmware и оборудования. Уязвимости ниже уровня ОС, или фундаментальные уязвимости, особенно опасны, поскольку они остаются незамеченными традиционными сканерами уязвимостей и могут привести к потенциально катастрофическим последствиям.
Управление уязвимостями VMware и Intel
Было анонсировано решение для создания и сбора данных о фундаментальных уязвимостях для компьютеров с Windows с процессорами Intel Core (с технологией Intel vPro или без нее). Благодаря глубокому анализу и знанию различных производителей ПК, Intel обладает уникальной способностью интерпретировать данные конфигурации с конечных устройств и обнаруживать те уязвимости, которые не находятся традиционными сканерами безопасности. Данные сопоставляются с известными фундаментальными уязвимостями и упаковываются в анализы рисков с соответствующим контекстом и деталями для идентификации и последующего устранения.
Этот улучшенный телеметрический подход на самом низком уровне поможет дополнить движок управления уязвимостями и комплаенсом для решения Workspace ONE. Этот продукт будет визуализировать данные активных событий, позволяя клиентам имплементировать более сильную стратегию безопасности конечных устройств, использующую управление уязвимостями как выше, так и ниже уровня ОС. Новые данные об оборудовании не только дадут клиентам большую видимость их парка устройств, но и соберут более богатый контекст для повышения эффективности оценки уязвимостей и их устранения.
Бета-версия Intel Chip to Cloud
Облачная служба Intel Device Health скоро будет доступна в портале программы раннего доступа VMware Anywhere Workspace Early Access.
Если вы уже являетесь участником программы раннего доступа, вы можете выбрать бета-версию Intel Chip to Cloud в своем пользовательском профиле, когда она станет доступной. Бета-программа будет включать возможности анализа уязвимостей вместе с интеграцией Intel vPro Chip to Cloud. Если вы еще не являетесь участником, вы можете зарегистрироваться здесь.
На днях на сайте virten.net появилась информация об уязвимости CVE-2022-40982 Gather Data Sampling (GDS/Downfall) хостов VMware ESXi 8 инфраструктуры vSphere, которая может быть полезна для администраторов.
8 августа этого года компания Intel рассказала о проблеме "transient execution side-channel vulnerability" (уязвимость побочного канала при переходном выполнении), которая затрагивает определенные процессоры. В особых микроархитектурных состояниях CPU возможно раскрытие информации после transient-исполнения команд в некоторых векторных модулях исполнения, что может привести к ситуации, когда аутентифицированный пользователь может получить неавторизованный доступ к информации через механику локального доступа. Подробнее об уязвимости CVE-2022-40982 можно почитать тут.
Также вам могут быть полезны следующие ресурсы:
Описание уязвимости Intel Security Advisory - INTEL-SA-00828
Чтобы понять, имеет ли ваш процессор данную дыру в безопасности, вам нужно получить о нем следующую информацию: CPU Family, Model и Stepping. Сделать это можно через PowerShell с помощью скрипта Get-CPUid, который вы можете скачать здесь.
Если вы посмотрели на вывод колонок и узнали там свой процессор из таблицы, а в колонке на сайте Intel увидели значение "MCU", то вам нужно накатывать обновление микрокода вашего сервера для защиты от угроз данного типа. Для получения обновления вам нужно связаться с вендором вашего серверного оборудования (например, ссылки для HP и Dell приведены выше).
В своем финансовом отчете за второй квартал этого года компания Intel неожиданно объявила о том, что сворачивает (winding down) разработку технологии оперативной памяти Intel Optane. В свете падения квартальной выручки аж на 22% год к году, Intel просто не может поддерживать все перспективные технологии, требующие больших инвестиций в R&D.
Кстати, AMD во втором квартале этого года почти удвоила выручку (сказался еще эффект включения выручки приобретенной компании Xilinx):
Это оказалось, довольно-таки, неожиданной новостью для компании VMware, которая ориентировалась на поддержку этого типа памяти в своих продуктах, например, планируемом к выпуску решении Project Capitola. В данном продукте будет использоваться так называемая Software-Defined Memory, определяемая в облаке (неважно - публичном или онпремизном) на уровне кластеров VMware vSphere под управлением vCenter.
В Project Capitola вся доступная память серверов виртуализации в кластере агрегируется в единый пул памяти архитектуры non-uniform memory architecture (NUMA) и разбивается на ярусы (tiers), в зависимости от характеристик производительности, которые определяются категорией железа (price /performance points), предоставляющей ресурсы RAM. Все это позволяет динамически выделять память виртуальным машинам в рамках политик, созданных для соответствующих ярусов.
На рынке серверной виртуализации уже довольно давно развивается экосистема оперативной памяти различных уровней - стандартная DRAM, технология SCM (Optane и Z-SSD), модули памяти CXL, память PMEM, а также NVMe. Однако в разработке технологий по виртуализации оперативной памяти компания VMware ориентировалась, в первую очередь, именно на Intel Optane.
Память Intel Optane DC persistent memory (DCPMM она же PMEM) не такая быстрая как DRAM и имеет бОльшие задержки, но они все равно измеряются наносекундами. При этом данная память позволяет иметь ее большой объем на сервере, что существенно повышает плотность ВМ на одном хосте. В конце прошлого года мы писали о производительности этого типа памяти.
Теперь пользователи аппаратных устройств на базе Intel Optane продолжат получать стандартную поддержку Intel до окончания периода End-of-life, а также гарантию, действительную в течение 5 лет. Это касается следующих продуктовых линеек:
PMem 100 series ("Apache Pass")
PMem 200 series ("Barlow Pass")
DC P4800X SSD ("Cold Stream")
DC P5800X ("Alder Stream")
Также сообщается, что Intel продолжит развивать технологию PMem 300 series ("Crow Pass") для четвертого поколения процессоров Intel Xeon Scalable ("Sapphire Rapids").
VMware планирует продолжать поддержку памяти Intel Optane PMem в платформах vSphere 7.x и vSAN, а также будущих релизах этих продуктов. На данный момент память Optane поддерживается в трех режимах:
Обычная оперативная память (Memory mode)
App-Direct mode через механизм vPMem
Как персистентное хранилище через объекты vPMemDisk
VMware также добавила расширенные механизмы по поддержке vMMR в vSphere 7 Update 3 и добавила различные интеграции с механизмом DRS в следующей версии платформы. О технологии vMMR можно прочитать подробнее тут.
Также VMware поддерживает все предыдущие поколения технологии Intel Optane PMem, о чем можно почитать в KB 67645. Ну и VMware будет поддерживать будущее поколение Optane PMem 300, которое Intel, вроде как, не планирует сворачивать.
Ну а что касается Project Capitola, то VMware не будет поддерживать Intel Optane в этом решении, а переключится на технологии памяти стандарта CXL, который, как ожидается, получит большое распространение в отрасли. Посмотрим еще, что на эту тему еще расскажут на предстоящей конференции VMware Explore 2022.
В прошлом году на VMworld 2021 компания VMware представила обновление продукта Workspace ONE Intelligence, который предназначен для для анализа поведения пользователей и устройств и выдачи рекомендации администраторам ИТ-инфраструктуры по применению тех или иных действий. На вход этого движка подаются данные об использовании устройств, приложений и данных пользователей, затем они агрегируются, анализируются, а потом для администраторов генерируются некоторые рекомендации и правила, которые можно применить для повышения эффективности инфраструктуры виртуальных ПК и приложений.
Тогда мы рассказали о новых возможностях этого продукта, а сегодня вкратце расскажем о том, какие основные его функции позволяют повысить безопасность пользовательской среды в рамках концепции Zero Trust Security, то есть когда никакие из систем предприятия по умолчанию не считаются 100% защищенными.
1. Мониторинг и отслеживание аномалий
Workspace ONE Intelligence позволяет пользователям отслеживать изменения метрик в их окружениях, касающихся аномалий в производительности и безопасности, а также проактивно корректировать их с помощью созданных сценариев автоматизации. На картинке ниже представлена временная картинка с трендами рисков, где администратор может погрузиться в отдельную систему для их детального понимания:
2. Доверенная экосистема (Trust Network)
В дополнение к данным окружения платформы Workspace ONE (включая Workspace ONE UEM и Workspace ONE Access), данные могут быть дополнены средствами внешних систем, входящих в доверенную экосистему Trust Network.
Например, вы можете подключить систему VMware Carbon Black, которая также может встроиться в окружение Workspace ONE. Например, вот два виджета, которые отображают Threat Count и Threat Type от Carbon Black в консоли Workspace ONE Intelligence:
3. Автоматизации для работы с данными об угрозах
Вы можете настроить различные автоматизации для действий в ситуации наступления определенных угроз. К примеру, если решение Carbon Black обнаружило какое вредоносное ПО в системе, например, ransomware, то система может быть помещена на карантин, а в Slack будет отправлено сообщение, оповещающее о проблеме. Затем будет создан тикет в ServiceNow, а Workspace ONE UEM протэгирует опасный объект и поместит его на карантин:
4. Аналитика рисков устройств и пользователей
Для дальнейших исследований аномалий в рамках экосистемы инфраструктуры виртуализации система может сделать скоринг рисков для устройств и пользователей на базе датасета, имеющегося в Workspace ONE. Вот так это выглядит:
Более подробно об этих всех возможностях можно почитать в документации.
Компания VMware выпустила интересный документ "Intel architecture optimizes VMware SD-WAN Edge performance", в котором рассказывается о решении VMware Secure Access Service Edge (SASE) на базе аппаратных платформ Intel. Решение SASE объединяет компоненты интегрированной среды VMware, предназначенные для создания распределенной инфраструктуры безопасного и производительного доступа пользователей к приложениям и средства контроля этой активности.
Экосистема решения, описанного в документе, выглядит следующим образом:
Идея концепции SASE в том, чтобы обеспечивать защиту доступа к приложениям в географических центрах, максимально приближенных к облачной инфраструктуре, где эти приложения находятся (публичные облака и облака сервис-провайдеров). Сейчас у SASE есть более, чем 150 точек присутствия (points of presence, PoP), где физически размещено оборудование в облачных датацентрах, что позволяет построить безопасный и высокопроизводительный мост к SaaS-сервисам приложений.
Компоненты SASE включают в себя следующие решения:
Облачную технологию VMware SD-WAN, которая виртуализует WAN-сети в целях отделения программных служб от оборудования, что дает гибкость, простоту управления, производительность, безопасность и возможность быстрого масштабирования в облаках.
Компонент VMware Secure Access для удаленного доступа в рамках фреймворка zero-trust network access (ZTNA). Это новый уровень VPN-решений, который дает новые инструменты для доступа к облачным приложениям.
VMware Cloud Web Security - это интегрированное решение на базе таких техник, как Secure Web Gateway (SWG), cloud access security broker (CASB), data loss prevention (DLP), URL filtering, а также remote browser isolation (RBI), что реализовано на уровне SASE PoP для защиты прямого доступа к SaaS-приложениям и веб-сайтам.
VMware Edge Network Intelligence - это платформа для отслеживания активности подключений и сетевых потоков в рамках концепции AIOps, которая предполагает использование алгоритмов AI/ML для аналитики трафика WAN-to-branch, WiFi/LAN, а также на уровне приложений.
В документе описывается использование компонентов VMware SD-WAN Edge на базе различных платформ Intel, использующих процессоры Atom и Xeon. Требуемая конфигурация устройств SD-WAN рассматривается через призму требований приложений к пропускной способности канала, а также объема виртуализуемых сетевых служб, таких как фаерволы, системы IDS и прочее, которые работают как VNF (virtual network functions) в рамках программно-аппаратных модулей.
Недавно компания VMware провела тестирование баз данных PostgreSQL в качестве рабочей нагрузки в виртуальных машинах vSphere 7.0 U2 с использованием памяти Intel Optane DC persistent memory (PMem). Напомним, что именно на этот тип памяти компания VMware ориентируется при разработке технологии Project Capitola.
Память Intel Optane DC persistent memory (DCPMM она же PMEM) не такая быстрая как DRAM и имеет бОльшие задержки, но они все равно измеряются наносекундами. При этом данная память позволяет иметь ее большой объем на сервере, что существенно повышает плотность ВМ на одном хосте.
В качестве тестового стенда использовалась следующая конфигурация хоста ESXi и виртуальных машин:
Память PMEM была презентована виртуальным машинам как очень быстрое устройство хранения (NVDIMM). Конфигурация PostgreSQL была следующей:
VMware использовала 3 различных конфигурации для тестирования:
2 устройства NVME SSD (это базовый уровень) - оба раздела, WAL и база данных, были на двух разных быстрых SSD
WAL на базе PMEM - раздел WAL поместили на 200-гигабайтное устройство PMem NVDIMM
WAL и база данных на PMem - все разделы были размещены на устройствах PMem NVDIMM
В виртуальной машине запускали стресс-тест базы данных со значительной нагрузкой на диск, средней нагрузкой на систему и интегрированными транзакциями. Пропускная способность (throughput) измерялась в количестве транзакций в секунду (TPS).
Вот что из этого вышло:
По итогу теста для полной нагрузки на PMEM по сравнению с SSD пропускная способность выросла на 44.6%, а задержка (latency) упала на 30.8% (при перенесении только WAL на PMEM эти показатели составили 13.4% и 11.8%, соответственно).
Те же самые параметры для read-only транзакций:
Тут уже разница более, чем в 3 раза. Также VMware попробовала машину с 1 ГБ оперативной памяти вместо 200 ГБ - там улучшение было еще больше, а среднем PMEM дает улучшение производительности по сравнению с SSD в районе 4.5x.
Полное описание процедуры тестирования находится тут.
Вчера мы начали рассказывать об анонсах завершающегося на этой неделе главного события года в области виртуализации VMware VMworld 2021 Online. Сегодня мы поговорим о новых возможностях Workspace ONE Intelligence - решения, предназначенного для анализа поведения пользователей и устройств и выдачи рекомендации администраторам ИТ-инфраструктуры по применению тех или иных действий. На вход этого движка подаются данные об использовании устройств, приложений и данных пользователей, затем они агрегируются, анализируются, а потом для администраторов генерируются некоторые рекомендации и правила, которые можно применить для повышения эффективности инфраструктуры виртуальных ПК и приложений. Ранее мы писали подробнее об этом тут и тут.
Основной новой возможностью продукта стала поддержка решения для виртуализации и доставки настольных ПК VMware Horizon. Давайте посмотрим, что нового там появилось в этом плане:
1. Расширенная аналитика, метрики и дэшборды
Workspace ONE Intelligence собирает данные из различных источников, включая продукты Workspace ONE UEM, Workspace ONE Access, сторонние системы и теперь VMware Horizon. С помощью средств расширенной аналитики можно отслеживать корреляцию метрик и получать инсайты из отчетов в различных формах. Теперь администраторы могут получить информацию о состоянии системы, потреблении ресурсов, метриках Horizon pods, пользовательских сессиях, использовании емкостей и многом другом.
2. Алерты и оповещения
В Workspace ONE Intelligence теперь можно настраивать кастомные алерты и получать оповещения через сторонние утилиты, такие как Slack, PagerDuty или электронная почта.
Также пользователи получат возможность использовать движок Anomaly Detection - возможность, которая была анонсирована на VMworld 2021. С помощью него автоматически рассчитываются отклонения от нормы по различным параметрам с использованием машинного обучения, после чего происходит идентификация аномалий и оповещение администраторов, когда параметр выпадает за рассчитанные пределы. Плюс здесь в том, что администратору не нужно самому определять эти границы и настраивать алерты вручную - ML-алгоритм сделает все сам.
3. Решение Digital Employee Experience Management (DEEM)
С помощью решения DEEM в платформе Workspace ONE Intelligence for Horizon можно мониторить основные KPI, которые влияют на пользовательский опыт, такие как продолжительность логина, использование CPU и памяти, задержки при обращении к диску (disk latency), производительность приложений, ошибки сессий и прочие сбои.
Это позволяет проактивно решать проблемы, обнаруживая их на ранней стадии, пока они не стали критичными и массовыми для пользователей.
4. Функции Fast remediation
В Workspace ONE Intelligence есть возможности не только аналитики, отчетности и визуализации, но и средства устранения проблем (remediation). С помощью недавно анонсированной возможности инцидентов ИТ-администраторы могут проводить поиск источников проблем (root cause analysis) с помощью контекстных дэшбордов и механизма рекомендаций, после чего использовать автоматический движок для устранения проблем и оповещения пользователей.
Более подробно о новых возможностях Workspace ONE Intelligence for Horizon вы можете узнать из следующих докладов VMworld 2021:
На сайте проекта VMware Labs появилась еще одна узкоспециализированная, но интересная штука - проект Supernova. С помощью данного интерфейса разработчики решений, использующих машинное обучение (Machine Learning), могут создавать свои проекты на базе различных открытых библиотек с поддержкой технологий аппаратного ускорения графики.
Типа таких:
Проект Supernova поддерживает все самые популярные технологии аппаратного ускорения 3D-графики:
Nvidia GPU
Intel IPU/VPU
Intel FPGA
Google (Edge) TPU
Xilinx FGPA, AMD GPU
Для работы Supernova поддерживается ОС Ubuntu или CentOS с контейнерным движком Docker. Сфера применения решения очень широка - распознавание лиц (пол, возраст, эмоции), номерных знаков автомобилей, задача классификации объектов и многое другое.
В качестве тулкитов совместно с Supernova можно использовать следующие:
OpenVINO
SynapseAI
TensorRT
Tensorflow Lite
Vitis
RoCm
Данные для тренировки нейронных сетей могут быть представлены в форматах Tensorflow, Caffe, ONNX и MxNet. Примеры работы с ними представлены в документации, которую можно скачать вместе с пакетом.
Скачать само решение Supernova можно по этой ссылке.
На Reddit коллеги заметили, что при включении технологии Turbo Boost в процессорах Intel, из виртуальной машины увеличения производительности не наблюдается. Напомним, что Turbo Boost — это технология компании Intel для автоматического увеличения тактовой частоты процессора свыше номинальной, если при этом не превышаются ограничения мощности, температуры и тока в составе расчётной мощности (TDP).
При этом емкость CPU показывается прежней, даже при создании существенной нагрузки на процессор:
В комментариях люди правильно отвечают, что поскольку Turbo Boost - это аппаратная возможность, гостевая система виртуальной машины не ловит отображение увеличения аппаратной мощности в виртуальную машину. При этом если вы посмотрите на виртуальную машину с 4 процессорами 2.4 ГГц с уровня хоста ESXi с включенным Turbo Boost до 3 ГГц, вы увидите утилизацию процессора 4*3=12 ГГц.
То есть гостевая система вполне будет использовать преимущества этой технологии, но отображать утилизацию процессора она будет в соответствии с его номинальной мощностью.
На днях компания Intel опубликовала руководство по безопасности Security Advisory INTEL-SA-00329, в котором описаны новые обнаруженные уязвимости в CPU, названные L1D Eviction Sampling (она же "CacheOut") и Vector Register Sampling. Прежде всего, надо отметить, что обе этих уязвимости свежие, а значит исправления для них пока не выпущено.
Соответственно, VMware также не может выпустить апдейт, пока нет обновления микрокода CPU от Intel. Когда Intel сделает это, VMware сразу выпустит патч, накатив который на VMware vSphere вы избавитесь от этих потенциальных уязвимостей.
Vector Register Sampling (CVE-2020-0548). Эта уязвимость является пережитком бага, найденного в подсистеме безопасности в ноябре прошлого года. Она связана с атаками типа side-channel, о которых мы писали вот тут. В рамках данной атаки можно использовать механизм Transactional Synchronization Extensions (TSX), представленный в процессорах Cascade Lake. О прошлой подобной уязвимости можно почитать вот тут. А список подверженных уязвимости процессоров Intel можно найти тут.
L1D Eviction Sampling (CVE-2020-0549). Эта уязвимость (ее также называют CacheOut) позволяет злоумышленнику, имеющему доступ к гостевой ОС, получить доступ к данным из памяти других виртуальных машин. Более подробно об уязвимостях данного типа можно почитать на специальном веб-сайте. Также вот тут находится список уязвимых процессоров.
Следите за обновлениями VMware, патчи будут доступны сразу, как только Intel обновит микрокод процессоров. Достаточно будет просто накатить обновления vSphere - и они пофиксят уязвимости CPU.
Таги: VMware, Intel, Security, VMachines, vSphere, CPU
Вчера мы писали об ограничениях технологии Persistent Memory в vSphere 6.7, которая еще только изучается пользователями виртуальных инфраструктур на предмет эксплуатации в производственной среде. Преимущество такой памяти - это, конечно же, ее быстродействие и энергонезависимость, что позволяет применять ее в высокопроизводительных вычислениях (High Performance Computing, HPC).
Ну а пока все это изучается, сейчас самое время для проведения всякого рода тестирований.
NVDIMM-N от компаний DELL EMC и HPE. NVDIMM-N - это такой тип устройств DIMM, который содержит модули DRAM и NANDflash на самом DIMM. Данные перемещаются между двумя этими модулями при запуске или выключении машины, а также во время внезапной потери питания (на этот случай есть батарейки на плате). На текущий момент есть модули 16 GB NVDIMM-Ns.
Intel Optane DC persistent memory (DCPMM) - эта память не такая быстрая как DRAM и имеет бОльшие задержки, но они измеряются наносекундами. Модули DCPMM изготавливаются под разъем DDR4 и доступны планками по 128, 256 и 512 ГБ. В одной системе может быть до 6 ТБ памяти DCPMM.
Для тестирования производительности такой памяти были использованы следующие конфигурации тестовой среды:
При тестировании производительности ввода-вывода были сделаны следующие заключения:
Накладные расходы на поддержку PMEM составляют менее 4%.
Конфигурация vPMEM-aware (когда приложение знает о vPMEM устройстве) может дать до 3x и более прироста пропускной способности в смешанном потоке чтения-записи в сравнении с традиционными устройствами vNVMe SSD (они использовались в качестве базового уровня).
Задержки (latency) на уровне приложений для конфигураций vPMEM составили менее 1 микросекунды.
Также тестировалась производительность баз данных Oracle, и там были сделаны такие выводы:
Улучшение на 28% в производительности приложения (количество транзакций HammerDB в минуту) с vPMEM по сравнению с vNVME SSD.
Увеличение 1.25x DB reads, 2.24x DB writes и до 16.6x в числе записей в DB log.
До 66 раз больше уменьшение задержек при выполнении операций в Oracle DB.
В MySQL тоже весьма существенное улучшение производительности:
Для PMEM-aware приложений тоже хорошие результаты:
Ну а остальные детали процесса проведения тестирования производительности устройств PMEM вы найдете в документе VMware.
В августе прошлого года мы сделали статью о новом виде памяти Persistent memory (PMEM) в VMware vSphere, которая находится на уровне между DRAM и Flash SSD с точки зрения производительности:
Надо сказать, что устройства с Persistent Memory (они же, например, девайсы с Intel Optane Memory) уже начинают рассматривать некоторые пользователи для внедрения в своей виртуальной инфраструктуре, поэтому надо помнить об их ограничениях, которые раскрыл Дункан Эппинг.
С точки зрения предоставления памяти PMEM виртуальной машине, на платформе vSphere есть 3 способа:
vPMEMDisk - vSphere представляет PMEM как обычный диск, подключенный к виртуальной машине через контроллер SCSI. В этом случае ничего не нужно менять для гостевой ОС или приложений. В таком режиме работают любые системы, включая старые ОС и приложения.
vPMEM - vSphere представляет PMEM как устройство NVDIMM для виртуальной машины. Большинство последних версий операционных систем (например, Windows Server 2016 и CentOS 7.4) поддерживают устройства NVDIMM и могут предоставлять их приложениям как блочные или байт-адресуемые устройства. Приложения могут использовать vPMEM как устройство хранения через тонкий слой файловой системы direct-access (DAX), либо замапить регион с устройства и получать к нему прямой доступ через байтовую адресацию. Такой режим может быть использован старыми или новыми приложениями, но работающими в новых версиях ОС, при этом версия Virtual Hardware должна быть не ниже 14.
vPMEM-aware - это то же самое, что и vPMEM, но только с дополнительными возможностями приложения понимать, что машина использует такое устройство, и пользоваться его преимуществами.
Если виртуальная машина использует такие устройства, то она имеет очень существенные ограничения, которые на данный момент препятствуют их использованию в производственной среде. Они приведены в документе "vSphere Resource Management Guide" на странице 47 внизу. А именно:
vSphere HA - полностью не поддерживается для машин с включенными vPMEM устройствами, вне зависимости от режима использования.
vSphere DRS - полностью не поддерживается для машин с включенными vPMEM устройствами (машины не включаются в рекомендации и не мигрируют через vMotion), вне зависимости от режима использования.
Миграция vMotion для машин с устройствами vPMEM / vPMEM-aware доступна только на хосты с устройствами PMEM.
Миграция vMotion машин с устройством vPMEMDISK возможна на хост без устройства PMEM.
Будем надеяться, что эта ситуация в будущем изменится.
Таги: VMware, vSphere, Memory, PMEM, Intel, VMachines, HA, DRS
В этом публичном облаке есть полезный механизм Log Intelligence, который позволяет посмотреть глубоко на метрики частного и публичного облака VMConAWS, чтобы выяснить причины возникающих проблем. Основное назначение этого механизма - структурировать неструктурированные данные логов, визуализовать их на дэшбордах и дать администратору инструменты быстрого поиска и сопоставления данных (включая мощный механизм индексирования).
Log Intelligence полностью интегрирован с облаком VMware Cloud on AWS, охватывает всю линейку продуктов VMware и органично дополняет концепцию управления виртуальным датацентром Software-Defined Datacenter (SDDC).
По умолчанию Log Intelligence собирает и анализирует все логи для основных компонентов (vCenter, ESXi, vSAN). Но также в решении есть функция аудита логов сетевого экрана виртуальной инфраструктуры NSX-T, которую можно подключить отдельно:
Для интеграции с NSX-T нужно будет подключить VMware Cloud on AWS Content Pack, который позволит получить информацию о правилах фаервола, правилах обработки пакетов и прочую важную диагностическую информацию для администраторов:
После развертывания можно будет увидеть все исполняемые в среде NSX-T запросы:
Также можно управлять определениями оповещений (Alert Definitions):
Запросы можно сохранить на собственных или общих дэшбордах, а также включить Alert Definitions для отправки webhook во внешнюю систему или письма по электронной почте администратору.
Вот пример двух запросов, сохраненных на дэшборде:
На домашней странице можно видеть сработавшие алерты в виде таймлайна:
Вот так выглядит оповещение в письме администратору:
А так, например, webhook в мессенжер Slack:
Решение Log Intelligence также может перенаправлять логи в другие приемники для специфического анализа (подробнее тут). Поддерживаются следующие точки назначения:
Онпремизная инсталляция Syslog Server через TCP или UDP
Онпремизная инсталляция Splunk
Онпремизная отсылка по умолчанию через Authenticated HTTPs
Облачный Splunk Cloud Endpoint
Облачный Authenticated endpoint через протокол HTTPs
Для отправки логов в собственное онпремизное облако нужно будет развернуть Cloud Proxy:
Для облачного ничего добавлять не нужно:
События логов можно экспортировать в Raw-формате или в структуре JSON:
В общем, Log Intelligence может оказаться вам очень полезным в облаке VMware Cloud on AWS (или в гибридной среде с собственным датацентром), особенно, если ваша инфраструктура содержит десятки хостов ESXi.
В догонку к найденным и, вроде бы, поборенным уязвимостям Meltdown и Spectre, в процессорах Intel нашли еще одну потенциальную дыру - L1 Terminal Fault Vulnerability, которая затрагивает современные процессоры (2009-2018 годов выпуска) и гипервизор VMware ESXi (а также и все остальные гипервизоры).
Для начала надо сказать, что на днях стали доступны вот такие патчи для платформы виртуализации VMware vSphere, которые настоятельно рекомендуется установить:
Суть уязвимости, описанной в CVE-2018-3646 заключается в том, что виртуальная машина, исполняемая на конкретном ядре, может получить доступ к данным других машин, использующих это ядро, или самого гипервизора через L1 Data Cache, который совместно используется машинами, выполняющими команды на данном ядре.
Для такой уязвимости возможны 2 типа векторов атаки:
Sequential-context - вредоносная машина получает доступ к данным другой ВМ, которая исполнялась на этом ядре ранее и получала доступ к кэшу L1.
Concurrent-context - вредоносная машина прямо сейчас получает доступ к данным ВМ или гипервизора, которые исполняются планировщиком на этом ядре.
Решение вопроса уровня Sequential-context заключается просто в накатывании патчей, которые не должны приводить к падению производительности (как это было с Meltdown и Spectre). А вот для избавления от риска применения вектора атаки Concurrent-context нужно включить фичу, которая называется ESXi Side-Channel-Aware Scheduler. И вот в этом случае влияние на производительность может уже быть существенным, поэтому нужно либо принять риск Concurrent-context, либо следить за производительностью систем.
Таким образом, процесс обновления инфраструктуры VMware vSphere должен выглядеть так:
Обновляете сначала серверы vCenter, потом хосты ESXi.
Смотрите, есть ли на хостах запас по CPU на случай возникновения проблем с производительностью.
Если запас есть - включаете функцию ESXi Side-Channel-Aware Scheduler и наблюдаете за производительностью систем по CPU.
Детальные инструкции по включению ESXi Side-Channel-Aware Scheduler вы найдете здесь. Действовать нужно по следующей схеме:
Ну и в заключение, вот список процессоров, которые подвержены атакам типа L1 Terminal Fault:
Кодовое имя процессора Intel
FMS
Товарное наименование Intel
Nehalem-EP
0x106a5
Intel Xeon 35xx Series;
Intel Xeon 55xx Series
Lynnfield
0x106e5
Intel Xeon 34xx Lynnfield Series
Clarkdale
0x20652
Intel i3/i5 Clarkdale Series;
Intel Xeon 34xx Clarkdale Series
Некоторое время назад мы писали о решении Workspace ONE Intelligence, которое предназначено для анализа поведения пользователей и устройств и выдачи рекомендации администраторам ИТ-инфраструктуры по применению тех или иных действий. На вход этого движка подаются данные об использовании устройств, приложений и данных пользователей, затем они агрегируются, анализируются, а потом для администраторов генерируются некоторые рекомендации и правила, которые можно применить для повышения эффективности инфраструктуры виртуальных ПК и приложений.
В качестве исходной информации Workspace ONE Intelligence использует данные из Workspace ONE UEM и продукта Apteligent (технология отслеживания производительности приложений). Специальный компонент Workspace ONE Intelligence Connector позволяет собрать данные из UEM и отправить их в движок отчетности Intelligence (пользователи SaaS-решения Workspace получают функциональность отчетов сразу из облака). С помощью интегрированных дэшбордов и отчетов администратор может принимать важные решения по конфигурации большой инфраструктуры Workspace ONE.
Давайте посмотрим, что интересного есть в отчетах Workspace ONE Intelligence. Каждый пользователь Workspace ONE может получить Intelligence Reports бесплатно на 30 дней и попробовать полную функциональность решения. Для этого нажать кнопку Get started в разделе Intelligence и пройти по шагам мастера:
После того, как вы заполните все необходимые поля для старта нового триала Intelligence, вам станет доступна функциональность отчетов.
Отчеты могут быть построены по приложениям или устройствам в корпоративной инфраструктуре (для устройств можно, например, вывести отчеты только по non-compliant девайсам). Также вы можете настроить генерацию отчетов по времени, чтобы иметь возможность зайти в консоль и сразу же скачать/посмотреть их.
При создании отчета доступен большой выбор включаемых в него колонок:
А вот так выглядит результат отчета по устройствам:
Также вам будут доступны следующие возможности, средствами которых вы сможете получать необходимые рекомендации по конфигурации среды Workspace ONE:
My Dashboard
Security Risk
Apps Dashboard
OS Updates
Patches
Automation
Apteligent
В общем, тем, кто использует решение Workspace ONE, однозначно имеет смысл попробовать возможности Intelligence (особенно в большой инфраструктуре), тем более, что это средство развивается весьма динамично, и практически ежемесячно появляются все новые отчеты и дэшборды.
Почти все из вас в курсе, что недавно в процессорах Intel были найдены уязвимости Meltdown и Spectre. Недавно мы писали о том, то компания VMware выпустила патчи для хост-серверов VMware ESXi, а также для управляющего сервера vCenter. Вильям Лам даже написал скрипт PowerCLI для проверки накаченных обновлений на хосты и виртуальные машины.
Но...18 января VMware, получив некую "важную информацию" от Intel, отозвала выпущенные патчи и опубликовала специальную KB 117649, в которой описала сложившуюся ситуацию, не особенно ее проясняя. Пока мы ждем патчей от VMware и Intel, можно взглянуть на некоторые результаты тестов производительности (раз и два), где показано, как исправления микрокода серверов от описанных уязвимостей негативно влияют на производительность:
Говорят, что падение производительности для тяжелых нагрузок (особенно по вводу-выводу) может составить от 5% до 30%, что как бы очень много.
В связи с этими событиями (последствия от которых еще проявят себя в ближайшие недели), компания Login VSI сделала специальную бесплатную лицензию на свое одноименное средство тестирования (мы писали об одной из версий тут). Запросить бесплатную лицензию на инструмент Login VSI можно по этой ссылке. Она, кстати, абсолютно ничем не ограничена - ни числом хостов, ни виртуальных машин в вашей виртуальной инфраструктуре, а для тестирования доступны все рабочие нагрузки.
Единственное ее ограничение - бесплатная версия прекратит работать 31 марта этого года. С помощью Login VSI вы можете протестировать производительность таких платформ, как Citrix XenApp, XenDesktop, Microsoft RDS и, конечно же, VMware Horizon View.
В целом, влияние обновлений безопасности на производительность особенно чувствительно именно для VDI-инфраструктур, где коэффициент консолидации виртуальных машин на хостах существенно выше, чем в серверной среде.
Запросить бесплатную лицензию на Login VSI можно здесь.
Те из вас, кто следят за ИТ-новостями, наверняка слышали о последних уязвимостях, обнаруженных в процессорах Intel. Одной из таких уязвимостей стала Spectre - она потенциально позволяет локальным приложениям (локальному атакующему, при запуске специальной программы) получить доступ к содержимому виртуальной памяти текущего приложения или других программ.
Для серверов VMware ESXi надо пойти на VMware Patch Portal и загрузить оттуда обновление ESXi650-201801401-BG / ESXi650-201801402-BG. (номер билда 7526125). Подробная информация об обновлении приведена в KB 2151099.
Также данное исправление доступно и для настольных платформ виртуализации VMware:
VMware Workstation 14.1.1 Pro for Linux - Загрузить
VMware Workstation 14.1.1 Pro for Windows - Загрузить
VMware Fusion 10.1.1 (для Intel-based Macs) - Загрузить
Компании VMware и Intel в партнерстве выпустили новый документ "Intel Data Plane Development Kit with VMware vSphere" (DPDK), который описывает работу с данной библиотекой приложений Linux User Space. Она позволяет на высоком уровне работать с подсистемой ввода-вывода и сетевого взаимодействия и на программном уровне обрабатывать то, что ранее необходимо было делать только на аппаратном для высоконагруженных систем, например, Application-specific integrated circuits (ASICs) и Field programmable gate arrays (FPGAs).
Данный DPDK с использованием техник паравиртуализации позволяет напрямую обращаться к аппаратным функциям оборудования или виртуальных устройств VMware vSphere.
Решение DPDK with VMware vSphere может быть использовано для миграции систем (обычно в сфере телекома и какого-то необычного сетевого взаимодействия), которые раньше были жестко завязаны на аппаратные функции "железа", на платформу VMware vSphere.
При использовании DPDK можно взаимодействовать со следующими механизмами VMware vSphere:
Виртуальный сетевой адаптер VMXNET3
Коммутаторы vSwitch и Virtual Distributed Switch
Прямой проброс устройств через VMware vSphere DirectPath I/O или технологию SR-IOV
Стандартная реализация паравиртуализационного взаимодействия гостевой ОС через vSwitch и VDS выглядит так:
Если речь идет о пробросе устройств напрямую в ОС, то схема выглядит следующим образом:
Больше интересных подробностей можно узнать в самом документе.
Как мы уже писали, в VMware vSphere 5.1 появилось множество новых возможностей, в том числе улучшения, касающиеся аппаратной виртуализации (Hardware Virtualization), которая позволяет запускать вложенные гипервизоры (Hyper-V и ESXi) и виртуальные машины в них. Про то, как это работает в VMware vSphere 5.0, мы уже детально писали вот тут.
В интерфейсе веб-клиента VMware vSphere 5.1 поддержка аппаратной виртуализации включается в настройках виртуальной машины:
Настройки, которые были действительны для ESXi 5.0 - теперь не работают. Все теперь включается только через эту галочку.
Напомним, что в ESXi 5.0 можно было запускать вложенные (Nested) 32-битные и 64-битные виртуальные машины в гипервизорах, которые сами работают в виртуальных машинах. При этом требовалось только наличие поддержки аппаратной виртуализации в процессорах - Intel VT или AMD-V. Если же в вашем процессоре не было поддержки Intel EPT или AMD RVI, то вложенные 64-битные машины работали очень и очень медленно.
Поэтому VMware в vSphere 5.1 решила изменить концепцию, сделав так:
Если в процессоре есть поддержка Intel VT или AMD-V без EPT/RVI, то вы сможете устанавливать ESXi 5.1 в виртуальной машине, а также использовать вложенные 32-битные виртуальные машины. При этом 64-битные работать не будут, а опция "Hardware Virtualization" в vSphere Web Client будет загреена. Во время установки ESXi в виртуальной машине вы увидите сообщение "No Hardware Virtualization Support", которое можно просто игнорировать.
Если в процессоре есть поддержка аппаратной виртуализации и EPT/RVI, то можно использовать вложенные 64-битные ВМ.
Проверить свой хост-сервер на наличие поддержки технологий аппаратной виртуализации можно на соответствующих ресурсах вендоров (например, ark.intel.com). Есть и способ попроще - для этого надо использовать Managed Object Browser. Зайдите на хост ESXi по адресу:
Там будет такое свойство nestedHVSupported, которое будет установлено в True, если процессор поддерживает полный набор техник аппаратной виртуализации, который необходим для запуска вложенных 64-битных виртуальных машин на виртуальном ESXi 5.1.
Ведущие вендоры решений для виртуализации настольных ПК предприятия (а их всего два - Citrix и VMware) постоянно ищут пути оптимизации своих продуктов для получения максимальной производительности виртуальных ПК во всех аспектах: вычислительные ресурсы, сети и хранилища. Это неудивительно, так как, зачастую, именно по этому показателю пользователи выбирают подходящее им решения. Мы уже много писали о технологии VMware Storage Accelerator, которая есть в решении VMware View 5.1 - она использует оперативную память хост-серверов ESXi для кэширования блоков виртуальных машин.
Но надо помнить, что еще раньше компания Citrix тоже разработала технологию оптимизации хранилищ виртуальных ПК - IntelliCache для продуктов Citrix XenServer и XenDesktop, которая, правда, работает несколько по-иному: блоки данных виртуальных машин кэшируются не в оперативной памяти, а на локальном хранилище сервера XenServer.
Технология Citrix IntelliCache кэширует блоки данных виртуальных ПК на локальном диске (само собой, лучше использовать SSD-накопители) при записи данных на общее хранилище, а когда они запрашиваются с последнего виртуальными машинами, то просматривается локальный кэш и отдаются кэшированные блоки виртуальной машины напрямую с локального хранилища. Соответственно, если используется высокопроизводительное локальное хранилище - блоки виртуальным машинам будут отдаваться существенно быстрее, что позволит, например, сгладить последствия событий Boot Storm или Antivirus Storm. При выключении или перезагрузке виртуальной машины - локальный кэш очищается.
Для каждой виртуальной машины могут быть созданы 2 типа файлов на локальном хранилище в целях обеспечения работы IntelliCache - несколько файлов write cache и один файл shared read cache (файлы типа <uuid>.vhdcache на локальном репозитории). Здесь надо отметить, что при работе Citrix XenDesktop есть 2 режима работы виртуальных ПК с кэшем IntelliCache:
Shared Desktop Mode - когда опция on-boot выставлена в значение reset, а флаг allow-caching - в значение true. В этом случае отличия виртуального ПК от базового образа (дельта) будет писаться только на локальный диск, минуя общее хранилище. Это позволит использовать комбинацию чтения с общего хранилища (базовый образ) и чтения/записки на локальном хранилище сервера XenServer, что увеличивает производительность как чтения, так и записи данных. Однако, разумеется, для таких виртуальных машин нельзя использовать такие технологии как XenMotion и High Availablity, так как часть данных ВМ хранится только локально. Это лучше использовать для неперсистентных десктопов и дисков, состояние которых не сохраняется при выключении или перезагрузке (pooled desktops).
Private Desktop Mode - когда опция on-boot выставлена в значение persist, а флаг allow-caching - в значение true. В этом случае данные пишутся одновременно в кэш и на общее хранилище, а кэш позволяет оптимизировать производительность только при чтении данных. При этом для виртуальной машины работают все технологии, требующие общего хранилища. Такую технику лучше использовать, когда используются постоянные виртуальные ПК с сохранением данных при выключении (dedicated desktops).
Технология IntelliCache дает существенный выигрыш в производительности в инфраструктуре VDI (тесты Login VSI):
Для использования IntelliCache при установке XenServer потребуется создать локальный storage repository (SR) с поддержкой данной технологии, которая, напомним, появилась в Citrix XenServer 5.6 SP1 (поэтому для более ранних версий продукта эта технология работать не будет). При установке нужно не забыть отметить галку "Enable thin
provisioning (Optimized storage for XenDesktop)".
Со стороны инфраструктуры XenDesktop вам понадобится XenDesktop 5 service pack 1 или более поздней версии, где поддержка технологии IntelliCache включается одной галкой в мастере добавления хост-сервера:
Так как локальные репозитории предшествующих версий XenServer построены на базе LVM, а SR с поддержкой IntelliCache используют EXT3, конвертировать старые локальные репозитории в новые получится только с полной потерей данных на репозитории. Чтобы сделать это, нужно выполнить следующую последовательность команд:
Аппаратура виртуализации ЦП разрабатывалась в рамках концепции монопольного использования. Это означает, что только единственный Гипервизор может использовать ее, запустить Гипервизор в задаче другого Гипервизора невозможно. Это в теории, но практика требует во многих случаях все-таки наличия нескольких гипервизоров одновременно и это абсолютно неисследованная область, по крайней мере, в публичных источниках. Гипервизор, могущий запустить в своих задачах другие гипервизоры, редкий зверь, упоминания о них встречаются, но таких работающих программ нет. Единственное внятное упоминание о такой «матрешке» из гипервизоров, это некий хитрый гипервизор Рутковской. Его реальная работоспособность в связке с коммерческими системами виртуализации мне неизвестна.
Во время анонса новых 22нм-процессоров Ivy Bridge была описана технология защиты от повышения уровня привилегий SMEP (Supervisory Mode Execute Protection).
Данная технология контролирует уровень привилегий исполняемого кода, размещенного в адресном пространстве, выделенном для работы программам (Applications) .
Фактически на аппаратном уровне блокируется классическая атака, нацеленная на повышение уровня привилегий, необходимая для получения доступа к системным ресурсам.
Хотя данная аппаратура представлена только сейчас, но в официальной документации фирмы Intel это архитектурное решение уже нашло документальное отражение. В новой редакции документации (том 3А), датированной маем 2011г., имеется полное описание работы данного оборудования.
В начале года на нашем сайте была опубликована статья, описывающая новые методы проактивной антивирусной защиты. В данной статье был среди прочего представлен аналогичный метод контроля за повышением уровня привилегий. К настоящему времени этот метод запатентован в России автором статьи совместно с фирмой «ЛАН-ПРОЕКТ».
От VM Guru: вроде как наш автор Андрей намерен несколько подискутировать с компанией Intel по поводу данной темы (я так понимаю, по поводу патентов - их у него не один). Как только станут известны подробности - мы их опубликуем здесь.
Практически одновременно с выпуском платформы для виртуализации Citrix XenDesktop 5 Service Pack 1 компания Citrix выпустила также и обновленную версию своей серверной платформы Citrix XenServer 5.6 Service Pack 2. Причина одновременности обновлений - поддержка в XenServer 5.6 SP2 технологии IntelliCache, которая оказывает существенное влияние на работу виртуальных ПК.
Напомним, что в первом Service Pack (а точнее Feature Pack 1) было множество интересных возможностей. Теперь же появились следующие нововведения:
IntelliCache. С помощью этой технологии можно снижать стоимость обслуживания инфраструктуры виртуальных ПК за счет использования комбинации общего и локального хранилища для виртуальных машин (см. описание ниже).
WorkLoad Balancing Installation Improvements. Появились улучшения в мастере установки этого компонента.
Local Storage Spans All Physical Volumnes. Когда используется локальное хранилище для виртуальных ПК, на хосте с несколькими физическими дисками в компоненте local Storage Repository (SR) все диски объединяются в единую группу LVM.
Reset-on-boot VM behaviour. Диски с опцией on-boot, установленной в значение reset, теперь доступны в качесве дисков для любого типа хранилища (ранее это было доступно только для дисков NFS и EXT SRs).
Block SCSI Generic Support. За счет поддержки BSG обеспечивается полная совместимость со средствами управления Emulex и QLogic.
Enhanced guest OS support. Поддержка гостевой ОС Red Hat Enterprise Linux (RHEL) 6.
Что такое IntelliCache в Citrix XenServer?
Идея такова: поскольку при использовании виртуальных ПК на базе одного базового образа генерируется большая нагрузка на общую систему хранения по вводу-выводу, нужно как-то разобраться с этой проблемой, тем более, что она приводит в том числе к VDI Boot Storm. Так вот предлагается поместить базовый образ виртуального ПК на недорогое NAS / NFS хранилище, а потом осуществлять кэширование этого образа на локальных дисках хоста XenServer для максимальной производительности связанных клонов виртуальных ПК, использующих этот образ. Кэш IntelliCache может располагаться как на локальном диске (рекомендуется SSD), так и в оперативной памяти на RAM-диске. Есть мнения, что 200-мегабайтного кэша хватает на устранения последствий VDI Boot Storm для инсталляций порядка 50 ВМ на хосте.
Скачать Citrix XenServer Service Pack 2 можно по этой ссылке.
В конце 2010 года фирма Intel сообщила о своем желании приобрести одного из ведущих поставщиков антивирусных решений — McAfee. На первый взгляд, — несуразное решение, но только на первый. Встраивание механизмов защиты от вирусов непосредственно в аппаратуру компьютера — это многообещающая идея и новая ступень в развитии антивирусных технологий.
Таги: VMachines, Hardware, Security, Intel, McAfee, Red Pill,
О компании StarWind мы уже немного рассказывали. Эта компания делает продукт для создания программного iSCSI хранилища для серверов VMware vSphere / ESX, Microsoft Hyper-V и Citrix XenServer под названием StarWind Server.
На данный момент флагманский продукт компании - StarWind Enterprise HA, который позволяет сделать отказоустойчивое хранилище на базе Windows-серверов, например, для VMware ESX, которое в случае отказа одного узла с Datastore виртуальных машин может автоматически переключаться на резервное хранилище, которое синхронизировано с основным.
Но кроме всего прочего, StarWind позволяет сделать RAM Disk и использовать его в качестве виртуального хранилища iSCSI. Совсем недавно компания Intel тестировала свои iSCSI адаптеры для серверов и с помощью ПО StarWind добилась внушительного результата в 1 000 000 IOPS по iSCSI в сети 10 Gbit:
Полностью документ компании Intel можно скачать по этой ссылке.
С процессорами семейства Intel Nehalem технология Hyperthreading снова вернулась в нашу жизнь, демонстрируя в некоторых тестах до 20%-30% прироста производительности по сравнению с тем, когда она отключена. Ранее в документации VMware vSphere для технологии непрерывной доступности виртуальных машин Fault Tolerance требовалось, чтобы Hyperthreading был disabled.
Теперь компания VMware прояснила пользователям, что это требование неактуально. Hyperthreading в состоянии enabled полностью поддерживается технологией Fault Tolerance. Цитата из VMware KB1013428:
Does Fault Tolerance support Intel Hyper-Threading Technology? Yes, Fault Tolerance does support Intel Hyper-Technology on systems that have it enabled. Enabling or disabling Hyper-Threading has no impact on Fault Tolerance.
Не секрет, что по высказываниям президента компании можно понять, в каком направлении она разивается и планирует развиваться. Для VMware сейчас стоит множество вопросов как для компании, которая со временем может превратиться в "облачного гиганта", занявшего большую часть рынка виртуализации и Cloud Computing. Поэтому очень интересно послушать, что говорит Пол Мориц (Paul Maritz), глава VMware, на всемирной конференции по виртуализации VMworld 2009:
О возможной поддержке серверами VMware vCenter управления хостами Microsoft Hyper-V:
if we have enough customer demand, we'll consider supporting Hyper-V in the future
О недавно вышедшем продукте Microsoft Hyper-V R2:
Hyper-V R2, "is now where we were three years ago".
О горячей миграции (VMotion) между серверами на базе процессоров Intel и AMD:
"nobody's building clouds on [AMD] architecture ... it's all on x86 ... that war's over"
О том, что уже 500 000 пользователей скачали бесплатный VMware ESXi:
VMware "would like to know what they're doing" with it
RSS
