VMware Private AI Foundation with NVIDIA on HGX Servers (скачать)

Сегодня искусственный интеллект преобразует бизнес во всех отраслях, однако компании сталкиваются с проблемами, связанными со стоимостью, безопасностью данных и масштабируемостью при запуске задач инференса (производительной нагрузки) в публичных облаках. VMware и NVIDIA предлагают альтернативу — платформу VMware Private AI Foundation with NVIDIA, предназначенную для эффективного и безопасного размещения AI-инфраструктуры непосредственно в частном датацентре. В документе "VMware Private AI Foundation with NVIDIA on HGX Servers" подробно рассматривается работа технологии Private AI на серверном оборудовании HGX.

Зачем бизнесу нужна частная инфраструктура AI?

На практике графические ускорители (GPU), размещенные в собственных датацентрах, часто используются неэффективно. Они могут простаивать из-за неправильного распределения или чрезмерного резервирования. Платформа VMware Private AI Foundation решает эту проблему, позволяя динамически распределять ресурсы GPU. Это обеспечивает максимальную загрузку графических процессоров и существенное повышение общей эффективности инфраструктуры.

Современные сценарии работы с AI требуют высокой скорости и гибкости в работе специалистов по данным. Платформа VMware обеспечивает привычный облачный опыт работы, позволяя командам специалистов быстро разворачивать AI-среды, при этом сохраняя полный контроль инфраструктуры у ИТ-команд.

Публичные облака вызывают беспокойство в вопросах приватности, особенно когда AI-модели обрабатывают конфиденциальные данные. Решение VMware Private AI Foundation гарантирует полную конфиденциальность, соответствие нормативным требованиям и контроль доступа к проприетарным моделям и наборам данных.

Внедрение нового программного обеспечения обычно требует значительных усилий на изучение и адаптацию. Платформа VMware использует уже знакомые инструменты администрирования (vSphere, vCenter, NSX и другие), что существенно сокращает время и затраты на внедрение и эксплуатацию.

Основные компоненты платформы VMware Private AI Foundation с NVIDIA

Это интегрированная платформа, объединяющая ключевые продукты VMware:

• vSphere для виртуализации серверов.
• vSAN для виртуализации хранилищ.
• NSX для программного управления сетью.
• Aria Suite (бывшая платформа vRealize) для мониторинга и автоматизации управления инфраструктурой.

NVIDIA AI Enterprise является важным элементом платформы и включает:

• Технологию виртуализации GPU (NVIDIA vGPU C-Series) для совместного использования GPU несколькими виртуальными машинами.
• NIM (NVIDIA Infrastructure Manager) для простого управления инфраструктурой GPU.
• NeMo Retriever и AI Blueprints для быстрого развёртывания и масштабирования моделей AI и генеративного AI.

Серверы HGX специально разработаны NVIDIA для интенсивных задач AI и инференса. Каждый сервер оснащён 8 ускорителями NVIDIA H100 или H200, которые взаимосвязаны через высокоскоростные интерфейсы NVSwitch и NVLink, обеспечивающие высокую пропускную способность и минимальные задержки.

Сетевое взаимодействие в кластере обеспечивается Ethernet-коммутаторами NVIDIA Spectrum-X, которые предлагают скорость передачи данных до 100 GbE, обеспечивая необходимую производительность для требовательных к данным задач AI.

Референсная архитектура для задач инференса

Референсная архитектура предлагает точные рекомендации по конфигурации аппаратного и программного обеспечения:

• Серверы инференса: от 4 до 16 серверов NVIDIA HGX с GPU H100/H200.
• Сетевая инфраструктура: 100 GbE для рабочих нагрузок инференса, 25 GbE для управления и хранения данных.
• Управляющие серверы: 4 узла, совместимые с VMware vSAN, для запуска сервисов VMware.

• Домен управления: vCenter, SDDC Manager, NSX, Aria Suite для управления облачной инфраструктурой.
• Домен рабочих нагрузок: виртуальные машины с GPU и Supervisor Clusters для запуска Kubernetes-кластеров и виртуальных машин с глубоким обучением (DLVM).
• Векторные базы данных: PostgreSQL с расширением pgVector для поддержки Retrieval-Augmented Generation (RAG) в генеративном AI.

Beginners Guide to Automation with vDefend Firewall (скачать)

В современной динамично развивающейся сфере информационных технологий автоматизация уже не роскошь, а необходимость. Команды, отвечающие за безопасность, сталкиваются с растущей сложностью управления политиками сетевой безопасности, что требует эффективных и автоматизированных решений. Межсетевой экран vDefend, интегрированный с VMware NSX, предлагает мощные возможности автоматизации с использованием различных инструментов и языков сценариев. Выпущенное недавно руководство "Beginners Guide to Automation with vDefend Firewall" рассматривает стратегии автоматизации, доступные в vDefend, которые помогают ИТ-специалистам упростить рабочие процессы и повысить эффективность обеспечения безопасности.

Понимание операций CRUD в сетевой автоматизации

Операции CRUD (Create, Read, Update, Delete) являются основой рабочих процессов автоматизации. vDefend позволяет выполнять эти операции через RESTful API-методы:

• GET — получение информации о ресурсе.
• POST — создание нового ресурса.
• PUT/PATCH — обновление существующих ресурсов.
• DELETE — удаление ресурса.

Используя эти методы REST API, ИТ-команды могут автоматизировать политики межсетевого экрана, создавать группы безопасности и настраивать сетевые параметры без ручного вмешательства.

Стратегии автоматизации для межсетевого экрана vDefend

С vDefend можно использовать несколько инструментов автоматизации, каждый из которых предлагает уникальные преимущества:

1. Вызовы REST API через NSX Policy API - API политики NSX Manager позволяют напрямую выполнять действия CRUD с сетевыми ресурсами. Разработчики могут использовать языки программирования, такие как Python, GoLang и JavaScript, для написания сценариев взаимодействия с NSX Manager, обеспечивая бесшовную автоматизацию задач безопасности.

2. Terraform и OpenTofu - эти инструменты «инфраструктура-как-код» (IaC) помогают стандартизировать развертывание сетей и политик безопасности. Используя декларативные манифесты, организации могут определять балансировщики нагрузки, правила межсетевого экрана и политики безопасности, которые могут контролироваться версионно и развертываться через CI/CD-конвейеры.

3. Ansible - этот инструмент часто применяется для развертывания основных компонентов NSX, включая NSX Manager, Edge и транспортные узлы. ИТ-команды могут интегрировать Ansible с Terraform для полной автоматизации конфигурации сети.

4. PowerCLI — это модуль PowerShell для VMware, который позволяет администраторам эффективно автоматизировать конфигурации межсетевых экранов и политик сетевой безопасности.

5. Aria Automation Suite - платформа Aria обеспечивает оркестрацию задач сетевой безопасности корпоративного уровня. Она включает:

• Aria Assembler — разработка и развертывание облачных шаблонов для настройки безопасности.
• Aria Orchestrator — автоматизация сложных рабочих процессов для управления безопасностью NSX.
• Aria Service Broker — портал самообслуживания для автоматизации сетевых и защитных операций.

Broadcom Network Observability Maturity Model (скачать)

Документ Network Observability Maturity Model от компании Broadcom представляет собой руководство по достижению высокого уровня наблюдаемости (observability) сетей, что позволяет ИТ-командам эффективно управлять современными сложными сетевыми инфраструктурами.

С развитием облачных технологий, удаленной работы и зависимости от внешних провайдеров, традиционные инструменты мониторинга устарели. В документе описана модель зрелости наблюдаемости сети, которая помогает организациям эволюционировать от базового мониторинга до полностью автоматизированного и самовосстанавливающегося управления сетью.

Основные вызовы в управлении сетями

1. Растущая сложность – 78% компаний отмечают, что управление сетями стало значительно сложнее из-за многообразия технологий и распределенных архитектур.
2. Удаленная работа – 95% компаний используют гибридный режим работы, что усложняет контроль за производительностью сетей, зависящих от домашних Wi-Fi и внешних провайдеров.
3. Облачные технологии – 98% организаций уже используют облачную инфраструктуру, что приводит к недостатку прозрачности в управлении данными и сетевым трафиком.
4. Зависимость от сторонних сервисов – 65% компаний передают часть сетевого управления сторонним поставщикам, что затрудняет полное наблюдение за сетью.
5. Рост потребности в пропускной способности – развитие AI и других технологий увеличивает нагрузку на сети, требуя более эффективных стратегий управления трафиком.
6. Устаревшие инструменты – 80% компаний считают, что традиционные средства мониторинга не обеспечивают должного уровня видимости сети.

Последствия недостаточной наблюдаемости

• Проблемы с диагностикой – 76% сетевых команд испытывают задержки из-за недостатка данных.
• Реактивный подход – 84% компаний узнают о проблемах от пользователей, а не от систем мониторинга.
• Избыточные тревоги – 41% организаций сталкиваются с ложными срабатываниями, что увеличивает время поиска неисправностей.
• Сложности с наймом специалистов – 48% компаний не могут найти специалистов с нужными навыками.

Ключевые требования для построения наблюдаемости сети

1. Видимость внешних сред – важна мониторинговая прозрачность не только для внутренних сетей, но и для облаков и провайдеров.
2. Интеллектуальный анализ данных – использование алгоритмов для корреляции событий, подавления ложных тревог и прогнозирования отказов.
3. Активный мониторинг – симуляция сетевого трафика позволяет выявлять узкие места в режиме реального времени.
4. Автоматизация и интеграция – объединение разрозненных инструментов в единую систему с автоматическими рекомендациями по устранению неполадок.

Модель зрелости наблюдаемости сети

Модель зрелости состоит из пяти уровней:

1. Ручной уровень – разрозненные инструменты, долгие поиски неисправностей.
2. Традиционный уровень – базовое объединение инструментов, но с разрывами между данными.
3. Современный уровень – использование активного мониторинга и потоковой телеметрии.
4. Следующее поколение – автоматизированные решения на основе AI/ML, минимизация ложных тревог.
5. Самообслуживание и самовосстановление – автоматическая коррекция сетевых аномалий без вмешательства человека.

Практическая реализация модели

Для внедрения зрелой системы наблюдаемости компании должны:

• Создать единую модель данных для многовендорных сетей.
• Инвестировать в решения с AI-аналитикой.
• Использовать активное и потоковое наблюдение за сетью.
• Интегрировать мониторинг как внутренних, так и внешних сетей.

Документ Network Observability Maturity Model подчеркивает важность перехода от традиционного мониторинга к интеллектуальной наблюдаемости сети. Автоматизация, AI-аналитика и активный мониторинг позволяют существенно сократить время диагностики проблем, снизить издержки и повысить надежность сетевых сервисов. В документе даны полезные рекомендации по развитию мониторинговых систем, обеспечивающих полную прозрачность работы сети и снижение нагрузки на ИТ-отделы.

Performance Tuning for Latency-Sensitive Workloads: VMware vSphere 8 (скачать)

В январе 2025 года компания VMware опубликовала технический документ под названием «Performance Tuning for Latency-Sensitive Workloads: VMware vSphere 8». Этот документ предоставляет рекомендации по оптимизации производительности для рабочих нагрузок, критичных к задержкам, в среде VMware vSphere 8.

Документ охватывает различные аспекты конфигурации, включая требования к базовой инфраструктуре, настройки хоста, виртуальных машин, сетевые аспекты, а также оптимизацию операционной системы и приложений. В разделе «Host considerations» обсуждаются такие темы, как изменение настроек BIOS на физическом сервере, отключение EVC, управление vMotion и DRS, а также настройка продвинутых параметров, таких как отключение action affinity и открытие кольцевых буферов.

В разделе «VM considerations» рассматриваются рекомендации по оптимальному выделению ресурсов виртуальным машинам, использованию актуальных версий виртуального оборудования, настройке vTopology, отключению функции hot-add, активации параметра чувствительности к задержкам для каждой ВМ, а также использовании сетевого адаптера VMXNET3. Кроме того, обсуждается балансировка потоков передачи и приема данных, привязка потоков передачи к определенным ядрам, ассоциация ВМ с конкретными NUMA-нодами и использование технологий SR-IOV или DirectPath I/O при необходимости.

Раздел о сетевых настройках акцентирует внимание на использовании улучшенного пути передачи данных для NFV-нагрузок и разгрузке сервисов vSphere на DPU (Data Processing Units), также известных как SmartNICs.

Наконец, в разделе, посвященном настройке гостевой ОС и приложений, приводятся рекомендации по оптимизации производительности на уровне операционной системы и приложений, работающих внутри виртуальных машин.

VMware vCenter 8.0 U3 Tagging Performance Best Practices (скачать)

Команда инженеров подразделения производительности VMware Cloud Foundation в Broadcom представила обновленный технический документ о лучших практиках производительности тегирования для VMware vCenter 8.0 U3.

В документе описаны улучшения производительности различных API тегирования, которые доступны для vCenter в VMware vSphere Automation SDK. Он содержит примеры кода и обновленные данные о производительности.

По сравнению с выпуском vCenter 7.0 U3, версия 8.0 U3 демонстрирует значительное ускорение работы API привязки тегов:

• attach() – увеличение скорости на 40%.
• attachTagToMultipleObjects() – увеличение скорости на 200%.
• attachMultipleTagsToObject() – увеличение скорости на 31%–36%.

Помимо привязки тегов, в документе представлены данные о запросах виртуальных машин, связанных с тегами, а также об улучшениях работы режима связи нескольких vCenter - Enhanced Linked Mode. vCenter 8.0 U3 поддерживает те же лимиты, что и 7.0 U3, в отношении количества тегов, категорий и привязок тегов, но при этом обеспечивает повышенную производительность.

В частности, attachTagToMultipleObjects() показывает увеличение производительности на 200% при привязке 15 тегов к 5000 виртуальным машинам в vCenter 8.0 U3 по сравнению с 7.0 U3.

VMware Private AI Foundation – Privacy and Security Best Practices (скачать)

Летом 2024 года Фрэнк Даннеман написал интересный аналитический документ «VMware Private AI Foundation – Privacy and Security Best Practices», который раскрывает основные концепции безопасности для инфраструктуры частного AI (в собственном датацентре и на базе самостоятельно развернутых моделей, которые работают в среде виртуализации).

Как многие из вас знают, мир искусственного интеллекта стремительно развивается, и с этим появляются новые вызовы, особенно в области конфиденциальности и безопасности. Этот документ не ограничивается теорией. Это практическое руководство, в котором представлены базовые концепции, структуры и модели, лежащие в основе безопасности приватного AI. В нем подробно рассматриваются ключевые аспекты конфиденциальности и безопасности в контексте ИИ, а также предоставляются инструменты, которые помогут вам внедрить эти принципы в своей работе. Вы узнаете о принципе совместной ответственности, моделировании угроз для приложений с генеративным AI, а также о триаде CIA — конфиденциальность, целостность и доступность, которая используется как основная модель информационной безопасности.

Документ «VMware Private AI Foundation – Лучшие практики обеспечения конфиденциальности и безопасности» предоставляет подробное руководство по внедрению и поддержке приватных AI-решений в корпоративных дата-центрах, уделяя особое внимание вопросам конфиденциальности и безопасности.

Основные моменты документа:

1. Преимущества Private AI в корпоративных датацентрах:

   • Контроль и безопасность: организации получают полный контроль над своими данными и моделями, что позволяет минимизировать риски, связанные с конфиденциальностью, и избегать зависимости от сторонних поставщиков.
   • Экономическая эффективность: Private AI позволяет управлять расходами на AI, избегая неожиданных затрат от сторонних сервисов и оптимизируя ИТ-бюджет.
   • Гибкость и инновации: быстрое тестирование и настройка AI-моделей на внутренних данных без задержек, связанных с внешними сервисами, что способствует повышению производительности и точности моделей.
2. Принцип совместной ответственности в Private AI:
   
   • Документ подчеркивает важность распределения обязанностей между поставщиком инфраструктуры и организацией для обеспечения безопасности и соответствия требованиям.
3. Моделирование угроз для Gen-AI приложений:
   • Рассматриваются потенциальные угрозы для генеративных AI-приложений и предлагаются стратегии их смягчения, включая анализ угроз и разработку соответствующих мер безопасности.
4. Модель CIA (Конфиденциальность, Целостность, Доступность):
   • Конфиденциальность: обсуждаются методы защиты данных, включая контроль доступа, шифрование и обеспечение конфиденциальности пользователей.
   • Целостность: рассматриваются механизмы обеспечения точности и согласованности данных и моделей, а также защита от несанкционированных изменений.
   • Доступность: подчеркивается необходимость обеспечения постоянного и надежного доступа к данным и моделям для авторизованных пользователей.
5. Защита Gen-AI приложений:
   • Предлагаются лучшие практики для обеспечения безопасности генеративных AI-приложений, включая разработку безопасной архитектуры, управление доступом и постоянный мониторинг.
6. Архитектура Retrieval-Augmented Generation (RAG):
   • Документ подробно описывает процесс индексирования, подготовки данных и обеспечения безопасности в архитектурах RAG, а также методы эффективного поиска и извлечения релевантной информации для улучшения работы AI-моделей.

В заключение, документ предоставляет всестороннее руководство по созданию и поддержке приватных AI-решений, акцентируя внимание на критически важных аспектах конфиденциальности и безопасности, что позволяет организациям уверенно внедрять AI-технологии в своих инфраструктурах.

Постер VMware Cloud Foundation (VCF) 5.2.1 (скачать)

Компания VMware выпустила постер для виртуальной инфраструктуры VMware Cloud Foundation (VCF) 5.2.1. Это незаменимый гид для администраторов по созданию и управлению современной, безопасной и масштабируемой частной облачной инфраструктурой. Он подчеркивает ключевые компоненты, такие как хранилище vSAN, сети NSX и передовые инструменты автоматизации для упрощения работы.

Узнайте, как VCF упрощает развертывание инфраструктуры, повышает уровень безопасности и интегрируется с рабочими нагрузками AI с использованием решений NVIDIA. Независимо от того, оптимизируете ли вы операции, управляете нагрузками или защищаете данные, этот постер предоставляет наглядную дорожную карту для максимального использования вашей облачной инфраструктуры.

Hardening and Securing VMware Cloud Foundation (скачать)

На конференции VMware Explore 2024 была представлена презентация "Hardening and Securing VMware Cloud Foundation" (#VCFT1616LV), в которой инженер по безопасности и комплаенсу Broadcom Боб Планкерс поделился ключевыми стратегиями и подходами к обеспечению безопасности VMware Cloud Foundation (VCF).

Презентация фокусируется на многоуровневом подходе к защите инфраструктуры VCF, охватывая такие ключевые аспекты, как:

• Основы информационной безопасности: реализация принципов конфиденциальности, целостности и доступности данных.
• Технические меры защиты: использование шифрования данных, проверка подлинности компонентов, функции Secure Boot и другие механизмы.
• Проектирование систем: ранняя интеграция функций безопасности, адаптация к уникальным требованиям каждой организации и применение компенсирующих средств контроля.
• Соответствие стандартам: использование DISA STIG, CIS Benchmarks и других гайдлайнов для минимизации уязвимостей и упрощения аудита.

Одним из главных акцентов стала концепция "Zero Trust", которая предполагает минимизацию доверия ко всем компонентам и пользователям системы. Также рассмотрены стратегии аутентификации и авторизации, включая федерацию идентификаций и внедрение многофакторной аутентификации (MFA).

Презентация содержит и практические рекомендации, такие как:

• Отключение неиспользуемых функций управления серверами (например, IPMI, SSH).
• Настройка безопасной загрузки (UEFI Secure Boot) и использования Trusted Platform Module (TPM).
• Оптимизация управления доступом через модели RBAC и изоляцию критических систем.

Protecting and Recovering Mission Critical Applications in a VMware Hybrid Cloud with VMware Live Site Recovery (скачать)

VMware выпустила новое руководство «Защита и восстановление критически важных приложений в гибридном облаке VMware с помощью VMware Live Site Recovery».

Документ подробно описывает, как предприятия могут использовать VMware Live Site Recovery для автоматизации и упрощения планов обеспечения непрерывности бизнеса и восстановления после катастроф (BCDR) для критически важных приложений, таких как контроллеры домена Windows Active Directory и Microsoft SQL Server.

Руководство охватывает ключевые аспекты, включая настройку репликации виртуальных машин между защищаемым и резервным сайтами, создание групп защиты и планов восстановления, а также использование встроенных сценариев для автоматизации процессов восстановления. Особое внимание уделяется тестированию планов восстановления без нарушения работы производственной среды, что позволяет организациям убедиться в надежности своих стратегий BCDR.

VMware Live Site Recovery предлагает унифицированное управление возможностями восстановления после катастроф и защиты от программ-вымогателей через облачный интерфейс, обеспечивая защиту VMware vSphere виртуальных машин путем их репликации в облачную файловую систему с возможностью быстрого восстановления при необходимости.

Это руководство является ценным ресурсом для организаций, стремящихся усилить свои стратегии защиты данных и обеспечить бесперебойную работу критически важных приложений в гибридных облачных средах.

Key Workloads and Use Cases for Virtualized Storage (скачать)

В то время, как организации по всему миру стремятся преобразовать свою инфраструктуру, чтобы соответствовать требованиям цифровой эпохи, гиперконвергентное хранилище стало ключевым инструментом для модернизации ИТ. Решение VMware vSAN находится на переднем плане этой революции, предлагая гибкое, масштабируемое и экономически эффективное решение для управления критически важными рабочими нагрузками.

Однако, когда ИТ-служба принимает решение о внедрении новой технологии, такой как гиперконвергентное хранилище, первый шаг может казаться сложным. Есть очевидные моменты для начала, такие как обновление инфраструктуры или новое развертывание ИТ в периферийной локации. Что касается рабочих нагрузок, то кривая внедрения — какие нагрузки выбрать для старта и как продвигаться дальше — может представлять собой некоторую загадку.

VMware недавно заказала исследование Key Workloads and Use Cases for Virtualized Storage у компании Enterprise Strategy Group, чтобы изучить роль гиперконвергентного хранилища, его преимущества и ключевые случаи применения, где оно оказывает значительное влияние. Рекомендации основаны на опросах сотен пользователей гиперконвергентных хранилищ, а также на тысячах реальных внедрений.

Постер VMware vSphere PowerCLI 10

Постер VMware Cloud Foundation 4 Architecture

Постер VMware vCloud Networking

Постер VMware Cloud on AWS Logical Design Poster for Workload Mobility

Постер Azure VMware Solution Logical Design

Постер Google Cloud VMware Engine Logical Design

Постер Multi-Cloud Application Mobility

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):