Новости Статьи VMware Veeam StarWind vStack Microsoft Nakivo Citrix Symantec События Релизы Видео Контакты Авторы RSS
Виртуализация и виртуальные машины

Все самое нужное о виртуализации и облаках

Более 6120 заметок о VMware, AWS, Azure, Veeam, Kubernetes и других

VM Guru / Articles / Последние инициативы компании VMware в сфере поддержки систем искусственного интеллекта

Последние инициативы компании VMware в сфере поддержки систем искусственного интеллекта

Последние инициативы компании VMware в сфере поддержки систем искусственного интеллекта

Автор: Александр Самойленко
Дата: 13/10/2023

Интересное:



Поддержите VM Guru:

Скачайте бесплатную пробную версию Veeam Backup and Replication!

Статья:

На прошедшей в этом году конференции Explore 2023 компания VMware сделала множество интересных анонсов в сфере искусственного интеллекта (AI). Сейчас, когда технологии генеративного AI выходят на первый план, особенно важно организовать инфраструктуру для них - то есть подготовить программное и аппаратное обеспечение таким образом, чтобы расходовать ресурсы, необходимые для AI и ML, наиболее эффективно, так как уже сейчас в сфере Corporate AI требуются совершенно другие мощности, чтобы обслуживать эти задачи.

Одним из пионеров в этой новой отрасли стала компания VMware, которая не только совместно с большими партнерами, такими как NVIDIA развивает инциативу Private AI для построения высокопроизводительных систем GenAI, но и дает всему сообществу набор инструментов для работы с открытыми технологиями, с производителями которых VMware также организует партнерства. Третий важный момент - VMware не забывает использовать инструменты в области AI и машинного обучения и в своей собственной продуктовой линейке, которая непрерывно развивается и пополняется новыми технологиями и продуктами. Обо всем этом мы и поговорим в данной статье.

1. Инициатива Private AI от VMware и NVIDIA

Сегодня организации стремятся использовать AI-технологии, но задумываются о рисках для интеллектуальной собственности, утечке данных и контроле доступа к моделям искусственного интеллекта. Эти проблемы определяют необходимость внедрения и использования корпоративного приватного AI.

Об этом недавно компания VMware записала интересное видео:

Рассмотрим этот важный анонс немного детальнее. Вот что приватный AI внутри вашей организации может предложить по сравнению с публичной инфраструктурой ChatGPT:

  • Распределенность: вычислительная мощность и модели AI будут находиться рядом с данными. Это требует инфраструктуры, поддерживающей централизованное управление.
  • Конфиденциальность данных: данные организации остаются в ее владении и не используются для тренировки других моделей без согласия компании.
  • Контроль доступа: установлены механизмы доступа и аудита для соблюдения политик компании и регуляторных правил.

Приватный AI не обязательно требует частных облаков, главное — соблюдение требований конфиденциальности и контроля.

Подход VMware Private AI

VMware специализируется на управлении рабочими нагрузками различной природы и имеет огромный опыт, полезный для имплементации успешного приватного AI. К основным преимуществам подхода VMware Private AI относятся:

  • Выбор: организации могут легко сменить коммерческие AI-сервисы или использовать открытые модели, адаптируясь к бизнес-требованиям.
  • Конфиденциальность: современные методы защиты обеспечивают конфиденциальность данных на всех этапах их обработки.
  • Производительность: показатели AI-задач равны или даже превышают аналоги на чистом железе, как показали отраслевые тесты, выполненные в VMware на базе технологий NVIDIA.
  • Управление: единый подход к управлению снижает затраты и риски ошибок.
  • Time-to-value: AI-окружения можно быстро поднимать и выключать за считанные секунды, что повышает гибкость и скорость реакции на возникающие задачи.
  • Эффективность: быстрое развертывание корпоративных AI-сред и оптимизация использования ресурсов снижают общие затраты на инфраструктуру и решение задач, которые связаны с AI.

Таким образом, платформа VMware Private AI предлагает гибкий и эффективный способ внедрения корпоративного приватного AI.

VMware Private AI Foundation в партнерстве с NVIDIA

VMware сотрудничает с NVIDIA для создания универсальной платформы VMware Private AI Foundation with NVIDIA. Эта платформа поможет предприятиям настраивать большие языковые модели, создавать более безопасные модели для внутреннего использования, предлагать генеративный AI как сервис и безопасно масштабировать задачи генерации результатов.

Решение основано на средах VMware Cloud Foundation и NVIDIA AI Enterprise и будет предлагать следующие преимущества:

  • Масштабирование уровня датацентров: множественные пути ввода-вывода для GPU позволяют масштабировать AI-нагрузки до 16 виртуальных GPU в одной виртуальной машине.
  • Производительное хранение: архитектура VMware vSAN Express обеспечивает оптимизированное хранение на базе хранилищ NVMe и технологии GPUDirect storage over RDMA, а также поддерживает прямую передачу данных от хранилища к GPU без участия CPU.
  • Образы виртуальных машин vSphere для Deep Learning: быстрое прототипирование с предустановленными фреймворками и библиотеками.

В решении будет использоваться NVIDIA NeMo - это cloud-native фреймворк в составе NVIDIA AI Enterprise, который упрощает и ускоряет внедрение генеративного ИИ.

Аппаратная архитектура VMware Private AI

С точки зрения оборудования, VMware Private AI Foundation with NVIDIA сначала будет работать на системах от Dell Technologies, Hewlett Packard Enterprise (HPE) и Lenovo, которые будут иметь на борту графические процессоры NVIDIA L40S, NVIDIA BlueField-3 DPU и сетевые карты NVIDIA ConnectX-7 SmartNIC.

  • NVIDIA L40S обеспечивает на 1,2x больше производительности при выполнении вывода генеративных AI-моделей и на 1,7x больше производительности при обучении по сравнению с графическим процессором NVIDIA A100 Tensor Core.
  • DPU NVIDIA BlueField-3 ускоряют, выгружают и изолируют огромные вычислительные нагрузки от виртуализации, сетевых технологий, систем хранения данных, безопасности и других облачных AI-сервисов от графического процессора или центрального процессора.
  • Сетевые карты NVIDIA ConnectX-7 SmartNICs обеспечивают умные и производительные сетевые возможности для инфраструктуры центров обработки данных, отдавая наиболее ресурсоемкие задачи на сторону умных сетевых карт.
Программная архитектура VMware Private AI

AI-лаборатории VMware совместно с партнерами разработали решение для AI-сервисов, обеспечивающее приватность данных, гибкость выбора ИИ-решений и интегрированную безопасность. Архитектура предлагает:

  • Использование лучших моделей и инструментов, адаптированных к бизнес-потребностям.
  • Быстрое внедрение благодаря документированной архитектуре и коду.
  • Интеграцию с популярными открытыми проектами, такими как ray.io, Kubeflow, PyTorch, pgvector и моделями Hugging Face.

Архитектура поддерживает коммерческие и открытые MLOps-инструменты от партнеров VMware, такие как MLOps toolkit for Kubernetes, а также различные надстройки (например, Anyscale, cnvrg.io, Domino Data Lab, NVIDIA, One Convergence, Run:ai и Weights & Biases). В состав платформы уже включен самый популярный инструмент PyTorch для генеративного AI.

Сотрудничество с AnyScale расширяет применение Ray AI для онпремизных вариантов использования. Интеграция с Hugging Face обеспечивает простоту и скорость внедрения открытых моделей.

Решение Private AI уже применяется в собственных датацентрах VMware, показывая впечатляющие результаты по стоимости, масштабу и производительности разработчиков.

Чтобы начать ознакомление с VMware Private AI можно начать с прочтения референсной архитектуры и примеров кода. Кроме того, очень полезной вам может оказаться вот эта статья от VMware, а также вот этот материал о развертывании платформы.

2. Открытая архитектура VMware Private AI Reference Architecture for Open Source

Архитектура VMware Private AI Reference для Open Source интегрирует инновационные технологии OSS (open source software) для предоставления открытой эталонной архитектуры создания и использования OSS-моделей на базе VMware Cloud Foundation. На конференции Explore 2023 компания VMware анонсировала сотрудничество с ведущими компаниями, которые создают ценность корпоративного AI в ИТ-инфраструктуре больших организаций на базе Open Source:

  • Anyscale: VMware внедряет широко используемую открытую вычислительную платформу Ray в средах VMware Cloud. Решение Ray on VMware Cloud Foundation облегчает масштабирование AI и рабочих нагрузок Python для инженеров по данным и MLOps, позволяя использовать собственные вычислительные ресурсы для ML-нагрузок, а не переходить в публичное облако.

  • Domino Data Lab: VMware, Domino Data Lab и NVIDIA объединились для предоставления унифицированной платформы для аналитики, Data Science и инфраструктуры, оптимизированной, проверенной и поддерживаемой для развертывания AI/ML в финансовой отрасли.

  • Глобальные системные интеграторы: VMware сотрудничает с ведущими интеграторами систем, такими как Wipro и HCL, чтобы помочь клиентам ощутить преимущества Private AI, создавая и предоставляя готовые решения, которые объединяют VMware Cloud с решениями экосистемы партнеров по AI.

  • Intel: VMware vSphere/vSAN 8 и Tanzu оптимизированы под программный набор интеллектуальных технологий Intel для использования новых встроенных ускорителей AI на последних процессорах Intel Xeon Scalable четвертого поколения.

Кроме того, VMware объявляет о запуске новой программы VMware AI Ready (пока это доступно только для частных решений, например, в партнерстве с NVIDIA), которая предоставит ISV (независимым производителям программного обеспечения) инструменты и ресурсы, необходимые для валидации и сертификации своих продуктов на архитектуре VMware Private AI Reference. Программа будет доступна ISV, специализирующимся на ML и LLM Ops, инженерии данных, инструментах для разработчиков AI, а также встроенных AI-приложениях. Ожидается, что новая программа станет активной к концу 2023 года.

3. Технологии Intelligent Assist для использования Generative AI в продуктах VMware

Также в рамках конференции Explore компания VMware представила Intelligent Assist — семейство решений на основе генеративного искусственного интеллекта, обученных на собственных данных VMware для упрощения и автоматизации различных аспектов корпоративных ИТ-систем в эпоху использования нескольких облаков одной компанией.

Функции Intelligent Assist будут интегрироваться в сервисы VMware Cross-Cloud и будут построены на базе архитектуры VMware Private AI. Предполагается, что с Intelligent Assist будут работать следующие продукты VMware:

  • VMware Tanzu with Intelligent Assist (пока в статусе Tech Preview) - это средство в рамках семейства технологий Tanzu Intelligence Services улучшит операции, сделав их более проактивными, и значительно оптимизирует рабочие процессы за счет использования чат-бота с генеративным AI на базе большой языковой модели (LLM), которая использует федеративную архитектуру данных в интегрированных решениях VMware Tanzu Hub.

  • Workspace ONE with Intelligent Assist (пока в статусе Tech Preview, известен как Project Oakville) позволит пользователям создавать качественные скрипты, используя подсказки на естественном языке, что обеспечит более быстрый и эффективный процесс написания скриптов.
  • NSX+ with Intelligent Assist (пока в статусе Tech Preview) - это средство позволит аналитикам в области безопасности быстро и точно определять релевантность результатов проверки безопасности и эффективно устранять угрозы.

Итоги

VMware неплохо подготовилась к новому витку технологий на базе генеративного AI, который ускорился в начале 2023 года с появлением ChatGPT. Очевидно, что VMware вела эту работу сильно заранее, поэтому у нее есть все шансы оседлать лавинообразный хайп в этой отрасли. Если этот год стал годом прорыва "консьюмерского" AI в виде ChatGPT, то следующий год, очевидно, станет годом корпоративного AI, когда наработанные сейчас технологии найдут широчайшее применение в средствах управления организациями, сначала в виде "копилотов", а потом уже заменят и реальных менеджеров различного уровня в больших организациях. Для всего этого нужна надежно работающая инфраструктура с поддержкой этих технологий как на программном, так и на аппаратном уровне - и, судя по всему, VMware технологически готова стать надежной платформой для новой организации корпоративного ИТ.

Интересное:



Зал Славы Рекламодателя
Ближайшие события в области виртуализации:

26/08/2024:  VMware Explore 2024 Лас-Вегас
04/11/2024:  VMware Explore 2024 Барселона

Быстрый переход:
VMware VMachines Offtopic NAKIVO vStack Gartner Veeam Vinchin StarWind Nakivo IT-Grad Cloud Teradici VeeamON VMworld PowerCLI Citrix VSAN GDPR 5nine Hardware Nutanix vSphere RVTools Enterprise Security Code Cisco vGate Microsoft SDRS Parallels IaaS HP VMFS VM Guru Oracle Red Hat Azure KVM VeeamOn 1cloud DevOps Docker Storage NVIDIA Partnership Dell Virtual SAN Virtualization VMTurbo vRealize VirtualBox Symantec Softline EMC Login VSI Xen Amazon NetApp VDI Linux Hyper-V IBM Google VSI Security Windows vCenter Webinar View VKernel Events Windows 7 Caravan Apple TPS Hyper9 Nicira Blogs IDC Sun VMC Xtravirt Novell IntelVT Сравнение VirtualIron XenServer CitrixXen ESXi ESX ThinApp Books P2V AI Host Client VCF Avi vSAN Explore Chargeback Aria Horizon Labs SASE Skyline Tanzu Workspace ONE Networking Private AI Backup Ransomware Tools Performance Workstation Lifecycle VCP Network AWS Intel API USB SDDC Fusion Whitepaper SD-WAN Mobile VMUG SRM ARM HCI Converter HCX Photon OS Operations VEBA App Volumes NSX Certification VMConAWS Workspace Imager SplinterDB DRS SAN vMotion Open Source iSCSI Partners HA Monterey Kubernetes V2V vForum Learning vRNI UAG Support Log Insight AMD vCSA NSX-T Graphics NVMe HCIBench SureBackup vCloud Обучение Web Client Update vExpert OpenStack UEM CPU PKS vROPs Stencils Bug VTL EUC Forum Video Update Manager VVols DR Cache Storage DRS Visio Manager Virtual Appliance PowerShell LSFS Client Datacenter Agent esxtop Book Photon Cloud Computing SSD Comparison Blast Encryption Nested XenDesktop VSA vNetwork SSO VMDK Appliance VUM HoL Automation Replication Desktop Fault Tolerance Vanguard SaaS Connector Event Free SQL Sponsorship Finance FT Containers XenApp Snapshots vGPU Auto Deploy SMB RDM Mirage XenClient MP SC VMM VDP PCoIP RHEV vMA Award Licensing Logs Server Demo vCHS Calculator Бесплатно Beta Exchange MAP ONE DaaS Hybrid Monitoring VPLEX UCS GPU SDK Poster VSPP Receiver VDI-in-a-Box Deduplication Reporter vShield ACE Go nworks iPad XCP Data Recovery Documentation Sizing Pricing VMotion Snapshot FlexPod VMsafe Enteprise Monitor vStorage Essentials Live Migration SCVMM TCO Studio AMD-V KB VirtualCenter NFS ThinPrint ESA Troubleshooting Director Android Python Upgrade Stretched ML Hub Guardrails CLI VCPP Memory Driver Foundation HPC Orchestrator Optimization Bugs SVMotion Diagram Ports SIOC Plugin Helpdesk VIC VDS Migration Air DPM Flex Mac SSH VAAI Heartbeat MSCS Composer
Полезные постеры:

Постер VMware vSphere PowerCLI 10

Постер VMware Cloud Foundation 4 Architecture

Постер VMware vCloud Networking

Постер VMware Cloud on AWS Logical Design Poster for Workload Mobility

Постер Azure VMware Solution Logical Design

Постер Google Cloud VMware Engine Logical Design

Постер Multi-Cloud Application Mobility

Постер VMware NSX (референсный):

Постер VMware vCloud SDK:

Постер VMware vCloud Suite:

Управление памятью в VMware vSphere 5:

Как работает кластер VMware High Availability:

Постер VMware vSphere 5.5 ESXTOP (обзорный):

 

Популярные статьи:
Как установить VMware ESXi. Инструкция по установке сервера ESXi 4 из состава vSphere.

Включение поддержки технологии Intel VT на ноутбуках Sony VAIO, Toshiba, Lenovo и других.

Типы виртуальных дисков vmdk виртуальных машин на VMware vSphere / ESX 4.

Как настроить запуск виртуальных машин VMware Workstation и Server при старте Windows

Как работают виртуальные сети VLAN на хостах VMware ESX / ESXi.

Сравнение Oracle VirtualBox и VMware Workstation.

Что такое и как работает виртуальная машина Windows XP Mode в Windows 7.

Работа с дисками виртуальных машин VMware.

Диски RDM (Raw Device Mapping) для виртуальных машин VMware vSphere и серверов ESX.

Инфраструктура виртуальных десктопов VMware View 3 (VDI)

Подключение локальных SATA-дисков сервера VMware ESXi в качестве хранилищ RDM для виртуальных машин.

Как использовать возможности VMware vSphere Management Assistant (vMA).

Где скачать последнюю версию VMware Tools для виртуальных машин на VMware ESXi.

Бесплатные утилиты для виртуальных машин на базе VMware ESX / ESXi.

Как перенести виртуальную машину VirtualBox в VMware Workstation и обратно

Интервью:

Alessandro Perilli
virtualization.info
Основатель

Ратмир Тимашев
Veeam Software
Президент


Полезные ресурсы:

Последние 100 утилит VMware Labs

Новые возможности VMware vSphere 8.0 Update 1

Новые возможности VMware vSAN 8.0 Update 1

Новые документы от VMware

Новые технологии и продукты на VMware Explore 2022

Анонсы VMware весной 2021 года

Новые технологии и продукты на VMware VMworld 2021

Новые технологии и продукты на VMware VMworld 2020

Новые технологии и продукты на VMware VMworld Europe 2019

Новые технологии и продукты на VMware VMworld US 2019

Новые технологии и продукты на VMware VMworld 2019

Новые технологии и продукты на VMware VMworld 2018

Новые технологии и продукты на VMware VMworld 2017



Copyright VM Guru 2006 - 2024, Александр Самойленко. Правила перепечатки материалов.
vExpert Badge