На прошедшей в этом году конференции Explore 2023 компания VMware сделала множество интересных анонсов в сфере искусственного интеллекта (AI). Сейчас, когда технологии генеративного AI выходят на первый план, особенно важно организовать инфраструктуру для них - то есть подготовить программное и аппаратное обеспечение таким образом, чтобы расходовать ресурсы, необходимые для AI и ML, наиболее эффективно, так как уже сейчас в сфере Corporate AI требуются совершенно другие мощности, чтобы обслуживать эти задачи.
Одним из пионеров в этой новой отрасли стала компания VMware, которая не только совместно с большими партнерами, такими как NVIDIA развивает инциативу Private AI для построения высокопроизводительных систем GenAI, но и дает всему сообществу набор инструментов для работы с открытыми технологиями, с производителями которых VMware также организует партнерства. Третий важный момент - VMware не забывает использовать инструменты в области AI и машинного обучения и в своей собственной продуктовой линейке, которая непрерывно развивается и пополняется новыми технологиями и продуктами. Обо всем этом мы и поговорим в данной статье.
1. Инициатива Private AI от VMware и NVIDIA
Сегодня организации стремятся использовать AI-технологии, но задумываются о рисках для интеллектуальной собственности, утечке данных и контроле доступа к моделям искусственного интеллекта. Эти проблемы определяют необходимость внедрения и использования корпоративного приватного AI.
Об этом недавно компания VMware записала интересное видео:
Рассмотрим этот важный анонс немного детальнее. Вот что приватный AI внутри вашей организации может предложить по сравнению с публичной инфраструктурой ChatGPT:
Распределенность: вычислительная мощность и модели AI будут находиться рядом с данными. Это требует инфраструктуры, поддерживающей централизованное управление.
Конфиденциальность данных: данные организации остаются в ее владении и не используются для тренировки других моделей без согласия компании.
Контроль доступа: установлены механизмы доступа и аудита для соблюдения политик компании и регуляторных правил.
Приватный AI не обязательно требует частных облаков, главное — соблюдение требований конфиденциальности и контроля.
Подход VMware Private AI
VMware специализируется на управлении рабочими нагрузками различной природы и имеет огромный опыт, полезный для имплементации успешного приватного AI. К основным преимуществам подхода VMware Private AI относятся:
Выбор: организации могут легко сменить коммерческие AI-сервисы или использовать открытые модели, адаптируясь к бизнес-требованиям.
Конфиденциальность: современные методы защиты обеспечивают конфиденциальность данных на всех этапах их обработки.
Управление: единый подход к управлению снижает затраты и риски ошибок.
Time-to-value: AI-окружения можно быстро поднимать и выключать за считанные секунды, что повышает гибкость и скорость реакции на возникающие задачи.
Эффективность: быстрое развертывание корпоративных AI-сред и оптимизация использования ресурсов снижают общие затраты на инфраструктуру и решение задач, которые связаны с AI.
Таким образом, платформа VMware Private AI предлагает гибкий и эффективный способ внедрения корпоративного приватного AI.
VMware Private AI Foundation в партнерстве с NVIDIA
VMware сотрудничает с NVIDIA для создания универсальной платформы VMware Private AI Foundation with NVIDIA. Эта платформа поможет предприятиям настраивать большие языковые модели, создавать более безопасные модели для внутреннего использования, предлагать генеративный AI как сервис и безопасно масштабировать задачи генерации результатов.
Решение основано на средах VMware Cloud Foundation и NVIDIA AI Enterprise и будет предлагать следующие преимущества:
Масштабирование уровня датацентров: множественные пути ввода-вывода для GPU позволяют масштабировать AI-нагрузки до 16 виртуальных GPU в одной виртуальной машине.
Производительное хранение: архитектура VMware vSAN Express обеспечивает оптимизированное хранение на базе хранилищ NVMe и технологии GPUDirect storage over RDMA, а также поддерживает прямую передачу данных от хранилища к GPU без участия CPU.
Образы виртуальных машин vSphere для Deep Learning: быстрое прототипирование с предустановленными фреймворками и библиотеками.
В решении будет использоваться NVIDIA NeMo - это cloud-native фреймворк в составе NVIDIA AI Enterprise, который упрощает и ускоряет внедрение генеративного ИИ.
Аппаратная архитектура VMware Private AI
С точки зрения оборудования, VMware Private AI Foundation with NVIDIA сначала будет работать на системах от Dell Technologies, Hewlett Packard Enterprise (HPE) и Lenovo, которые будут иметь на борту графические процессоры NVIDIA L40S, NVIDIA BlueField-3 DPU и сетевые карты NVIDIA ConnectX-7 SmartNIC.
NVIDIA L40S обеспечивает на 1,2x больше производительности при выполнении вывода генеративных AI-моделей и на 1,7x больше производительности при обучении по сравнению с графическим процессором NVIDIA A100 Tensor Core.
DPU NVIDIA BlueField-3 ускоряют, выгружают и изолируют огромные вычислительные нагрузки от виртуализации, сетевых технологий, систем хранения данных, безопасности и других облачных AI-сервисов от графического процессора или центрального процессора.
Сетевые карты NVIDIA ConnectX-7 SmartNICs обеспечивают умные и производительные сетевые возможности для инфраструктуры центров обработки данных, отдавая наиболее ресурсоемкие задачи на сторону умных сетевых карт.
Программная архитектура VMware Private AI
AI-лаборатории VMware совместно с партнерами разработали решение для AI-сервисов, обеспечивающее приватность данных, гибкость выбора ИИ-решений и интегрированную безопасность. Архитектура предлагает:
Использование лучших моделей и инструментов, адаптированных к бизнес-потребностям.
Быстрое внедрение благодаря документированной архитектуре и коду.
Интеграцию с популярными открытыми проектами, такими как ray.io, Kubeflow, PyTorch, pgvector и моделями Hugging Face.
Архитектура поддерживает коммерческие и открытые MLOps-инструменты от партнеров VMware, такие как MLOps toolkit for Kubernetes, а также различные надстройки (например, Anyscale, cnvrg.io, Domino Data Lab, NVIDIA, One Convergence, Run:ai и Weights & Biases). В состав платформы уже включен самый популярный инструмент PyTorch для генеративного AI.
Сотрудничество с AnyScale расширяет применение Ray AI для онпремизных вариантов использования. Интеграция с Hugging Face обеспечивает простоту и скорость внедрения открытых моделей.
Решение Private AI уже применяется в собственных датацентрах VMware, показывая впечатляющие результаты по стоимости, масштабу и производительности разработчиков.
2. Открытая архитектура VMware Private AI Reference Architecture for Open Source
Архитектура VMware Private AI Reference для Open Source интегрирует инновационные технологии OSS (open source software) для предоставления открытой эталонной архитектуры создания и использования OSS-моделей на базе VMware Cloud Foundation. На конференции Explore 2023 компания VMware анонсировала сотрудничество с ведущими компаниями, которые создают ценность корпоративного AI в ИТ-инфраструктуре больших организаций на базе Open Source:
Anyscale: VMware внедряет широко используемую открытую вычислительную платформу Ray в средах VMware Cloud. Решение Ray on VMware Cloud Foundation облегчает масштабирование AI и рабочих нагрузок Python для инженеров по данным и MLOps, позволяя использовать собственные вычислительные ресурсы для ML-нагрузок, а не переходить в публичное облако.
Domino Data Lab: VMware, Domino Data Lab и NVIDIA объединились для предоставления унифицированной платформы для аналитики, Data Science и инфраструктуры, оптимизированной, проверенной и поддерживаемой для развертывания AI/ML в финансовой отрасли.
Глобальные системные интеграторы: VMware сотрудничает с ведущими интеграторами систем, такими как Wipro и HCL, чтобы помочь клиентам ощутить преимущества Private AI, создавая и предоставляя готовые решения, которые объединяют VMware Cloud с решениями экосистемы партнеров по AI.
Hugging Face: VMware сотрудничает с Hugging Face для обеспечения работы SafeCoder на виртуальных платформах, о чем было объявлено на VMware Explore. SafeCoder – это коммерческое решение-помощник по написанию кода для предприятий, включая услуги, программное обеспечение и поддержку. VMware использует SafeCoder внутри для своих процессов и публикует эталонную архитектуру с примерами кода для обеспечения максимально быстрого времени достижения ценности для клиентов при развертывании и эксплуатации SafeCoder на инфраструктуре VMware.
Intel: VMware vSphere/vSAN 8 и Tanzu оптимизированы под программный набор интеллектуальных технологий Intel для использования новых встроенных ускорителей AI на последних процессорах Intel Xeon Scalable четвертого поколения.
Кроме того, VMware объявляет о запуске новой программы VMware AI Ready (пока это доступно только для частных решений, например, в партнерстве с NVIDIA), которая предоставит ISV (независимым производителям программного обеспечения) инструменты и ресурсы, необходимые для валидации и сертификации своих продуктов на архитектуре VMware Private AI Reference. Программа будет доступна ISV, специализирующимся на ML и LLM Ops, инженерии данных, инструментах для разработчиков AI, а также встроенных AI-приложениях. Ожидается, что новая программа станет активной к концу 2023 года.
3. Технологии Intelligent Assist для использования Generative AI в продуктах VMware
Также в рамках конференции Explore компания VMware представила Intelligent Assist — семейство решений на основе генеративного искусственного интеллекта, обученных на собственных данных VMware для упрощения и автоматизации различных аспектов корпоративных ИТ-систем в эпоху использования нескольких облаков одной компанией.
Функции Intelligent Assist будут интегрироваться в сервисы VMware Cross-Cloud и будут построены на базе архитектуры VMware Private AI. Предполагается, что с Intelligent Assist будут работать следующие продукты VMware:
VMware Tanzu with Intelligent Assist (пока в статусе Tech Preview) - это средство в рамках семейства технологий Tanzu Intelligence Services улучшит операции, сделав их более проактивными, и значительно оптимизирует рабочие процессы за счет использования чат-бота с генеративным AI на базе большой языковой модели (LLM), которая использует федеративную архитектуру данных в интегрированных решениях VMware Tanzu Hub.
Workspace ONE with Intelligent Assist (пока в статусе Tech Preview, известен как Project Oakville) позволит пользователям создавать качественные скрипты, используя подсказки на естественном языке, что обеспечит более быстрый и эффективный процесс написания скриптов.
NSX+ with Intelligent Assist (пока в статусе Tech Preview) - это средство позволит аналитикам в области безопасности быстро и точно определять релевантность результатов проверки безопасности и эффективно устранять угрозы.
Итоги
VMware неплохо подготовилась к новому витку технологий на базе генеративного AI, который ускорился в начале 2023 года с появлением ChatGPT. Очевидно, что VMware вела эту работу сильно заранее, поэтому у нее есть все шансы оседлать лавинообразный хайп в этой отрасли. Если этот год стал годом прорыва "консьюмерского" AI в виде ChatGPT, то следующий год, очевидно, станет годом корпоративного AI, когда наработанные сейчас технологии найдут широчайшее применение в средствах управления организациями, сначала в виде "копилотов", а потом уже заменят и реальных менеджеров различного уровня в больших организациях. Для всего этого нужна надежно работающая инфраструктура с поддержкой этих технологий как на программном, так и на аппаратном уровне - и, судя по всему, VMware технологически готова стать надежной платформой для новой организации корпоративного ИТ.
RSS
