Вчера мы рассказывали о новых возможностях архитектуры корпоративного уровня VMware Cloud Foundation 5.0. Напомним, что VCF - это главное программное комплексное инфраструктурное решение VMware, которое включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия под управлением SDDC Manager.

Сегодня мы расскажем о новых возможностях пакета vRealize Suite (новое название линейки - Aria), которые дают дополнительную масштабируемость, безопасность и несколько ключевых улучшений, которые направлены на соответствие требованиям для инфраструктур IaaS, упрощают развертывание облачных услуг на собственных площадках и обеспечивают дополнительную защиту от кибератак.

Итак, давайте посмотрим на ключевые новые возможности vRealize Suite:

• Новое в Aria (vRealize) Operations (vROps)

vROps предоставляет предиктивное и превентивное управление ИТ-операциями для частных, гибридных и многооблачных сред на единой платформе. Процесс внедрения VMware Cloud Foundation был упрощен для предоставления пользователям более глубокого понимания и контекста управления продуктами VMware Cloud Foundation. Механизм работы с логами был улучшен для обеспечения большей глубины данных и контекста за счет таких функций, как анализ трендов логов, поддержка фильтров для продвинутого решения проблем, виджет логов в панелях инструментов и поддержка полей логирования для сообщений логов.

Чтобы помочь клиентам получить целостное представление обо всех объектах, которые отслеживаются в vROps, была добавлен дэшборд многооблачной среды, отображающий все облака VMware и публичные облака, которые пользователи могут мониторить, а также показывает сводную информацию о том, что происходит в важнейших объектах, связанных с этим облаком.

Кроме того, такие функции, как улучшения планирования сценариев "Что если", и анализ стоимости облачной среды VMware, могут помочь клиентам анализировать и сравнивать стоимость всех их объектов и прорабатывать сценарии планирования для оптимизации затрат.

• Новое Aira (vRealize) Operations for Log Insights (vRLI)

Масштаб данных, генерируемых для инфраструктуры различных приложений огромен, и vRealize Operations for Log Insights (vRLI) предоставляет возможность понять эти данные. В новом релизе vRLI предлагает полное 360-градусное устранение неполадок, объединяющее метрики, журналы и многочисленные интеграции. Страница Webhooks улучшена для обеспечения последовательного рабочего процесса, такого как определения алертов и отчеты.

Возможности управления журналами для SaaS позволяют настраивать оповещения, которые помогают управлять расходами на SaaS с лучшей видимостью. Многие другие обновления для SaaS включают федеративное управление журналами, пакеты контента и новые API. Обновленные отчеты об использовании помогают понять объем данных, которые приложения отправляют в журналы, чтобы помочь управлять затратами на их хранение.

• Новое в Aria (Realize) Operations for Network Insights (vRNI)

vRNI предоставляет клиентам простой, легкий в использовании инструмент для управления сетью, который позволяет мониторить поток данных по всей инфраструктуре безопасным образом. Автоматическое обнаружение сети - это одна из новых мощных функций vRNI, с помощью которой можно автоматически обнаруживать устройства, такие как коммутаторы, маршрутизаторы и межсетевые экраны, во всей сети с помощью проверенных механизмов.

Благодаря этой функции сетевой администратор может легко определить, сколько устройств находится в сети, как ускорить добавление устройств и определить незавершенные сетевые пути. Улучшения удобства использования руководства по устранению неполадок в сети включают новые виджеты, обновленные диаграммы метрик, а также действия с деревом зависимостей, такие как фильтры и расширения. Новые сетевые метрики для интерфейсов ESXi Host pNIC, а также ядер CPU NSX-T Edge dataplane дополнительно улучшают процесс устранения неполадок.

• Новое в Aria (vRealize) Automation (vRA)

vRA позволяет ИТ-командам устранять неэффективность процессов с помощью end-to-end автоматизации. Теперь vRA поддерживает настраиваемые действия и действия "из коробки", выполняющиеся на одном и том же ресурсе или развертывании, что повышает эффективность и сокращает временные затраты. Новая архитектура плагинов раскрывает полный спектр возможностей, предлагаемых облачными провайдерами внутри vRA.

• Новое в Aria (vRealize) Suite Lifecycle Manager (vRSLCM)

vRSLCM теперь предоставляет интеграцию между продуктами vRealize Suite. С помощью vRLI вы теперь можете выполнять настройку переадресации журналов из других продуктов vRealize Suite в vRLI. Аналогично, с помощью vROps Manager, вы теперь можете выполнять настройку пакетов управления других продуктов vRealize в vRealize Operations Manager. Пользователи могут включать или отключать проверки состояния для продуктов vRealize Suite в vRSLCM. Если обновление vRA не удалось, вводится функция автоматического возврата, чтобы вернуть приложение к его предыдущему рабочему состоянию. Перед автовозвратом из vRealize Automation автоматически собирается support bundle и сохраняется в vRSLCM для целей устранения неполадок. Вы можете перейти к нужному продукту vRA в vRSLCM и загрузить последний сгенерированный support bundle.

Еще несколько полезных ресурсов о новой версии VMware Cloud Foundation 5.0:

• Announcing VMware Cloud Foundation 5.0
• What’s New with vSphere and vSAN in VCF 5.0
• What’s New with NSX in VMware Cloud Foundation 5.0
• VMware Cloud Foundation 5.0 Release Notes

По итогам конференции Explore 2022 компания VMware представила линейку продуктов Aria, пришедшую на смену семейству vRealize. В нее вошел также и продукт vRealize Log Insight, который получил новое название, а также был обновлен - на днях VMware объявила о доступности Aria Operations for Logs 8.10 (пока еще он доступен как Log Insight).

Давайте посмотрим, что нового в этой версии (а о прошлой мы рассказывали вот тут):

1. Отправка кастомных отчетов по почте

Теперь Aria Operations for Logs 8.10 может отправлять отчеты на базе кастомных и out-of-the-box дэшбордов по электронной почте.

Например, вы можете сделать дэшборд по неудачным логинам пользователя root и отправлять отчеты об этом в виде PDF-файла администраторам систем.

2. Улучшенные отчеты об использовании

Движок Usage reporting был существенно улучшен, теперь отчеты стали более комплексными, а в новом разделе Aria Operations for Logs вы можете получить информацию о потреблении ресурсов и паттернах использования.

3. Функции Webhook Proxy

Многим пользователям было необходимо проксирование вебхуков, чтобы они могли отправлять их в интернет на сторону облачного провайдера. Теперь происходит маршрутизация всех запросов на вебхуки через прокси-серверы, после чего они уходят к сервису назначения через интернет. То есть настройку отсылки и получения можно делать через один интерфейс.

Помимо перечисленных новых возможностей, было сделано несколько улучшений в плане производительности, а также добавлены API на бэкэнде, чтобы поддержать новые возможности.

Скачать новую версию VMware Aria Operations for Logs 8.10 можно по этой ссылке. Документация доступна здесь.

Многие администраторы знают о механизме вебхуков (webhooks), который позволяет системам обмениваться сообщениями и обрабатывать их. Иногда пользователям требуется отправлять некоторые полезные сообщения системы логирования и аналитики vRealize Log Insight (vRLI) в систему управления рабочими процессами vRealize Orchestrator. В апрельской версии vRLI 8.8 появился механизм отправки предопределенных вебхуков.

Теперь настройка этого механизма находится в разделе Alerts, для создания нового вебхука нужно нажать +New Webhook:

В качестве Endpoint нужно выбрать vRealize Orchestrator (vRO), после чего нужно заполнить поле Webhook URL в следующем формате:

https://<host>/vco/api/workflows/{workflowId}/executions

Здесь <host> - это IP/FQDN инстанса vRO. Чтобы получить {workflowId} нужно пойти в консоль vRO и перейти на страницу Workflows в секции Library. Затем нужно нажать NEW WORKFLOW, заполнить имя рабочего процесса и создать его с соответствующим ID.

Таким образом, мы можем теперь заполнить поле URL:

https://<hostname>/vco/api/workflows/ 8f63f886-2373-44d6-9dc7-9f4862210e92/executions

Для этого рабочего процесса нужно будет добавить IP-адреса виртуальных машин в инпуте, поэтому нужно создать его (vms_ips):

Затем нужно создать схему сценарной задачи (scriptable task) и использовать параметр инпута vms_ips. Напишите скрипт для подготовки инпута и выполнения полезной нагрузки (например, перезагрузка ВМ):

Теперь нужно пойти в консоль vRealize Log Insight и выбрать метод авторизации. Здесь есть две опции - bearer token и basic. По умолчанию basic-аутентификация отключена в vRO (вот тут рассказано, как ее включить).

Следующий шаг - это конфигурация полезной нагрузки вебхука. Мы создали инпут vms_ips, поэтому нужно переслать его значение в событии нотификации. Нужно задать новый параметр с тем же именем в поле webhook payload. В качестве знчения этого параметр определим ${Info}:

Последний шаг - это создание алерта. Когда вы будете создавать алерт в vRealize Log Insight введите ${source} в поле Description. Выберите созданный вебхук в качестве endpoint: 

На этом все! Когда сработает триггер для алерта - он сгенерирует вебхук. Этот вебхук, придя в vRO, вызовет запуск рабочего процесса (например, перезагрузка ВМ) на базе IP-адреса виртуальной машины:

На днях компания VMware опубликовала отчет по уязвимостям VMSA-2022-0014, которые были обнаружены в решениях Workspace ONE Access, VMware Identity Manager (vIDM), vRealize Lifecycle Manager, vRealize Automation и VMware Cloud Foundation. Напомним также, что vIDM является компонентом таких продуктов, как NSX vRealize Operations, vRealize Log Insight и vRealize Network Insight. Это критическая уязвимость, которая позволяет обойти процедуры аутентификации пользователя и повысить привилегии в соответствующем продукте.

Обход аутентификации означает, что злоумышленник, который имеет доступ только к сети, в которой работает одно из перечисленных решений, может потенциально получить административный доступ к ним. То есть, уязвимость очень важная и опасная, уровня "emergency" в терминологии ITIL.

Основная информация о том, как закрыть эти дыры, приведена по следующим двум ссылкам:

• https://www.vmware.com/security/advisories/VMSA-2022-0014.html (о том, как исправлять)
• https://via.vmw.com/vmsa-2022-0014-qna (это часто задаваемые вопросы)

Также вы можете подписаться на оповещения VMware о найденных уязвимостях по электронной почте по этой ссылке.

Компания VMware в апреле обновила свою облачную версию решения для аналитики лог-файлов и мониторинга инфраструктуры в облаке VMware vRealize Log Insight Cloud (April 2022 Update). О новых возможностях прошлой версии (январское обновление) мы писали вот тут.

Напомним, что это средство предназначено для администраторов, сотрудников технической поддержки и системных инженеров, которые ищут причины проблем различного характера в виртуальной инфраструктуре и решают их на базе аналитики лог-файлов.

Давайте посмотрим на новые возможности апрельского обновления Log Insight Cloud:

1. Новые регионы

Теперь Log Insight Cloud доступен в регионе Asia Pacific (Mumbai, India). Итого решение доступно в следующих локациях:

• US West (Oregon)
• Europe (London, Frankfurt)
• Canada (Central)
• Asia Pacific (Tokyo, Sydney, Singapore)
• South America (Sao Paulo)

2. Темная тема интерфейса (Dark Mode)

Теперь консоль Log Insight можно переключить в темный режим работы для удобства администраторов.

3. Отчетность по использованию запросов

Использование разделов для файлов журнала - головная боль администраторов, которые должны соблюдать баланс между необходимой детализацией хранимых данных и заполненности хранилищ. Теперь есть раздел, где можно в реальном времени отслеживать тренды по использованию хранилищ и оптимизировать правила сохранения логов в зависимости от действующих тарифных планов.

4. Интеграция с Subscription Manager

В рамках пробной 30-дневной версии пользователи могут сохранять 15 ГБ логов в день. По истечении этого периода бесплатный лимит остается на уровне 5 ГБ в день с хранением логов в течение 7 дней (и это можно использовать сколь угодно долго).

За счет интеграции со службами VMware Subscription Manager администратор может выбрать необходимую ему подписку, сделав пару кликов мышкой.

Для получения более детальной информации о решении Log Insight можно использовать утилиту VMware Pathfinder:

Полный список нововведений VMware vRealize Log Insight April 2022 Update можно узнать в Release Notes. Запросить пробную версию решения можно по этой ссылке.

Как вы знаете, у компании VMware есть портал лабораторных работ Hands-on-Labs (HoL), где в онлайн-формате доступна работа с интерфейсом различных продуктов в целях тренировки выполнения практических задач. При этом все это абсолютно бесплатно и не требует ничего устанавливать ни на сервер, ни на свою рабочую станцию - все происходит в окне браузера.

Недавно мы писали о лабораторных работах по Azure VMware Solution и VMware Skyline, а сегодня хотим рассказать еще об одной полезной лабе "Getting Started with vRealize Log Insight".

Напомним, что продукт Log Insight предназначен для аналитики лог-файлов и мониторинга инфраструктуры в частных и публичных облаках. Сама лабораторная работа предназначена для новичков и содержит следующие модули:

• Getting to Know Log Insight – Walk Through
• Understanding Querying and Alerting Within Log Insight
• Content Packs, How to Make Log Insight More Powerful
• Log Insight Agent
• Log Insight Cloud – A SaaS Version of Log Insight

Для каждого этапа доступен мануал с детальным описанием шагов и задач, стоящих перед пользователем в рамках предлагаемых вариантов использования продукта.

Вот так выглядит работа с дэшбордами (активные области подсвечиваются):

А так - со средствами интерактивной аналитики:

Для тех, кто освоил первые шаги с продуктом vRealize Log Insight, доступны следующие лабораторные и расширенная информация по данному решению от VMware:

• A Cloud Management Journey From Monolith to Modern Apps With the vRealize Suite 
• Advanced Topics in vRealize Log Insight 
• VMware Hands-on Labs Catalog with Pathfinder 
• A Cloud Management Journey From Monolith to Modern Apps With the vRealize Suite: Self-guided Workshop 

Компания VMware в конце января обновила свою облачную версию решения для аналитики лог-файлов и мониторинга инфраструктуры в облаке VMware vRealize Log Insight Cloud (January 2022 Update).

Напомним, что это средство предназначено для администраторов, сотрудников технической поддержки и системных инженеров, которые ищут причины проблем различного характера в виртуальной инфраструктуре и решают их на базе аналитики лог-файлов.

Давайте посмотрим на новые возможности январского обновления Log Insight Cloud:

1. Разделы Index и Non-Index Log Partitions

Теперь в продукте появилась поддержка безындексных разделов (non-index Log Partitions), что позволяет увеличить масштабируемость решения для публичных многооблачных сред, где происходит мониторинг огромного количества объектов (AWS, Microsoft Azure, Google Cloud Platform), а также облаков на базе VMware Cloud (VMware on AWS, Azure VMware Solutions, Google Cloud VMware Solutions, Oracle Cloud VMware Solutions). Также это доступно и для онпремизной инфраструктуры на базе VMware SDDC (software-defined-datacenter).

Хранение, индексирование и управление данными лог-файлов может стать очень затратным с точки зрения ресурсов, так как может вовлекать обработку миллионов записей в минуту. При этом разные данные должны обрабатываться в соответствии с различными регулирующими процедурами. Log Partitions предоставляют гибкий функционал про обработке логов при соблюдении специфических требований.

Если вам требуется долговременное хранение данных логов, доступ к которым происходит нечасто, то неиндексируемые разделы - это оптимальный выбор.

Также можно изменить приоритет обработки логов на разных разделах в соответствии с требованиями регулирующих процедур. Ну а если вы понимаете, что доступ к данным с неиндексируемого раздела происходит часто, то можно сменить тип раздела на индексируемый.

Вот так выглядит матрица функциональности индексируемых и неиндексируемых разделов:

2. Визуализация потребления хранилищ

Настройка логирования - это всегда компромисс между объемом собираемых и анализируемых данных и трат на их хранение. С помощью функций Ingestion and Storage Summary в реальном времени можно наблюдать за тем, как разделы заполняются логами и с какой скоростью, в соответствии с опциями, которые вы задали для них. На дэшборде видны наиболее потребляющие дисковое пространство разделы:

3. Функции Cloud Native Collector

Cloud Native Collector - это Docker-контейнер, который можно установить в любом облаке. Он предоставляет функции агрегации логов и управления конфигурациями логирования в части их форвардинга в систему vRealize Log Insight Cloud. Это позволяет собирать логи откуда угодно, без ограничений по хранимым емкостям.

Более подробно о новом релизе VMware vRealize Log Insight Cloud от января 2022 года можно узнать в Release Notes.

Мы часто пишем о продукте VMware vReazlie Log Insight, который бывает в двух вариантах - облачном (Log Insight Cloud) и онпремизном. Он предназначен для аналитики лог-файлов и мониторинга инфраструктуры в облаке. Решение очень удобно для администраторов, сотрудников технической поддержки и системных инженеров, которые ищут причины проблем различного характера в виртуальной инфраструктуре и решают их...

На днях компания VMware обновила свое облачное решение VMware vRealize Log Insight Cloud. Напомним, что это решение предназначено для аналитики лог-файлов и мониторинга инфраструктуры в облаке. О прошлой версии этого продукта мы писали вот тут.

Давайте посмотрим, что появилось нового в декабрьском обновлении vRLI Cloud:

1. Расширение локаций, где доступен продукт

Теперь Log Insight Cloud можно получить в регионе Asia Pacific (Tokyo, Japan).

Таким образом, полный список доступных регионов выглядит так:

• US West (Oregon)
• Europe (London, Frankfurt)
• Canada (Central)
• Asia Pacific (Sydney, Singapore)
• South America (Sao Paulo)
• Asia Pacific (Tokyo, Japan)

2. Загрузка локальных логов в облако

Часто администраторы загружают лог-файлы своей онпремизной инфраструктуры в облако во время пробного периода, для этого и предусмотрели данную возможность. Можно загружать файлы в формате .log и .txt и 10 файлов одновременно (до 10 МБ каждый).

3. Интеграция с AWS Lamba и HashiCorp Vault

Новая возможность интеграции с функциями платформы AWS Lambda теперь позволяет перенаправить логи CloudWatch, CloudTrail и многих других сервисов в Log Insight Cloud. Если вам нужна дополнительная безопасность по хранению учетных данных, то можно использовать функции интеграции с защищенным хранилищем учетных данных HashiCorp Vault.

4. Новые функции аудита событий через VMware Cloud Services Content Pack 2.0

Дополнительные аудируемые события контент-пака были добавлены для того, чтобы соблюсти регуляторные требования платформы VMware Cloud Service Portal (CSP). Теперь в VMware Cloud Services Content Pack 2.0 есть следующие новые события:

• Access Request Raised by Org Members
• Access Request Raised by Non Org Members
• Entitlement Request for Org Member Cancelled
• Entitlement Request for Non Org Member Cancelled
• Entitlement Request Actions
• Entitlement Request Approval Actions
• Violation Policies Updated
• Entity Violations Count Update OAuth App
• Entity Violations Count Update API Token
• Advance Features Toggled

5. Поддержка SSL для Cloud Proxy

Cloud Proxy получает логи и информацию о событиях из разных источников мониторинга и отправляет эти данные в vRealize Log Insight Cloud, которые уже дальше запрашиваются и анализируются. Теперь эти логи могут пересылаться по защищенному каналу SSL.

6. Алерты об изменении статуса форвардинга логов

Теперь по почте можно получать оповещения о следующих событиях:

• Log Forwarding Disabled Temporarily – перенаправление логов отключено на несколько следующих минут, ввиду обнаружения слишком большого количества ошибок на источнике. 
• Log Forwarding Disabled – перенаправление логов отключено постоянно из-за невозможности установить соединение.

Попробовать vRealize Log Insight Cloud в виртуальной тестовой лаборатории и запросить пробную версию в облаке VMware Cloud on AWS можно по этой ссылке.

На сайте проекта VMware Labs появилась очередная полезная Enterprise-администраторам утилита - Terraform Provider for vRealize Log Insight Cloud. С помощью этого инструмента пользователи платформы Terraform (решения для программного определения ИТ-инфраструктуры в рамках концепции infrastructure as code) могут делать запросы на развертывание ресурсов vRealize Log Insight Cloud (vRLI), таких как алерты (Alerts) и определения запросов (Query Definitions).

Этот продукт представляет собой плагин, который предназначен для взаимодействия с сервисом vRLI через API. С помощью данного плагина администраторы и DevOps могут воплотить принципы Alert as a Code / Query as a Code при планировании инфраструктуры трекинга и анализа логов облачной инфраструктуры.

Выглядит это следующим образом:

Скачать Terraform Provider for vRealize Log Insight Cloud можно по этой ссылке.

В начале июня мы писали об обновлении решения для аналитики лог-файлов и мониторинга инфраструктуры VMware vRealize Log Insight Cloud, в котором появилась интересная возможность Live Tail для горячего мониторинга логов, в которых вы ищете источники проблем.

На днях VMware заявила о выпуске обновлений продуктов линейки VMware vRealize 8.5, среди которых есть и обновление vRealize Log Insight Cloud 8.5. Давайте посмотрим, что там появилось нового:

• Поддержка нового региона - Сингапур. Теперь Log Insight Cloud доступен в регионе AWS Asia Pacific (Singapore). Помимо этого, решение уже работает в регионах US West, Asia Pacific (Sydney), Europe (Frankfurt) и Canada (central).
• Улучшенные фильтры Log Forwarding. Теперь они поддерживают новые опции, например, проверки на существование того или иного поля. Можно сделать комплексный фильтр - если поле существует, то уже смотреть его значение по условиям. Далее можно уже отправлять события во внешнее назначение.
• Пользователи теперь могут получать доступ к файлам VMware Cloud SDDC Grouping activity logs, которые появляются при создании/обновлении/удалении SDDC Group, добавлении/удалении нового члена группы SDDC, добавлении/удалении Direct Connect Gateway из группы, добавлении/удалении External AWS Account и обновлении external attachments.

Запросить пробную версию VMware vRealize Log Insight 8.5 можно по этой ссылке.

Также компания VMware обновила свое решение для комплексного управления и мониторинга виртуальной инфраструктуры в различных аспектах vRealize Operations Cloud и vRealize Operations 8.5. О прошлой версии vRealize Operations 8.4 мы писали весной этого года вот тут.

Это минорный релиз, который, в основном, добавляет исправления ошибок и обновления безопасности. Release notes по продуктам находятся тут.

Давайте посмотрим, что нового появилось в vROPs 8.5:

• Поддержка нового региона - Сингапур. Теперь Log Insight Cloud доступен в регионе AWS Asia Pacific (Singapore). Помимо этого, решение уже работает в регионах US West, Asia Pacific (Sydney), Europe (Frankfurt) и Canada (central).
• Новый vRealize Operations Cloud Management Pack for Managed Service Providers (MSP). Он позволяет объединить разные инсталляции vRealize Operations Cloud у сервис-провайдеров в единую панель управления. В рамках каждой инсталляции на разных сайтах под управлением сервис-провайдера может находиться множество клиентов. Вот основные возможности, которые предоставляет данный MP:
  • Сводная статистика производительности, емкостей и конфигураций для всех окружений клиентов на разных площадках.
  • Возможность создать data warehouse с набором выбранных метрик, которые потом можно использовать для построения исторических отчетов.
  • Возможность создания сводного представления о текущем статусе работоспособности разных компонентов виртуальных датацентров, в том числе основных решений VMware - vCenter Server, NSX и vSAN. Также доступен мониторинг жизнедеятельности vRealize Operations, vRealize Log Insight, vRealize Automation, vRealize Business и VMware Site Recovery Manager.

Загрузить пробную версию VMware vRealize Operations 8.5 можно по этой ссылке.

Недавно мы рассказывали про новую возможность KB Insights, которая появилась в решении VMware vRealize Log Insight Cloud. На днях VMware объявила о выпуске еще одного обновления этого облачного продукта для аналитики лог-файлов и мониторинга инфраструктуры.

Одной из новых возможностей июньского релиза Log Insight Cloud стала возможность Live Tail для логов, в которых вы ищете источники проблем. Этот механизм позволяет в реальном времени "прицепиться" к файлам журнала, например, определенного хоста и отслеживать там нужные вам параметры.

На примере ниже коллеги из VMware разбирают эту функциональность. Допустим, у вас возникла проблема с одним из веб-серверов, который дает необычные всплески трафика, и вы хотите понять, почему. С помощью Live Tail можно понять, какой IP-адрес соединяется с сервером и отследить, что происходит с трафиком данного приложения:

Тут рабочий процесс может выглядеть следующим образом:

• Добавляем ключевое слово, например, имя вебсайта
• Добавляем log_type для сужения области отслеживания, в данном случае Apache
• Добавляем фильтр, чтобы убедиться, что мы отслеживаем только те логи, где есть поле remote_host
• Добавляем колонку remote_host, чтобы видеть в реальном потоке, с какими хостами происходят соединения

Перейти в представление Live Tail можно по кнопке в правом верхнем углу раздела Export Logs:

Любой запрос можно добавить в Избранное (создать Favorite Query), после чего его можно выбирать для отслеживания в режиме Live Tail:

Для фильтрации можно использовать составные фильтры по множеству условий:

Ключевое слово подсвечивается в самом логе:

Live stream можно останавливать и запускать снова, а элементы лога можно развернуть, чтобы посмотреть детали записи:

Отображаемые колонки можно добавлять и удалять:

Также есть ролевая модель доступа, то есть теперь, например, вы можете дать права администраторам приложений с ограничениями, чтобы они сами разбирались в своих проблемах:

Помимо функций Live Tail, в июньском релизе были также добавлены новые дэшборды и запросы для AWS и Azure.

Так теперь выглядят новые интеграции для AWS:

Например, вот дэшборд EventBridge Overview:

А вот все дэшборды для EventBridge:

Ну а вот так выглядят новые интеграции для Azure:

Если вы хотите попробовать поработать с VMware vRealize Log Insight в облаке AWS или Azure, то VMware предоставляет пробную версию на 30 дней.

Компания VMware анонсировала новую возможность KB Insights, которая стала доступна в облачной версии решения для аналитики лог-файлов и мониторинга инфраструктуры VMware vRealize Log Insight Cloud.

С помощью KB Insights можно проанализировать проблемы облачной виртуальной инфраструктуры, которые выявляются вследствие анализа логов, и получить соответствующие ссылки на статьи VMware Knowledge Base и VMware Community, которые помогут в их решении.

Эта функция использует как поиск соответствующих совпадений в сообщениях лог-файлов, так и алгоритмы машинного обучения для вывода нужных статей базы знаний VMware.

Вот пример аналитики Log Insight Cloud, которая выявила проблемы по недоступности виртуальной машины в сети, случавшейся время от времени:

Оказалось, что эта проблема связана с дублированием IP-адреса в какой-то момент. Функция KB Insights предложила как ветку обсуждений этой проблемы на VMware Community, так и релевантную статью базы знаний "Duplicate IP address detected (1020647)".

Статья KB рассказывает о том, как изменить IP-адрес для найденного MAC-адреса устройства, а вот статья на комьюнити рассказывает о том, как найти второй сервис, где торчит тот же самый IP-адрес, чтобы решить, какой из адресов нужно поменять. Это решение, конечно же, дает администратору больше гибкости:

Для каждого предлагаемого инсайта есть лайк и дизлайк - он позволяет администратору постепенно улучшать систему рекомендаций, которая и формируется, в том числе, на базе такого фидбэка. Кстати, в красном боксе приведен текст в лог-файле, по которому были найдены инсайты:

Есть также кнопка Explore Logs, которая поможет вам понять причину проблемы, взглянув на содержимое лог-файла:

Ну и далее можно настроить алерт по электронной почте для случая, когда данная проблема повторится вновь:

Источник.

Продолжается весенняя серия релизов продуктов VMware (напомним, что главные из них - vSphere 7 Update 2 и vSAN 7 Update 2). На этот раз мы расскажем об анонсированном обновлении решений VMware vRealize Log Insight 8.4 и Log Insight Cloud, предназначенных для поиска любых данных в виртуальной инфраструктуре, анализа лог-файлов и визуализации аналитики. Напомним, что о прошлой версии Log Insight 8.3 мы писали в начале года вот тут.

Давайте теперь посмотрим, что нового появилось в VMware vRealize Log Insight 8.4 и Log Insight Cloud:

1. Функция Log Partitions

Теперь можно разделить хранение логов на 2 яруса - активный, для регулярного и высокопроизводительного хранения и ротации, и архивный, для долговременного хранения.

2. Функция Log Exploration 

Это возможность задать один или несколько разделов для операций таргетированного поиска.

3. Функция Re-Hydrate Logs

Она позволяет вернуть логи из архива для выполнения функций Log Exploration, описанных выше. Нужно выбрать соответствующий раздел и временной интервал, после чего архивные данные будут переиндексированы.

4. Захват логов Live Tail

Администратор может отслеживать события, которые важно наблюдать в реальном времени, например, запуск сервиса в ОС. В этом случае можно задать фильтры запросов к логам, что позволит отсечь ненужный массив информации.

5. Knowledge Base (KB) Correlation

Эта очень полезная штука позволяет с помощью алгоритмов машинного обучения найти корреляцию между аналитикой логов и содержимым базы знаний VMware KB, что позволит проактивно решать проблемы и быстро находить шаги по избавлению от нежелательных эффектов в виртуальной инфраструктуре.

6. Enhanced Multi-Cloud observability 

Эта возможность позволяет смотреть логи в публичных инфраструктурах, таких как AWS, Microsoft Azure и Google Cloud Platform (в дополнение к имеющейся информации по 50+ AWS-сервисам).

7. Geo-expansion 

Log Insight Cloud стал доступен в датацентрах в Канаде (central), US West (Oregon), Asia Pacific (Sydney) и Europe (Frankfurt).

Пока VMware vRealize Log Insight 8.4 и обновленный Log Insight Cloud недоступны для загрузки и использования, но уже в самом ближайшем будущем VMware планирует выпустить эти решения.

Компания VMware выпустила обновление продукта vRealize Log Insight 8.3, предназначенного для поиска любых данных в виртуальной инфраструктуре, анализа лог-файлов и визуализации аналитики. О прошлой версии Log Insight 8.2 мы упоминали вот тут.

Давайте посмотрим, что нового появилось в Log Insight 8.3:

1. Поддержка стандарта Federal Information Processing Standard (FIPS) 140-2

В новой версии реализована поддержка стандарта от National Institute of Standards and Technology (NIST), который регулирует использование криптографических модулей в программных продуктах, используемых в государственных организациях.

После того, как вы включите режим FIPS, его нельзя уже будет отключить. После включения потребуется перезагрузка хостов кластера, поэтому он будет переведен в режим обслуживания.

Можно настроить предупреждающее сообщение:

Можно добавить кнопку I agree в конце диалогового окна:

2. Поддержка аутентификации cross-domain group-based authentication для пользователей vIDM

Пользователи продукта для единой аутентификации VMware Identity Manager теперь могут использовать группы из разных доменов Active Directory, между которыми есть траст.

3. Возможность загрузки LI Agent без аутентификации

Агент решения Log Insight (LI Agent) теперь можно скачивать напрямую и через API по ссылке https://<server>/api/v1/agent/install-packages/msi (можно использовать окончание пути для разных форматов /msi, /bin, /deb и /rpm).

Скачать VMware vRealize Log Insight 8.3 можно по этой ссылке.

Решение для виртуализации сетей VMware NSX-T, в отличие от его vSphere-версии NSX-V, не имеет графического интерфейса для настройки отсылки логов на серверы Syslog.

Graham Smith написал краткую заметку о настройке Syslog для решения VMware NSX-T, включая NSX-T Manager, узлы Edge Nodes и серверы ESXi.

Самый удобный вариант - это использовать в качестве Syslog-сервера решение VMware Log Insight. Сначала заходим по SSH на NSX-T Manager и выполняем там следующую команду, указав IP-адрес сервера Log Insight:

MulNSXT01> set logging-server 192.168.10.8 proto udp level info 
        WARNING - You are configuring udp-based log forwarding. This will send sensitive information unencrypted over the network. The Splunk App for NSX-T only accepts TLS connections.

На узлах Edge Nodes также нужно выполнить такую же команду, зайдя по SSH:

DCA-MulNSXT-ESG01> set logging-server 192.168.10.8 proto udp level info
        WARNING - You are configuring udp-based log forwarding. This will send sensitive information unencrypted over the network. The Splunk App for NSX-T only accepts TLS connections.

На серверах ESXi процесс выглядит несколько иначе. Нужно выполнить вот такую последовательность команд:

[root@DCA-MulComp01:~] esxcli network firewall ruleset set -r syslog -e true
[root@DCA-MulComp01:~] esxcli system syslog config set --loghost=udp://192.168.10.8:514
[root@DCA-MulComp01:~] esxcli system syslog reload
[root@DCA-MulComp01:~] esxcli system syslog mark -s "This is a test message"

Первая команда разрешает в фаерволе трафик Syslog, вторая - настраивает сервер адрес сервера, третья - подхватывает настройки, ну а четвертая - отсылает тестовое сообщение, чтобы можно было проверить работоспособность механизма Syslog со стороны Log Insight.

Там это тестовое сообщение можно увидеть в разделе Events:

Чтобы проверить логирование на стороне фаервола, можно создать простое правило с тестовым тэгом:

Далее в Log Insight можно увидеть это событие, поискав по этому тегу:

Чтобы проверить конфигурацию Syslog на стороне сервера ESXi, нужно выполнить следующую команду:

[root@DCA-MulComp01:~] esxcli system syslog config get
   Check Certificate Revocation: false
   Default Network Retry Timeout: 180
   Dropped Log File Rotation Size: 100
   Dropped Log File Rotations: 10
   Enforce SSLCertificates: true
   Local Log Output: /scratch/log
   Local Log Output Is Configured: false
   Local Log Output Is Persistent: true
   Local Logging Default Rotation Size: 1024
   Local Logging Default Rotations: 8
   Log To Unique Subdirectory: false
   Message Queue Drop Mark: 90
   Remote Host: udp://192.168.10.8:514
   Strict X509Compliance: false

На стороне NSX-T Manager и на узлах Edge Nodes конфигурацию Syslog можно проверить такой командой:

DCA-MulNSXT-ESG01> get logging-servers 
Mon Dec 28 2020 UTC 17:37:16.600
192.168.10.8:514 proto udp level info

На днях один из сотрудников компании VMware сделал аддон Helm Chart под решение vRealize LogInsight Cloud, который позволяет обрабатывать логи кластеров Kubernetes в среде VMware vSphere и TKG (Tanzu Kubernetes Grid).

Работает это решение в двух средах:

• Интегрированные кластеры Tanzu Kubernetes Grid (TKG) K8
• Отдельные инсталляции кластеров K8 на платформах vSphere/AWS

После установки аддона вы можете начать собирать метрики с кластеров TKG и K8 в вашем окружении, а также визуализовывать их на дашбордах наподобие вот такого:

Вообще Helm - это менеджер пакетов для Kubernetes. Это один из лучших путей поиска, шаринга и использования программного обеспечения в кластерах K8. Helm Charts это YAML-манифесты Kubernetes, объединенные в один пакет, который можно развернуть в среде K8. После запаковки установка Helm Chart в кластере производится одной командой helm, которая позволяет просто указать параметры развертывания и апгрейда.

Перед использованием данного средства вам понадобятся:

• Токен для vRealize LogInsight Cloud API
• Helm версии 3.x
• Административный доступ к кластеру Kubernetes

Итак, процедура по шагам:

1. Добавляем репозиторий Chart:

helm repo add loginsight-cloud https://munishpalmakhija.github.io/loginsight-cloud-helm/

2. Получаем файл с переменными из рабочей директории:

helm show values loginsight-cloud/loginsight-cloud-helm > values.yaml

3. Обновляем параметры API Token и другие настройки, специфичные для вашей среды. Начинаем с команды:

cat values.yaml

4. Устанавливаем компонент Chart:

helm install test-vrlic loginsight-cloud/loginsight-cloud-helm -f values.yaml

5. Верифицируем узлы Kubernetes Pods:

kubectl get pods -A | grep test-vrlic

6. Верифицируем релиз Helm:

helm list

Второй рабочий процесс установки (интерактивный режим):

1. Добавляем репозиторий Chart:

helm repo add loginsight-cloud https://munishpalmakhija.github.io/loginsight-cloud-helm/

2. Устанавливаем Chart в интерактивном режиме:

helm install test-vrlic loginsight-cloud/loginsight-cloud-helm --set vrlic.apikey=SETME --set tag.environment=DEMO

3. Верифицируем узлы Kubernetes Pods:

kubectl get pods -A | grep test-vrlic

4. Верифицируем релиз Helm:

helm list

После установки проверяем, что логи идут к LogInsight, это должно выглядеть следующим образом:

Чтобы начать пользоваться пробной бесплатной версией облака vRealize LogInsight Cloud, можно запросить триальную версию тут.

У компании VMware есть отличное решение Log Insight, которое предназначено для поиска любых данных в виртуальной инфраструктуре, анализа лог-файлов и визуализации аналитики. На прошедшем VMworld Online 2020 была представлена версия Log Insight 8.2.

Если вы администратор VMware vSphere, то наверняка имели необходимость заглядывать в лог vmware.log, который находится в папке с виртуальной машиной, для поиска некоторых событий и решения проблем с данной ВМ. Там могут находиться события reconfiguration events, миграции vMotion, сообщения VMware tools, memory state, события power on/off, включаемые фичи, API-запросы и многое другое.

Все эти сообщения можно отправлять в реальном времени для мониторинга со стороны VMware vRealize Log Insight и отлавливания их с помощью алертов по заданным параметрам. Делается это с помощью возможностей Interactive Analytics.

Файл vmware.log находится в папке с виртуальной машиной и имеет некоторую ротацию:

Чтобы посылать данные лога в Log Insight, нужно изменить Configuration Parameters для ВМ. Для этого сначала выключаем ее, идем по правой кнопке в Edit settings в vSphere Client, выбираем вкладку VM Options и кликаем Edit Configuration:

Далее нужно нажать Add Configuration Params:

После этого добавляем параметр vmx.log.syslogID со значением <vmname>_vmx_log, где vmname - это имя виртуальной машины. Этот айди будет передаваться в Log Insight:

Далее включаем виртуальную машину и на вкладке Interactive Analytics в Log Insight видим, что машина генерирует больше 2000 событий, у этих событий есть типы:

Далее мы можем сформировать запрос на поиск того или иного события и сделать из него алерт с определенным действием (например, отправить webhook или в Operations Manager).

В данном случае происходит отправка письма администратору:

Чтобы отключить логирование, нужно просто удалить значение из поля vmx.log.syslogID:

Как вы все знаете, на прошлой неделе прошла главная конференция по виртуализации этого странного года - VMworld 2020 Online. Несмотря на то, что она прошла онлайн, было сделано немало интересных объявлений, а перед самой конференцией были анонсированы главные обновления продуктовой линейки. Одним из них был скорый выпуск новой версии платформы VMware vSphere 7 Update 1, который и состоялся:

На днях также появилась возможность скачать новые версии нескольких продуктов, помимо vSphere 7 U1. Давайте посмотрим, какие именно решения были выпущены:

Скоро постараемся написать о том из этого, о чем еще не рассказали. Заходите чаще!

В рамках прошедшей конференции VMworld Europe 2019 было сделано не так много анонсов, как на главной конференции года VMworld 2019. Между тем, кое-что новое там все-таки было анонсировано. Например, было объявлено о выходе новой версии продукта vRealize Log Insight Content Pack for vSAN 2.2. Напомним, что о версии данного контент-пака 2.1 мы писали в январе этого года вот тут.

Напомним, что продукт позволяет получить следующие возможности в рамках функционала Log Insight:

• Быстрая идентификация проблем за счет специализированных дэшбордов, отображающих состояние кластеров vSAN.
• Возможность использования различных комплексных фильтров для поиска нужной информации в логах vSAN.
• Визуализация необходимых параметров и запросов, что позволяет определить аномалии в различных аспектах инфраструктуры.
• Мощный движок алертинга, который позволяет мониторить логи vSAN на предмет возможных проблем и оповещать администраторов.
• Помощь администраторам - каждый виджет включает информацию о его назначении со ссылками на документацию и базу знаний VMware, что позволяет понять характер и назначение отображаемых данных.

Давайте посмотрим, что нового появилось в версии Log Insight Content Pack for vSAN 2.2:

1. Новый дэшборд vSAN Overview.

Он отображает основные активности и события, происходящие как на пользовательском уровне, так и на уровне ядра. События разделяются на общую информацию, предупреждения и ошибки.

Это позволяет быстрее обнаруживать аномалии в поведении кластера VMware vSAN.

2. Новый раздел Storage Policy Events.

Он включает в себя мониторинг следующих активностей:

• Создание и удаление новых политик хранилищ.
• Изменение политики для ВМ или назначение ей новой политики.
• Изменение свойств самой политики.
• Изменение политик на уровне объектов.

Механизм обновления контент-пака

Для Log Insight механизм обновления контент-паков всегда был весьма простым:

После обновления контент-пака у вас появятся новые дэшборды, описанные выше, но чтобы появились виджеты политик хранилищ, нужно установить Log Insight Agent на vCenter Server. Для этого нужно загрузить пакет Linux RPM (32-bit/64-bit) через Log Insight Administration UI:

После этого нужно скопировать RPM во временную папку на vCenter Server с помощью WinSCP или Veeam FastSCP. Далее на vCSA нужно запустить следующую команду:

rpm -i VMware-Log-Insight-Agent-<version-and-build-number>.rpm

После установки пакета нужно убедиться, что соответствующий статус отображается в интерфейсе:

Далее настройте и включите vCenter (Linux) SPBM agent group на сервере vCenter как показано ниже (это позволит Log Insight собирать события SPBM с сервера vCenter):

После того, как вы нажмете кнопку Copy Template, вам покажут настройки активного агента. Убедитесь, что все параметры указаны корректно и нажмите Save Agent Group:

Новые возможности по трекингу активностей SPBM позволят вам выполнять следующие задачи:

• Отслеживать резкие изменения в используемой емкости кластера.
• Идентифицировать причины неожиданных изменений в производительности ВМ.
• Идентифицировать причины инициирования трафика ресинхронизации.
• Отслеживать соблюдение политик хранилищ за пределами уровня кластера.
• Использовать Webhooks для оповещения других приложений, которым может быть полезна информация от Log Insight.

Скачать VMware vRealize Log Insight Content Pack for vSAN 2.2 можно по этой ссылке.

Недавно компания VMware выпустила обновление контент-пака решения Log Insight для инфраструктуры кластеров хранилищ - vRealize Log Insight Content Pack for vSAN. Новая версия 2.1 представляет функции, которые соотносятся с новыми возможностями дэшбордов в Log Insight и механизма алертинга.

Напомним, что продукт позволяет получить следующие возможности в рамках функционала Log Insight:

• Быстрая идентификация проблем за счет специализированных дэшбордов, отображающих состояние кластеров vSAN.
• Возможность использования различных комплексных фильтров для поиска нужной информации в логах vSAN.
• Визуализация необходимых параметров и запросов, что позволяет определить аномалии в различных аспектах инфраструктуры.
• Мощный движок алертинга, который позволяет мониторить логи vSAN на предмет возможных проблем и оповещать администраторов.
• Помощь администраторам - каждый виджет включает информацию о его назначении со ссылками на документацию и базу знаний VMware, что позволяет понять характер и назначение отображаемых данных.

Контент-паки позволяют решению Log Insight более точно идентифицировать события именно от конкретного решения (в данном случае, VMware vSAN) и быстро находить корневую причину проблем в инфраструктуре.

В новом контент-паке были скорректированы виджеты "Maximum memory congestion reached" и "Maximum SSD congestion reached", чтобы соответствовать пороговым значениям и алертам, представленным в vSAN health service для сервера vCenter.

Ассоциированные с ними алерты по нагрузке на память и носители SSD также были доработаны. Включением/выключением алертов можно управлять прямо из дэшборда Log Insight:

Также из списка алертов убрали "Operations took too long" и "Object component state changes – Absent.", потому что они слишком часто срабатывали при нормальной, в общем-то, эксплуатации виртуальной инфраструктуры и кластера vSAN.

Обновить контент-пак вы можете прямо из консоли решения Log Insight (он подходит для Log Insight версий 4.0-4.7 и работает для vSAN версий 6.0 - 6.7 U1):

Либо можно скачать VMware vRealize Log Insight Content Pack for vSAN по этой ссылке.

Продолжаем освещать продукты и технологии, анонсированные на прошедшей недавно в Лас-Вегасе конференции VMworld 2018. Сегодня расскажем о новых возможностях решения VMware vRealize Log Insight 4.7, предназначенного для поиска любых данных в виртуальной инфраструктуре, анализа лог-файлов и визуализации аналитики. Напомним, что об одной из прошлых версий - vRLI 4.5 - мы писали вот тут.

Давайте посмотрим, что нового появится в продукте VMware vRealize Log Insight 4.7:

1. Улучшения безопасности.

В этой категории появилось три основных нововведения:

• Детализированная верификация сертификата при добавлении его в vRLI - как из графической консоли, так и из REST API.
• Возможность просмотра деталей текущего сертификата из UI и через REST API.
• Новая переменная окружения LIAGENT_SSL_CA_PATH.

2. Улучшения юзабилити.

• Интеграция с vCenter теперь опирается на имя хоста, задаваемое пользователем, а не на результат попытки разрешения имени через DNS.
• Возможность выбрать контент-паки, поля которых будут автоматически включены в результат запроса в разделе Interactive Analytics.
• Улучшения в интерфейсе REST API.
• Улучшения UI и UX, а также множество исправлений ошибок.

VMware vRealize Log Insight 4.7 будет доступен для загрузки после 20 сентября по этой ссылке.

На днях мы писали о выходе новой версии основного средства для управления и мониторинга виртуальной инфраструктуры VMware vRealize Operations 6.6. Одновременно с этим релизом компания VMware также выпустила интегрированное с этой платформой средство VMware vRealize Log Insight 4.5, предоставляющее возможности анализа лог-файлов и поиска по ним. Напомним, что об одной из прошлых версий Log Insight мы писали вот тут.

Давайте посмотрим на новые возможности Log Insight 4.5:

1. Полная интеграция с vRealize Operations.

• Прямой запуск дэшборда Log Insight из Operations
• Прямой запуск в режиме Log Insight Interactive Analytics
• Объектное управление лог-файлами
• Управление алертами vRealize Operations Alerts

Теперь Log Insight можно использовать как средство самого глубокого анализа проблемы тогда, когда стандартные средства Operations уже не помогают. Консоль Log Insight (Dashboard View или Interactive View) откроется прямо в консоли Operations, поэтому дожим проблемы происходит из одной точки:

Объектное управление логами означает, что вы можете выбрать любой объект в Operations, два раза кликнуть на него, и вам откроется список логов, которые с ним связаны. Ну а если вы 2 раза кликните на vRealize Operations Alerts, то вам откроются лог-файлы, в которых эти алерты зафиксированы.

2. Новые возможности сервера.

• Обновленный Log Insight RESTful API
• Поддержка механизма vComprehensive Single Sign-On
• Убрана нативная поддержка Active Directory, теперь все происходит через VMware Identity Manager (vIDM)
• API для опроса срабатывания алерта и истории нотификаций
• Возможность указания типа аутентификации Basic для webhooks
• Поддержка RFC 6587

3. Улучшенные возможности агента.

• Фича vAgent multi-destination
• Отправка необработанного syslog'а на любой сервер
• Возможность распарсить лог syslog'а, включая поля PRI, PROCID и MSGID, и отправить его на сервер
• Поддержка символов подстановки (wildcards)

Скачать VMware Log Insight 4.5 можно по этой ссылке. Документация доступна тут, а вот тут находится сообщество Log Insight с массой полезной информации.

Еще совсем недавно мы писали о контент-паке VMware SRM для решения Log Insight, а уже на днях компания VMware выпустила обновленную версию продукта - vRealize Log Insight 3.6. Напомним, что он позволяет осуществлять поиск любых данных в виртуальной инфраструктуре и предоставляет мощные возможности аналитики по этим данным.

Давайте посмотрим на новые возможности Log Insight 3.6:

1. Enhanced Alerting – алерты, которые посылаются к vRealize Operations Manager, теперь содержат те же самые метаданные, что и оповещения по электронной почте.

Вот что видим в интерфейсе:

Вот что видим в почте:

Кроме того, появилась возможность Auto Cancel Alerts - когда алерты, переданные в vRealize Operations Manager, можно установить в автоотмену через 10 минут после их появления.

2. Запросы по типам события и трендам теперь могут быть сохранены на дэшборд, а также включить их в контент-паки. Вот топ-10 типов событий и топ-10 трендов событий:

3. Появились новые пользовательские алерты на новые типы событий:

4. Появилась возможность обеспечения высокой доступности при интеграции с vRealize Operations Manager средствами Integrated Load Balancer virtual IP.

5. Улучшения Syslog Event Forwarding - теперь поддерживается пересылка с тэгами (forward complementary tags):

6. Добавился пункт Upgrade Instructions по обновлению контент-паков к решению Log Insight:

Вот так выглядят эти инструкции:

7. Возможность пакетного удаления полей в контент-паках:

8. Улучшение парсера логов и упрощение конфигурации агентов. Теперь конфигурация агента задается простым набором параметров:

9. Улучшения контент-пака для vSphere.

Теперь можно собирать и анализировать следующие параметры:

• Запросы для логов: vm downtime, precopyBandwidth, precopyStunTime.
• Группы агентов для логов vSphere logs (gc logs больше не собираются).
• Появились виджеты для Replicated VMs, Recovered VMs, Upgraded VMs.

10. Новые дэшборды, например, vCenter Server - Overview:

Или вот vCenter Server – Performance:

11. Экспериментальная возможность доступа суперпользователя к данным и конфигурациям других пользователей с возможностью изменять их:

Вот так можно получить доступ к данным пользователя суперадмином, "выдав себя за него" (кнопка Impersonate):

12. Возможность автообновления агентов, начиная с версии vRLI 3.6 (Agent Auto-Upgrade). Также экспериментальная фича:

13. Ну и, помимо всего прочего, появилась экспериментальная интеграция с решением VMware Identity Manager (vIDM) - теперь доступны возможности сквозного входа в управляющую консоль Single Sign-On (SSO).

Скачать VMware vRealize Log Insight 3.6 можно по этой ссылке. 

Как вы знаете, у VMware есть замечательное решение для сбора и анализа логов vRealize Log Insight, которое позволяет осуществлять поиск любых данных в виртуальной инфраструктуре и предоставляет мощные возможности аналитики по этим данным. Функциональность этого решения можно расширять за счет контент-паков для соответствующих продуктов, которые дают дополнительные возможности, связанные с их рабочими процессами. На днях компания VMware выпустила Site Recovery Manager (SRM) content pack для vRealize Log Insight.

Для начала работы с контент-паком вам потребуется версия Log Insign 3.0 или выше (сейчас актуальная 3.3). На дэшборде мы увидим основные события, касающиеся различных компонентов инфраструктуры SRM:

Вкладки SRA Overview и SRA Device Overview позволяют понять состояние адаптеров SRA и процесса репликации в целом:

Вкладка SRM Virtual Machine Overview позволяет просматривать и анализировать состояние защищенных виртуальных машин в разрезе хранилищ, на которых они находятся:

Кроме того, можно смотреть события в разрезе групп хранилищ, защищаемых SRM (Datastore Groups).

Напомним также, что у VMware есть контент паки для решений VMware NSX, Virtual SAN, vRealize Automation, vRealize Operations Manager а также многих других продуктов и партнерских решений. Они, как и контент-пак для SRM, доступны для загрузки с сайта VMware Solution Exchange.

Мы уже не раз писали о средстве анализа логов и мониторинга VMware Log Insight. Штука эта очень мощная и уже давно переросла свое первоначальное назначение. Изначально это было просто средство для ковыряния файлов журнала и поиска специфических проблем, а сейчас это уже мощное аналитическое средство, с помощью которого можно исследовать многочисленные аспекты работы виртуальной инфраструктуры.

На днях Michael White из команды технических евангелистов Veeam выпустил интересную штуку для пользователей Veeam Backup and Replication и VMware Log Insight - Veeam Log Insight Content Pack, который выводит информацию о задачах резервного копирования в среде vSphere. Делается это за счет того, что Veeam Backup посылает информацию о событиях через Syslog в Log Insight.

Так выглядит основной дэшборд:

Вот так отчет по задачам резервного копирования (очень удобно смотреть, когда зафэйлились джобы):

Задачи Backup Copy (копии бэкапа машин в удаленном размещении):

Ну а вот так контент-пак выглядит в консоли Log Insight:

Скачать Veeam Log Insight Content Pack можно по этой ссылке. Надо будет его распаковть и воспользоваться кнопкой Import в Log Insight. В ближайшее время разработчик обещает доработать и расширить пак, ну а потом он станет частью продуктовой линейки на сайте Veeam, когда станет зрелым продуктом.

Среди больших анонсов компании VMware в рамках мероприятия Enabling the Digital Enterprise было также объявлено о сокром выпуске новой версии продукта VMware vCenter Log Insight 3.3 для управления файлами журнала (логами), сбора данных о виртуальной инфраструктуре, аналитики и поиска. Напомним, что о возможностях прошлой версии Log Insight 3.0 мы писали вот тут.

Итак, что же нового в VMware vRealize Log Insight 3.3:

1. Несколько адресов Virtual IP (VIP) с тэгированием или без него.

Интегрированный балансировщик vRealize Log Insight 3.3 теперь позволяет настроить несколько виртуальных адресов VIP с одним или несколькими тэгами или без них. Это позволяет тэгировать входящий трафик и упрощает настройку ролевой модели доступа для устройств, в которых нет агента Log Insight. Кроме того, это существенно увеличивает производительность.

Настройка производится на странице Cluster в секции Administration:

2. Поддержка Webhooks.

Теперь системные и пользовательские нотификации можно посылать через механизм webhooks, это позволяет настроить интеграцию с такими системами, как Socialcast, PagerDuty или кастомный канал RSS/Atom.

Алерты настраиваются в секции General:

Также нотификацию через webhooks можно настроить при создании нового алерта или редактировании существующего (также можно сразу протестировать алерт, послав тест):

3. Улучшенная интеграция с платформой VMware vSphere.

Для компонентов VMware vCenter и ESXi также могут быть добавлены тэги по аналогии с возможностью Multiple VIP with Tags, описанной в первом пункте.

В дополнение к этому, ненастроенные хосты ESXi могут быть добавлены в интеграцию с vSphere по умолчанию. Это можно настроить в опции "Advanced Configuration" во время настройки первоначальной интеграции или через пункт "View Details" для существующих интеграций (также обратите внимание на чекбокс "Automatically configure all ESXi hosts"):

4. Поддержка дополнительных свойств OVF.

Для виртуального модуля Log Insight могут быть настроены свойства DNS searchpath и DNS domain, также появились и другие улучшения:

5. Улучшения агентов Log Insight.

Здесь появилось множество улучшений.

Во-первых, добавлены новые парсеры для следующих форматов:

• LTSV (Labeled Tab-Separated Values)
• Regex
• Syslog

Во-вторых, появилась полная поддержка протокола IPv6.

В-третьих, появилась поддержка copytruncate для Linux-систем. Это когда содержимое открытого активного лога переносится в другой файл, а активный лог очищается - нужно это для тех приложений, которые не могут сами закрыть файл лога и переключиться на другой.

В-четвертых, появилась поддержка Windows 10.

6. Новые API.

Вот какие API были добавлены в Log Insight:

• Authentication API - интерфейс для авторизации в Log Insight в целях дальнейшего выполнения операций.
• Query API - возможность запросов к Log Insight и получения информации, в том числе в агрегированном виде.

Также появилась утилита Importer Utility, которая позволяет импортировать старые логи и саппорт-бандлы через Log Insight ingestion API. Она поставляется в виде исполняемого файла для Windows и Linux.

7. Новые возможности в статусе Tech Preview.

В Log Insight 3.3 компания VMware ввела несколько дополнительных возможностей, с которыми можно ознакомиться в экспериментальном режиме.

Этот компонент позволяет посмотреть конфигурацию агента и пересобрать его с нужными параметрами. Делается это в разделе Agents:

Кроме того, сам виртуальный модуль VMware Log Insight 3.3 может быть полностью сконфигурирован с настройками IPv6. Также в состав платформы включены различные Configuration APIs, которые можно попробовать в режиме технологического превью.

На данный момент нет точной информации о доступности новой версии, но можно подписаться на рассылку о доступности VMware vRealize Log Insight 3.3 по этой ссылке.

Мы уже не раз писали о возможностях средства VMware vRealize Log Insight (например, тут и тут) для автоматизированного управления файлами журналов, а также сбора различных данных, их анализа и поиска. На прошедшей недавно конференции VMworld 2015 компания VMware анонсировала мажорный релиз этого средства - Log Insight 3.0.

Давайте взглянем на новые возможности продукта:

1. Возможности Log Insight 3 для больших инсталляций.

Не секрет, что продукт Log Insight ориентирован на большие инфраструктуры, где требуется централизованно обрабатывать и осуществлять поиск по сотням, а иногда и даже десяткам тысяч логов. Теперь решение обрабатывает в два раза больший объем данных в секунду (до 15 тысяч событий) на один узел. Максимальное число узлов кластера vRealize Log Insight также возросло - теперь 12 узлов могут обрабатывать 2,7 ТБ данных в день!

2. Улучшения движка аналитики.

К ним можно отнести:

• Многофункциональные диаграммы - на одном графике можно выводить функции MIN, MAX и AVG для различных сущностей.
• Интерактивные снапшоты аналитики - теперь можно визуализовать историю просмотра логов и использовать функцию "снапшота" запросов. Вы можете сравнить два разных запроса в снапшотах или использовать их для создания новых дэшбордов.
• URL Shortener - обрезалка урлов, чтобы можно было удобно посылать ссылки на интерактивную аналитику коллегам.
• События группируются по типам (объединяются одним цветом), что позволяет быстрее распознать характер события.
• Тренды событий - теперь можно устанавливать кастомный диапазон времени и бэйслайны для них.

3. Улучшенные функции администрирования.

Здесь появились следующие нововведения:

• Подхватывание роли мастер-узла другим узлом в случае временной или постоянной недоступности первого.
• Возможность обновления без простоя одной кнопкой - при апгрейде узла он выводится из кластера, после чего обновляется на новую версию (при этом балансировщик в данной архитектуре не нужен).
• Возможность форвардинга событий по UDP - теперь события syslog могут пересылаться не только по TCP.
• Архивирование данных напрямую на Hadoop Distributed Filesystem (HDFS).

4. Легкий агент сбора данных для различных систем.

Здесь имеется в виду вот что:

• Возможность массовой конфигурации агентов путем применения настроек на группу (из GUI).
• Использование парсеров на стороне клиента (с возможностью задания паттернов распознавания логов в зависимости от настроек и локали).
• Теперь события syslog посылаются по защищенному каналу SSL.

5. Улучшения документации.

• Документ по резервному копированию и восстановлению конфигураций можно посмотреть вот тут.
• vRealize Log Insight 3.0 GA Configuration Limits доступны по этой ссылке.

Скачать VMware vRealize Log Insight 3.0 можно по этой ссылке.

В нескольких заметках мы освещали новости о продукте VMware Log Insight, который предназначен для автоматизированного управления файлами журналов, а также сбора различных данных, их анализа и поиска.

Многие администраторы VMware vSphere знают, что такой продукт есть, на мало кто знает, зачем он реально нужен. Ну да, централизованно собирает логи, есть аналитика, но когда он может пригодиться? Поэтому приведем тут пример решения конкретной административной задачи с помощью VMware Log Insight, которую описал у себя в блоге Iwan Rahabok.

Итак, каждый из вас, я надеюсь, знает, что снапшоты виртуальных машин - это плохо (назовем их "snapshits"). Поэтому в большой инфраструктуре часто оказывается необходимым найти тех, кто снапшоты создает, а если он потом их удалил, то когда это было сделано.

Для начала создадим и удалим снапшот виртуальной машины. Это отобразится в списке последних задач vSphere Web Client:

Откроем консоль VMware Log Insight и перейдем в представление "Virtual Machine – Snapshots", как показано ниже:

Видим, что оба события были пойманы. Переключимся в представление Interactive Analytics (в верхнем меню):

Тут мы видим оба события на таймлайне. Расширим диапазон до 7 дней и добавим фильтр по строчкам "vmw_esxi_snapshot_operation". Видим записи лога о снапшотах:

Ну и переключимся на вкладку Field Table, где выберем параметр vc_username в качестве фильтра (если пользователь заходил из vCenter):

Ну и видим тут, что всеми этими делами занимался пользователь obi-wan.

На самом деле, с помощью Log Insight можно вытягивать очень много чего полезного, например, можно было бы составить фильтр так, чтобы показать виртуальные машины только по указанному шаблону именования.

Удивительно, на факт: средство с забавным названием SexiLog представляет собой довольно мощное средство для визуализации (в реальном времени) и анализа логов в среде VMware vSphere, при этом является абсолютно бесплатным (в отличие от VMware Log Insight).

Продукт выполнен в виде готового виртуального модуля (Virtual Appliance) по принципам архитектуры ELK stack (ElasticSearch, Logstash и Kibana). Приятно, что SexiLog поддерживает также и лучшее средство для резервного копирования виртуальных машин Veeam Backup and Replication (мы писали о нем тут):

На выходе администратор получает набор дэшбордов (они называются SexiBoards), которые отражают текущее состояние инфраструктуры по логам в виде 20 преконфигуренных представлений. Их работающие онлайн демо-версии можно увидеть вот тут. Некоторые из них весьма полезны, например, представление vMotion Downtime покажет, сколько система простаивала при кратковременном переключении работы машины с одного на другой хост ESXi.

Если вам не нравятся дефолтные компоненты модуля, то можно его подкорректировать и собрать самостоятельно, используя вот это руководство. Также есть подробный мануал.

SexiLog получает данные из следующих источников:

• UDP/514 для протокола syslog - используется со стороны VMware ESXi.
• UDP/162 для SNMP - используется как VMware ESXi, так и продуктом Veeam Backup and Replication.
• UDP/1514 для логов vCenter в формате json, которые перенаправляются агентом nxlog.
• UDP/1515 для Windows eventlog, которые перенаправляются агентом nxlog с машины Windows vCenter (можно смотреть на любую Windows-машину).

Интересная картинка о том, что продукт является полностью бесплатным:

Скачать решение SexiLog и почитать о шагах для быстрого старта можно по этой ссылке.