Заболел сервер видеонаблюдения на виртуалке и как мы его лечили
Понедельник - обычный день на моей работе, (Я работаю айтишником у местного интернет-провайдера), ничего не предвещало беды, я работал над сервисом (переносил его на другой движок, если интересно), который объединяет камеры с серверов и регистраторов нашей сети через api и выдает поток с камеры по запросу (для наших абонентов под логином и паролем от лк, для остальных регистрация и небольшая денежка за подписку).
Отвлекся... Сижу, работаю, начинают сыпаться письма, что не работают камеры - полез разбираться. Машина работает под управлением Windows Server 2016, на котором запущено несколько экземпляров софта Trassir server (один из которых отвалился), логи софта ничего не дали стал смотреть логи виртуалки:
Device naa.600605b008996800221d6a3a46fa2d78 performance has deteriorated. I/O latency increased from average value of 632 microseconds to 19364 microseconds.
- Сказал мне лог, а с этой надписью подросла и температура у меня и колеги, так как сама виртуалка - это железка с собранным RAID массивом, собранным еще прошлыми ребятами, и не хватало нам еще проблем с жестким диском.
Прошло два часа с момента, как все лежало, нарастал градус, кипел отдел (как и замдир, каждые несколько минут задававший очередной вопрос - "ну как там, скоро?"). Решили сперва погуглить и нашли инфу, что нужно отключить технологию виртуализации Intel VT-d в самой ESXi (iovDisableIR), и вот мы уже логинимся по ssh и вводим заветную команду esxcli system settings kernel list -o iovDisableIR в надежде, что сработает - ребутаем сервер, молимся. Иии....иии...ииииии...пинги пошли.... - маячил колега. Запускаем удаленку с сервером, запускаемся и все прекрасно! Тьфу, тьфу, тьфу! Пол часа с момента починки - полет нормальный, можно снова заниматься своими делами.
Всем хорошего дня и настроения!
P.S. Не знаю, как позвать разрабов - https://kapi.bar/publish/(заголовок) слишком большая высота страницы, то есть: видно блоки по бокам, небольшой блок, который сообщает, что пост опубликован, и страницу можно скролить вниз, на мой взгляд многовато. При редактировании поста (когда сохранишь) - эта страница так же по height уехала. Не знаю, баг это или нет, но наблюдение...