Виртуализация. VMware vSphere

может быть всюду использовать EFI?

2012-02-09T10:17:00.002+04:00

В пятом ESXi можно вместо BIOS использовать EFI.

Насколько я понимаю, это надо делать тогда, когда к ВМ хотим подключить диск более 2 Тб.

А противопоказания какие-нибудь есть?

VMware tools Update without reboot

2012-02-07T18:58:00.001+04:00

Обновление VMware Tools без немедленной перезагрузки.

1) на вкладке Virtual Machines выбрать требуемые виртуалки, правый клик -> Guest -> Install\Upgrade VMware tools.

Выбрать Automatiс Tools Upgrade
В поле Advanced Options вбиваем

/S /v “/qn REBOOT=R”

2) PowerCLI

Get-VM <выборка из одной или нескольких ВМ> | Update-Tools -NoReboot

3) VUM

есть такая кнопка - VMware Tools upgrade settings. Вроде как с ее помощью можно указать запускать установку новой версии при перезагрузке\выключении ВМ.
То же самое указывается если нажать remediate.

схлопывание тонких дисков

2012-02-06T23:36:00.003+04:00

Игрался полвечера с разными случаями - но похоже старый способ "схлопывания" тонких дисков через sdelete и Storage vMotion не работает.

UPD.
Что делал:

добавил к ВМ два тонких диска, записал файлов внутрь чтобы они выросли, удалил эти файлы.
натравил sdelete с ключами -с и -z - один на один диск, другой на другой.
начал по разному перемещать эти диски

Что пробовал:

переносить между хранилищами на схд и локальным диском. не схлопнулось.
переносить между VMFS 5 и VMFS 3 (с блоком = 4 и 8 МБ). не схлопнулось.
якобы отключал оптимизированный механизм копирования через vsish set /config/VMFS3/intOpts/EnableDataMovement 0. переносил пару раз - не схлопнулось.
натравливал vmkfstools -K. не помогло. мигрировал после этого - не помогло.
делал клон этой ВМ.не схлопнулось.

Так что то ли лыжи не едут, то ли я умудрился не учесть какой-то нюанс.

Идеи?

USB over IP решения для ВМ на ESXi

2012-02-06T18:27:00.002+04:00

Памятка про USB:

Хотя подключить к ВМ можно USB устройство и хоста и клиента, для постоянно подключенных устройств на голову удобнее пользоваться USB-over-IP решениями.

Популярная железка - Digi AnywhereUSB, Network-attached USB hubs.
Отзыв, см. камменты -USB over IP и VMware ESXi.

Программные решения:

Проброс USB в виртуальные машины.
Использование бесплатного пакета USBIP для проброса USB внутрь виртуальных машин.

Если кто использует не упомянутые железные или программные решения - буду благодарен подсказкам.

UPD. Поделились опытом:

Для проброса USB используем http://www.seh-technology.com/products/usb-device-servers/myutn-80-dongle-server.html - в отличие от AnywhereUSB умеет USB порты пробрасывать в отдельные VLAN, актуально, когда необходимо подключить несколько девайсов в разные изолированные друг от друга сети. Хотя AnywhereUSB, я не тестировал может он тоже умеет VLAN, но на официальном сайте digi.com упоминания не нашел.

Ed.

ESXi backup PowerCLI - GUI

2012-02-06T16:48:00.000+04:00

Писал на днях про простенький скрипт для бекапа конфигурации ESXi. А на vmind.ru углядел про GUI для этого же, притом то же на posh. (а сам я так и не смог овладеть джедайством создания оконных утилит на PowerShell :( ) ESXi 5.0 Host Backup & Restore GUI Utility (PowerCLI based).

ESXi backup PowerCLI

2012-02-05T13:48:00.001+04:00

Самое самое важное, простое и нужное использование PowerCLI:

Connect-VIServer vcenter -User administrator -Password password
Get-VMHost  | get-VMHostFirmware -BackupConfiguration -DestinationPath d:\esxibackup

Теперь в каталоге d:\esxibackup (он должен быть создан заранее) у вас появляются резервные копии конфигурации ESXi.

Если выполнить скрипт так как он приведен – всех ESXi в том vCenter, куда мы подключились в этой posh-сессии

Восстановить конфигурацию можно вот так:

$esxi = get-vmhost esxi01
Set-VMHost $ESXi.Name -State 'maintenance'
Set-VMHostFirmware -vmhost $ESXi -Restore -SourcePath “D:\temp\esxibackup\” -HostUser root –HostPassword password

Если в указанном каталоге бекапы нескольких серверов, то скрипт выберет нужный по имени.

Если изначально сделать выборку не одного хоста, а нескольких (или всех) – восстановит конфиг на всех.

UPD. Есть и GUI для такого скрипта:

ESXi 5–новое в cli

2012-02-04T21:30:00.001+04:00

Кто любит (или нужда заставляет) покопаться в командной строке ESXi – очень интересные ссылки:

RDM–> vmdk

2012-02-04T21:27:00.001+04:00

Проверил на пятерке старый трюк по превращению RDM в vmdk:

К ВМ подключен LUN как RDM.
В каталоге ВМ появились файлы vm.vmdk и vm-rdm.vmdk. Реальный размер последнего (смотрелся командной du -h) = 0.

Теперь делаем svMotion.
Ничего не поменялось.

Теперь опять делаем svMotion, но явно указываем тип диска (не “same as source, a thin\thick”).
Содержимое RDM было скопировано в vmdk файл, LUN теперь не подключен к этой ВМ, ее диском является этот новый файл.

Как и раньше.

Мораль – если надо RDM LUN перенести в vmdk – то Storage vMotion поможет.
Но если этого не надо – то при svMotion ВМ с RDM LUN’ом надо быть очень внимательным – если явно указать тип диска, то он перенесется в vmdk.

Верно только для Virtual RDM, для Physical RDM это не работает.

UPD. В комментариях подсказали ссылку где написано что перенос в vmdk заработает и для pRDM, если мигрировать на другое хранилище выключенную ВМ.

UPD2. Полное описания разных случаев доступно угадайте где - http://kb.vmware.com/1005241

troubleshooting

2012-02-04T09:58:00.001+04:00

Памятка. Инструкции для решения проблем (Resolution Path KB articles):

Кстати, если кто подскажет еще какие интересные источники информации такого рода, обзорные, буду благодарен.

http://www.vmworld5.ru

2012-02-03T11:00:00.003+04:00

В нашем полку прибыло - http://www.vmworld5.ru/
Мир Виртуализации
Блог технического характера про виртуализацию от VMware

ESXi 5 snmp

2012-02-02T00:22:00.000+04:00

Как настроить snmp на ESXi версии 5 при помощи PowerCLI:

# подключаемся к vCenter
Connect-VIServer vcenter –User <юзер> –Password <пароль>

# заносим в переменную все наши сервера ESXi
$esxis = Get-VMHost

# отключаемся от vCenter
disConnect-VIServer vcenter -Confirm:$false
  
# начинаем цикл – перебираем по одному сервера из списка
# дело в том, что эти команды вроде как работают только 
# при прямом подключении, без vCenter
foreach ($esxi in $esxis) {

   # подключаемся к текущему серверу

   Connect-VIServer $esxi -user root –Password <пароль рута>

   # заносим в переменную его настройки SNMP
   $hostsnmp = Get-VMHostSnmp

   # если захотим посмотреть настройки, то следующие три строки комментируем, и расскоментируем эту
   # Test-VMHostSnmp -HostSnmp $Hostsnmp

   # включаем snmp
   Set-VMHostSnmp -HostSnmp $hostsnmp -Enabled:$true #-WhatIf

   # указываем community, с которым ESXi будет получать команды snmp
   Set-VMHostSnmp -HostSnmp $hostsnmp -ReadOnlyCommunity 'vsphererocommunity' #-WhatIf

   # указываем на какой сервер и с каким community слать trap
   Set-VMHostSnmp -HostSnmp $hostsnmp -AddTarget -TargetHost "192.168.22.250" -TargetCommunity "monitoring" #-WhatIf;

   # отключаемся от текущего сервера
   disConnect-VIServer $esxi -Confirm:$false

}

скрипт набросан за десяток минут и не отлажен – зато работает.

Охота посмотреть что приходит? Я пользуюсь SNMP Trap Reciever (кстати, кто знает аналоги, чтобы mib не приходилось по одному загружать\удалять как здесь?)

MIB для vSphere 5 – http://downloads.vmware.com/d/details/snmp_mibs/dHRAYnQlKmhiZHAlJQ==.

vSphere 5 SSL

2012-02-01T22:35:00.001+04:00

Памятка про замену сертификатов ssl.
Официальная дока по vSphere 5 - vSphere Security –> Encryption and Security Certificates for ESXi and vCenter Server.
Change the Update Manger SSL Certificate - vSphere Update Manager 5.0 Documentation > Reconfiguring VMware vSphere Update Manager.
Для веб-клиента - Want to use a self signed SSL certificate with the vSphere Web Client?
Замена SSL сертификата на VMware vCenter Server Appliance (VCSA).

По-русски
SSL сертификаты в ESXi | VMware.
Замена сертификатов на vSphere 4.1.
Замена сертификатов на службах VMware vCenter Server 4.0.

На всякий случай
Replace SSL Certificates: Replace vCenter Server SSL Certificates
Replacing vSphere SSL Certificates

the book

2012-01-31T17:28:00.001+04:00

делаю тут предметный указатель. Дурацкий вопрос, но вдруг не очень дурацкий :-) : какие вещи в предметный указатель стоит добавить? Дружно вспоминаем и отписываемся в комментарии!!

hp eva 6500

2012-01-31T11:14:00.001+04:00

Из переписки:

на условиях анонимности могу протестировать и скинуть результаты

hp eva 6500 400 дисков 15k 4 порта 8Gb FC

с сервера 460 g7 2 х 4Gb FC

...

с одной стороны такие тесты - штука не однозначная. Если работает быстро - что же, хорошо. Медленно - непонятно, то ли медленно, то ли что-то недонастроено...

Но интересно же, да?
...

при запуске vmware-io-analyzer-1.0.0

обнаружил очень низкие результаты для EVA.

начал искать проблему, оказалось что диск для анализа всего 100МБ, а ева разбивает LUN по физическим дискам на блоки по 2МБ(если не ошибаюсь) т.о. vdmk не очень хорошо лежал

после расширения до 1GB полегчало.

vmw_satp_alua RR (VMware), io=1

2 Host 2xFC 4Gb, 2 IoAnalyzer

EVA 6500 8GB/4FCx8Gb/400disk 15k/ посторонней нагрузки на EVA <50iops

2 LUN (1LUN vRAID1 on Controller1 & 1 LUN vRAID1 on Controller2)

Быстро сделал тестов. в скрепке.

надеюсь до конца недели будет у хостов 2xFC8Gb

результаты в целом низковаты для такого количества дисков.

скорее всего если будет большее количество потоков будет результат выше.

сделал один тест на 4 потока, это в целом подтвердилось.

плюс было бы интересно посмотреть EVA с всеми 8портами FС.

Результаты:

help

2012-01-30T18:25:00.000+04:00

Стараюсь из блога не делать дневник "на что гляжу о том пою", но вот это, проскочившее сегодня в рсс, очень очень порадовало:

Простая, на первый взгляд, просьба «Помогите!» может иметь очень даже разные смыслы.
Первый — самый частый: «Сделайте за меня».
Второй, такой же частый: «Дайте мне».
Только третий, и отнюдь не частый: «Я делаю — прошу мне подсобить».
И уж самый редкий — четвертый: «Научите меня, как делать самому».
Поэтому если хотите поучаствовать в помощи страждущим, сперва разберитесь: чего же из вышеперечисленного они от вас хотят?

vSphere 5 Licenses

2012-01-29T01:07:00.002+04:00

Памятка про лицензирование vSphere 5.

Дорогие лицензии:

Покупаются на процессор, каждая штука лицензии дает право на 32\64\96 Гб vRAM.vRAM - в общий пул, из которого нельзя вылезать в среднем за год. Ограничение только юридическое.

Дешевые лицензии - Essentials и Essentials Plus. Вторая умеет HA и Data Recovery. Одна штука такой лицензии дает право на ESXi для 3х двухпроцеесорных серверов и vCenter Foundation. vRAM - 192 ГБ. Ограничение vRAM техническое.

Документ с подробностями про лицензирование - VMware vSphere 5 Licensing, Pricing and Packaging.

ESXi c бесплатной лицензией не может управляться через vCenter, 32 Гб vRAM.

Что делать если есть купленные лицензии на vSphere 4, а нужны на vSphere 5
или
есть купленные лицензии на vSphere 5, а нужны на vSphere 4.
Upgrading and downgrading VMware product licenses.

Storwize V7000 + ESX 5.0 iSCSI LUN ALUA

2012-01-28T21:35:00.001+04:00

Из переписки.

Со мной и с вами поделились информацией:

Итак, изначально настроены 2 target на Storwize, в список Storage adapter добавлен vmhba iSCSI адаптер (vmhba34).

На двух виртуальных коммутаторах созданы интерфейсы vmk1(iSCSI) и vmk2(iscsi-2)

В свойствах iSCSI initiator оба интерфейсы добавлены на вкладке Vmkernel Port Binding

Поскольку интерфейс vmk2 мы добавили после того, как были добавлены LUN (у нас их 2), то видим такую картину:

2 адаптера, 2 контроллера, 2 LUN. То есть должно быть 4 пути к каждому LUN, но их 6 и в сумме получается 12 к двум LUN.

Такое же поведение видно обсуждают в комментах здесь: http://www.yellow-bricks.com/2009/03/18/iscsi-multipathing-with-esxcliexploring-the-next-version-of-esx/

При перезагрузке ESX всё встает на свои места и мы видим, как положено, 4 пути к LUN, суммарно 8.

Далее заходим в свойства datastore, Manage Path:

Видим, что SATP плагин для Storwize по умолчанию VMW_SATP_SVC и политика Fixed. При этом если нагрузить массив, увидим следующее:

Трафик идет через vmnic1. Изменим политику на Round Robin.

Посмотрим интерфейсы

Трафик идет через оба vmnic к обоим контроллерам Storwize, что можно увидеть в интерфейсе управления.

Контроллер 1 (node1):

И контроллер 2 (node2):

Видно, что трафик между iSCSI интерфейсами storwize разделен поровну.

В данном случае, запросы отправляются к 2 контроллерам и по оптимальному пути и по неоптимальному. Интересно всё таки включить ALUA, так как массив этот режим поддерживает.

Открываем VMware HCL, и видим, что тестированная конфигурация для Storwize V7000 v6.3 является 8G FC-SVD-FC, SATP плагин VMW_SATP_SVC и политика VMW_PSP_FIXED.

Пренебрежем этим, поскольку у нас даже не FC, а iSCSI и проведем эксперимент. Найдем идентификатор нашего LUN: na.6005.........000. Далее заменим default SATP плагин для этого LUN на VMW_SATP_ALUA

Перегрузим ESX.

После перезагрузки идем в свойства нашего datastore на вкладку Manage Path:

Видим, что SATP плагин изменился на VMW_SATP_ALUA. Но пока что политика Fixed.

Трафик на интерфейсах:

Трафик идет через vmnic1.

Изменим на Round Robin:

Видим, что при политике RR и плагине ALUA активны только 2 оптимальных пути к контроллеру 2.

Трафик на интерфейсах:

Трафик идет через оба интерфейса.

Посмотрим на интерфейс управления Storwize

Контроллер 1(node1):

Запросов к контроллеру нет, поскольку LUN принадлежит контроллеру 2.

Контроллер 2 (node2)

Как видно, запросы обрабатывает контроллер 2.

Возможно, что-то сделал не совсем верно, просьба меня поправить. Если нужно что-то проверить и потестировать, пока Storwize в моем распоряжении – готов помочь.

Thx Andrey Gritsay

к вопросу о резервном копировании ESXi с бесплатной лицензией

2012-01-23T21:34:00.001+04:00

Из переписки:

Pavel Alexei:

Добрый день

Читаю уже давно Ваш блог.

Давно бьюсь с задачей backup free версии ESXi, которое бы воспринимало thin файлы. Все коммерческие продукты backup не работают с free версией ESXi, так как в ней отсутствует vStorage APIs for Data Protection.

К сожалению единственное на текущий момент решение, которое я нашел, это ghettoVCB, причем первой версии, которая работает как скрипт на консоли ESXi. Но и тут есть подвох, не могу «вытащить» куда-то на сторону thin vmdk файлы. Даже если монтировать в качестве внешнего datastore NFS шару, то и там -flat.vmdk в виде sparse файлов лежат. А хочется иметь возможность положить куда-то «далеко». Если NFS от линукс, то можно там, на месте, это зажать при помощи tar -S, тогда tar понимает что это sparse файл, и получаем то что хочется. Этот «маленький» tar можно переложить куда хочется.

НО, хочется большего :-) Хочется нормальный GNU tar под ESXi, чтоб делать все там, на месте. Есть где-то «нормальные» портированные gnu утилиты под ESXi?

я:

приветствую.

мне такого не встречалось.
впрочем, я и не искал - не вставало такой задачи.

Pavel Alexei:

По ходу я нашел. Совсем случайно

http://ftp.cica.es/mirrors/Linux/pramberger.at/vmware/esx4i/IPKGS/

правда установить через ipk не получилось, но зато смог вытащить, ipk это tar.gz.

Теперь могу

tar cvfzS XXX.tgz XXX.vmdk XXX-flat.vmdk

можно свободно переносить XXXX.tgz. Этот tar sparse он точно понимает, из 4GB «пустого» vmdk файла она создала 10KB tgz, хотя ls показывает 4GB

Тут же вижу есть rsync, понимающий sparse файлы.

И еще coreutils с кучей полезностей.

Может еще пригодиться, чтоб не мучать по чем зря ssh/scp - ftp клиент для vmware (ftpput/ftpget)

http://www.magikmon.com/download/mksbackup/

block size

2012-01-23T00:17:00.001+04:00

Тут был текст про размер блока IO. При попытке отредактировать его с помощью клиента текст пропал при падении клиента. Но оно и к лучшему - я ошибся, не надо было писать пост в час ночи :-)

уточню вопрос дополнительно, обновлю пост.

EVA P6500 на 100HDD

2012-01-23T00:11:00.002+04:00

Из переписки:

у меня приехала EVA P6500 на 100HDD 600 10K и два хоста bl620g7 ESX5 Ent.
если есть время и желание, то в ближайшие пару дней я могу что-нить погонять...
у меня одна дисковая группа на 100 дисков.
поверх них можно нарезать разных Virtual Disks с разными Vraid'ами.
..

Вот что у меня получилось при тестирование io-analyzer'ом

Дополнительные материалы тестирования.
Есть возможность померять и в других конфигурациях, если есть идеи - предлагайте.

В нашем полку прибыло - http://vladek.net

2012-01-13T16:16:00.001+04:00

Новый, потенциально интересный блог от Владислава Кирилина. Пост – про зонирование / FibreChannel Zoning.

Commands to monitor snapshot deletion

2012-01-10T19:12:00.000+04:00

Как многие знают, снапшоты - штука такая, неоднозначная. Вот на русскоязычной ветке офффорума не напрягаясь можно найти описания случаев со всякими чудесами. И чудесами плохими.

Одна из характерных ситуаций - многочасовое удаление больших снапшотов. Ситуация неприятна тем, что ВМ заблокирована, индикации нет (часто большую часть времени прогрес бар находится в состоянии 99%), что происходит и происходит ли что-то вообще непонятно.

Углядел новую для себя статью базы знаний - Commands to monitor snapshot deletion. Правда, пятый ESXi не заявлен в списке продуктов, для которых это предназначено - так что надо будет проверить.

UPD. Альтернатива -Мониторим процесс удаления снапшот(а/ов) из командной строки.

ESXi 5 partition table

2012-01-10T13:59:00.000+04:00

Хороший пост про структуру разделов на системном диске ESXi - Разделы VMware ESXi 5.0.

Полезные вещи на эту тему:

Creating a persistent scratch location for ESX - http://kb.vmware.com/kb/1033696.

если локальный VMFS был, но его удалили - то восстановить скорее всего получится только переустановкой ESXi - http://kb.vmware.com/kb/2000454. Кстати интересно - а подхватятся ли конфиги при переустановке той же версии поверх?

partedUtil - утилита для работы с разделами в локальной командной строке ESXi 5. Как с ней обращаться - http://kb.vmware.com/kb/1036609.

желательно настроить сбор логов ESXi на отдельной системе - http://www.vm4.ru/2011/10/vmware-syslog-collector.html. Или хотя бы перенаправить локальные логи на какой-то нелокальный VMFS - чтобы когда сервере станет нерабочим (тьфу-тьфу) - были шансы найти в логах "а что и почему?".
еще сюда же http://kb.vmware.com/kb/2003322.

PCoIP Log Viewer 2.0

2012-01-10T13:25:00.000+04:00

Попробовал в деле новую утилиту - PCoIP Log Viewer 2.0.

Прикольно.

На машине где установлена java устанавливаем ее, запускаем.

В меню File –> New Connection указываем адрес виртуального десктопа – той ВМ, куда подключается пользователь.

После авторизации видим красивые графики:

в данный момент на этом десктопе имитируется офисная нагрузка при помощи VDI Sizing tool, о которой я уже упоминал в недавнем посте.

Как видно, при работе с офисном пакете нагрузка на сеть крайне мала.

Коллеги, было бы интересно узнать – а что показывает эта утилита для ваших пользователей, с той или иной рабочей нагрузкой?

получение инфы о настройка Distributed vSwitch

2012-01-10T13:21:00.000+04:00

Углядел перловый скрипт, который запускается локально на хосте, для сбора и вывода данных о распределенном коммутаторе – Retrieving Information from a Distributed vSwitch.

Для конфигурирования dvSwitch из командной строки есть, неофициальные правда но вполне рабочие, модули PowerShell – PowerCLI + Distributed switch.