Еще в прошлом году я перестал в этом блоге называть “классическую” структуру из двух контроллеров в системах хранения NetApp “кластером”, с тем, чтобы вам было проще “переключиться”. Пару контроллеров под управлением Data ONTAP 7.x и Data ONTAP 8.x 7-mode следует правильно называть HA-pair (HA – High Availability), HA-парой, или, в крайнем случае, HA-кластером, ясно отделяя это от “кластера” в 8.x Cluster-mode. Словом “кластер” у NetApp теперь называется совсем иная структура. Дабы не путаться, буду следовать этому правилу именования и я.

В настоящий момент можно построить кластер, работающий как NAS-сервер (NFS или CIFS) из 24 узлов-контроллеров (nodes), то есть из 12 HA-пар контроллеров.

В версии Data ONTAP 8.1 появлась также поддержка блочных протоколов (iSCSI, FC, FCoE). Однако при использовании блочных протоколов (только их одних, или в комбинации с NAS) максимальный размер кластера на сегодня поддерживается в размере четырех нод, или двух HA-пар. Эта величина, как я думаю, будет расти, как только будет все отлажено и обеспечена надежность, все же 8.1 это первая версия с такой функциональностью, но пока – имейте это ввиду. Связано это, прежде всего, с тем, что файловые протоколы, такие как NFS или CIFS, по сути, полностью управляются и контролируются на стороне стораджа, и проще обеспечить все необходимые процедуры работы и синхронизацию процессов между узлами кластера.

Прежде всего, следует осознать разницу, между понятиями Global Filesystem и Global Namespace.  Data ONTAP 8.1 Cluster-mode это Global Namespace, но НЕ Global Filesystem.
Global Namespace позволяет вам видеть кластер и его пространство, как совокупность нодов его составляющих, как единую “сущность”, целостное пространство, вне зависимости от того где и как хранятся ваши данные. Однако с точки зрения хранения, каждый нод-контроллер, по-прежнему оперирует данными, хранящимися на его aggregates и томах. Один единственный файл не может располагаться более чем на одном aggregate/ноде-контроллере. Также он не может мигрировать, распределяясь частью на одном, частью на другом ноде-контроллере.

Это, как мне кажется, очень важно понимать, поэтому на этом я так заостряюсь.

Безусловно, устройства, реализующие Global Filesystem, имеют в этом месте меньше ограничений (например EMC Isilon с его OneFS это как раз Global Filesystem), однако, в нашем мире, как вы помните, ничего не дается бесплатно, и реализация Global Filesystem влечет за собой ряд весьма неприятных побочных негативных эффектов, в первую очередь для производтельности. Isilon весьма хорош, но он хорош на определенных типах рабочей нагрузки (преимущественно последовательном доступе). Насколько в вашем конкретном случае важна возможность хранить огромного размера файл(ы), превосходящие по размерам емкость дисков, подключенных к одному контроллеру, и распределенные на несколько узлов кластера, и готовы ли вы за такую возможность заплатить ухудшением характеристик рандомного доступа к ним – решать вам. На сегодня на рынке имеется как тот, так и другой вариант.

Преимущество же в производительности довольно убедительно показал NetApp в недавнем тестировании SPECsfs2008 на протоколе NFS, где 24-нодовая система FAS6240 под управлением Data ONTAP 8.1, почти в полтора раза превзошла 140-нодовую систему EMC Isilon S200.

При этом, следует отметить, что, в случае NetApp, тестировался worst case, “наихудший случай” то есть только 1/24 часть всех операций шла на контроллер-owner, 23 из каждых 24 операций шли через “неродные” контроллеры, через cluster network, и не использовались никакие существующие у NetApp средства оптимизации, такие как, например, Load Sharing Mirrors (RO-копии) на “неродных” узлах кластера, которые, безусловно, увеличат производительность в реальной жизни.

Напомню, что тест SPECsfs2008 это классический и авторитетный тест, имитрирующий усредненный типовой файловый доступ по протоколам NFS (и CIFS), сгенерированной смесью операций соответствующего протокола, и там, понятное дело, много операций с метаданными и, преимущественно, рандомный доступ.

Итак – Data ONTAP 8.1 Cluster-mode это Global Storage Namespace, но НЕ Global Storage Filesystem. Несмотря на то, что вы видите кластер как единую сущность, отдельный файл, на нем хранимый не может превышать емкость аггрегейта одного контроллера. Однако вы можете получать доступ к данным этого файла через любой из контроллеров кластера. В этом заключается разница между Global Filesystem и Global Namespace.

Второй момент, на котором мне хочется подробнее остановится, это то, как именно строится кластер физически.

Несмотря на то, что, формально, “единицей измерения” размера кластера является одна нода, представляющая собой один физический контроллер, ноды эти всегда включены в HA-пары. По этой причине количество нодов в кластере NetApp Data ONTAP 8.x Cluster-mode всегда четное. Таким образом обеспечивается надежность и высокая доступность (High Availability) ноды, тем же методом, как это делалось для контроллеров в 7.x.

Поэтому вы не можете сделать 5- или 15-нодовый кластер, а 4-, 6- или 16-нодовый можете.

Третий момент, который мне бы хотелось подробнее осветить, есть то, что в настоящий момент NetApp предъявляет довольно строгие требования к оборудованию для реализации кластерных коммуникаций. Для построения Cluster network, то есть внутренней сети самого кластера, в настоящий момент поддерживаются только две модели 10-Gigabit коммутаторов, это Cisco Nexus 5010 (20 портов, кластер до 12/18 нодов) и Cisco Nexus 5020 (40 портов, кластер более 18 нодов), их продает NetApp со своими партномерами, в составе общей квотации такой системы. Причем использовать эти коммутаторы можно только под задачи внутренней кластерной сети, совмещать их с другими задачами, например для подключения в них клиентской сети – нельзя. Даже если там еще остались порты.

Однако есть и хорошая новость. Сейчас NetApp и Cisco, в качестве time-limited promotion, при заказе cluster-mode стораджа у NetApp, отдает необходимое инфраструктурное оборудование за символическую цену 1$ за Cisco Nexus для Cluster network и Cisco Catalyst 2960 для Cluster management network, плюс необходимые SFP и кабеля. При этом цена на систему Data ONTAP 8.1 Cluster-mode из двух нодов, для промоушна, уравнена с ценой аналогичной конфигурации 7-mode, а инфраструктурная часть придет по цене 5$, за пять девайсов (два Nexus 5010, два Catalyst 2960, сет кабелей), плюс сервисные платежи.

Прежде чем у вас как следуют загорятся глаза и затрясутся руки “купить Нексус 5010 за один бакс”, я бы хотел отдельной строкой уточнить, что это предложение действует только для покупки системы cluster-mode, и, по условиям покупки, не может использоваться ни для чего другого.

Купленную по промоушну систему на две ноды можно расширить до 12 нодов (6 HA-pair) докупая только SFP и кабеля.

Структура cluster-mode кластера такова (на рисунке, для примера, показана двухузловая система):

В качестве коммутаторов клиентской сети можно использовать любые коммутаторы, Ethernet или FC, в зависимости от потребностей пользователя.

В качестве коммутаторов Cluster network switch могут использоваться только Cisco Nexus 5010 (для кластеров с числом нод до 12/18) или 5020 (для большего числа нод).

В качестве Cluster Management Switch NetApp рекомендует Cisco Catalyst 2960, но, в настоящее время, не обязывает покупать именно эту модель, при необходимости использовать имеющуюся у клиента иную модель, это может быть оформлено через заведение PVR, специального запроса на проверку и аппрув конфигурации у NetApp. NB: SMARTnet для такого свитча – обязателен!

Cluster Network это выделенная только под эту задачу сеть 10Gb Ethernet. Единственное исключение – FAS2040, которая может использоваться в Cluster-mode с использованием Gigabit Ethernet, но не рекомендуется ее использование с другими контроллерами. Обратите внимание, что даже для 2040 и ее Gigabit Ethernet, другие коммутаторы, кроме Nexus 5010/5020, не поддерживаются!

Ноды кластера могут быть различными по модели. Вы можете объединить в единый кластер любые контроллеры, для которых объявлена совместимость с cluster-mode (с единственным исключением в виде FAS2040, использование которого с контроллерами другого типа не рекомендуется (хотя и возможно), по вышеописанной причине отсутствия портов 10G)

Вы также можете объединить в кластер и системы с дисками различных типов, например вы можете построить систему с дисками SAS, SATA и SSD в рамках одного единого кластера, и организовывать миграцию данных между разными колнтроллерами-нодами и дисками разных типов.

Далее кратко и бегло:

Какие контроллеры в настоящее время поддерживаются для работы в Cluster-mode?

FAS/V62×0, FAS60×0, FAS/V32×0, FAS31×0, FAS3070, FAS3040, FAS2240, и FAS2040.
Для 2040 есть ограничения, связанные с отсутствием 10G Ethernet, для 3040 и 3070 ограничено максимальное количество нодов в использующих их кластеров. Помните, что для работы Cluster-mode нужна пара портов 10G Ethernet и несколько дополнительных портов для сетевых интерфейсов cluster management и сети собственно доступа к данных с клиентов.

Какие возможности “традиционной” Data ONTAP 7-mode поддерживаются, и какие – не поддерживаются?

Поддерживаются:

• Доступ к данным по:
  • файловым протоколам (NFSv3, NFSv4, NFSv4.1/pNFS, CIFS(SMB1.0), SMB2.0 и SMB2.1), c размером кластера до 24 нодов.
  • по блочным протоколам (iSCSI, FC, FCoE), с размером кластера до 4 нодов (кроме FAS2040, FAS3040/3070 и FAS6030/6070, для них SAN в cluster-mode не поддерживается) .
• Репликация SnapMirror – только асинхронная и только Volume SnapMirror. Репликация совместима только между системами Cluster-mode.
• Снэпшоты
• Компрессия и дедупликация
• FlexClone
• NDMP

Не поддерживаются:

• Синхронный SnapMirror, Qtree SnapMirror (сами qtree как объект иерархии поддерживаются), SnapMirror между системами 7-mode и cluster-mode
• SyncMirror
• Metrocluster
• SnapVault
• SnapLock
• IPv6

Каковы основные преимущества и цели системы Cluster-mode?

• Балансировка и масштабирование для больших нагрузок
• Непрерывающее работу наращивание производительности и миграция данных
• Единая, с точки зрения управления и администрирования “сущность” – кластер нодов.
• Поддержка привычных средств и фич NetApp – RAID-DP, FlexClone, Snapshots, SnapMirror Async, дедупликация, компрессия.

Что такое Vserver?

Оставайтес с нами, об этом – в следующих постах :)

Есть/будет ли FlexPod под Cluster-mode?

Пока – нет, но, возможно, будет.

Какие диски и полки поддерживаются?

Все, любые существующие на сегодня в продаже (не поддерживается интерфейсный модуль ESH2 и еще более старые).

Можно ли включать в кластер системы V-series и сторонние стораджи через них?

Да, можно V3200/6200 c EMC DMX4, CX4 и HP EVA. Остальные, может быть, через PVR. Однако даже для перечисленных систем нужна полка с дисками NetApp для хранения root volume.

Каков максимальный размер aggregate?

• 2040/3040/3070 – 50TiB
• 2240 – 60TiB
• 3210/3140 – 75TiB
• 6030/6040/3270/3170 – 105TiB
• 6070/6080/6210/6240/6280 – 162TiB

Каков максимальный размер тома?

Как максимальный размер 64-bit aggregate в 7-mode для соответствующих контроллеров

Каково максимальное расстояние “разноса” нодов кластера?

Максимальное допустимое расстояние от ноды до коммутатора cluster network – 300 метров.
Расстояние между redundant коммутаторами cluster network – 300 метров.
Расстояние между двумя нодами в HA-паре – то же, что и для 7-mode.

FlashCache поддерживается?

Да!

Есть ли non-disruptive upgrade для систем 7-Mode?

К сожалению – нет. Только через полную разборку-сборку.

Есть ли non-disruptive expand или reduce для кластера новыми нодами?

Да.

Можно ли слить вместе два кластера?

В настоящий момент нет, только через копирование, разборку второго и добавление его нод.

Нужен ли коммутатор для Cluster network в случае использования всего двух нод в кластере?

Да, все равно нужен даже для всего двух нод.

Работают-ли на Cluster-mode системах дедупликация, компрессия, thin provisioning, снэпшоты?

Да, все это работает.

Каким образом можно управлять кластером в Cluster-mode?

• GUI: NetApp System Manager 2.0
• CLI: SSH к кластеру, ноде или Vserver
• OnCommand 5.0
• NetApp Management SDK

FilerView (web-интерфейс, встроенный в контроллер) начиная с 8.1 не поддерживается.

Должен ли я управлять каждой нодой в отдельности?

Нет, кластер управляется как целостная сущность, без разделения на ноды. Каждая нода, при включении в кластер, получает и наследует глобальные настройки данного кластера.

Как обеспечивается антивирусная защита хранимых данных для кластера?

Тадааам! Теперь у Data ONTAP есть встроенный в OS движок антивирусного контроля и защиты. В настоящий момент лицензированы продукты Sophos и McAfee

Больше о работе и управлении в кластере – в следующем посте этой серии.

Так, например, довольно интересной задачей яляется поиск и вывод так наываемых busy spindles, или физических дисков, нагрузка по вводу-выводу на которые превышает норму по аггрегейту. Такое случается иногда при несбалансированности aggregate, например, чаще всего, при добавении дисков, которые, в ряде случаев, могут потребовать “рестрайпинга данных”.

В community.netapp.com я увидел интересную строчку для использования в скрипте вывода такой информации:

watch -n 3 "ssh NetAppHost stats show disk:\*:disk_busy | awk '{FS=\":\"; print \$1 \" \" \$2 \" \" \$3 \" \" \$13}'| sed 's/%//g' | awk '\$4>40{print}'"

Можете воспользоваться, кому интересно, и расскажите как работает.

Коллеги, с удовольствием хочу сообщить хорошую новость. На днях я решил завести “место для дискуссий” для значительного числа пользователей (а также “пока не пользователей”) NetApp, как моих читателей, так и для любых пользователей, предпочитающх общение на русском языке. Теперь у нас есть специальная группа на сайте http://communities.netapp.com, главном сайте всех юзергрупп, созданом NetApp.

В опросе, проведенном в прошлом году, я увидел, что отсутствие своего места для обсуждения, поддержки на русском языке и взаимодействия с партнерами и вендором, является одной из самых острых и насущных проблем пользователей NetApp. Именно для решения этой проблемы и была создана NetApp Russian Users Group (NetApp RUG), пока виртуальная, но позже, кто знает, может быть, найдем время и возможность собраться и познакомиться очно.

Ее адрес: https://communities.netapp.com/groups/netapp-ru. Группа открытая, и доступна для просмотра незарегистрированным на comunities.netapp, но для полноценного общения, комментирования, для скачивания документов, которые я там постепенно буду выкладывать, рекомендую зарегистрироваться и создать логин. Можно пользоваться вашим логином на NOW, если он у вас есть, можно создать отдельный. В отличие от регистрации на NOW этот логин создается сразу же и не требует аппрува в поддержке NOW.

Жду багрепортов, пожеланий и замечаний.

Я планирую привлечь для регулярного участия в группе специалистов компний партнеров и дистрибуторов, а также, возможно, найду на нас время и наши коллеги из российского представительства NetApp. Если вы имеете вопросы по вашим системам NetApp, или, может быть, также вопросы как потенциальный покупатель, технические вопросы по технологиям NetApp, технические проблемы, которые вы не можете разрешить с поддержкой, или же по тем или иным причинам не можете или не хотите решать на уровне официального саппорта, их тоже можно попробовать задавать в группу. Уверен, кто что знает – поможет. По крайней мере англоязычные дискуссии и помощь на communities.netapp очень полезные и активные.

Также буду рад пользователям IBM N-series, имеющим, как я знаю боооольшие проблемы с поддержкой по линии IBM. Заходите, что-нибудь придумаем и с вами.

Для начала же несколько слов о том, что такое Data ONTAP Cluster-mode, и чем он отличается от привычного Data ONTAP 7-mode в HA-кластере.

Еще в 2003 году NetApp купила стартап Spinnaker, занимавшийся разработками в области кластерных файловых систем и системы Global Namespace, и несколько лет спустя выпустила на рынок специальную OS, под названием Data ONTAP 10. Это была специальная OS для систем NetApp, позволявшая строить многоузловые кластеры хранения данных. К сожалению, она имела множество ограничений, в частности, работала только как NFS-сервер, и не имела множества важных и привычных возможностей “классической” Data ONTAP 7.x, поэтому особой популярности не завоевала, была дорогой, ограниченной, требовавшей значительных специальных знаний для запуска и использования, и, в результате, ее использование было ограничено рынком высокопроизводительных файловых серверов для HPC (High-performance Computing) и систем хранения научной и аудио-видео информации. Общее число клиентов в мире, использовавших Data ONTAP 10, не превышало пары сотен.

Следующим шагом NetApp, стала попытка объединить, “слить” две эти OS в одну. Однако объявленное в 2008 году “слияние” оказалось в значительной степени “фиктивным”, просто из одного дистрибутива OS, получившей название Data ONTAP 8.x стало возможным установить две OS: либо в режиме 7-mode, то есть “классической” Data ONTAP, либо в режиме, получившем название “Cluster-mode”, и явившемся развитием Data ONTAP 10. К сожалению это были, как я сказал выше, просто две OS, ставившихся из одного дистрибутива, и только. В Cluster-mode не появились привычные возможности Data ONTAP Classic, и по-прежнему это были две несовместимые OS, не имевшие возможности миграции данных или взаимодействия, полностью отличавшихся по структурам хранения данных и работе с ними.

Вследствие этого, имеющиеся пара сотен клиентов DOT10 были переведены на 8.x Cluster-mode, а основная масса пользователей систем NetApp по прежнему продолжала пользоваться “7-mode”. Значительным барьером, кроме функциональных ограничений, была и цена, а также сложность реализации.

Однако работы продолжались, и, постепенно, в 8.x Cluster-mode стали появляться привычные для 7-mode возможности, такие как репликация, блочная дедупликация, а также, что более всего важно, работа с блочными протоколами – FC, iSCSI и FCoE. Напомню, что, до версии 8.1, Cluster-mode была чисто “файловым хранилищем”, работающем по протоколам NFS и CIFS, что устраивало не всех.

Тем временем, как NetApp “переваривала” наследство Spinnaker, на рынке стали появляться конкуренты в данной области, так активно стал продаваться (и в итоге продался целиком EMC) продукт компании Isilon, а растущий интерес к “облачным” IT-системам естественным образом стал “локомотивом” развития и “облаков” хранения - многоузловых кластеров.

Итак, начиная с версии Data ONTAP 8.1 версия Cluster-mode стала уметь работать с блочными SAN-протоколами, стала уметь асинхронную репликацию и снэпшоты, привычные для Data ONTAP Classic, дедупликацию и компрессию, наконец, были снижены цены, и использование Cluster-mode стало несколько более доступным для пользователей.

Настала пора и в этом блоге поподробнее поговорить о том, что же такое Cluster-mode, как его можно использовать, и чем он может вам пригодиться. В этом году, я надеюсь, я буду говорить о Data ONTAP 8.x Cluster-mode куда чаще. В ближайшие несколько постов я намерен рассказать подробнее о том, что сегодня представляет собой Cluster-mode, и как это выглядит на практике.

Помогает взглянуть с большим интересом на понятие “эффективность” и на его важность в практической жизни, не так-ли?

Если вы, к примеру, купили сторадж на 20TB raw data за, допустим, 100 тысяч $, и, в результате, используете на нем 12,5% его raw-емкости для хранения данных ваших приложений, это значит, что вы заплатили сто тысяч долларов за емкость 2,5TB. Жестокая правда.

PS. Обратите внимание, что я снова ни разу не сказал в этом посте слова “NetApp” ;)

Руководство по наилучшим способам использования систем NetApp с VMware vSphere

Vaughn Stewart, Larry Touchette, Mike Slisinger, Peter Learmonth, Sitakanta Chaudhury, Julian Cates, NetApp Декабрь 2010 | TR-3749 | Version 3.0

Лежит этот документ на обычном месте, на страничке “технической библиотеки NetApp” компании Нетвелл, дистрибутора NetApp, инициатора перевода документов Best Practices из библиотеки NetApp.

Всего в сентябре мы опубликовали перевод преыдущей версии этой работы, и вот уже в декабре у NetApp вышла новая, версия 3.0, а в январе мы готовы представить вам перевод. Основное дополнение этого перевода – изменения и дополнения, связанные с выходом версии VMware vSphere 5.

Если вы, по какой-то причине еще никогда не заходили на страничку техбиблиотеки, то самое время познакомиться с этим наиполезнейшим ресурсом документации на русском языке, включающем в себя наши переводы на самые разнообразные темы и области применений систем хранения NetApp.

Таким образом, OnCommand это не новый продукт, это новое общее название  для уже существующих (и будущих) продуктов, название программного семейства. Часть продуктов, в него входящих, является бесплатным, часть – платным, и лицензируемым по разному.

Все семейство делится на три основных области использования:

• Control – управление системами хранения NetApp
• Automate – автоматизация, представлена продуктом OnCommand Unifed Manager, и занимается серверной автоматизацией, созданием и применением политик, SLA.
• Analyze – анализ и оценка работы, которой знимается продукты OnCommand Insight. Анализ производительности, конфигураций, емкости для NetApp и других систем.

Вот что входит в семейство, как оно называлось до переименования, какой области принадлежит и как лицензируется:

Control

OnCommand System Manager – установка и первоначальная настройка новой системы хранения, а затем управление отдельно взятым контроллером/системой. Бесплатно.

OnCommand My Autosupport – web-based инструмент для оценки состояния здоровья, рисков, емкости и эффективности работы системы хранения. Бесплатно при наличии действующего контракта поддержки.

OnCommand Report – создание настраиваемых отчетов о работе системы хранения.  Бесплатно.

Automate

OnCommand Unified Manager – ранее три продукта: Operations Manager, Protection Manager и Provision Manager. Построение централизованного RBAC, мониторинга, службы уведомлений и отчетов. Разработка политик защиты данных на системе хранения. Автоматизация процессов распределения емкости на системе. Бесплатно.

Virtual Storage Console – ранее так и существовала под этим названием, но теперь формально входит в семейство OnCommand Automate. Позволяет администраторам виртуальной инфраструктуры создавать и распределять датасторы для VMware ESX непосредственно из интерфейса vCenter, упрощает и оптимизирует настройку системы хранения. Бесплатно.

SnapManager product suite – также хорошо известное семейство, теперь входит в OnCommand Automate. Упрощает создание автоматизированных application-consistent backup, уменьшает RTO приложений. Лицензируется либо на контроллер (unlimited hosts), либо по хостам.

Workflow Automator – Обеспечивает разработку процедур workflow в сложных случаях, которые не под силу Provisioing Manager. Бесплатно, но требует поупки услуг Professional Services.

Analyze

OnCommand Insight Discover – бывший SANscreen Service Insight. Необходимый компонент для работы идущих ниже продуктов Assure, Perform, Plan. Лицензируется по емкости  raw TB.

OnCommand Insight Assure – бывший SANscreen Service Assurance. Полный обзор всей IT-инфраструктуры в деталях, того, каким образом инфраструктура поддерживает приложение. Анализ областей повышенного риска для системы и приложений. Обнаружение “заброшенных” и неиспользуемых ресурсов в системе. Интеграция CMDB/ITIL. Лицензируется по емкости raw TB.

OnCommand Insight Perform – бывший SANscreen Application Insight. Анализ и настройка необходимых уровней хранения с точки зрения производительности, поиск источников проблем с производительностью. Лицензируется по емкости raw TB.

OnCommand Insight Plan – бывший SANscreen Capacity Manager. Планирование и отчет по емкости хранения для всей IT-инфраструктуры компании, учет расходов емкости, динамика, отчеты  о расходовании пространства. Лицензируется по емкости raw TB.

OnCommand Insight Balance – бывший Acorri BalancePoint. Глубокий анализ вопросов производительности виртуальной машины, углубленный на уровень ее OS и работающих в ней приложений. Оптимизация рабочих нагрузок виртуальной серверной инфраструктуры. Лицензируются системы серий FASx2xx  - на контроллер, старые FAS или сторонние стораджи – по емкости usable TB.

Дополнительно к трем перечисленным подсемействам следует упомянуть “объединяющий” их продукт управления – NetApp Manageability SDK, обеспечивающий программный интерфейс управления всеми продуктами OnCommand, и позволяет сторонним компаниям встраивать поддержку софта семейства OnCommad в свои продукты, или строить программные функциональные надстройки над теми или иными продуктами.

Начнем мы его сегодня легкой темой. В конце прошедшего года IDC опубликовала традиционный Storage Tracker, документ, описываюший состояние рынка систем хранения данных, и очередной “промежуточный финиш” в его бесконечной гонке. Так как результат публикуется в декабре, то он, естественно, не включает в себя четвертый квартал, оценивается первых три квартала года, с января по сентябрь, у IDC это принято называть YTD.

Итак, вот какие результаты долей рынка “в долларах” IDC приводит по первой пятерке вендоров. Обратите внимание, что подсчет идет “branded”, то есть по торговым маркам, IBM N-series считается как IBM. Open Networked это сумма NAS и SAN-систем, но без DAS и Mainframes.

А вот какова динамика Revenue (в долларах, заработок):

Как вы видите, в этом году росли только EMC и NetApp, IBM падает второй год подряд, а HP… Sic transit gloria mundi. Не будем о грустном :(

Так уж традиционно получилось, что, обычно, публикуют только вот вышеприведенные результаты “в долларах”, заработка. Однако в Storage Tracker всегда приводится и еще одна метрика, а именно – продажи “объемов хранения” в петабайтах.

Позволю себе привести и эти результаты, потому что больно уж они интересны.

Вы видите, насколько, в данном случае, интереснее ситуация, особенно когла сравнивать ее с revenue.

А вот вам график с динамикой:

Причем это, хочу отметить, raw storage, то есть простая сумма всех маркетиновых raw-байт проданных с системами дисков. Без учета дальнейших “софтверных” средств повышения емкости, таких как дедупликация и thin provisioning. Просто прямая сумма: продан сторадж с 20 дисками SAS 600GB, пишем соответствующему вендору 12000GB проданной capacity.

Несмотря на то, что обычно при оценке принято меряться по revenue, мне по-прежнему кажется, что метрика проданных петабайт в каком-то смысле честнее. Потому что уплаченные деньги это еще не сторадж для данных, а вот терабайты – это уже сторадж.

Хороший получается ответ людям, утверждающим, что “терабайт” на нетаппе, якобы, “стоит дороже”, чем терабайт у конкурентов. Можно даже примерно посчитать стоимость “усредненного терабайта” по приведенным данным. И это, еще раз отмечу, до использования RAID-DP, дедупликации, снэпшотов и thin provisioning. При их использовании результат станет, очевидно, еще лучше.

Особенно поучительно всегда бывает сравнивать два графика. Например у EMC, с 2008 по 2010 год, продажа емкости хранилища, по данным IDC, падала, но revenue при этом – стабильно росло, то есть за бОльшие деньги два года подряд продавались меньшие объемы хранения. Как, почему – вопрос к EMC :) Их графики в двух этих схемах, пожалуй, наболее ярко и выразительно расходятся между собой.

Впрочем, я всегда говорил, что у EMC самая сильная в отрасли сэйловая команда,  способная стабильно продавать даже снег эскимосам и солярии тайцам ;) Это похвала, если кто не заметил :)

А это вам место проведения нашего отпуска :)

Но сперва стоит немного остановится на некоторых деталях.

В отличие от Data ONTAP 7, в версии 8 появился специальный user-mode shell (консоль админа, несмотря на внешнюю схожесть, шеллом как таковым не является). Он доступен для специального, отключенного в целях безопасности, пользователя diaguser.

Мы рассмотрим добавление дисков только для симулятора 7-Mode. Для Cluster-mode это возможно также, но чтобы не удлиннять пост я его опущу (если кому-то понадобится процедура для Cluster-mode Simulator – напишите).

Итак, начнем с того, что разблокируем diaguser, от имени которого в шелле мы проделаем операции добавления:

priv set advanced
useradmin diaguser unlock
useradmin diaguser password

Теперь зайдем с systemshell этм пользователем:

systemshell
login: diag
password: <password>

Далее нам придется поправить некий глюк, допущенный при сборке утилиты управления “дисками”. Добавим символьные линки на стандартные библиотеки, а то утилита не сможет их найти:

cd /lib
sudo mount -u -o rw /
sudo ln -s libc.so.6 libc.so.7
sudo mount -u -o ro /

Установим переменную пути:

setenv PATH "${PATH}:/sim/bin"
echo $PATH

И перейдем в директорию эмулированных устройств

cd /sim/dev
ls ,disks/

Тут вы увидите уже созданные 28 дисков. К ним мы сейчас добавим еще 28. Имена уже существующих файлов-дисков начинаются с v1 и v2, что означает, что они “подключены” к адаптерам v1 и v2. У нас есть еще два неиспользованных адаптера (v3 и v4), к каждому из которых мы “подключим” по 14 дисков (это похоже на то, как подключаются обычные FC-полки к адаптерам отдельной FC-“петлей”, каждая полка на 14 дисков на свой адаптер).

Для этого воспользуемся утилитой makedisk.main:

makedisks.main -h
sudo makedisks.main -n 14 -t 23 -a 2
sudo makedisks.main -n 14 -t 23 -a 3
ls ,disks/

Первая команда печатает пояснение по доступным ключам. Две другие создают по 14 дисков
(-n 14) с типом диска 23 (-t 23) на адаптерах 2 и 3 (-a 2 и -a 3). Симулятор Data ONTAP 8.0.1 поддерживает конструктивно только диски размером 1GB и менее. Даже если вы видите в подсказке команды диски большего размера, воздержитесь от соблазна попробовать добавить их в симулятор. С виртуальными дисками размером больше 1GB Data ONTAP упадет в panic при перезагрузке, и вам придется устанавливать симулятор заново.

Ну вот и все, что необходимо было сделать в шелле. Вернемся “по своим следам” из шелла в обычную админскую консоль, выйдя из шелла и запретив diaguser, перезагрузим симулятор и он увидит новые диски:

exit
useradmin diaguser lock
priv set admin
reboot

После перезагрузки необходимо назначить ownership новым дискам:

disk show -n
disk assign all
disk show -v

Теперь у вас в симуляторе 56 “дисков” по 1GB каждый. Они уже zeroed, и вы можете непосредственно добавить их в нужный вам aggregate.

Исходный текст был взят тут: https://communities.netapp.com/docs/DOC-9579