Современное состояние мирового рынка SAN и NAS решений

Архитектуры SAN и NAS 

Потребность оптимизации распределенного хранения и использования данных привела к разработке и адаптации сетей хранения данных – SAN (Storage Area Networks) и NAS-решений (Network Attached Storage). Подробно ознакомиться с архитектурами SAN и NAS можно в «Компьютер-Информ» No 9/2000 (стр. 22-23). Ниже будут рассмотрены лишь основные сведения о данных архитектурах.

Общие сведения о SAN

Концепция SAN-сетей известна дольше, чем NAS-сетей. По сути SAN-решение представляет собой дополнительную выделенную сеть, связывающую один или несколько серверов с одной или несколькими системами хранения данных. SAN позволяет любому серверу получить доступ к любому накопителю, не загружая при этом ни другие серверы, ни корпоративную локальную сеть. Кроме того, возможен обмен данными между системами хранения данных без участия серверов. Для лучшего понимания, каким образом SAN может помочь предприятию, необходимо объяснить основы их функционирования. Фактически SAN представляет собой комбинацию аппаратных средств и ПО, позволяющую очень большому числу пользователей хранить информацию в одном месте (с быстрым централизованным доступом) и совместно использовать ее (рис. 1). При этом, так как данные не находятся на сервере сети, то на нем можно выполнять другие важные пользовательские задачи. В качестве систем хранения данных могут использоваться RAID-массивы, различные библиотеки (ленточные, магнитооптические и др.), а также JBOD системы (Just a Bunch of Disks) — простые массивы дисков без RAID возможностей. В основе сетей хранения данных лежит технология Fibre Channel, принятая в качестве стандарта ANSI (American National Standards Institute) в 1994 г. Технология Fibre Channel определяет интерфейс передачи данных со скоростью 1 Гб/с, который может использоваться как для передачи сетевых данных (по IP протоколу), так и для непосредственного обмена данными с устройствами ввода/вывода ПК (по интерфейсу SCSI). То есть, в Fibre Channel объединена функциональность высокопроизводительного интерфейса ввода/вывода и компьютерных сетей (рис. 2 и 3). Средой передачи в Fibre Channel могут быть как медный кабель, так и оптоволокно (длиной до 10 км). Технология Fibre Channel наиболее распространена в таких отраслях, как нефтегазовая, спутниковая телеметрия, обработка медицинских изображений и видеоредактирование. Например, спецэффекты в фильме «Титаник» были реализованы за счет использования сетей Fibre Channel, по которым передавались огромные объемы данных на очень высоких скоростях.

Сети хранения данных обладают следующими основными свойствами:

• за счет передачи данных по выделенной сети разгружается корпоративная ЛВС;
• упрощен доступ удаленных рабочих станций и серверов к совместно используемым ресурсам памяти (можно сказать, что они подключены прямо к ним);
• легкость (и практическая неограниченность) масштабирования сети за счет подключения дополнительных концентраторов и коммутаторов;
• минимальная необходимость изменений в конфигурации сети при удалении и добавлении узлов.

SAN-сети централизуют хранение данных и соединяют гетерогенные устройства хранения данных (независимо от сервера) через концентраторы и коммутаторы. Они упрощают управление данными и дают возможность пользователям масштабировать системы хранения данных без влияния на корпоративную сеть.

Благодаря высокой производительности и надежности, а также поддержке больших расстояний протоколом Fibre Channel, сети хранения данных открывают новые возможности для построения серверных кластеров, для совместного использования накопителей несколькими серверами и приложениями и для создания новых приложений защиты данных (таких, как резервное копирование и репликация данных). Кроме того, сети хранения данных позволяют централизованно управлять системами хранения данных.

Состав сетей хранения данных

В состав сетей хранения данных входят те же компоненты, что и в ЛВС: адаптеры, оптоволоконные или медные кабели, концентраторы, коммутаторы, мосты и удлинители (extenders), ПО управления SAN-сетями. Архитектура сетей хранения данных также аналогична архитектуре ЛВС. Всего существует 4 возможных типа подключения устройств в сетях хранения данных:

• «Точка-точка». При подключении сервера к дисковому массиву скорость обмена данными составляет 100-200 МБ/с.
• FC-Arbitrated Loop. Возможно подключение до 127 систем хранения данных и серверов к FC-концентратору. Полоса пропускания делится между всеми устройствами.
• Коммутируемое подключение. Накопители и серверы (до 16 млн. единиц) подключаются к FC-коммутатору, в результате чего полоса пропускания будет доступна для каждого подключенного устройства.
• Cмешанное подключение. Используются и коммутаторы, и концентраторы. При этом каждый FC-концентратор может иметь только один порт, подключенный к порту коммутатора. Каждый FC-концентратор может быть назначен или частным (private), или общедоступным (public). Устройства, подключенные к частным FC-концентраторам, могут взаимодействовать только с устройствами, подключенными к тому же FC-концентратору. Устройства, подключенные к общедоступному FC-концентратору, могут взаимодействовать с устройствами, подключенными к другим FC-концентраторам и коммутаторам.

Мосты применяются для подключения SCSI-устройств к сетям хранения данных. Удлинители позволяют осуществлять соединения Fibre Channel на расстояниях до 100 км. Для централизованного управления сетями хранения данных разработано специальное ПО, которое обеспечивает конфигурирование устройств, контроль за их работой и контроль трафика. Управление в сетях хранения данных реализовано по протоколу SNMP.

Кроме возможности разделения FC-концентраторов на общедоступные и частные, в сетях хранения данных устройства могут быть зонированы (логически разделены на разные зоны). Разделение на зоны аналогично разделению на виртуальные сети (VLAN) в ЛВС – устройства, находящиеся в разных зонах, не могут «видеть» друг друга. Разделение на зоны возможно на основе порта коммутатора или на основе адреса WWN (World Wide Name, адрес WWN соответствует MAC-адресу в сетях Ethernet, каждое SAN-устройство имеет свой уникальный WWNадрес, который присваивает ему производитель). Разделение на зоны предназначено для повышения безопасности и производительности сетей хранения данных.

Реализация сетей хранения данных требует серьезных вложений (до сотен тысяч долларов) и долговременного планирования. Кроме того, элементы SAN-сетей (серверы, подсистемы хранения данных, контроллеры, концентраторы, коммутаторы, ПО управления) не всегда совместимы между собой из-за того, что не все вендоры поддерживают отраслевые стандарты. Сети хранения данных наиболее разумно применять для консолидации систем хранения данных крупных и средних предприятий (при условии, что они будут расширяться и в последующем).

Пример применения SAN

Компания Eaton занимается производством гидравлических коннекторов, оборудования распределения электроэнергии, систем управления автопоездами и др. В ней работают около 59000 сотрудников, а ее производство и офисы расположены в 24 странах мира (всего 195 площадок). Объем продаж Eaton Corporation в 2000 г. составил $8.3 млрд. Большой объем обрабатываемых данных привел к необходимости установки в компании двух сетей хранения данных на базе следующего оборудования: 2 массивов памяти EMC Symmetrix; устройств EMC ED-1032 Fibre Channel; 4 коммутаторов Brocade Silkworm; 2 ленточных библиотек StorageTek L700, резервирующих около 3 ТБ данных (масштабируемых до 12 ТБ). Сети хранения данных взаимодействуют с серверами Hewlett-Packard, работающими под управлением ОС Sun Solaris. Резервирование информации в сетях хранения данных обеспечивает системное ПО VERITAS NetBackup (с опцией SAN Shared Storage Option) и ПО VERITAS Volume Manager. В течение 2001 г. Eaton планирует также инсталлировать в своих сетях хранения данных ПО управления SAN-сетями VERITAS SANPoint Control.

Общие сведения о NAS

Менее дорогая альтернатива сетям хранения данных – это NAS-сети (рис. 4). Они представляют собой, по сути, кэширующий сервер и являются менее дорогим, но, в то же время, более простым и достаточно быстрым способом решения задачи хранения данных в корпоративных ЛВС, отделения процесса доступа к данным от сервера и обеспечения равномерной загрузки ЛВС. Фактически NAS-сети снимают функции управления доступом к данным с серверов приложений. Кроме того, так как NAS-сети независимы от ОС, то через них может осуществляться хостинг данных по поручению всех пользователей корпоративной ЛВС. В то же время, хотя NAS-сети и позволяют освободить системные ресурсы серверов, они не решают проблему транзита данных между NAS-сервером и серверами приложений (или клиентскими ПК). Кроме того (к сожалению) проблема облегчения загрузки ЛВС решается с помощью NAS-сетей только частично. По сформировавшемуся в отрасли мнению NAS-сети лучше всего подходят для использования в небольших офисах или отделах крупных предприятий. При этом они могут взаимодействовать и с SAN-сетями (снабжая их данными).

Основные мировые производители SAN и NAS решений

Аппаратные средства

Интерес к решениям SAN и NAS в мире велик. Практически все ведущие мировые производители систем хранения данных (и не только они) занимаются разработкой и производством продуктов для построения этих решений. В частности, производством SAN и NAS оборудования занимаются следующие компании: HewlettPackard; Sun Microsystems; EMC; Compaq; Dell; Fujitsu Siemens Computers; Ancor; FibreGear; Gadzoox Networks; MCData; ATTO; Brocade Communications Systems; Vixel; Maxtor; MTI Technology; StorageTek; XIOtech; Network Appliance; SAN Valley Systems; ADIC; Crossroads Systems; DataDirect Networks; Emulex; Overland Data; Pathlight Technology; Qlogic; INRANGE; JNI; STK; Quantum (через свой филиал Snap Appliances); Western Digital (через филиал Connex) и др. Ниже будут кратко рассмотрены некоторые из продуктов, предлагаемых этими вендорами. 

Compaq

Одним из серьезных и быстро развивающихся игроков на мировом рынке SAN и NAS является компания Compaq Computer. В частности, по заявлению руководства компании, Compaq собирается прекратить доминирование компании EMC на рынке устройств хранения данных для предприятий. По данным IDC сейчас Compaq занимает 18.7% рынка устройств хранения данных в Европе по ТБ (EMC – 15.4%). По доходам у Compaq тоже первое место в Европе – $1.8 млрд. (EMC – $1.4 млрд.), а в специфическом сегменте систем хранения данных для предприятий у Compaq – второе место. За последние полтора года Compaq выделила серьезные средства на разработку SAN-решений, получивших название Open SAN и поддерживающих неоднородные системы хранения данных и серверные платформы.

Сейчас Compaq выпускает такие аппаратные средства для развертывания SAN сетей, как: тонкий сервер администрирования SANworks Management Appliance, а также дисковые массивы Modular Array 8000 и Enterprise Modular Array 12000.

Центральной точкой управления элементами сети хранения данных от Compaq и контроля за их функционированием служит специализированный тонкий сервер SANworks Management Appliance. Это устройство подключается непосредственно к сети хранения данных и осуществляет функции управления без участия основных серверов, используя для передачи управляющей информации те же каналы, по которым транспортируются прикладные данные.

Модульные дисковые массивы моделей MA8000 и EMA12000 входят в семейство StorageWorks. В них возможно установить до 132 дисков в одном корпусе (2.4 ТБ в стандартной 19-дюймовой стойке при использовании дисков по 18 ГБ). MA8000 и EMA12000 способны работать как в гетерогенных, так и в однородных средах хранения с разделяемым доступом к носителю. В них реализована поддержка ОС Linux и MS Windows 2000.

Brocade

Компания Systems Brocade Communications  известна семейством Fibre Channel коммутаторов Brocade SilkWorm, которые предназначены для оптимизации доступа к системам хранения данных предприятий. SAN решения от Brocade используют компании Amdahl, ATL, CNT, Compaq Computer, Dell Computer, Dot Hill Systems, EMC, Fujitsu, Fujitsu Siemens Computers, Groupe Bull, HP, IBM, Intergraph Computer Systems, MTI Technology, NCR, NEC, Network Appliance, SGI, StorageTek, Sun Microsystems и Unisys. Стратегическими партнерами Brocade являются компании ADVA Optical Networking, BMC Software, Cisco Systems, Computer Associates, Emulex, HighGround Systems, Hitachi Data Systems, JNI, Legato, LSI Logic, ONI Systems, StorageNetworks, Tivoli Systems и VERITAS.

CNТ

Компания CNT недавно завершила разработку семейства маршрутизаторов UltraNet Edge Storage Router (модели 1000, 2000 и 3000). В моделях семейства реализованы современные протоколы доступа к сетевым хранилищам данных: FCIP (Fibre Channel по сетям IP), iSCSI (SCSI по IP), а также Infiniband (новая высокоскостная шина, предназначенная для замены шины PCI в серверах и кластерах). В частности, в модели UltraNet Edge Storage Router 1000 поддерживаются протоколы Fibre Channel и FCIP. Она предназначена для объединения сетей хранения данных удаленных филиалов предприятий – между «островами» Fibre Channel SAN теперь можно установить связь по IP (эта возможность была продемонстрирована компанией CNТ в начале апреля на выставке Storage Networking World). В свою очередь, в модели UltraNet Edge Storage Router 2000 поддерживаются протоколы Fibre Channel и iSCSI, а в модели UltraNet Edge Storage Router 3000 – протоколы Fibre Channel и Infiniband. Поставки маршрутизаторов UltraNet 1000 и 2000 планируется начать во второй половине 2001 г., а UltraNet 3000 – в 2002 г. (так как окончательный вариант стандарта Infiniband ещё не утвержден).

Maxtor

Компания Maxtor поставляет семейство NAS серверов MaxAttach, работающих под управлением ОС MS Windows 2000 и совместимых с ПО резервирования и управления устройствами компаний Veritas, Legato, Computer Associates и Hewlett-Packard. Серверы MaxAttach 4100 поддерживают сервисы каталога от MS Active Directory и Novell NDS. Цена 160 ГБ конфигурации составляет около $3300.

MTI Technology

Компания MTI Technology производит семейство SAN и NAS решений MTI Vivant и автоматизированные ленточные библиотеки. Cемейство серверов Vivant поддерживает различные RAID конфигурации (0, 1, 0+1, 5), множество дисковых устройств с «горячей заменой» и зеркалированный кэш. MTI Vivant поддерживают до 12 TB SAN/NAS памяти при работе с множеством серверов приложений.

SAN Valley Systems

Компания SAN Valley Systems занимается разработкой высокопроизводительных SAN решений соединения для предприятий, сервиспровайдеров и операторов. SAN Valley разрабатывает сетевые решения, соединяющие сетевые ресурсы по IP и оптическим сетям. В качестве примера можно привести решение SAN Valley SL1000, которое реализует доступ SAN over IP и обеспечивает быстрое развертывание приложений удаленной памяти. Решение SL1000 соединяет Fibre Channel SAN коммутаторы и ресурсы памяти через городские и глобальные сети. Оно полностью совместимо с продуктами ведущих сетевых вендоров и изготовителей памяти.

XIOtech

Компания XIOtech (дочерняя компания Seagate) продвигает решение для построения сети хранения данных MAGNITUDE. Система распределенного хранения данных MAGNITUDE производства XIOtech полностью соответствует стандартам открытых систем, ее единая централизованная конфигурация включает: высокопроизводительный контроллер хранения данных; ПО управления сетью и до 64 дисковых накопителей общей емкостью 11.5 ТБ. В MAGNITUDE реализована виртуализированная архитектура хранения данных REDI (Real-time Data Intelligence – «интеллектуальный доступ к данным в реальном времени»), с помощью которой все физические дисковые накопители MAGNITUDE в единый виртуальный дисковый массив.

Sun Microsystems

Компания Sun Microsystems предлагает высокоуровневую систему централизованного хранения данных SAN в стандартной комплектации, созданную на базе массивов накопителей Т3 и сетевых коммутаторов StorEdge (обеспечивающих передачу данных по стандарту Fibre Channel). Цена данной системы демонстрирует примерную стоимость развертывания SAN решений – централизованное хранение 327 ГБ

данных обойдется, примерно, в $100000, а 5.2 ТБ – около $500000.

StorLogic

Компания StorLogic продвигает линейку устройств StorCom.e NAS, в которых реализованы: память большой емкости; многоклиентские соединения; доступ пользователей гетерогенных систем; управление данными через ЛВС или Интернет. Устройства StorCom.e NAS работают под управлением ОС MS Windows NT Embedded 4.0.

QLogic

Компания QLogic предлагает единую спецификацию SAN-плат для серверов – SANblade (адаптеры Fibre Channel QLA2100, QLA2200, QLA23000). SANblade представляет собой семейство SAN компонент c единым интерфейсом, предназначенных для подключения SAN к серверам, монтируемым в стойку. Все продукты семейства SANblade имеют единый программный интерфейс (CDI), что позволяет разработчикам SAN решений быстро адаптировать существующие драйверы для новых устройств данного семейства. QLogic планирует также выпускать контроллеры и другое оборудование стандартов Infiniband и iSCSI.

Quantum

Компания Quantum производит ленточные библиотеки DLTtape, обеспечивающие поддержку сетей хранения данных. Кроме того, Quantum является членом инициативы Open Storage Networking (OSN) Initiative, в рамках которой разрабатываются стандартизированные интегрированные SAN решения и услуги, в комбинации с NAS устройствами. Недавно Quantum начала поставки первых устройств следующего поколения Super DLTtape, масштабируемых до 1 ТБ. Quantum занимается также производством NAS устройств для рабочих групп через свой филиал Snap Appliances.

Другие производители

Компания StorageTek является одним из мировых лидеров в производстве автоматических ленточных библиотек, дисковых систем памяти и сетей хранения данных. Ее годовой оборот достигает $2 млрд. Компания Network Appliance производит NAS устройства, которые используют компании Lycos, Yahoo!, Citicorp Securities, Siemens, Lockheed, Cisco, Motorola и Texas Instruments. Компания DataDirect Networks продвигает решение SAN DataDirector, в котором реализован распределенный доступ к данным из гетерогенных систем (под управлением ОС Unix, Windows NT и др.).

Производители автоматических ленточных библиотек

Необходимо сказать несколько слов и об основных производителях автоматических ленточных библиотек для SAN и NAS. Помимо уже упоминавшихся компаний Quantum и StorageTek, к ним относятся следующие фирмы: Ecrix (в марте выпустила ленточную библиотеку 5U VXA AutoPak 2x30 с пропускной способностью 43.2 ГБ/час и емкостью до 2 ТБ); Plasmon (также в марте выпустила автоматические ленточные библиотеки LTO Ultrium Autoloaders 68.4 и LTO 100.6 с пропускной способностью до 324 ГБ/час и емкостью до 10 ТБ, реализован SCSI-2 LVD интерфейс); Exabyte (предлагает ленточную библиотеку Mammoth-2 Fibre Channel) и ряд других компаний.

ПО управления SAN и NAS системами

Общие сведения

Увеличение спроса предприятий на высоконадежные системы хранения данных большой емкости ведет к дальнейшему развитию и рынка ПО управления системами хранения данных. При этом заметное место на данном рынке занимает ПО управления SAN и NAS системами. И это не случайно, так как именно использование современного ПО управления системами хранения данных (в частности, SAN) существенно снижает расходы потребителей на их обслуживание (вследствие уменьшения числа необходимого техперсонала). Следует отметить, что в современных сетях хранения данных предприятий могут храниться (на разных типах носителей) сотни и тысячи терабайт информации. А так как системные администраторы предприятий обслуживают потребности множества приложений и пользователей, то они должны иметь возможность эффективного размещения ресурсов памяти без значительной ручной работы. Иначе говоря, использование ПО управления SAN и NAS помогает обеспечить приемлемые значения показателя Quality of Storage Service (QOSS) в корпоративных системах хранения данных.

По прогнозу Gartner Group объем мирового рынка ПО управления системами хранения данных должен увеличиться с $4.2 млрд. в 1999 г. до $14.7 млрд. в 2004 г. Более осторожны в своих оценках аналитики IDC, считающие, что объем данного рынка увеличится с $5 млрд в 1999 г. до $10.4 млрд. в 2004 г. (отчет «Storage Software and Submarkets, 1998-2004»). При этом IDC выделяет следующие основные сегменты рынка: ПО резервирования, восстановления, архивации и управления данными; ПО управления ресурсами памяти; ПО репликации и доступа к данным;

утилиты для систем хранения данных. По мнению аналитиков IDC быстрее всего станет развиваться сегмент управления ресурсами памяти – ежегодные темпы его роста составят почти 22% (при средних темпах роста всего рынка в 16%).

Основные поставщики

К числу ведущих мировых разработчиков ПО управления SAN и NAS системами относятся следующие компании: Computer Associates; Compaq; VERITAS Software; BMC Software; Legato; Tivoli Systems; FalconStor; SANavigator; W. Quinn Associates, Hewlett-Packard; Brocade Communications Systems и др. Ниже будут кратко рассмотрены некоторые из решений, предлагаемых данными фирмами.

Compaq

Компания Compaq считает, что модель, в которой необходимо управлять несколькими разными системами хранения данных, является затратной и в ней нельзя уменьшить стоимость управления. Поэтому нужно двигаться к системам, в которых пул памяти является независимым от вендоров и установленной ОС. Вследствие этого Compaq предлагает архитектуру и ПО VersaStor, которые позволят создавать виртуальные пулы систем хранения данных, независимые от производителей аппаратных средств. В частности, при помощи VersaStor можно создавать цельный пул памяти. К концу 2001 года будут выпущены и соответствующие устройства для управления VersaStor.

Кроме того, Compaq выпускает следующие приложения для управления сетями хранения данных: SANworks Open SAN Manager; SANworks Resource Monitor; Enterprise Network Storage Manager и SANworks Storage Allocation Reporter. Все эти продукты выпущены в соответствии с продвигаемой Compaq стратегией – Enterprise Network Storage Management. Эта стратегия направлена на поддержку развиваемой в Compaq архитектуры Enterprise Network Storage Architecture (ENSA) и охватывает администрирование сетей Open SAN в рамках предприятия. Следует отметить, что стандартами технологии ENSA являются: применение пользовательских Web-интерфейсов и современных тонких серверов администрирования.

ПО SANworks Open SAN Manager позволяет визуализировать, конфигурировать и контролировать сеть хранения данных. Оно обеспечивает централизованный интерфейс для контроля функционирования и управления сетями Open SAN и предназначено для работы на специализированном тонком сервере. ПО SANworks Open SAN Manager включается в комплект поставки устройства SANworks Management Appliance.

ПО SANworks Resource Monitor также исполняется на тонком сервере SANworks Management Appliance и обеспечивает непрерывную выдачу точной информации о событиях, происходящих с коммутаторами и дисковыми массивами семейства StorageWorks, что необходимо для сокращения среднего времени восстановления работоспособности после аварии и повышения общего уровня готовности сети SAN. В число поддерживаемых механизмов уведомления удаленных пользователей входят электронная почта, алфавитно-цифровая пейджинговая связь и механизм обработки исключительных ситуаций протокола Simple Network Management Protocol (SNMP). Пользователи, которым разрешен соответствующий доступ, могут осуществлять просмотр этой информации из любой точки, в любое время с помощью интуитивно понятного Web-интерфейса.

Еще одно приложение для платформы SANworks Management Appliance – Storage Allocation Reporter – является инструментом для учета использования сервисов хранения данных, с помощью которого доступ к устройствам хранения в сети SAN можно тарифицировать подобно коммунальным услугам. SSP-провайдеры и ИТ службы предприятий могут учитывать с помощью этого ПО объем доступа к ресурсам хранения внутренних и внешних пользователей и тарифицировать его путем назначения соответствующих расценок. SANworks Storage Allocation Reporter генерирует отчеты об объеме зарезервированного пространства хранения и уровне RAID, которым защищен носитель этого пространства, а также о качестве предоставленного сервиса хранения. Storage Allocation Reporter служит также средством выявления тенденций в использовании пространства систем хранения данных, прогнозирования возникающих проблем, организации предупреждающего удовлетворения растущих потребностей и расчета соответствующих затрат. Информацию об использовании пространства хранения можно сделать доступной из любой точки в любое время через пользовательский Web-интерфейс. Storage Allocation Reporter делает возможной организацию предоставления услуг хранения информации как сервиса.

Приложение Enterprise Network Storage Manager создает начальную страницу Web-портала администрирования всех устройств хранения в вычислительной системе предприятия. Оно обеспечивает обнаружение устройств хранения данных в сети и их надлежащим образом организованное отображение, перемещение по этой структуре, а также ссылки на другие продукты семейства SANworks и на средства администрирования устройств хранения других производителей.

Computer Associates

Компания Computer Associates поставляет ПО управления гетерогенными SAN системами – SANITI (Storage Area Network Integrated Technology Initiative) Framework, упрощающее интеграцию разнородных компонентов SAN систем и облегчающее построение корпоративных SAN систем нового поколения. ПО SANITI Framework обеспечивает централизованное управление устройствами различных поставщиков и их интеграцию с корпоративными информационными системами предприятий. В нем реализованы возможности обнаружения и мониторинга SAN устройств, а также отображение топологии SAN системы в реальном времени. ПО SANITI Framework интегрировано с ПО резервирования данных ARCserve и с ПО Unicenter TNG Framework, что позволяет централизованно управлять SAN системами в рамках корпоративной сети.

VERITAS Software

В свою очередь, компания VERITAS Software поставляет ПО VERITAS SANPoint Control 2.0, также предназначенное для централизованного управления гетерогенными сетями хранения данных (на базе SAN устройств от компаний Brocade, INRANGE, QLogic, JNI, Emulex, McDATA и Qlogic, а также дисковых накопителей и ленточных библиотек от Hitachi, EMC, Compaq, STK, ADIC, IBM, Sun Microsystems), работающими под управлением ОС MS Windows NT, MS Windows 2000 и Sun Solaris. ПО VERITAS SANPoint Control – это первый продукт компании VERITAS Software, в котором реализована технология VERITAS V3 SAN Access Layer, с помощью которой обеспечивается сервис обнаружения SAN устройств (как через стандартные SNMP интерфейсы, так и Fibre Channel). Можно отметить следующие новые возможности ПО VERITAS SANPoint Control 2.0:

• Усовершенствована интеграция с ПО VERITAS Volume Manager. ПО VERITAS SANPoint Control автоматически уведомляет ПО VERITAS Volume Manager при добавлении новых SAN устройств.
• Вся доступная память в сетях хранения данных может быть классифицирована по ряду атрибутов в определяемые пользователем группы памяти.
• Реализована генерация отчетов об использовании памяти (как текущем, так и за определенные периоды времени).

Tivoli Systems

Одним из лидеров рынка ПО управления SAN системами является и компания Tivoli Systems. Она предлагает следующие программные средства для сетей хранения данных:

• ПО Tivoli Storage Network Manager, предназначенное для управления сетями хранения данных (реализованы обнаружение, отображение, распределение, мониторинг и управление компонентами SAN и системами дисковой памяти).
• ПО Tivoli SANergy, предназначенное для разделения одного накопителя, файловой системы и файлов в ней между множеством компьютеров, подключенных к сети хранения данных.
• Семейство программных продуктов Tivoli Storage Manager, обеспечивающее управление резервированием/восстановлением в сетях хранения данных, а также совместное использование ленточных накопителей и передачу данных как через IP-сети, так и по сетям Fiber Channel.

FalconStor

Компания FalconStor разработала ПО IPStor, предназначенное для использования в SAN/NAS системах центров обработки данных, а именно – для консолидации, агрегирования и виртуализации разделенных ресурсов памяти и их поддержки через Интернет. С помощью IPStor возможно использовать как существующие (Gigabit Ethernet, SCSI, Fibre Channel), так и новые технологии (iSCSI и InfiniBand) для построения IP-ориентированных инфраструктур сетевой памяти (в форме SAN/NAS over IP). В ПО IPStor реализованы также такие важные сервисы для систем хранения данных класса предприятия, как: зеркалирование; репликация; мгновенные снимки памяти; резервирование и восстановление. Кроме того в ПО IPStor обеспечено коллективное использование данных серверами приложений и пользователями рабочих групп как поблочное, так и пофайловое (в рамках общего управления SAN/NAS системой).

SANavigator

В марте 2001 г. компания Western Digital учредила компанию SANavigator (на базе своего филиала Connex), которая занимается исключительно разработкой ПО для управления гетерогенными сетями хранения данных. Практически сразу же молодая компания начала продвигать ПО с одноименным названием – SANavigator 1.5, предназначенное для осуществления удаленного мониторинга и Web-управления SAN системами при помощи интуитивно понятной Java-консоли. SANavigator представляет собой безагентское кросс-платформенное Javaориентированное ПО управления гетерогенными сетями хранения данных, функционирующее в качестве хост-приложения для программных средств третьих фирм (приложений управления памятью, утилит и инструментальных средств). С помощью функции AutoDiscovery ПО SANavigator можно выполнить полную инвентаризацию всех SAN ресурсов (в том числе, и удаленную). В свою очередь, с помощью компонента SANmap отображается визуальная (интуитивно понятная) карта сети хранения данных, на которой показаны все SAN устройства и их взаимодействие между собой. Кроме того, ПО SANavigator позволяет системному администратору определять пути зонирования новых данных, создавать резервные пути и выполнять другие процедуры управления SAN системой. ПО SANavigator 1.5 работает под управлением ОС MS Windows (98, NT и 2000), а также Sun Solaris и Linux.

Legato

Компания Legato в ближайшее время собирается выпустить ПО Legato Mirroring Extension (LME), предназначенное для зеркалирования дисковых подсистем в кластерах на основе MS Windows 2000 Advanced Server и Data Center. ПО LME обеспечивает поблочную синхронизацию данных между дисковыми подсистемами серверов. При этом серверы кластера могут быть объединены через интерфейсы SCSI или Fibre Channel, либо подключены к сети хранения данных.

BMC Software

Следует отметить и новый подход к управлению сетями хранения данных, предлагаемый компанией BMC Software – Application-centic Storage Management. Сравнительно недавно BMC Software выпустила ПО PATROL Application Storage Manager, которое позволяет управлять, в первую очередь, использованием ресурсов хранения данных различными приложениями (а не только ресурсами SAN систем). С помощью PATROL Application Storage Manager для каждого из этих приложений можно оптимизировать условия доступа к ресурсам памяти или выяснить причины возникших проблем. BMC Software считает, что за управлением ресурсами хранения в терминах бизнес-данных (а не блоков или томов) – будущее.

SAN и NAS на CeBIT’2001

Аппаратные и программные средства

Разработчики SAN и NAS решений продолжают совершенствовать свои продукты. И это с успехом было продемонстрировано на очередной всемирной ИТ выставке в Ганновере – CeBIT’2001.

Большое внимание на CeBIT’2001 было уделено решениям для архивации, особенно, используемым в SAN и NAS системах. В настоящее время среди разработчиков этих решений существуют определенные разногласия по вопросу, является ли магнитная лента (МЛ) наилучшим решением для организации долговременных архивов с онлайновым доступом. В большинстве случаев до сих пор приходится выбирать между жесткими дисками, оптическими приводами и МЛ. Однако, существует мнение, что по мере того, как будет улучшаться соотношение цена/производительность для ленточных архивов, они станут наилучшим выбором для хранения данных, к которым онлайновый доступ осуществляется не слишком часто.

Тем не менее, в альтернативу ленточным архивам растет популярность и оптической памяти. Оптические архивы удобно использовать, когда требуется частый онлайновый доступ к данным, однако, его скорость не особенно критична для пользователей. Наглядный пример разумного применения оптических архивов можно, в частности, найти в одной из правительственных служб Великобритании Companies House, обеспечивающей онлайновый доступ к подробной информации о различных компаниях (их регистрационным данным, данным о руководстве и достигнутых финансовых результатах). Информация за последние 3 года хранится на жестких дисках со средним временем поиска записи в 20 с. Однако, для поиска данных во временном периоде более 3 лет используются уже оптические архивы со средним временем поиска записи около 40 с (что вполне приемлемо для достаточно небольшого числа пользователей, запрашивающих такие данные).

В частности, на CeBIT’2001 свои решения для архивации представила компания MaxOptix. Было продемонстрировано чисто аппаратное ленточное решение для хранения данных, основанное на RAID технологии StreamIT и предназначенное для использования в бессерверных SAN-приложениях резервирования (обеспечивается пропускная способность более 130 ГБ/час при общей емкости в 400 ГБ). MaxOptix также собирается в третьем квартале 2001 г. выпустить свой первый OSD (Optical Super Density) привод. Технология разработки MaxOptix позволяет увеличить скорость считывания/записи с оптических дисков до 30 МБ/c. MaxOptix считает, что OSD приводы обеспечат DDS-ориентированным ленточным платформам хорошие перспективы и собирается выпустить уже в конце этого года свою первую OSD-библиотеку.

Достаточно интересными были на CeBIT’2001 и продемонстрированные SAN/NAS решения. Например, компания Raidtec представила монтируемый в стойку высокопроизводительный NAS файл-сервер SNAZ R6 (высотой 2U), который можно легко интегрировать в сети хранения данных (то есть, при помощи SNAZ R6 предприятие может сначала инсталлировать NAS решение, а затем – и SAN). Он предназначен для использования в Интернет/интранет приложениях, приложениях электронной коммерции и любых приложениях распределенного использования файлов или данных на уровне отдела предприятия. В SNAZ R6 реализован многопротокольный доступ к данным для гетерогенных клиентов и обеспечивается до 430 ГБ локальной RAID памяти с «горячей заменой». При этом емкость системы хранения данных можно увеличить путем добавления Raidtec Fibre Channel SAN адаптера. SNAZ R6 базируется на платформе Raidtec nEngine FlashLinux и обладает следующими основными характеристиками:

• инсталлируется при помощи стандартного Web-браузера;
• реализован параллельный доступ для клиентов Windows CIFS и UNIX NFS;
• реализован LVD SCSI интерфейс для внешних устройств;
• полная поддержка множества RAID устройств различных конфигураций, каждое из которых обладает оригинальным RAID уровнем (0, 1, 10 и 5);
• опционально интегрируется ленточное устройство;
• опциональный Fibre Channel интерфейс к SAN-сетям.

Компания MTI Technology продемонстрировала на CeBIT’2001 свои серверы MTI Vivant V20 и Vivant S200 (SAN и NAS), исполняющие приложения репликации данных, передачи потокового видео и LAN-free резервирования. В частности, для демонстрации способности своих устройств постоянно поддерживать копии данных практически на любой дистанции MTI Technology реплицировала данные между двумя устройствами MTI Vivant V20s, расположенными на расстоянии около 1 км друг от друга в отдельно расположенных помещениях выставки. В данных устройствах реализована архитектура MTI DataServices Architecture, и они работают под управлением многих распространенных ОС (включая UNIX и MS Windows NT/2000).

Компания Auspex Systems представила на CeBIT’2001 свои NAS файл-серверы, в которых реализованы возможности распределенного использования файлов клиентами ОС UNIX и Windows, а также возможность предотвращения неавторизованного доступа к защищенным UNIX или Windows файлам.

Из программных продуктов для управления SAN и NAS, представленных на CeBIT’2001, интересно отметить ПО SANavigator 1.5, с помощью которого компания SANavigator продемонстрировала реальное трансатлантическое и трансконтинентальное удаленное администрирование сетью хранения данных, развернутой в ее головном офисе в г. Сан-Хосе (штат Калифорния).

Технология виртуальных SAN на CeBIT’2001

В настоящее время стоимость систем хранения данных в корпоративных сетях постоянно увеличивается (не в последнюю очередь, из-за необходимости дублирования критически важной информации). Лишних расходов можно избежать за счет консолидации корпоративных систем хранения данных, когда несколько серверов могут использовать одно и то же физическое устройство. Надо отметить, что, теоретически, сети хранения данных должны помочь справиться с проблемой консолидации памяти. Однако, на практике это – несколько не так. Хотя у сетей хранения данных немало преимуществ (например, за счет их применения снизилась стоимость удаленной репликации данных, в несколько раз повысилась скорость резервирования данных и др.), создания пула памяти они не обеспечивают. Поэтому виртуальные SAN являются следующим этапом развития сетей хранения данных.

Виртуальная память – это новый подход к построению сетей хранения данных. При его применении разрываются последние физические связи между серверами и устройствами хранения данных. Для обозначения данного подхода применяются различные термины, к основным из которых относятся: виртуальные сети хранения данных; управление виртуальной памятью (SVM); создание симметричного пула памяти; виртуальная память. Однако, фактически, все эти термины означают одно и то же: физическая память преобразуется в пул логических блоков, которые воспринимаются серверами независимо от реального оборудования, обеспечивающего эти блоки. Только управляющее устройство в самой сети хранения данных видит как устройства хранения данных, так и серверы (все остальные устройства видят только то, что им позволено видеть). Фактически, создается абстрактный программный уровень, разрывающий физические связи между серверами и устройствами хранения данных (рис. 5). В то же время каждый сервер приложений соединяется с сетью хранения данных и получает доступ к памяти, а RAID подсистема может быть разделена на логические тома меньшего объема таким образом, чтобы их можно было совместно использовать и другими серверами.

Технология виртуализации может быть реализована для любого типа памяти (включая SCSI и SSA). Преимущество виртуализации сетей хранения данных заключается и в том, что она реализуется на уровне SCSI блоков (и не требует изменений на хост-серверах). Виртуализация памяти может быть реализована и посредством исполнения ПО на самих серверах. Например, в качестве SAN менеджера для виртуализации ресурсов памяти может использоваться ПО DataCore SANsymphony разработки компании DataCore Software.

Продукты, в которых реализована технология виртуализации, были достаточно широко продемонстрированы на CeBIT’2001. В частности, была представлена совместная разработка компаний Gadzoox, DataCore Software и Heroix – устройство управления сетью хранения данных Axxess. Оно предназначено для установки пути данных между серверами и сетью хранения данных. Axxess устанавливается на базе сервера с 2 или 4 процессорами Intel Pentium III Xeon (монтируемого в стойку), соединяется с коммутатором Gadzoox Capellix и работает под управлением ОС MS Windows NT. Только устройство Axxess видит как серверную зону, так и зону памяти, показывая серверам лишь необходимую им информацию.

Применение технологии виртуализации также означает, что ПО управления памятью, исполняющееся на серверах, больше не ограничено аппаратными средствами нижнего уровня. Кроме того, если в настоящее время при зеркалировании необходимо использовать идентичные устройства хранения данных, то при применении технологии виртуализации можно зеркалировать устройства разных типов. Cтановится также возможным динамическое расширение томов. Однако, недостаток данного подхода заключается в том, что каждая операция ввода-вывода осуществляется через устройство SAN управления, будь то Axxess или исполняемое на сервере ПО (как SANsymphony). Это создает единственное место для сбоев, а также потенциальный барьер для производительности систем хранения данных. Тем не менее, компания Gadzoox считает, что устойчивость сети хранения данных к сбоям может быть повышена путем добавления к ней второго устройства Axxess.

Cуществует также альтернативный подход к виртуализации памяти, отличающийся от вышерассмотренного только местом хранения виртуального диска. Данный подход еще называется созданием ассиметричного пула памяти. В его рамках блоки памяти также размещаются на серверах, однако, серверы сами сохраняют карту памяти, необходимую для отслеживания этих размещений. Кроме того, при создании ассиметричного пула виртуальной памяти применяются модифицированные HBA (host bus adapter) адаптеры.

Одним из сторонников альтернативного подхода к виртуализации является компания StorAge Networking Technologies, разработавшая (и представившая на CeBIT’2001) SAN устройство Metadata Centre, способное управлять виртуальными томами через гетерогенную память. Взаимодействие с Metadata Centre осуществляется через интеллектуальные PCI HBA адаптеры, дающие возможность как пользователям, так и приложениям запрашивать сервисы через устройство SAN управления. StorageAge называет это устройство Metadata Centre, так как оно создает и распределяет метаданные (данные о данных).

Подобные технологии виртуализации разрабатывают и другие компании. Примером этому может служить вышеупомянутая технология Compaq VersaStor, которая привлекла поддержку основных SAN вендоров (включая StorAge и IBM). Занимаются созданием своих подходов к виртуализации компании Brocade и McData, а также разработчики HBA адаптеров (компании Emulex, JNI и Qlogic).

Следует отметить, что решения, в которых реализованы симметричные схемы виртуализации (например, SANsymphony), уже сейчас могут работать с существующим оборудованием SAN. В то же время, для массового применения решений, в которых реализованы технологии ассиметричной виртуализации (например, VersaStor), необходимо разработать новые аппаратные средства. И, все же, технология асимметричной виртуализации является весьма перспективным подходом, так как при ее применении повышается надежность и производительность сетей хранения данных (а для разрешения коллективного использования файлов в виртуальной SAN можно дополнительно инсталлировать другое ПО, например, SANergy от Tivoli или REDIzone от XIOtech).

Аналогичная технология SAN виртуализации может быть использована и в автоматических ленточных библиотеках (хотя существует мнение, что реализация ее в них на уровне SCSI блоков менее практична). Примером ленточного устройства, в котором реализована технология виртуализации, является StorageTek SN6000, представляющее серверам стандартный виртуальный образ МЛ, поддерживаемый в любом ПО резервирования/восстановления.

Основные тенденции развития мирового рынка SAN и NAS

Стандартизация и интеграция решений

Производители NAS и SAN решений прекрасно понимают, что несовместимость только мешает распространению их продуктов. Поэтому они создают различные отраслевые организации для разработки стандартов, тестовые лаборатории и сертифицируют свои продукты на совместимость с решениями других вендоров (как аппаратными, так и программными). В отрасли сложилось устойчивое мнение, что еще многие годы будет развиваться именно стандарт Fibre Channel. Поэтому, в свое время, и была создана ассоциация FCIA (Fibre Channel Industrial Association), занимающаяся разработкой отраслевых Fibre Channel стандартов (в нее вошли около 200 компаний). FCIA стремится также просветить сообщество конечных пользователей о выгодах адаптации SAN. Действует и программа сертификации FCIA SANmark Certified. В настоящее время (по мере быстрого роста объема корпоративных данных и насыщения существующих спецификаций) все производители Fibre Channel устройств работают над созданием более быстрой версии Fibre Channel интерфейса – 2 Гб/c, обратно совместимого с существующими 1 Гб/c Fibre Channel устройствами. Относительно недавно FCIA заявила также о завершении разработки базового содержимого предполагаемой 10 Гб/c версии Fibre Channel интерфейса.

Существует и некоммерческая организация Storage Networking Industry Association (SNIA), в состав которой вошли более 150 компаний, занимающихся производством SAN продуктов (http://www.snia.org/). Работает также Storage Networking Industry Association (SNIA) IP Storage Forum, образованный для маркетинга и продвижения стандартизованных решений сетей хранения данных по IP сетям.

Производители SAN и NAS активно сертифицируют свои продукты на совместимость с распространенными аппаратными и программными средствами. Например, компания MTI Technology сертифицировала в марте свои SAN/NAS серверы MTI Vivant V20 в лаборатории компании Microsoft WHQL (Windows Hardware Quality Lab) на их совместимость на аппаратном уровне с ОС Windows NT и Windows 2000. Компании StorageTek и Network Appliance сертифицировали решение, в котором ленточные библиотеки StorageTek используются для резервирования данных с NAS серверов NetApp.

Компании Compaq и Legato разработали полностью сертифицированное решение резервного копирования для гетерогенной среды SAN. ПО Legato NetWorker 5.5.1 и SmartMedia интегрировано с решением Compaq StorageWorks Enterprise Backup Solution (EBS) for the Data Center. Совместное решение позволяет выполнять резервное копирование на серверах Compaq Proliant, работающих под управлением ОС MS Windows NT и Compaq Tru64 UNIX.

Компания Brocade Communications Systems сертифицировала на совместимость ПО VERITAS SANPoint Control 2.0 с Brocade-ориентированными сетями хранения данных. С помощью технологии VERITAS V3 SAN Access Layer (интегрального компонента ПО VERITAS SANPoint Control) ПО VERITAS SANPoint Control 2.0 обеспечивает доступ к дополнительным возможностям управления и сервисам Brocade Fabric OS (ОС для Brocade-ориентированных сетей хранения данных). Например, через объединение возможностей ПО VERITAS SANPoint Control 2.0 и Fabric OS может выполняться централизованное программно управляемое зонирование в Brocade-ориентированных сетях хранения данных.

Совместное продвижение продуктов

Помимо обеспечения совместимости своих продуктов NAS и SAN производители активно занимаются их совместным продвижением. Например, недавно соглашение о совместном распространении ПО VERITAS SANPoint Control подписали компании VERITAS Software и INRANGE Technologies. INRANGE Technologies будет распространять SANPoint Control совместно со своим решением IN-VSN FC/9000 Fibre Channel Director. Аналогичное соглашение (только, об распространении ПО FalconStor IPStor) заключили также компании Bell Microproducts и FalconStor. Примером соглашения о совместном продвижении SAN оборудования является договор о перепродаже Fibre Channel продуктов компании McDATA, подписанный между компаниями CNT и McDATA.

Опциональная поддержка SAN и NAS

Во многих выпускаемых сейчас на ИТ рынок устройствах реализуется опциональная поддержка SAN и NAS. Примером этому может служить сервер Audiolog Recording Server разработки компании Mercom Systems (используемый в отделах обслуживания потребителей и биллинговых службах), в котором в качестве опции реализована поддержка NAS. Наличие NAS опции позволяет данным серверам автоматически архивировать записанный материал на стандартные NAS устройства с TCP/IP адресацией, находящиеся на том же уровне локальной или глобальной сети. В Audiolog Recording Server поддерживается запись разговоров до 144 агентов, а на DVD диске может храниться до 500 часов записанных разговоров. Учитывая, что агенты разговаривают около 4 часов в день, раньше заполненный DVD диск должен был заменяться не реже раза в сутки. C появлением же NAS опции необходимость ежесуточной замены диска устранена. Специализированное ПО (созданное с использованием технологии MS ActiveX) может дополнительно контролировать срок хранения записанного материала на NAS устройстве. При этом процесс архивации автоматизирован как для головных офисов (работающих на базе ЛВС), так и для географически удаленных филиалов предприятий (соединенных через глобальную сеть). Cервер Audiolog работает под управлением ОС Windows NT. В комплекте к нему также поставляется ПО Record-On-Demand via Network Interface (RODNI) и IRIS, с помощью которого (на базе различных критериев) определяются типы записываемых вызовов.

Развитие партнерских программ для продвижения своей продукции

Весьма распространенным явлением на рынке стало и предложение NAS/SAN вендорами различных партнерских программ для продвижения своей продукции. Например, NetStorM SAN Alliance – это партнерская программа компании Exabyte для реализации SAN на базе продуктов Exabyte.

Аналогичную программу предлагает, в частности, и компания Sun Microsystems (построение сетей хранения данных на базе массивов Sun StorEdge Т3, ленточных библиотек Sun StorEdge, серверов Sun Enterprise и ПО управления Sun StorEdge).

Консолидация рынка и выход на него новых вендоров

На рынок сетей хранения данных выходят как молодые компании, так и известные вендоры. Так, например, недавно на выставке Storage Networking World’2001 компания Cisco заявила о своем выходе на рынок SAN и представила маршрутизатор Cisco SN5420, позволяющий соединять SAN на основе Fibre Channel или SCSI с IPсетями. Кроме того, по данным Network World, в течение ближайшего года Сisco планирует приобрести от 5 до 10 фирм, занимающихся сетями хранения данных. Интересен SAN/NAS рынок и для компании Hitachi Data Systems, которая собирается уже в мае 2001 года выпустить свои первые NAS-серверы.

Более динамичное развитие рынка ПО управления SAN и NAS

Сегмент ПО управления SAN и NAS развивается быстрее всего рынка. Основным направлением развития данного сегмента является стремление разработчиков ПО создавать полные наборы программных средств резервирования, восстановления и управления иерархической памятью (HSM), поддерживающих гетерогенные SAN платформы. По прогнозу IDC объем данного сегмента должен увеличиться с $2.5 млрд. в 1999 г. до $5.6 млрд. в 2004 г.

Итоги

1.Цена сетей хранения данных сейчас достаточно велика. Как сама аппаратура и ПО, так и их развертывание, а также обучение работе с ними стоят очень недешево. Только предприятия с большими ИТ бюджетами могут позволить себе SAN. Очевидно, что массовое распространение сетей хранения данных начнется только после значительного снижения их стоимости. А это произойдет только после развертывания достаточно большого числа SAN.

2.Так как применение ПО управления SAN снижает стоимость обслуживания сетей хранения данных (за счет уменьшения числа персонала, необходимого для их мониторинга и управления), то основная битва SAN поставщиков сейчас происходит именно в данном сегменте. При этом одни поставщики аппаратных средств продают (и будут продавать) ПО управления отдельно от аппаратных средств, а другие – совместно с ними. Такая несогласованность действий мешает распространению SAN. Потребители не знают, не станет ли экономия, полученная ими при совместном приобретении пакета ПО и аппаратных средств, мнимой в отдаленной перспективе, когда им потребуется масштабировать свою сеть хранения данных (или интегрировать ее с другим решением для хранения данных). Без организации согласованного и эффективного взаимодействия между поставщиками SAN и NAS решений (выработки единой рыночной стратегии) скорость развития SAN/NAS рынка будет замедлена.

3.SAN/NAS решения станут более доступны по цене только после улучшения ситуации с поддержкой стандартов (и своего массового распространения).

4.Снижение стоимости SAN/NAS решений позволит наращивать корпоративные системы хранения данных меньшими усилиями. В перспективе SAN и NAS системы позволят не только упростить управление хранением данными, но и сократить корпоративные ИТ расходы (в том числе, за счет совместного использования множеством серверов достаточно дорогих автоматизированных ленточных библиотек и дисковых массивов).