Как организовать файловое хранилище в офисе

Выбираем систему хранения файлов для командной работы

Мы работаем с большими объемами медиа данных: видео, рендеры, фото, иллюстрации. Чтобы обеспечивать коллективную работу, нам нужен постоянный общий доступ ко всем этим файлам.

В какой-то момент нам перестало хватать собственного сервера, и мы начали искать облачное хранилище, удовлетворяющее нашим запросам.

Мы сравним популярные облачные хранилища для бизнеса: Google Drive, DropBox, Citrix ShareFile и Microsoft OneDrive.

Наши требования к облачному хранилищу:

• Безлимитный объем данных — у нас много данных, в среднем около 10ТБ. Не хочется постоянно думать сколько нужно докупить места в этом месяце и почему вдруг кончилась квота.
• Версионность файлов и логирование — git приучил нас, что все изменения можно видеть и откатить. Поэтому и с файлами должны быть точно так же: любое изменение, удаление должно быть обратимо и легко контролироваться.
• Права доступа — никаких больше общих папок доступных всем. Каждый сотрудник должен иметь свою область видимости.
• Upload без регистрации — клиенты не должны больше искать файлообменники, чтобы прислать нам тяжелый файл. Файлы должны сразу загружаться в наше хранилище без промежуточных сервисов.

Как это было раньше

Когда данных было поменьше, а облачных сервисов (за разумные деньги) не было, нам приходилось держать здоровенный сервер с хрустящими жесткими дисками в RAID массиве. Доступ к нему происходил через SMB. За ним нужно было постоянно присматривать, менять жесткие диски, бекапить. Раз в месяц у него что-то происходило: то скорость записи/чтения резко падала, то какая-то папка или файл становились недоступны из-за недопустимых символов в названии и т.д.

Когда сотрудников стало больше, они начали работать удаленно, да и еще и с разных операционных систем: Windows, macOS. Для доступа к серверу пришлось развернуть VPN, который обеспечивал хоть и медленный, но доступ к файлам. В какой-то момент стало понятно, что этот подход устарел и мы стали искать ему замену.

Объем хранилища и цены

Мы храним большие объемы данных, около 10ТБ в среднем. Во время активной работы эта цифра может увеличиваться в несколько раз. Проекты приходится хранит еще несколько месяцев после сдачи клиенту, а то и вечно. Поэтому для нам нужно безлимитное хранилище, чтобы каждый месяц не думать сколько нужно докупить гигабайтов.

Количество сотрудников варьируется в пределах десяти, поэтому для удобства мы будем считать стоимость тарифов на 10 сотрудников.

Citrix ShareFile	Dropbox	Google Drive	Microsoft OneDrive
Объем	Не ограничен	Не ограничен	Не ограничен	Не ограничен
Цена за 10 пользователей в месяц	150$	200$	100$	125$

У большинства сервисов такой ценник только при оплате на год вперед, и при оплате помесячно цена выше на 20-40%. Это нужно учитывать.

Скрытые ограничения

Обычно, если что-то указано как безлимитное, нужно искать мелкий серый текст в условиях. У каждого сервиса есть свои особенности, которые можно не разглядеть с первого взгляда. У некоторых они настолько странные, что делают их полностью бесполезными для нашей задачи.

• Dropbox — максимальный объем загружаемого файла 50ГБ
• Citrix ShareFile — максимальный объем загружаемого файла — 100ГБ. Не очень много, но терпимо.
• Google Drive — У Google Drive максимальный размер файла 5ТБ!

Для каждого аккаунта или общего диска максимальный размер отдельного файла, который можно загрузить или синхронизировать, составляет 5 ТБ. Максимальный объем файлов, которые можно загрузить за один день, составляет 750 ГБ

Microsoft OneDrive

В бизнес тарифах Microsoft OneDrive максимальный размер файла ограничен 15ГБ. Это просто какое-то недоразумение! Во времена, когда даже бюджетные камеры снимают видео с битрейтом 200Mbit/s и легко генерируют файлы размером сотни гигабайт. Это ограничение делает сервис OneDrive полностью бесполезным для нас.

Выборочная синхронизация

Бухгалтеру Светлане не нужно на компьютере 2ТБ видео с которыми работает видеограф Андрей. Для этого система должна иметь функцию выборочной синхронизации, то есть пользователь должен вручную отметить какие файлы ему нужны локально на компьютере, а какие только по запросу. Все четыре сервиса поддерживают эту функцию. Однако приложение Google Drive позволяет отметить только папки в корне диска, то есть нельзя включить синхронизацию только для Бухгалтерия —> Отчеты —> 2018, можно только для всей папки Бухгалтерия.

Права доступа

Разные сотрудники должны иметь доступ только к определенным папкам и файлам. Система должна сохранять подробный журнал изменений прав доступа и обращений к файлам. Все четыре системы имеют такой функционал. У Citrix ShareFile и DropBox можно включить уведомления в случае доступа к определенным файлам и папкам. Это может быть полезно для файлов с особо охраняемой информацией. Например, можно установить алерт на доступ к файлам клиентбанка и некоторым документам, и быть в курсе, что кто-то в нерабочее время вдруг обратился к этим файлам.

Версионность

Теперь мы можем мгновенно обратится к любой версии файла. Особенно приятно, что видно каким пользователем были сделаны изменения. Это исключает ситуации, когда можно сказать «это не я, оно уже так было«.

Список изменений файла в ShareFile с указанием даты и аккаунта который вносил изменения.

Запрос файлов и анонимная загрузка

Раньше нам приходилось создавать временный аккаунт на FTP сервере и выдавать его клиенту. Попутно долго объясняя, как настроить FTP клиент, как восстановить закачку после обрыва и так далее. Сейчас же можно просто нажать «запросить файлы» на любой папке, и сервис создаст анонимную ссылку, по которой можно залить файлы через браузер. При этом разрешена только загрузка, нельзя увидеть, что уже находится в папке или как-то просматривать на сервере. Это избавляет от необходимости создавать временные учетные записи для клиентов и следить за их удалением. Эту функцию поддерживают только ShareFile и Dropbox.

Доступ по WebDAV и FTP

В некоторых случаях установка стороннего ПО на компьютер не желательна или невозможна, например на корпоративных системах. У ShareFile есть доступ по (S)FTP и WebDAV. Google Drive имеет сторонние программы для доступа к диску по WebDAV, но все они требуют передачи доступа к аккаунту третьим лицам. Dropbox не имеет поддержки сторонних протоколов, доступ возможен только через клиент.

Клиенты для этих протоколов встроены в большинство операционных систем. Правда клиент macOS почему-то часто монтирует WebDAV в режиме read only.

Хранилище Citrix ShareFile можно подключить по WebDAV без установки стороннего софта

Вывод

Мы сразу отбросили Microsoft Onedrive из-за нелепого ограничения 15ГБ на размер файла. Google drive не позволяет нормально пользоваться диском без почты на g suite (бывший google apps). Поэтому на текущий момент мы выбираем между Dropbox и Citrix ShareFile. Решающим фактором, полагаю, станет качество ПО, потому что в остальном сервисы похожи. У каждого есть свои странности. Например, программа Dropbox для windows в какой-то момент тихо перестает синхронизировать файлы, при том, что внешне никаких признаков проблемы нет. Лечится очисткой системной папки temp.

Большое файловое хранилище для маленькой такой компании

Думаю, что любая группа разработчиков рано или поздно сталкивается с такой, казалось бы, примитивной задачей как

• вики, учет задач, тикетов, дефектов;
• система управления версиями/репозиторий;
• файловый сервер.

И если в случае первого и второго предлагается множество прекрасных средств, в частности для багтрекинга существуют известные каждому Redmine, Trac, а для управления версиями Subversion, Git, Mercurial, то для грамотной организации файлового хранилища приходится в очередной раз изобретать велосипед.

Что требуется?

Что я понимаю под файловым сервером? Хороший вопрос. В идеале это должна быть система по типу каталога, способная хранить большие объемы двоичных файлов (pdf, doc, xls, msi, avi и др.), позволяющая тегировать файлы для гибкого поиска по хранилищу, автоматически индексировать их содержимое и метаданные, производить поиск по множеству критериев, предоставлять доступ к файлам как локально, так и через браузер (web-интерфейс), совместно редактировать файлы, иметь клиенты для разных ОС, синхронизирующие версии с сервера, но что-то я замечтался… Конечно, же, такой системы не существует. Сейчас, наверное, многие возразят мне и укажут на Microsoft SharePoint Server, однако для небольшой компании этот продукт неподъемен ввиду сложности в обслуживании и астрономической цены.

Такие варианты как Dropbox, SkyDrive и другие сразу же отбрасываются, так как руководство не хочет распространять проекты компании неизвестно куда, опять же есть ограничения на скорость доступа (в случае файлового сервера в локальной сети большинство запросов поступает по высокоскоростным соединениям и лишь часть — через веб-интерфейс), а также на размер хранимых данных.

Какие же существуют свободные аналоги, частично решающие задачи, перечисленные выше? Я произвел тщательное исследование этого вопроса и готов поделиться с вами своим горьким опытом.

Скажу сразу, что я до сих пор нахожусь в поиске наилучшего варианта и те средства, о которых я расскажу ниже, лишь отчасти удовлетворяют предьявляемым требованиям. Сочетая несколько средств, может быть, есть шанс получить желаемый эффект.

OwnCloud

Недавно вышла новая версия (4.5) системы для организации хранения, синхронизации и обмена данными OwnCloud. Ранее на Хабрахабре уже появлялась замечательная статья об OwnCloud, которая и мотивировала меня познакомиться с облаком поближе.
Об особенностях процесса установки OwnCloud хабраюзером BlackIce13 была написана прекрасная статья Опыт установки ownCloud 6 на Debian 7 wheezy.
Первое впечатление было просто волшебным: современный web-интерфейс, возможность онлайн просмотра (txt, PDF, ODF) и редактирования (txt) файлов, календарь, задачи, адресная книга, синхронизация по протоколу WebDAV, поиск по содержимому, а что самое главное — возможность монтирования локальных папок и внешних хранилищ по протоколам FTP, Samba, и др. Однако после более плотного знакомства обнаружилось огромное количество багов и глюков, как достаточно безобидных и даже забавных, так полное и безвозвратное падение системы. С OwnCloud врагам не нужно применять хитрые DDoS-атаки ибо эта функция изначально заложена разработчиками в ядро системы.
Больше всего интересовала функция монтирования удаленной файловой системы через Samba. То есть в локальной сети выделялся web-сервер с системой управления проектами и OwnCloud, а также простой Windows-файловый сервер, с которого web-интерфейс и подтягивал бы данные для удаленного доступа. Однако монтирование через Samba не захотело функционировать ни при каких условиях, несмотря на официально заявленную функциональность и примеры на сайте OwnCloud. Была произведена попытка обмануть OwnCloud и подсунуть её «локальную» папку с примонтированной Samba-шарой, но это вгоняло OwnCloud в неадекватное состояние.
Вообще, средство достаточно неплохое для домашнего использования, или если Вам достаточно пространства жесткого диска сервера на всю компанию. Стоит отметить развитое сообщество разработчиков OwnCloud, в котором Вам всегда подскажут как бороться с очередным фэйлом. Добавьте ссылку на их багтрекер себе в избранное, так как вам часто придется общаться с этими ребятами.

iFolder

Разрабатываемое компанией Novell, средство iFolderтакже предоставляет так необходимые нам возможности — распределение на несколько серверов, синхронизация между клиентами, веб-интерфейс к хранилищу.
Горьким фактом является то, что iFolder со стороны Linux поддерживает openSUSE, для которого процесс установки состоит из одной команды.
Для других дистрибутивов Linux установка iFolder — это практически невыполнимая задача несмотря на множество мануалов, например iFolderInstall. Мне, к сожалению, не удалось установить iFolder ввиду специфичных версий пакетов, которые требуются для работы системы и которые уже давно не доступны на сайте iFolder Novell. Возможно, читатели Хабра более удачливые и продвинутые и у них получится найти общий язык с iFolder.
Помимо iFolder на том же сайте компания Novell предлагает еще два проекта для совместной работы (Kablink Teaming) и для обмена сообщениями (Kablink Conferencing), впрочем они были мне не так интересны, поэтому оставляю знакомство с ними вам на десерт.

SparkleShare

Достаточно интересное средство, написанное согласно приданию некими хакерами, которым надоело синхронизировать свои файлы. Оно основано на системе управления версиями git и по сути является надстройкой. Для файлового сервера создается отдельный репозиторий и затем над ним навешивается SparkleShare. Клиенты, работая с файлами, синхронизируют их между собой и сервером по аналогии клиента для Dropbox. Кроме официального сайта, есть неплохая инструкция по установке и работе с SparkleShare. «Благодаря» фундаменту в виде git возникают и недостатки, свойственные системам такого класса: клиенты хранят полную локальную копию репозитория, что в случае больших объемов просто невозможно. Существует способ «ленивого» доступа к репозиторию посредством git-fs, но только в режиме чтения. Опять же для непрограммистов (экономисты, отдел кадров), это слишком высокотехнологичное решение и они скорее будут пересылать друг другу документацию бесконечными e-mail, чем воспользуются git. Опять же ненависть репозиториев к бинарным файлам окончательно исключает SparkleShare из списка возможных решений.

Syncany

Казалось бы вот она, мечта: облачное файловое хранилище с поддержкой FTP, IMAP, WebDAV, Windows NetBIOS/CIFS, SFTP/SSH, шифрованием данных и т.п. Но проект находится в разработке вот уже два года и официальных релизов системы не поступало. Авторы приветливо предлагают вступить в ряды разработчиков или пожертвовать то, что не жалко… Так что, Хабрачитатели, мечтающие внести свою лепту в Cloud Storage, есть прекрасный вариант реализовать себя.

Rsync и Lsyncd

Выполняют функции, сходные с Dropbox, то есть синхронизацию локальной и удаленной папки. Это не совсем то, что я искал, поэтому не буду слишком подробно останавливаться на этом решении. Отмечу лишь отсутствие графического интерфейса и клиентов для ОС Windows, что автоматически исключает Rsync и Lsyncd из списка.

AeroFS

Если предыдущие продукты можно было скромно называть облачными, то AeroFS использует это понятие по полной. По сути AeroFS — это p2p сеть, которая коллективно хранит файлы не обязательно с использованием центрального сервера! Система полностью распределенная и использует сложные алгоритмы репликации данных. Есть возможность выделить центральный сервер, который привносил бы два положительных момента — web-интерфейс и дополнительную дупликацию данных (вдруг все уедут в командировку и сеть начнет испытывать истощение). До сих пор у меня к AeroFS много вопросов, ответы на которые получить пока не удается. Скачивание релиза доступно только по инвайтам, поэтому ждемс… Обязательно отпишусь по результата разворачивания AeroFS.

UPD: AjaXplorer

Благодаря umcherrel мы можем познакомиться с ещё одним средством: AjaXplorer. Впечатление, как и от OwnCloud, самые положительные. На сайте разработчиков есть возможность протестировать демо-хранилище за что им огромный плюс. Стоит также отметить простоту установки и добавления репозиториев. С технической точки зрения AjaXplorer характеризуется свойствами: онлайн просмотр (txt, pdf, zip, графика, мультимедиа) и редактирование файлов (txt), разграничение прав, адаптируется под браузеры iOS и Android, поиск (c внешними хранилищами все же лучше не использовать, к сожалению), множество плагинов на любой случай жизни. Также нужно отметить возможность дружбы AjaXplorer с различными системами управления версиями посредством плагина, что для нас тоже важно. Внешние хранилища можно подключать по Samba, FTP(S), WebDAV, IMAP, POP. И это прекрасно. Из недостатков можно отметить лишь ресурсоемкость. С другой стороны, за все нужно платить…

UPD: Amahi

Благодаря srs2k, мы узнали об Amahi. Что это за зверь? На самом деле Amahi — прекрасная платформа для домашнего медиа-центра в концепции «умного дома». Сразу бросается в глаза медиа ориентированность: Squeezebox сервер, DLNA сервер, Gallery 2, UPnP сервер uShare, медиа стриммеры Jinzora и Ampache, медиа-библиотеки OpenDB и VCD-db, учет домашнего хозяйства Home Inventory, хранение рецептов phpRecipeBook, торрент-клиенты, вики, форумы и пр. Стоит отметить также «бесплатную» услугу отслеживания динамического IP, то есть в некоторых случаях (стоит сказать, весьма ограниченных), Вам не понадобится покупать белый статический IP-адрес. Также существует возможность расширять функциональность плагинами.
Установка хоть и выполняется из терминала, но Вам настойчиво и весьма бесцеремонно установят графическую панель конфигурирования, сменят IP-адрес сервера, включат DHCP, перезагрузят сервер и вообще будут себя чувствовать как дома. Конечно, для неопытных пользователей такое решение «из коробки» просто необходимо, но в большинстве случаев, я считаю, это недопустимо.
С технической точки зрения Amahi поддерживает Samba, VPN, WebDAV (Outlook, iCal) и др. Более подробно прошу на сайт за красочными презентациями.
С точки зрения применимости Amahi для корпоративных нужд вопрос пока остается открытым.

Вывод

Подводя итог, скажу, что мы пока выбрали в качестве временной альтернативы решение OwnCloud. Согласно поговорке нет ничего более постоянного, чем нечто временное, но мы надеемся найти альтернативный вариант, так как вероятность, что OwnCloud в ближайшие сроки избавится абсолютно от всех недостатков, к сожалению, стремится к 0. Скорее всего, мы перейдем на AjaXplorer, если лучшей альтернативы не появится.

Вот таким образом обстоит ситуация со средствами для организации файлового хранилища. Обращаясь к Хабрасообществу, прошу поделиться своим опытом решения такой важной для государства задачи. Понимаю, что абсолютно бесплатных средств совсем не много и, между тем, начальство даже(. ) готово заплатить разумные деньги за действительно функциональную вещь.

Хотелось бы узнать, как решается такая проблема в более крупных компаниях с поставленным процессом разработки?

Post scriptum: Встречался ли кто с системами оповещения работников (по email, sms и др.) о запланированных или циклических задачах с веб-интерфейсом? Наверное, это тема другой статьи. Поэтому to be continued.

• Настройка Linux
• Серверное администрирование

Делаем сетевое хранилище из старого ПК

При покупке нового компьютера, возникает вопрос, что сделать со старым: продать, подарить, отдать знакомым. Не спешите расставаться со старым другом!

Некогда любимый ПК, разжалованный в старую железку, может еще пригодиться. Сейчас популярна тема домашних сетевых хранилищ, так называемых NAS-серверов.

На рынке есть аппаратные решения — компактные черные квадраты и прямоугольники на 2–20 дисков. Цена от 12 000 рублей за самый простенький вариант. Это те же компьютеры, только с большой корзиной для дисков и специфической операционной системой. Охлаждение продумано в них значительно лучше в сравнении со стандартным ПК, зато у нашей старой железки есть ряд неоспоримых преимуществ.

Преимущества NAS из Б/У ПК

Апгрейд: новая память, система охлаждения, количество HDD;
Подключение периферии: принтер, камеры, модули связи;
Установка любой понравившейся ОС;
Стоимость Б/У железа меньше, чем у готового решения.

Зачем нужен NAS?

Количество устройств, транслирующих мультимедийный контент в доме, увеличивается с каждым годом. К настольным ПК и ноутбукам, добавились планшеты, смартфоны, телевизоры, умные колонки. Скоро кофемолка с холодильником начнет запрашивать доступ к папке с фотографиями и списку контактов. Закачивать файлы на каждое устройство долго, неудобно, платить за облако на несколько терабайт — дорого.

NAS-сервер из старого ПК может выступать в качестве: персонального облака, хостинга для сайтов, хранилища фильмотеки с доступом с любого устройства, местом для сохранения бекапов своих проектов. Отправив торрент-файл со смартфона на закачку, фильм можно просмотреть на телевизоре после загрузки. Владельцам частных домовладений пригодится функция записи с IP-камер видеонаблюдения. Сохранение данных со всех устройств можно синхронизировать и автоматизировать.

Мощностей обычного ПК хватит на 5–10 человек, небольшой офис. Начинающие бизнесмены могут сэкономить на покупке дорогих аппаратных решений и быстро поднять свой сервер, собранный из старого железа. Подойдет любой компьютер, который жалко выбросить, и в то же время он уже не тянет современные графические редакторы и игры. Доступ к файловому хранилищу легко ограничить. Пользоваться сервером смогут дизайнер, бухгалтер, менеджер, но при этом каждый будет просматривать только свои папки и каталоги.

Что понадобится?

• Процессор с графическим ядром;
• Оперативная память;
• Материнская плата;
• Жесткие диски;
• Блок питания;
• Охлаждение;
• Корпус;
• Wi-Fi;
• ИБП;
• SSD.

Дискретная видеокарта не нужна. Возможностей встроенных графических обработчиков от Intel и Athlon достаточно. Клавиатуру, мышь тоже отправляем в чулан.

Корпус — любой, вмещающий в себя более двух жестких дисков. Если корзина для HDD маленькая, можно расширить за счет CD-ROM. В фасад Midi-Tower монтируется до 4 корзин по 3–4 диска в каждой.

Блок питания — 300–350W. Сервера потребляют мало электроэнергии. Для полной уверенности лучше взять калькулятор и подсчитать, сколько «ест» система. Если NAS собирается на 10–15 дисков и с мощным процессором, ставим 450–500W.

Материнская плата — любая, в идеале два LAN-порта c 1 Gb каналом и большим количеством выходов питания для винчестеров. Если такой нет, можно поставить расширитель в PCI-слот. При желании, с помощью китайских плат и разветвителей для кабелей питания, устанавливается два десятка HDD.

Оперативная память — зависит от операционной системы, минимальные требования: 1 Gb DDR 2. Максимум, что может потребоваться: 8Gb DDR3. Память с низкой частотой в 800 MHz предпочтительней, чем RAM с 1333 или 2400 MHz, потому что потребляет мало энергии.

Процессор лучше брать с низким TDP на уровне 45–65 ℃, Pentium IV, серверные Xeon или аналог от конкурента.

Бесперебойник должен быть с функцией парковки ПК и автоматического отключения питания платы.

Весь смысл NAS в круглосуточной работе.

Сервера иногда «падают» — это нормально и случается даже у крупных хостеров. Блок бесперебойного питания сначала должен зарядиться от сети и лишь потом дать напряжение на материнку. Для правильной работы в Bios надо настроить автоматический запуск системы после подачи питания.

Жесткие диски — красный Western Digital самый популярный вариант, стоит недорого, долговечен, хорошо ведет себя в RAID. При выборе других брендов стоит обращать внимание на тип перезаписи и выносливость диска, скорости 7200 оборотов в минуту достаточно.

SSD — от 32 Gb для установки системы. Тем, кто собирается устанавливать мультимедийные библиотеки, хостинг, ПО для IP-камер, лучше сразу поставить на 64 или 128 Gb.

Wi-Fi — любой от 100 Mb, лучше — внешний, чтобы не греть внутренности.

Охлаждение — все зависит от того, как охлаждается массив HDD. Каждый диск выдает 38–70℃. Надо ставить 1–2 больших и тихих кулера, плюс пассивное охлаждение на процессор. ВДО — еще лучше.

Какую ОС выбрать для NAS?

Существует несколько десятков операционных систем для организации работы сервера, сконцентрируемся на самых популярных.

Windows — подойдет для «неуверенных» пользователей. Управлять NAS можно через любой сервер-клиент, лучше всего для этих целей использовать FileZilla Client. Бесплатная софтина доступна на официальном сайте. Все диски сервера необходимо расшарить, добавив в папку Shared Folder. Рекомендуется сразу поставить лимит скорости и ограничить диапазон IP-адресов для доступа к HDD.

Для удаленного управления ПК из глобальной сети придется установить маршрутизатор и выбрать настройки переадресации 20 и 21 портов. Удаленное соединение через интернет осуществляется по 14 и 147 порту. Настроить DNS можно с помощью меню роутера. Рассмотрим подключение на примере Asus.

После выбора бесплатного сервера во вкладке «DDNS», необходимо зарегистрировать уникальное имя хоста, например, «myNas». Дальше в любом браузере вводим название своего домена: myNasAsuscomm.com и получаем доступ к расшаренным папкам.

— бесплатное ПО на базе FreeBSD. Основные преимущества: дружественный веб-интерфейс, репликация данных ZFS быстрее в 8 раз, чем в FreeBSD, поддержка RAID 0,1 и 5. Инсталляционный образ весит 780 мегабайт. Как настроить, читаем здесь.

NAS4FREE — еще одна бесплатная операционная система на ОС FreeBSD. Обновленный графический интерфейс с поддержкой обмена файлами на ОС Windows.

Open Media Vault (OMV) — масштабируемая система на основе Debian linux. В отличие от FreeNAS, умеет делать RAID 6. Можно настроить отправку сообщения по электронной почте, есть автоматическое создание бекапов и плагины для DAAP медиа-сервера, BitTorrent-клиент, хостинга, NFS, ISCSI, RSYNC. ОС подходит для дома и небольшого офиса на 5–10 человек. Панель управления напоминает смесь браузера и веб-панели администратора сайта. Инструкция по установке.

Ubuntu Server — подойдет фанатам Пингвина. Интерфейс крайне лаконичен. Последняя актуальная версия — 12.4 LTS. У администраторов сайтов сложностей не возникнет.

Synology (Xpenology) — красивая, современная, дорогая. Устанавливается в качестве лицензионной системы на аппаратные NAS-сервера. Управлять ею так же легко, как Windows. Позволяет инсталлировать сотни модулей: хостинг, CMS, готовые и настроенные для работы облачные хранилища, различные менеджеры, языки и среды программирования, почтовые сервера, пакеты офисных программ, автоматическое копирование USB-носителей, создание баз данных. Всем она хороша, кроме цены. Synology идет в комплекте с аппаратными NAS + надо платить за расширенные возможности. Demo версия доступна по ссылке.

Xpenology — все то же самое, только взломанное ручками неравнодушных граждан. Единственный минус — не работает удаленный доступ, поскольку выделенный IP-сервер получает через Synology. Проблема решается с помощью серого IP, но только внутри локальной сети. Как установить и пропатчить, написано тут.

Какой создать RAID?

Для доступа к данным сервера можно не заморачиваться с рейдом дисков, особенно, если используется обычная Windows OS. Acronis умеет делать единый виртуальный диск из нескольких винчестеров. Доступ к нему можно получить через FTP с любого устройства. Создавать RAID стоит, если скорости чтения HDD не хватает для игр, когда необходимо хранить объемные видеоролики, большое количество фотографий и бекапов.

Особенности RAID-массивов

RAID 0 — автоматическое распределение файлов по разным дискам. Полетит один HDD — все файлы будут потеряны. Используется только для хранения неважной информации — игр со стима, старых копий бекапа. Единственное преимущество — быстрая скорость чтения, иногда помогающая при фризах в онлайн-играх.

RAID 1 (зеркало) — все файлы дублируются на двух группах винчестеров. При установке 2 терабайт, доступно для записи только 1T.

RAID 2, 3 и 4 — не поддерживается на домашних ПК и многих OC, пропускаем.

RAID 5 — минимум установка 3 HDD, на каждом хранится информация для восстановления и записанные данных. При выходе их строя одного, с 2 других можно восстановить информацию. RAID 5 объединяет в себе возможности 0 и 1, но «съедает» около 16% полезного пространства. Если выйдет из строя сразу 2 диска – информация будет утеряна. Хорошо подходит под хранение видео и объемных файлов.

RAID 6 — медленнее и нажористей пятого номера, отъедает 33%. Способен пережить гибель двух HDD без особых проблем. Рекомендуется для хранения важных бекапов.

SAS-контроллер для бытового использования не нужен, достаточно программной настройки работы дисков. Офису от 10 человек или специалисту по работе с графикой, может понадобится. Обычно контроллеры для RAID устанавливаются в аппаратные NAS сервера.

Какой HDD выбрать для RAID

Лучше всего использовать специальные диски для домашних сетевых хранилищ, например, WD Red Nas Hard Drive. У них есть функция 3D Action RAID, обеспечивающая быстродействие и повышенную надежность. Такие диски рассчитаны на круглосуточную работу в RAID-массивах.

Почему черепица быстро сыпется?

SMR — технология, позволяющая увеличить на 25% вместимость диска за счет использования физического пространства. На таких HDD пишущая головка в два раза толще считывающий. На всех жестких дисках тонкие дорожки с ценной информацией чередуются с широкими с сервисными данными. В результате большой объем пространства теряется. Технология SMR позволяет частично перекрывать толстые дорожки тонкими — этот метод получил название «Черепичная запись». Основной недостаток такого подхода: при записи файла, необходимо перезаписывать все смежные данные до конца пластины. Такие диски на 20% медленнее традиционных и быстрее изнашиваются. Их можно устанавливать, но в одном рейде нельзя комбинировать диски с черепичным и обычным типом записи. Последнее время производители перестали сообщать, при производстве каких дисков они используют SMR, перед покупкой уточняйте, по какой технологии изготовлена конкретная модель HDD.

Заключение

Сборка своего NAS из старого компьютера не сложнее обычного апгрейда ПК. Установив ОС по инструкции, можно за день-два поднять свой сервер и качать торренты, смотреть фильмы в 4К, связать телефон и планшет с практически безразмерным облаком. Программных решений достаточно. RAID создается в пару кликов мыши. Внимательно стоит отнестись к выбору HDD и системе охлаждения, греться и жужжать эта штука не должна!

Полезные советы

• Перед установкой метим каждый диск маркером, чтобы знать, какой вынимать в случае выхода из строя.
• Чтобы сервер не зависал на первом экране, в Bios выключаем режим обнаружения ошибок клавиатура серваку не нужна, но без нее компьютер не запустится в стандартном режиме.
• Если нет процессора со встроенным графическим ядром, можно установить слабую видеокарту на 64–125 Mb с пассивным охлаждением.
• Вентиляторы почти не шумят при 800 оборотах в минуту.
• При выходе из строя HDD, желательно сразу заменить павшего.
• В случае потери диска, RAID-массив будет восстанавливаться долго, нагружая все остальные HDD. Надо брать харды из разных серий, чтобы «бойцы» не посыпались один за другим.

Начало работы с файловыми хранилищами больших данных

В версии 10.9.1 или выше зарегистрируйте файловое хранилище больших данных через страницу ресурсов вашего портала. Это рекомендуемый способ регистрации файловых хранилищ больших данных. Используйте только Server Manager для редактирования, если файловое хранилище больших данных было создано в Server Manager , и вы не заменили его файловым хранилищем больших данных на портале.

• Элемент хранилища данных (файловое хранилище больших данных)
• Элемент файлового хранилища больших данных
• Элемент хранилища данных (облачное хранилище), если вы регистрируете облачное хранилище для файлового хранилища больших данных

Примечание:

Файловое хранилище больших данных доступно только в том случае, если администратор портала включил GeoAnalytics Server . Более подробно о включении GeoAnalytics Server см. в разделе Настройка ArcGIS GeoAnalytics Server .

Файловые хранилища больших данных

• Вы можете хранить свои данные в доступном месте до тех пор, пока не будете готовы выполнить анализ. Файловое хранилище больших данных позволяет работать с данными во время выполнения анализа, поэтому вы можете продолжать добавлять данные в набор, находящийся в файловом хранилище больших данных, без необходимости перерегистрации или опубликования своих данных.
• Вы также можете изменить манифест, чтобы удалить, добавить или обновить наборы данных в файловом хранилище больших данных.
• Файловое хранилище больших данных отличается необычайной гибкостью с точки зрения определения геометрии и времени и допускает несколько форматов времени в отдельном наборе данных.
• Файловые хранилища больших данных позволяют разбивать наборы данных на разделы, сохраняя способность работы с несколькими такими разделами как с единым набором данных.
• Использование файлового хранилища больших данных для выходных данных позволяет хранить результаты в форматах, которые можно использовать для других рабочих процессов, таких как файл parquet для дальнейшего анализа или хранения.

Примечание:

Файловые хранилища больших данных становятся доступны только при запуске GeoAnalytics Tools . Это означает, что вы можете только просматривать и добавлять файлы больших данных в анализ; вы не можете визуализировать эти данные на карте.

• Файловое хранилище – директория наборов данных на локальном или сетевом диске.
• Apache Hadoop Distributed File System (HDFS) – директория HDFS наборов данных.
• Apache Hive – базы данных метахранилища Hive .
• Облачное хранилище – бакет Amazon Simple Storage Service (S3) , контейнер Blob-объектов Microsoft Azure или хранилище Microsoft Azure Data Lake Gen2 (только ArcGIS Server Administrator Directory), содержащее каталог наборов данных.

• Файловое хранилище
• HDFS
• Облачное хранилище

• Файлы с разделителями (такие как .csv , .tsv и .txt )
• Шейп-файлы ( .shp )
• Файлы Parquet ( .parquet )

Примечание:

Поддерживаются только зашифрованные файлы Parquet.

Файловые хранилища больших данных являются одним из нескольких способов доступа GeoAnalytics Tools к вашим данным и не являются обязательными для GeoAnalytics Tools . См. Использование GeoAnalytics Tools в Map Viewer Classic для получения списка возможных форматов входных и выходных данных GeoAnalytics Tools .

Вы можете зарегистрировать сколько угодно файловых хранилищ больших данных. В каждом из файловых хранилищ больших данных может быть любое количество наборов данных.

В таблице ниже приведены некоторые важные термины, относящиеся к файловым хранилищам больших данных.

Файловое хранилище больших данных

Расположение данных, зарегистрированное для вашего GeoAnalytics Server для использования в качестве входного, выходного или и входного, и выходного набора данных в GeoAnalytics Tools .

Сервис каталога больших данных

Сервис, который описывает входные наборы данных и схемы, а также имена выходных шаблонов файлового хранилища больших данных. Он создается при регистрации файлового хранилища больших данных и создании манифеста.

Более подробно о сервисах каталога больших данных см. документацию Сервис каталога больших данных в Справке ArcGIS Services REST API.

Элемент файлового хранилища больших данных

Элемент портала, ссылающийся на сервис каталога больших данных. Вы можете управлять тем, кто может использовать ваше файловое хранилище больших данных в качестве входных данных для инструментов GeoAnalytics, настроив общий доступ к этому элементу на портале.

Файл JSON, который описывает доступные наборы данных и схему для входных данных в вашем файловом хранилище больших данных. Манифест создается автоматически при регистрации файлового хранилища больших данных и может быть изменен путем редактирования или с помощью файла hints. Одно файловое хранилище больших данных имеет один манифест.

Один или несколько шаблонов, описывающих тип файла и необязательное форматирование при записи результатов в файловое хранилище больших данных. Например, шаблон может задать запись результатов в шейп-файл. Файловое хранилище больших данных может иметь один или несколько шаблонов, либо не иметь шаблонов.

Тип файлового хранилища больших данных

Тип расположений, которые вы регистрируете. Например, у вас может быть файловое хранилище больших данных или тип HDFS.

Формат файлового хранилища больших данных

Формат данных, которые вы читаете или записываете. Например, типом файла может быть шейп-файл.

Необязательный файл, который может применяться для создания манифеста для файлов с разделителями, используемых в качестве входных данных.

Подготовка данных для регистрации файлового хранилища больших данных

Чтобы использовать ваши наборы данных в качестве входных в файловом хранилище больших данных, убедитесь, что ваши данные корректно отформатированы. См. информацию ниже о форматировании на основе типа файлового хранилища больших данных.

Файловые хранилища и HDFS

Чтобы подготовить данные для файлового хранилища больших данных необходимо представить наборы данных вложенными папками отдельной родительской папки, которая будет зарегистрирована. В этой регистрируемой родительской папке имена вложенных папок будут совпадать с именами наборов данных. Если эти вложенные папки будут содержать несколько подпапок или файлов, то все содержимое этих вложенных папок высшего уровня будет считаться отдельным набором данных, и к ним будет применяться та же схема. Ниже – пример, как зарегистрировать папку , FileShareFolder в которой содержится три набора данных, имена которых Earthquakes , Hurricanes и GlobalOceans . При регистрации родительской папки все подкаталоги указанной папки также регистрируются на GeoAnalytics Server . Всегда регистрируйте родительскую папку (например, \\machinename\FileShareFolder ), содержащую один или несколько подпапок отдельных наборов данных.

Пример файлового хранилища больших данных, в котором содержится три набора данных: Earthquakes, Hurricanes и GlobalOceans.

 |---FileShareFolder < -- The top-level folder is what is registered as a big data file share |---Earthquakes < -- A dataset "Earthquakes", composed of 4 csvs with the same schema |---1960 |---01_1960.csv |---02_1960.csv |---1961 |---01_1961.csv |---02_1961.csv |---Hurricanes < -- The dataset "Hurricanes", composed of 3 shapefiles with the same schema |---atlantic_hur.shp |---pacific_hur.shp |---otherhurricanes.shp |---GlobalOceans < -- The dataset "GlobalOceans", composed of a single shapefile |---oceans.shp

Такая же структура используется в файловом хранилище и HDFS , хотя терминология отличается. В файловом хранилище имеется папка или каталог высшего уровня, а наборы данных представлены вложенными папками. В HDFS расположение файлового хранилища зарегистрировано и содержит наборы данных. В следующей таблице приводится описание различий:

Местоположение файлового хранилища больших данных

Папка или директория

Вложенные папки высшего уровня

Наборы данных в пути HDFS

После того как данные будут организованы в виде папки с вложенными подпапками наборов данных, сделайте их доступными для GeoAnalytics Server , выполнив действия, указанные в разделе Предоставление доступа к данным ArcGIS Server , и зарегистрируйте папку набора данных или путь HDFS через портал.

Hive

Примечание:

GeoAnalytics Server использует Spark 3.0.1. Hive должна быть версии 2.3.7 или 3.0.0–3.1.2.

Если вы тестируете и регистрируете файловое хранилище больших данных с Hive некорректной версии, зарегистрировать файловое хранилище больших данных не удастся. Если это произошло, перезапустите набор инструментов GeoAnalyticsManagement в ArcGIS Server Administrator Directory, > services > System > GeoAnalyticsManagement > stop . Повторите шаги для запуска.

В Hive все таблицы в базе данных признаются в качестве наборов данных в файловом хранилище больших данных. В следующем примере показано метахранилище с двумя базами данных, default и CityData . При регистрации файлового хранилища больших данных Hive можно выбрать только одну базу данных. В этом примере, если бы была выбрана база данных CityData , то в файловом хранилище больших данных было бы два набора данных, FireData и LandParcels .

 |---HiveMetastore < -- The top-level folder is what is registered as a big data file share |---default < -- A database |---Earthquakes |---Hurricanes |---GlobalOceans |---CityData < -- A database that is registered (specified in Server Manager) |---FireData |---LandParcels

Облачные хранилища

Чтобы подготовить данные для файлового хранилища больших данных в облачном хранилище, отформатируйте ваши наборы данных, как вложенные папки внутри отдельной родительской папки.

Ниже приводится пример возможной структуры ваших данных. В данном примере показана регистрация родительской папки, FileShareFolder , в которой содержится три набора данных с именами Earthquakes , Hurricanes и GlobalOceans . При регистрации родительской папки все подкаталоги указанной папки также регистрируются на GeoAnalytics Server .

Пример структурирования данных в облачном хранилище, которое будет использоваться в качестве файлового хранилища больших данных. Это файловое хранилище больших данных содержит три набора данных: Earthquakes, Hurricanes и GlobalOceans.

 |---Cloud Store < -- The cloud store being registered |---Container or S3 Bucket Name < -- The container (Azure) or bucket (Amazon) being registered as part of the cloud store |---FileShareFolder < -- The parent folder that is registered as the 'folder' during cloud store registration |---Earthquakes < -- The dataset "Earthquakes", composed of 4 csvs with the same schema |---1960 |---01_1960.csv |---02_1960.csv |---1961 |---01_1961.csv |---02_1961.csv |---Hurricanes < -- The dataset "Hurricanes", composed of 3 shapefiles with the same schema |---atlantic_hur.shp |---pacific_hur.shp |---otherhurricanes.shp |---GlobalOceans < -- The dataset "GlobalOceans", composed of 1 shapefile |---oceans.shp

Добавить файловое хранилище больших данных

Чтобы добавить файловое хранилище больших данных в виде папки, HDFS, Hive или хранилища BLOB-объектов Microsoft Azure , бакетов Amazon Simple Storage Service (S3) или облачного хранилища совместимых бакетов S3 , см. раздел Добавление файлового хранилища больших данных.

Выполните эти действия для регистрации облачного хранилища Microsoft Azure Data Lake Gen2 в качестве файлового хранилища больших данных.

Предварительное условие:

• Выберите имя для своего файлового хранилища больших данных. Это имя будет использоваться для регистрации в облачном хранилище и файловых хранилищах больших данных, если не указано иное. Не используйте пробелы и специальные символы.
• Azure Data Lake Gen2
• Общий ключ для вашего Azure Data Lake Gen2

1. Войдите в Portal Directory по URL https://webadaptorhost.domain.com/webadaptorname/sharing/rest .
2. Получите Server ID вашего GeoAnalytics Server , перейдя по следующему URL-адресу: https://webadaptorhost.domain.com/webadaptorname/sharing/rest/portals/0123456789ABCDEF/servers . Запомните идентификатор сервера GeoAnalytics Server , который будет использоваться в последующих шагах.
3. Затем добавьте облачное хранилище Data Lake Gen2 на свой портал. Измените URL на https://webadaptorhost.domain.com/webadaptorname/sharing/rest/content/users//addItem , заменив на имя пользователя, под которым вы выполнили вход.
4. Заполните страницу Добавить элемент следующим образом:

• Тип — Data Store
• Заголовок —Используйте выбранное вами имя.
• Формат —JSON

• —Замените выбранным вами именем
• —Замените именем Data Lake in Azure .
• —Замените общим ключом для вашего Data Lake.
• —Замените контейнером, в котором хранятся ваши данные.
• —Замените на папку, в которой хранятся ваши папки с данными.

< "path": "/cloudStores/", "type": "cloudStore", "provider": "azuredatalakegen2store", "info": < "isManaged": false, "connectionString": ".dfs.core.windows.net\",\"authType\":\"SharedKey\",\"sharedKey\":\"\">", "container": "", "folder": "" > >

Он будет выглядеть примерно так:

• DatastoreId —Используйте идентификатор, возвращенный в JSON на предыдущем шаге.
• ServerId —Идентификатор вашего GeoAnalytics Server .
• Формат —JSON

Это вернет сообщение JSON со статусом. В случае успеха перейдите к следующему шагу.

Оно будет иметь формат _ds_ . Вы воспользуетесь этим именем на следующем шаге.

• Тип — Data Store
• Заголовок —Используйте выбранное вами имя.
• Формат —JSON

• —Используйте имя с шага 7.
• —Замените тем же выбранным именем, которое вы использовали в другом месте.

< "info":< "connectionString":"\">", "connectionType":"dataStore" >, "path":"/bigDataFileShares/", "type":"bigDataFileShare" >

Он будет выглядеть примерно так:

• DatastoreId —Используйте идентификатор, возвращенный в JSON на предыдущем шаге.
• ServerId —Идентификатор вашего GeoAnalytics Server .
• Формат —JSON

Теперь у вас есть элемент файлового хранилища больших данных и элемент облачного хранилища. После создания элемента файлового хранилища больших данных GeoAnalytics Server будет создан третий элемент, который содержит манифест для ваших данных, который вы можете изменить в содержимом своего портала. Это может занять несколько минут — в зависимости от числа наборов данных. Чтобы изменить ваши наборы данных, изучите расположенный ниже раздел Управление файловыми хранилищами больших данных на портале

Управление файловыми хранилищами больших данных на портале

Создав файловое хранилище больших данных, вы можете изучить содержащиеся в нем наборы данных и шаблоны, описывающие, как будут записаны результаты, сохраненные в файловых хранилищах больших данных.

Изменение файлового хранилища больших данных

При создании элемента файлового хранилища больших данных автоматически создается и загружается манифест для входных данных. В процессе генерации манифеста в наборе данных не всегда правильно определяются поля геометрии и времени, может потребоваться корректировка. Чтобы отредактировать манифест и представление наборов данных, выполните действия, описанные в разделе Редактирование файловых хранилищ больших данных. Дополнительные сведения о манифесте файлового хранилища больших данных см. в разделе Манифест файлового хранилища больших данных справки ArcGIS Server .

Если вы создали файловое хранилище больших данных в ArcGIS Server в Manager, выполните действия, описанные в разделе Редактирование манифестов файловых хранилищ больших данных в Server Manager .

Изменение выходных шаблонов для файлового хранилища больших данных

Если вы решили использовать файловое хранилище больших данных в качестве расположения выходных данных, автоматически создаются выходные шаблоны. Эти шаблоны описывают форматирование выходных результатов анализа, и задают, например, тип файла, а также способ регистрации времени и геометрии. Если вы хотите изменить геометрию или форматирование времени, добавить или удалить шаблоны, вы можете изменить шаблоны. Для внесения изменений в выходные шаблоны выполните действия, перечисленные в разделе Создание, редактирование и просмотр выходных шаблонов. Более подробно о выходных шаблонах см. в разделе Выходные шаблоны в файловых хранилищах больших данных.

Если вы создали файловое хранилище больших данных в ArcGIS Server в Manager, выполните действия, описанные в разделе Редактирование манифестов файловых хранилищ больших данных в Server Manager .

Перенос файловых хранилищ больших данных, созданных в Server Manager , на портал

• Улучшенный пользовательский интерфейс, упрощающий редактирование наборов данных.
• Упрощенный вариант регистрации файловых хранилищ больших данных.
• Элементы сохраняются и публикуются под учетными данными портала

• Файловые хранилища больших данных, основанные на облачном хранилище Microsoft Azure Data Lake Gen1.

• Учетные данные и расположение настроенного вами файлового хранилища больших данных.
• Если это возможно, учетные данные и расположение файла настроенного вами облачного хранилища.

1. Выполните вход в Server Manager на вашем сайте GeoAnalytics Server .
2. Щелкните Сайт > Хранилища данных . Щелкните кнопку редактирования на файловом хранилище больших данных, которое вы будете переносить.
3. Выберите Расширенный > Манифест . Щелкните кнопку Загрузить , чтобы сохранить манифест.
4. Если у вас есть подсказки, выполните следующие действия для получения подсказки. Щелкните Подсказки Загрузить , чтобы сохранить ваш файл подсказок. Переименуйте расширение файла с .dat на .txt .
5. Если у вас в разделе Расширенный Манифест есть выходные шаблоны, скопируйте текст и сохраните его в текстовом файле.
6. Создайте файловое хранилище больших данных в ресурсах портала, используя те же входные тип и расположение, что и ранее.

Если у вас нет учетных данных, ваш администратор может найти их в Server Administrator, используя decrypt=true файлового хранилища больших данных и элементы облачного хранилища.

• При обновлении облачного хранилища Microsoft Azure Data Lake Gen1 до Gen2 выполните следующие действия.
• Для любого другого типа файлового хранилища больших данных выполните действия, описанные в разделе Добавление элемента хранилища данных, используя те же учетные данные и расположение, что и имеющееся файловое хранилище больших данных.

• Вручную добавьте выходные шаблоны, используя элемент файлового хранилище больших данных Выходные данные > Добавить выходные шаблоны .
• Отредактируйте файл JSON элемента файлового хранилища больших данных в ArcGIS Server Administrator Directory. Рекомендуем выполнять эти действия, только если вы умеете редактировать файлы JSON.

Теперь на вашем портале есть файловое хранилище больших данных и манифест для элемента файлового хранилище больших данных. Вы можете обновить свои рабочие процессы, чтобы использовать и указывать файловое хранилище больших данных. Когда вы убедитесь в том, что оно работает должным образом, удалите исходное файловое хранилище больших данных в Server Manager .

Выполнение анализа на файловом хранилище больших данных

• ArcGIS Pro
• Map Viewer Classic
• ArcGIS REST API
• ArcGIS API for Python

Для выполнения анализа на файловом хранилище больших данных с помощью ArcGIS Pro или Map Viewer Classic выберите GeoAnalytics Tools , который вы хотели бы использовать. Перейдите к месту расположения данных, которые будут использоваться в качестве входных для этого инструмента, в разделе Портал в ArcGIS Pro или в диалоговом окне Обзор слоев в Map Viewer Classic . Данные будут в Мои ресурсы , если вы сами регистрировали эти данные. Если не сами, то проверьте Группы или Весь портал . Примите к сведению, что слой файлового хранилища больших данных, который выбран для анализа, не будет отображаться на карте.

Примечание:

Убедитесь, что вы выполнили вход на портал под учетной записью с доступом к зарегистрированному файловому хранилищу больших данных. Чтобы быстро найти все доступные для вас файловые хранилища больших данных выполните поиск на портале по условию bigDataFileShare* .

Для выполнения анализа на файловом хранилище больших данных посредством ArcGIS REST API используйте в качестве входных данных URL-адрес сервиса каталога больших данных. Если вы создали файловое хранилище больших данных на портале, формат URL будет . Например, с именем компьютера example , именем домена esri , именем веб-адаптера server , именем файлового хранилища больших данных MyData и набором данных с именем Earthquakes URL-адрес будет: . Если вы создали файловое хранилище больших данных в Server Manager , формат URL будет .

Более подробно о вводе данных для анализа больших данных посредством REST, см. раздел Входные данные объектов в документации ArcGIS Services REST API.

Сохранение результатов в файловое хранилище больших данных

• Map Viewer Classic
• ArcGIS REST API
• ArcGIS API for Python

Когда вы записываете результаты в файловое хранилище больших данных, обновляется входной манифест, и в него включается набор данных, который вы только что сохранили. Результаты, записанные в файловое хранилище больших данных, теперь доступны в качестве входных данных для другого инструмента.

В этом разделе

1. Файловые хранилища больших данных
2. Подготовка данных для регистрации файлового хранилища больших данных
3. Добавить файловое хранилище больших данных
4. Управление файловыми хранилищами больших данных на портале
5. Перенос файловых хранилищ больших данных, созданных в Server Manager