Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M Новый топик    Ответить
 Создание "вечного" хранилища файлов  [new]
Бредятина
Member [заблокирован]

Откуда: Москва
Сообщений: 2455
Для приложения БД - корпоративной системы компании - нужно создать хранилище файлов фотографий, которые всегда должны быть доступны. Объём, пока, увеличивается на 10Тб в год. Вероятно, будет увеличиваться на 20 Тб в год. Пока, используются сетевые накопители Synology. Существующие технологии не обеспечивают надежное хранение и доступ к файлам хотя бы в течение 100 лет.
Возможно, у кого-то есть контакты научных лабораторий, которые могли бы создать такое хранилище. Я публикую сообщение такого рода в этом форуме, потому что это приложение БД написано на mumps.
14 фев 16, 00:54    [18814470]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
DAiMor
Member

Откуда: Volzhsky -> Moscow -> CZ, Brno
Сообщений: 2538
Насколько я знаю в большинстве случаев долговременные хранилища строят сейчас в основном на магнитных лентах, это как архив. Оперативное хранение конечно на дисках, тут выбор конечно проще с одной стороны, для оперативного хранения не нужно закладывать долгосрочность, даже противопоказано, так как будет обратный эффект на скорость доступа к данным. С RAID, решится проблема при выходе из строя дисков.

Что касается долговременного хранения, то тут вариантов не очень много, и сильно разнятся в стоимости систем.
Нашел такую табличку
Media Estimated Lifespan
Magnetic data (tapes) 10-20 years
Nintendo cartridge Up to 10 years
Floppy disk 10-20 years
CDs and DVDs 5-10 unrecorded 2-5 recorded
Blu-Ray Not certain probably over 2-5 recorded
M-Disc 1 000 years (theoretically)
Hard disk 3-5 years
Flash storage 5-10 years or more (depends on write cycles)

Магнитная лента тут 10-20 лет. Но с другой стороны, этот вид хранения существует дольше остальных.
Но интересная строчка тут M-Disk с довольно большим теоретическим сроком хранения.
Диски обычные всего-то 3-5 лет, ни как не тянут на долгосрочное хранение.
Flash накопители, несколько дольше, но тоже не сильно долго.

проблема с M-Disk сейчас только в том, что при ваших объемах, таких дисков нужно довольно много, есть диски вместимостью 4.7, 25, 50, 100 GB стоимостью до $30 за диск. Таким образом вам понадобится в районе 200 таких дисков в год. Вроде не нашел проблем с поиском подходящего привода, который способен писать такие диски. Сложнее найти сами диски, amazon в помощь.

Жестокое испытание M-Disk на прочность
14 фев 16, 11:43    [18814829]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
Бредятина
Member [заблокирован]

Откуда: Москва
Сообщений: 2455
Спасибо, DAiMor!
Решение Millenniata с самим носителем - это хорошо, конечно.
Но, он тоже вращается, к сожалению. И мы опять попадаем на те же 3 года, вероятно, уже с приводами.
Мне кажется, что ничего не должно вращаться, в первую очередь...
Но, я, конечно, посмотрю на этот вариант - с периодической заменой приводов.
14 фев 16, 12:48    [18814884]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
DAiMor
Member

Откуда: Volzhsky -> Moscow -> CZ, Brno
Сообщений: 2538
Бредятина
Спасибо, DAiMor!
Решение Millenniata с самим носителем - это хорошо, конечно.
Но, он тоже вращается, к сожалению. И мы опять попадаем на те же 3 года, вероятно, уже с приводами.
Мне кажется, что ничего не должно вращаться, в первую очередь...
Но, я, конечно, посмотрю на этот вариант - с периодической заменой приводов.
Не вращаются только флешки.
14 фев 16, 13:17    [18814916]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
Бредятина
Member [заблокирован]

Откуда: Москва
Сообщений: 2455
DAiMor
Бредятина
Спасибо, DAiMor!
Решение Millenniata с самим носителем - это хорошо, конечно.
Но, он тоже вращается, к сожалению. И мы опять попадаем на те же 3 года, вероятно, уже с приводами.
Мне кажется, что ничего не должно вращаться, в первую очередь...
Но, я, конечно, посмотрю на этот вариант - с периодической заменой приводов.
Не вращаются только флешки.

Да. Теперь осталось сделать что-то типа флэшки (назовем это мэшкой):
1) чтобы она сама, как и M-Disc, читалась бы нормально 100 лет;
2) объёмом 1 Тб, например (вероятно, это не обязательно);
3) сетевое М-хранилище из этих мэшек с оперативным доступом (вместо нынешних Synology).
Я ищу, кто может это сделать. И думаю, что кто-то сейчас уже делает...
14 фев 16, 13:31    [18814934]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
DAiMor
Member

Откуда: Volzhsky -> Moscow -> CZ, Brno
Сообщений: 2538
Бредятина
DAiMor
пропущено...
Не вращаются только флешки.

Да. Теперь осталось сделать что-то типа флэшки (назовем это мэшкой):
1) чтобы она сама, как и M-Disc, читалась бы нормально 100 лет;
2) объёмом 1 Тб, например (вероятно, это не обязательно);
3) сетевое М-хранилище из этих мэшек с оперативным доступом (вместо нынешних Synology).
Я ищу, кто может это сделать. И думаю, что кто-то сейчас уже делает...
Тогда это любое хранилище на SSD подойдет
14 фев 16, 13:45    [18814953]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
Бредятина
Member [заблокирован]

Откуда: Москва
Сообщений: 2455
DAiMor,
Видимо, да. Только ориентированное на другую цель. Пока, пункт 1) не достигнут. "Циклы перезаписи" не нужны. Проще все должно быть, и надежнее. Пока, много нерешенных вопросов с надежностью (статическое электричество, магнитные поля...).
14 фев 16, 14:51    [18815059]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
EvLaUy
Member

Откуда: Москва
Сообщений: 2150
Очень интересная тема. И в образовательном отношении (во всяком случае мне как человеку ничего в этом не понимающему), и в нравственном. Андрей Леонидович, безусловно, - уникальная во многих отношениях личность. Человек переживает за то, что через сто(!) лет кто-то будет на него в претензиях, если окажется, что данные не сохранились. Снимаю шляпу, ибо живу по принципу "день прошел - и хорошо". И все же, все же... Сто лет - большой срок. Сравнить хотя бы технические реалии столетней давности и нынешние. Через сто лет большинство сегодняшних технических проблем наверняка станут пустяковым вопросом.
14 фев 16, 15:51    [18815100]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
DAiMor
Member

Откуда: Volzhsky -> Moscow -> CZ, Brno
Сообщений: 2538
Если нужно именно SSD, хотя пока по стоимости они очень сильно дороже классики. SSD конечно, это еще и скорость доступа. Что касается циклов перезаписи, сейчас это вроде все меньше актуально. Но как неизменяемое хранилище конечно тут все равно.

Но на SSD в любом случае не стоит полагаться как на долговременное хранилище. Бекапы никто не отменял, а тут очень важно выбрать, на чем эти бекапы хранятся. на другом хранилище с SSD тоже конечно можно, но желательно следовать правилу 3-2-1 (3 последних копии, 2 разных носителя, 1 внешний носитель)
По поводу внешнего хранения кстати, есть Amazon для долговременного хранения больших объемов, и стоит это недорого.
14 фев 16, 15:53    [18815104]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
leov
Member

Откуда: С-Петербург
Сообщений: 616
DAiMor,

лично мне очень интересна именно технология длительного хранения
как именно тот-же амазон или гугл хранит те самые тучи информации?
а так чтобы деньги заплатил и надейся что кто-то не подведет - это не интересно
14 фев 16, 16:09    [18815122]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
Бредятина
Member [заблокирован]

Откуда: Москва
Сообщений: 2455
EvLaUy,
Если фотография сделана - причем, это необычная фотография, и фотография ребенка - нет смысла ее удалять.
Родители могут ее и не купить по экономическим соображениям, например, а сам ребенок, когда вырастет, захочет приобрести...
И т.д.
Так что, это вполне естественно. И это должно быть что-то очень простое. Такая "деталь", которая:
- записывается однократно;
- находится в оперативном доступе (не архив с увеличенным временем доступа);
- по надежности и сроку службы не уступает нынешним M-Disc;
- но, не требует, в отличие от М-Disc никаких приводов;
- имеет такой объём, чтобы докупать одну штуку в год, например.
Нынешние SSD начались с памяти Intel, прошли через поддержку вспомогательной кэш-памяти, и изначально имели другие цели (и, в связи с этим, возможно, использовались не лучшие для долговременного хранения файлов технологии).
14 фев 16, 21:00    [18815639]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
Бредятина
Member [заблокирован]

Откуда: Москва
Сообщений: 2455
DAiMor
Если нужно именно SSD, хотя пока по стоимости они очень сильно дороже классики. SSD конечно, это еще и скорость доступа. Что касается циклов перезаписи, сейчас это вроде все меньше актуально. Но как неизменяемое хранилище конечно тут все равно.

Но на SSD в любом случае не стоит полагаться как на долговременное хранилище. Бекапы никто не отменял, а тут очень важно выбрать, на чем эти бекапы хранятся. на другом хранилище с SSD тоже конечно можно, но желательно следовать правилу 3-2-1 (3 последних копии, 2 разных носителя, 1 внешний носитель)
По поводу внешнего хранения кстати, есть Amazon для долговременного хранения больших объемов, и стоит это недорого.

Amazon физически использует все то же самое. Технология, которую предлагает Amazon (оперативное хранилище --> хранилище с редким чтением --> архив) не вполне подходит. Хотя можно и так: превью хранить в оперативном хранилище, а саму фотографию в архиве.
14 фев 16, 21:07    [18815651]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
Бредятина
Member [заблокирован]

Откуда: Москва
Сообщений: 2455
leov
DAiMor,

лично мне очень интересна именно технология длительного хранения
как именно тот-же амазон или гугл хранит те самые тучи информации?
а так чтобы деньги заплатил и надейся что кто-то не подведет - это не интересно

Думаю, никаких особенностей на физическом уровне там нет.
14 фев 16, 21:10    [18815658]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
servit
Member

Откуда: г. Кишинёв, Республика Молдова
Сообщений: 3103
Блог
Кварцевый носитель, способный хранить большие массивы данных миллиарды лет, идет в массы
17 фев 16, 14:45    [18829903]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
Бредятина
Member [заблокирован]

Откуда: Москва
Сообщений: 2455
servit
Кварцевый носитель, способный хранить большие массивы данных миллиарды лет, идет в массы

Смущает термин "диск"... Он и на фотографии выглядит именно как диск, хотя в данном заголовке - "носитель".
17 фев 16, 22:33    [18832481]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
Alexey Maslov
Member

Откуда: СПб
Сообщений: 1517
Бредятина
1) чтобы она сама, как и M-Disc, читалась бы нормально 100 лет;
2) объёмом 1 Тб, например (вероятно, это не обязательно);
3) сетевое М-хранилище из этих мэшек с оперативным доступом (вместо нынешних Synology).
Ваш интерес к живучести конкретного носителя информации вызван тем, что вы (=ваш заказчик) собираетесь продавать их клиентам для автономного использования?

Иначе трудно объяснить такой интерес. Соглашусь с EvLaUy, за 100 лет технологии хранения, сильно поменяются. Приведу пример, который ближе мне по теме: хранение данных электронных медицинских карт (ЭМК). По закону требуется хранить их 20 лет, но никто не утруждает себя поисками аппаратных средств, которые это гарантируют, понимая, что срок службы всех компонентов [облачного] хранилища (от серверов до средств архивации) << 20 лет, и это вопрос эксплуатирующей организации своевременно их модернизировать и заменять.
19 фев 16, 11:17    [18839711]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
Бредятина
Member [заблокирован]

Откуда: Москва
Сообщений: 2455
Alexey Maslov
Бредятина
1) чтобы она сама, как и M-Disc, читалась бы нормально 100 лет;
2) объёмом 1 Тб, например (вероятно, это не обязательно);
3) сетевое М-хранилище из этих мэшек с оперативным доступом (вместо нынешних Synology).
Ваш интерес к живучести конкретного носителя информации вызван тем, что вы (=ваш заказчик) собираетесь продавать их клиентам для автономного использования?

Нет, конечно. Использовать, а не продавать. И не живучесть носителя, а эксплуатационная технологичность.
Alexey Maslov
Иначе трудно объяснить такой интерес. Соглашусь с EvLaUy, за 100 лет технологии хранения, сильно поменяются. Приведу пример, который ближе мне по теме: хранение данных электронных медицинских карт (ЭМК). По закону требуется хранить их 20 лет, но никто не утруждает себя поисками аппаратных средств, которые это гарантируют, понимая, что срок службы всех компонентов [облачного] хранилища (от серверов до средств архивации) << 20 лет, и это вопрос эксплуатирующей организации своевременно их модернизировать и заменять.

Никто не утруждает себя - это норма. И не только аппаратных средств, а чего угодно. А я утруждаю, потому что не хочу постоянно модернизировать и заменять.
19 фев 16, 23:27    [18843726]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
doublefint
Member

Откуда: Беларусь, Минск
Сообщений: 888
Бредятина, http://thenextweb.com/insider/2016/04/28/microsoft-turning-dna-ultimate-storage-device/
2 май 16, 19:07    [19128980]     Ответить | Цитировать Сообщить модератору
 Re: Создание "вечного" хранилища файлов  [new]
servit
Member

Откуда: г. Кишинёв, Республика Молдова
Сообщений: 3103
Блог
doublefint
Бредятина, http://thenextweb.com/insider/2016/04/28/microsoft-turning-dna-ultimate-storage-device/
Дело за малым: научиться дёшево и надёжно считывать и записывать информацию.
5 май 16, 14:30    [19138556]     Ответить | Цитировать Сообщить модератору
Все форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M Ответить