ICE ECC на страже ваших данных

И снова здравствуйте! Сегодня погорим о защите данных от повреждения. Так случается (нечасто), что данные, годами хранящиеся на диске, оказываются повреждены. Это могут быть данные на CD или DVD диске, флеш-накопителе или жестком диске.


Скачать программу можно с сайта разработчика.


Предотвратить потерю поможет программа ICE ECC. Это инструмент для проверки и восстановления поврежденных файлов. Программа использует коды Рида-Соломона. Программа может использовать многопоточность и очень требовательна к ресурсам процессора. Распределенный механизм хранения информации восстановления позволяет работать даже с поврежденным ECC файлом.


Для защиты файлов или каталогов от повреждения следует выбрать их в окне и нажать кнопку создать. Основные опции я описал на снимке:

ICE ECC на страже ваших данных Ice ECC, Crc, Восстановление данных, Отказоустойчивость, Длиннопост

На главном экране программы мы видим кнопки


- Create — создает ecc файл.

- Verify — проверка данных с последующим восстановлением.

- Verify only — проверка данных без восстановления.

- Fast Test — проверка CRC ecc файла и тест заголовка.

- Full Test — полная проверка целостности ecc файлов. Проверяется возможность восстановления для кодов, хранящихся в ecc файле. Она очень медленная.

ICE ECC на страже ваших данных Ice ECC, Crc, Восстановление данных, Отказоустойчивость, Длиннопост

Создание ECC


Выделив файлы, нажмем создать. Созданный ECC в начале списка. У нас получился файл, размером 65,7 мб. Это означает, что примерно такой объем данных мы можем восстановить.

ICE ECC на страже ваших данных Ice ECC, Crc, Восстановление данных, Отказоустойчивость, Длиннопост

Восстановление файлов


Удалим несколько файлов, в пределах объема восстановления.

ICE ECC на страже ваших данных Ice ECC, Crc, Восстановление данных, Отказоустойчивость, Длиннопост

Нажимаем кнопку Verify и через 15 секунд, получаем файлы назад.

ICE ECC на страже ваших данных Ice ECC, Crc, Восстановление данных, Отказоустойчивость, Длиннопост

Кому интересно, можете ознакомиться с полным логом восстановления.

Невосстановимый случай


А теперь удалим данных больше, чем программа способна восстановить. Собственно, об этом программа нам и рапортует.

ICE ECC на страже ваших данных Ice ECC, Crc, Восстановление данных, Отказоустойчивость, Длиннопост

Тяжелый случай


В самом начале я писал, что программа работает даже с поврежденными ecc файлами. Я специально повредил файл и программа это обнаружила.

ICE ECC на страже ваших данных Ice ECC, Crc, Восстановление данных, Отказоустойчивость, Длиннопост

Но при попытке восстановить файлы, сделала это успешно.

ICE ECC на страже ваших данных Ice ECC, Crc, Восстановление данных, Отказоустойчивость, Длиннопост

Полный лог восстановления так-же привожу..

Я использую эту программу для защиты редко изменяемых данных и архивов (не бекапов), например дистрибутивов.

ICE ECC на страже ваших данных Ice ECC, Crc, Восстановление данных, Отказоустойчивость, Длиннопост

Лига Сисадминов

1.5K постов17.7K подписчик

Добавить пост

Правила сообщества

Мы здесь рады любым постам связанным с рабочими буднями специалистов нашей сферы деятельности.

Вы смотрите срез комментариев. Показать все
Автор поста оценил этот комментарий

Как домохзяйка домохозяйке.

Так случается (нечасто), что данные, годами хранящиеся на диске, оказываются повреждены

Это случакется не то что часто, а непрерывно и регулярно. На сайте разработчика должен быть обзор с циферками и математическим ожиданием.


Может таки стоит положить болт на винду как систему хранения?

раскрыть ветку (43)
1
Автор поста оценил этот комментарий

Согласитесь, данные могут повредиться независимо от операционной системы.

И даже от файловой системы.

раскрыть ветку (42)
4
Автор поста оценил этот комментарий

ЗубилоFS на гранитной плите неплохо защищена от несанкционированной модификации =)

раскрыть ветку (2)
2
Автор поста оценил этот комментарий

Вода камень точит.

Все дело в сроках хранения.

Автор поста оценил этот комментарий

Переведите

1
Автор поста оценил этот комментарий

Если вы не используете Cd/dvd, то в современном мире данные или уничтожаются полностью(умышленно или не очень) или ломается накопитель.


Для первого и второго давно давно уже придуманы более удобные инструмены чем избыточность.

раскрыть ветку (20)
Автор поста оценил этот комментарий

Повреждения файловой системы никто не отменял.

раскрыть ветку (19)
Автор поста оценил этот комментарий

пора перестать в 2018 году использовать fat  и будет вам счастье.

раскрыть ветку (18)
Автор поста оценил этот комментарий

Серьезно?

Вы полагаете, я использую FAT? Даже в смартфоне у меня exFat. А не, вспомнил, в фотоаппарате FAT на карте памяти.

Так вот, я к чему: Вы полагаете вопрос в журналировании?

Да нет, это не спасет отца русской демократии.

Журналирование в файловых системах ведется для метаданных, что гарантирует  согласованность файловой системы в случае сбоя записи, но не согласованность данных. При проверке данные скорее всего будут усечены.

EXT с включенным полным журналированием гарантирует, что запись произведена полностью. Но это не гарантирует, что данные не повредятся в процессе хранения.

ZFS со сквозным контролем целостности данных работает в случае обеспечения избыточности. То же можно сказать и про BTRFS.

Для Windows есть REFS, но включать потоки целостности REFS имеет смысл только при использовании StorageSpaces - как и в случае с ZFS, для восстановления данных, нужна избыточность.

Но никто и ничто не поможет от повреждения данных вирусами, программами и прочим.

Программа имеет место для жизни. Я приводил скриншот папки с играми - это терабайт данных и он лежит на StorageSpaces 2-Way Mirror Volume. Эту папку я не копирую в процессе резервного копирования: долго и незачем.

Но эта программа позволит мне в случае сбоя восстановить 15 Гб любых данных из каталога. Невысокая цена. Один раз сделал файл и забыл.

В папке с образами операционных систем и шаблонов виртуальных машин позволяет контролировать валидность этих самых образов. Как-то файл образа m0nkrus превратился в тыкву: 0 байт. Я был удивлен.

раскрыть ветку (17)
Автор поста оценил этот комментарий

"Но это не гарантирует, что данные не повредятся в процессе хранения..."

...дальше можно не читать. Предлагаю задуматься над тем откуда берется параметр Reallocated Sector в SMART и как вообще этот смарт работает. Для ssd гуглите про trim и как читается sys health.

раскрыть ветку (16)
Автор поста оценил этот комментарий

То есть, Вы считаете, что данные, записанные на диск, на нем и останутся без изменения?

При процедуре remap, контроллер пытается считать данные, но нет гарантий их целостности. Потом сектор помечается как сбойный, а новому присваивается  адрес LBA сбойного сектора.

Вы не замечали, что при появлении сбойного сектора, RAID контроллер иногда начинает проверку массива?

TRIM тут причем? Мы про SSD не говорим.

раскрыть ветку (15)
Автор поста оценил этот комментарий

Пытается считать данные, не равно потерянные данные. Первое, на диске разные сектора читаются с разной скоростью, второе если доступ к сектору ниже порогового то сектор просто помечается как bad и происходит ремап. Чуете разницу между не читается и читается медленно? Плюс смарт в простое эпизодически сам проверяет винт(но это не точно, не преведу пруфов потому что не помню откуда эта информация в моей голове). Ваша ОС как минимум в фоне эпизодически дефрагментирует диск. Попробуйте найти старый работающий хард (3-5 лет) с бэдами, и о чудо вся инфа копируется без каких либо проблем, медленно да, с хрустом но копируется.


Чисто теоретически: записали данные на диск положили на полку. Прошло 10 лет. Так как диск не использовался, СМАРТ не читал данные, не проводил ремап. За десять лет часть слоя посыпалась - единственный вариант имеет смысл добавлять избыточночть. Но чтобы такое творить надо быть совсем ... эмм не далеким.


Я видел когда у серверов при остановке на ТО в хардах залипали головы. Я видел когда сгорал контроллер. Видел винты с кучей бэдов и хрустящие как свежевыпавший снег. Я даже попадал в ситуацию когда не сходился crc при передачи по фтп в сети из 3 пк.

Но ни разу за все мои 20 лет не было ситуации когда данные с 1 харда можно было бы спасти избыточность. Я себе даже ситуации такой представить не могу. Нет, возможно на каком-ндь стенде, в лаборатории можно воспроизвести ситуацию - отключить смарт, отключить контроль записи со стороны фс(ну или испльзовать тот же фат), отключить дефрагментацию и трясти работающий винт (предварительно отключив мех. защиту) и естественно не проверить винт на брак, то тогдааа...


Вообще весь этот разговор напоминает свидетелей Raid5 все о нем знают, но в нормвльном продакшене никто не видел.

раскрыть ветку (14)
Автор поста оценил этот комментарий
А что не так с пятым рейдом? Мы только его и используем.
раскрыть ветку (5)
1
Автор поста оценил этот комментарий

1)Медленный на запись* и отсутствие увеличения скорости чтения. Тот же 1\10 при скорости записи 1 диска могут дать до 4х на чтение.

2)Долгий ребилд. 10 рейд в принципе может выдержать двойной отказ (когда откажут диски в разных плечах) - у партнеров такое было (бракованная партия, потом долгая закупка). Второе в случае отказа ребилд будет идти только на одном плече, второе будет отдавать данные с той же скоростью.

2.1)Если надо заменить все диски в массиве то на основании п.1. и п.2 займет дофига-фига времени. По сути время ребилда умноженное на количество дисков. 10 позволяет менять парами т.о. замена дисков = время ребилда*количество дисков\2.

3)Восстановление данных если рейд развалился (оборудование вышло из строя). Хард просто так в офисный ПК не воткнуть - сам не пробовал, со слов коллег.


*быстрые контроллеры стоят хороших денег.


За сухим остатком 5ка хороша когда у вас есть деньги, большой массив в меру статичных данных.


В итоге, для SOHO 5ка плоха тем, что стоит денег (некоторые контроллеры той же Avago требуют отдельной лицензии для 5ки). В то же время даже инеловский интегрированный MegaRaid более-менее сносно держит 1. Для среднего\крупного бизнеса не подходят так как там или хорошая скорость доступа нужна, или надежность. В общем 5ка это очень нишевое решение, применение которого требует полного понимания что будет происходить с данными.

1
Автор поста оценил этот комментарий

Прочитайте, очень познавательно.

https://habr.com/post/78311/

речь идет о чистом RAID5, не о его разновидностях.

Использую RAID6.

раскрыть ветку (2)
Автор поста оценил этот комментарий

По простому - идеология raid оказалась базируется на неправильных исходных предпосылках. В реальности процессы оказались связанными, а не независимыми, соответственно отказоустойчивость на несколько порядков хуже ожидаемой.

Автор поста оценил этот комментарий

Raid 5 я в работе видел. Даже видел RAID 3.

в одном из моиъ предыдущих постов @armene, упоминала протухание данных. Может не так выразилась, но с ней Я согласен.

#comment_122734331

Если - бы записанное оставалось истинным навсегда, то зачем внедрять контроль целостности?

ошибки постоянно происходят и странно их отрицать.

Вот например вырезка из журнала за сегодня.

StorageSpaces 2-Way Mirror Volume файловая система REFS, контроль целостности данных включен.

Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку (7)
Автор поста оценил этот комментарий

Я вам не говорю что их нет. Я вам говорю что контроль целостности происходит на другом уровне и контролировать(добавлять) избыточность руками совершенно бессмысленно. Вы же не проверяете руками пакеты TCP\IP (а вдруг данные с вашей фотографии исказились при передаче? Или скан паспорта не такой! Или при заказе авиабилетов 1 бит в вашей фамилией изменится!)


Реплицируя\архивируя данные в территориально-удаленное хранилище вы сразу перекрываете туеву кучу векторов потери этих самых данных. Так зачем страдать фигней, может сразу защититься от всего?

раскрыть ветку (6)
Автор поста оценил этот комментарий

Я по простому, по домохозяйски.

Текущий объем данных и текущие технологии оперативного хранения в неспециализированной системе будут гарантированно повреждены.

Или вы используете систему заточеную под хранение или огребаете.

ICE ECC паллиатив для систем не расчитанных на хранение. Его применение по большому счету малополезно.

раскрыть ветку (17)
Автор поста оценил этот комментарий

Вы издеваетесь?

Это специализированная утилита для дома и малого бизнеса.

Дома у Вас хсд?

раскрыть ветку (16)
Автор поста оценил этот комментарий

Синолоджи на 2 диска 10-15к.

itx+2/3/4 диска+коробка из под обуви можно взять за 5-7 тонн.

Да блин, я на распберри пай + usb-hdd и то надежнее будет.


Репликация данных в территориально удаленное место - бесценно.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Категорически согласен. Сам так делаю - разместил комп у родителей для этих целей.

Но программа все равно заняла свою нишу на компе.

Автор поста оценил этот комментарий

СХД имели в виду?

Да есть.


Если что это утилита не для дома  или малого бизнесса. Это утилита для хранения неизменяемого набора данных в условиях полной финансовой недостаточности.

раскрыть ветку (13)
Автор поста оценил этот комментарий

Расскажете о ней?

Правда интересно.

раскрыть ветку (12)
Автор поста оценил этот комментарий

Что интересует то?

А то по нашему, по домохозяйскому, одна черненькая вторая серебристая.

раскрыть ветку (11)
Автор поста оценил этот комментарий

Да что привязались к домохозяйскому?

раскрыть ветку (10)
1
Автор поста оценил этот комментарий

Поскольку mfc166 автор постов для домохозяек и я сама можно сказать домохозяйка!

Даи подача материала у вас вот для домохозяек.

На примере данного поста:

  есть проблема потери данных

решение автора

  вот вам домохозяйки программа!

Все точка.


Проблема не раскрыта, решения не раскрыты, тема сисек не раскрыта.

Так что все по нашему, по домохозяйски! Что не так?

раскрыть ветку (9)
Автор поста оценил этот комментарий

Не все мои посты для домохозяек.

Про СХД расскажете?

раскрыть ветку (8)
Автор поста оценил этот комментарий
раскрыть ветку (7)
Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку