Где посоветуете хранить бэкапы?
Всем холодного пива в обед!
Господа, подскажите, какое хранилище наиболее удобно и дёшево в плане хранения бэкапов (нужно делать порядка 500Gb ежедневно, причём с разных девайсов). Максимум 2 Tb на всё. Хотел сам поставить в офисе машину, да вот беда, у провайдера оказалась максимальная скорость 20 Мбит/с за 6 100,00 руб/мес. - и дорого, и за ночь не уложиться.
И да, попутно хотел уточнить, использует кто-нибудь FreeBSD или все плавно перешли на линукс с его контейнерами? Я на фряхе с 2002 года ещё (не всегда использовал по назначению, но из тех, кто помнит голые иксы на десктопе и "Мозиллу-тормозиллу"). Остался последний сервер с фряхой и вот задумался о переходе, у программистов не разворачивается многое и все топят за линукс.
Вокруг коронавирус, дефицит гречи, туалетной бумаги, а он такой "Где мне хранить бэкапы? И да у меня FreeBSD". Что ты за человек!
Настоящего.
Если все дружно забьют - спустя какой-то промежуток времени сеть упадет и будет обнуление. Но кушать надо, да.
Приходится трудится в поте лица.
Это на самом деле не шутка. Мозг сжирает больше всего организма.
Обнуление это тренд года.
Сервер генерирующий гречку.
Инкрементные не проще будет? Но один раз заморочится
Инкрементное копирование хорошо экономит место, но катастрофически увеличивает время развёртывания. Если время не важно, то это безусловно самый лучший вариант. Но если нужно развернуться как можно быстрее, то лучше раскошелиться, купить б/у HP DL180 G6 и забить его жёсткими дисками, на которых держать полные копии.
Правда, стоимость этого проекта сейчас я считать не буду, т.к. не хочу расстраиваться. Год назад он вылился примерно в 100 тысяч рублей, если мне память не изменяет.
Бывают инкремент(аль)?ные копии (кроилово, традиционно ведущее к попадалову в случае, когда гавкнулся один из промежуточных архивов), а бывает инкрементное копирование - например, посредством rsync.
Если нужно держать копии по состоянию на несколько дней - создаем новый каталог, вливаем туда вчерашнюю копию, а потом запускаем rsync и обновляем эту копию до сегодняшней.
Диски вы же не будете на авито покупать? Стоимость указана с их учётом.
Да и сам сервер был хорошо нафарширован процами и памятью.
Да ну что вы, какие SAS в таком дешманском проекте. Ну, а по поводу размера массива вы ошибаетесь, не настолько уж старое это поколение. Чем оно и хорошо. За смешные деньги можно собрать полку с большим массивом, которая ещё и вполне бодро может что-то делать побочно.
Поборол свою лень и залез на сервер.
HP DL180G6se
2xXeon E5620 (2.4 GHz)
18x4 Gb RAM
2x1Tb SATA 3.5 (RAID1)
8x2Tb SATA 3.5 (RAID5)
А вот конфигурация массивов:
Пришлось порыться в почте, чтобы модель найти, ибо lspci радостно обозвал контроллер "Hewlett-Packard Company Smart Array G6 controllers (rev 01)". В счёте на оплату он называется "HP Smart Array P410SAS/6gbps/2 int minisas NO-CACHE".
А вообще, если контроллер может отдать диски в ОС "как есть", без настройки аппаратного raid, можно поднять linux-softraid. В винде тоже такая возможность есть, если я ничего не путаю.
Вот конфигурация моей домашней файлопомойки, которая год назад обошлась мне тысяч в 20 (без учёта дисков):
MB - Asus Z8NR-D12
CPU - 2xXeon L5630 (2.13GHz)
Mem - 6x8 Gb ECC
HDD - 7x3Tb (RAID6)
Спасибо.
Ещё один нюанс - перечитал ветку и понял, что осталась некоторая недосказанность в моменте с дисками для DL180G6. Разумеется, я покупал обычные диски, шасси приехало пустое, но с полным комплектом салазок.
C G6\G7 можно объебаться с P410.
Например, esxi 6.5 периодически падает в Kernel Panic из-за кривой реализации работы с данным контроллером в 6.5. Vmware даже специальный релиз запилили esxi с поправленным багом. Сталкивался лично.
HP не делает контроллеры. Посмотри потом VID/PID и утилиты которыми управляется, наверняка LSI.
Зачем мне это смотреть? Меня и так всё устраивает. :)
А если серьёзно, то их Adaptec делает специально для HP. Аналогов на этом же чипсете нет.
Ну как бы его сложно оценить по скорости м возможностям. С реальным адаптеком итд проще.
Reverse Increment от Veeam - спасет отца Российской демократии... :-)
Нафига? Можно купить условную Synology - забить емкими дисками, и в ту же сумму получишь большую емкость. Да и G6 - совсем уж УГ по нынешним меркам, как по производительности, так и по энергоэффективности и доступности ЗИП.
Этот вариант разворачивается быстрее, конечно, чем инкрементальный, но всё равно дольше, чем обычная полная копия. Разве что система резервного копирования будет вести учёт всех версий файлов и восстанавливать каждый файл из соответствующего архива.
При нынешних объёмах накопителей и их стоимости, все эти извращения с разностными бекапами уже бессмысленны, за исключением редких случаев.
rsync же. И 500 гигов превратятся в 10, которые без проблем протягиваются и на 20 МБит и на 10.
У него свои минусы. Я свою обвязку скриптов использую.
Одобрил временно.
Сколько девайсов и каких?
При таком объёме рекомендую Windows Server 2016/2019 с дедупликацией файлов.
ночью )))
Если рейд необязателен, то можно обойтись связкой keenetik + HDD, обойдётся дешевле сетевых хранилищ в разы, функции выполняет теже. Например kn-1910.
> использует кто-нибудь FreeBSD
здесь спроси: Аниме
Не баян, а классика! :)
https://lurkmore.to/Патчить_KDE2_под_FreeBSD
Мне понравилось решение MS Win Srv + DPM. Виртуалки бэкапит снимками,
поддерживает iscsi на лету. Первый архив долгий - дальше быстрее
Коллега, ответственный за бэкапы - наплеваться не мог на DPM, когда Вим попробовал.
У меня компания маленькая и я тупо виртуалки по ISCSI сливаю на 3 дня.
Если что то не так - шлет E-mail. С настрйкой конечно провозился. Там не одна бутылка нужна.
Вим умеет все это, и даже больше. Потестируй. Думаю, тебе понравится.
Покупаешь любой NAS, и бэкапишь на него. Это самое дешевое решение, имхо будет.
Я могу посоветовать только что-то из https://www.synology.com/ru-ru
Очень удобно не только в плане бекапов но и для разработки. Там все есть.
Цена, конечно, высоковата, но оно того стоит реально. Проверено временем и т.д. и т.п. Для небольшой конторы можно подобрать в ценник и убедить руководство.
Можно что-то подобное смастерить на коленке из говна и палок и поставить туда тот же софт от synology. В сети все есть.
А можно не ставить, будет ещё лучше.
А можно и не ставить, согласен. Но эта коробочка тихо шуршит в рейд массиве и ты не задумываешься вообще ни о чем.
Ну так оттуда и цена. Всё готовое и чайнику пригодное. Без этого же цену раза в 2 можно смело снижать и брать самосборку.
Я же написал, что аналогичное можно собрать не тратясь на лицензионный продукт, но используя его софт. Инструкций как говна за баней. Что не так?
Я про то, что если разбирается - нафиг ему сдался вообще synology даже софт, на банальном наборе nextcloud&sftp&etc куда приятнее.
Облакам я не доверяю после одного раза. Глобальный проеб данных и в ответ - а мы и не гарантировали.
Восстановление потребовало миллионы нервных клеток.
Можно там хранить музычку, фильмецы и сериалы, но никак не критически важные данные. Как свои, так и предприятия.
Если вздумаешь со мной поспорить - я в это не ввяжусь.
Какие нафиг облака? Имеется в виду строго у себя СОФТ на этом сервере для уже бэкапа, интерфейсов итд. Я никогда софт SAAS не рассматривал даже, только под счётные разве что задачи.
Отмотай выше. Это просто совет, а не инструкция к дейсвию.
Чел сам разберется что ему надо или не надо.
Приветствую!
Так же сижу на FreeBSD пока нет задач в которых пришлось перейти на Linux (кроме asterisk из-за поддержки плат Digium)
Была такая же задача по бекапам с минимальным бюджетом.
Приобрел DELL Powervault MD1000, контроллер SAS и кабель.
На FreeBSD собрал raidz2
NAME SIZE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH AL TROOT
bigdata 27,2T 17,1T 10,2T - - 0% 62% 1.00x ONLINE -
На все не считая диски (были б/у 2TB) вышло вместе с такси не более 12000 на авито
Из плюсов
2 блока питания, продавец обещал, что бэкплейты поддерживают диски более 8 ТБ.
backblaze b2
В FreeBSD есть jails, из которых контейнеры и произошли (да, да, солярис там, были, знаем).
Они из соляриса, ну почти, это наоборот упрощённый вид. Там вообще много чего по подобию соляриса было...
Dropbox - как раз 2 Тб на платном тарифе. Клиент под Windows/Linux/Android. В локалке будет синхронизироваться со скоростью локалки.
Корпоративный аккаунт не использовал - не скажу.
Денег - 100 (вроде) баксов в год.
120 баксов, да, это самый дешёвый вариант, думаю (и поменять, если что, можно быстро).
btrfs уже можно в продакшн, нет смысла тягаться за ZFS. Да и там он тоже порт, хоть и сильно лучше сделанный.
Ну, локально как бы напрашивается FreeNAS - фряха, ZFS, даром, железо по бюджету. Ежели поменьше заморочек - то более-менее нормальный SOHO NAS - от QNAP до Synology. Ежели не локально - то для несрочных бекапов - S3 Glacier.
Это какой ченджер должен быть?
AWS S3 Ведра ништяк вообще
https://aws.amazon.com/ru/s3/pricing/
Опишите поподробнее что да как. Что откуда и куда бэкапить. FreeBSD отлично справится с такой задачей, сам пользую во многих местах в продакшн.
За дисковое везде берут дорого в датацентрах если брать в аренду.
Всегда пользовался банальным сервером, там и RAID5 куда дешевле.
Freebsd используется в маршрутизаторах и сегодня, но при чём тут контейнеры?
RAID5? ну такое себе решение - работает, пока не упадёт. Rebuild долгий и сложный. Тогда уж RAID6, но возрастёт стоимость контроллера, если аппаратно делать.
Чем он сложный, блеять? Это как раз последний уровень примитивов если 1-1-1, а не полосатый любого уровня, к которым как раз 6 относится, они с 4 уникально редким и 5 одинаково организованы в нормальных контроллерах полосато и медленно, но мы именно о 1-1-1 говорим, там потери скорости минимальные. А на 6 уже слишком скорость в жопе чтобы серьёзно его смотреть, да и место 5:3 как-то слабо., проще RAID1 ограничиться.
Сложный не в плане пользователя, а в плане восстановления. Обилие математических операций при расчёте четности обуславливает длительность восстановления. Создается большая нагрузка на оставшиеся диски, что повышает вероятность отказа ещё одного диска.
Что ты такой нервный? Ты заебал со своими психами уже. Не знаешь нихуя, так молчи лучше. Учи матчасть:
https://habr.com/ru/post/78311/
В плане восстановления не хуже полосатого 6. И знаю я поболе твоего. Ну и не забываем правила @moderator, оскорбление.
Реальность - не статья на хабре и не твои фантазии, а как раз то что я каждый день вижу хотя бы по работе...
И она показывает что всё с как раз 1-1-1 в порядке, а с полосатыми по обстановке.
Статья показывает ТЕНДЕНЦИИ, все они лечатся регулярным PR и другими методами сверки, а в софтрейде того же линуха вообще штатно раз в месяц в кроне full check засунут. И да, у 6 недостатки те же всё.
И уже не по работе - именно исходя из предпосылок я использую домашний RAID5 15 лет как бы из 3... Сменил там уже 6 винчестеров всего за всё время.
Мне больше теперь неясна твоя, ту отписку можно на цитаты растаскивать.
Нет, блин, а на 1 не остаётся... Двойные перекрёстные очень редки и в энтерпрайзе.
Это для любого. И решается очень просто, не знаю где был автор статьи когда это стало стандаром, видимо в детсаде.
Опять же что за бред - для любого.
Из серьёзного только ОБЩАЯ проблема -
Но решается она на уровне диска обычно.
В случае выхода из строя одного из дисков зеркала - второй продолжает работать, и вероятность выхода из строя его меньше, т.к. RAID penalty у него меньше, следовательно, на оставшиеся диски не падает повышенная нагрузка от ребилда, которая в случае R5 - возрастает весьма сильно.
При выходе из строя RAID5 - у тебя по факту RAID 0, пока не пройдет ребилд.
А его надежность тем меньше, чем большее количество дисков.
Что 1, что 2... Это теория шансов которые в реальности встречаются раз в 10 лет...
Ну, мне лично я сейчас в проде использую RAID 5. Но на SSD, и учетом блочной виртуализации на СХД.
RAID2.0, все дела. А под бэкапы - RAID6.
RAID5 под бэкапы? А ты любишь рисковать... :-)
Ты уровень то читал требуемый автором?
Читал, разумеется. Просто можно больно обжечься на выборе R5. Поэтому и написал, по сути. :-)