С какими проблемами сталкивается провайдер, использующий облачные технологии? Как работает система резервного копирования? И как обеспечивается безопасность хранения данных? Об этом рассказывает кандидат физико-математических наук Иван Луковников.
Четвертая проблема, которую придется решать провайдеру, — проблема надежности хранения данных. В случае каких-либо программных или аппаратных сбоев с облачным хранилищем, к сожалению, поврежденными могут оказаться данные десятков, сотен, а иногда и сотен тысяч пользователей.
Рекомендуем по этой теме:
9524
Большие данные и их хранение
Для обеспечения надежности данных приходится держать больше чем одну резервную копию. Например, если вы будете использовать файловую систему HDFS — а на сегодняшний день это один из самых распространенных способов хранения данных в распределенной системе, — ваши накладные расходы составят примерно 200%. На каждую сохраненную картинку в облако система сделает еще две ее копии.
Мы разработали следующее решение проблемы. Каждый пакет входящих данных расщепляется системой на 5 кусочков. С помощью проверенных временем математических преобразований к этим 5 кусочкам добавляется еще 2 блока данных, обеспечивающих их избыточность и позволяющих восстановить данные в случае сбоя. Получившиеся 7 кусочков записываются на диск. Избыточное хранение составляет всего 40%. На сегодняшний день это одно из лучших решений в мире.
