WikiDer > Повреждение данных

Data corruption
Повреждение фото-данных; в данном случае это результат неудачного восстановления данных с жесткого диска

Повреждение данных относится к ошибкам в компьютер данные которые происходят во время записи, чтения, хранения, передачи или обработки и вносят непреднамеренные изменения в исходные данные. Компьютеры, системы передачи и хранения используют ряд мер для обеспечения сквозного целостность данных, или отсутствие ошибок.

Как правило, при повреждении данных файл содержащие эти данные, приведут к неожиданным результатам при доступе системы или связанного приложения. Результаты могут варьироваться от незначительной потери данных до сбоя системы. Например, если файл документа поврежден, когда человек пытается открыть этот файл с помощью редактора документов, он может получить сообщение об ошибке, поэтому файл может не открываться или может открываться с повреждением некоторых данных (или, в некоторых случаях, полностью поврежденным, в результате чего документ остается неразборчивым). Соседнее изображение - это поврежденный файл изображения, в котором потеряна большая часть информации.

Некоторые виды вредоносное ПО могут намеренно повредить файлы как часть их полезные нагрузки, обычно путем перезаписи их неработающим или мусорным кодом, в то время как невредоносный вирус также может непреднамеренно повредить файлы при обращении к ним. Если вирус или троян с помощью этого метода полезной нагрузки удается изменить файлы, критически важные для работы программного обеспечения операционной системы компьютера или физического оборудования, вся система может стать непригодной для использования.

Некоторые программы могут предлагать восстановить файл автоматически (после ошибки), а некоторые программы не могут его восстановить. Это зависит от уровня повреждения и встроенных функций приложения для обработки ошибки. Есть разные причины порчи.

Обзор

Видео было повреждено. Предупреждение: это видео содержит яркие мигающие изображения.

С компьютерными системами связаны два типа повреждения данных: необнаруженное и обнаруженное. Необнаруженное повреждение данных, также известное как тихое повреждение данных, приводит к наиболее опасным ошибкам, так как нет никаких указаний на то, что данные неверны. Обнаруженное повреждение данных может быть постоянным с потерей данных или может быть временным, когда какая-то часть системы способна обнаружить и исправить ошибку; в последнем случае нет повреждения данных.

Повреждение данных может произойти на любом уровне системы, от хоста до носителя. Современные системы пытаются обнаружить повреждение на многих уровнях, а затем восстановить или исправить повреждение; это почти всегда успешно, но очень редко информация, поступающая в системную память, оказывается поврежденной и может привести к непредсказуемым результатам.

Повреждение данных во время передачи имеет множество причин. Причины прерывания передачи данных потеря информации. Условия окружающей среды могут мешать передаче данных, особенно при использовании методов беспроводной передачи. Сильные облака могут блокировать спутниковую передачу. Беспроводные сети чувствительны к помехам от таких устройств, как микроволновые печи.

Аппаратный и программный сбой - две основные причины потеря данных. Фоновое излучение, голова разбивается, и старение или износ запоминающего устройства попадают в первую категорию, в то время как программный сбой обычно происходит из-за ошибки в коде.Космические лучи потому что большинство мягкие ошибки в DRAM.[1]

Тихий

Смотрите также: Частота ошибок жесткого диска и обработка

Некоторые ошибки остаются незамеченными, не обнаруживаются микропрограммой диска или операционной системой хоста; эти ошибки известны как тихое повреждение данных.

За пределами самой подсистемы дискового хранения существует множество источников ошибок. Например, кабели могут быть немного ослаблены, источник питания может быть ненадежным,[2] внешние вибрации, такие как громкий звук,[3] сеть может привести к необнаруженному повреждению,[4] космическое излучение и многие другие причины программные ошибки памятии т. д. В 39 000 проанализированных систем хранения ошибки микропрограммного обеспечения составляли 5–10% отказов систем хранения.[5] В общем, частота ошибок, наблюдаемая ЦЕРН исследования о скрытой коррупции гораздо чаще, чем каждый десятый16 биты.[6] Интернет-магазин Amazon.com признал аналогичный высокий уровень повреждения данных в своих системах.[7]

Одна из проблем заключается в том, что емкость жестких дисков существенно увеличилась, но частота их ошибок остается неизменной. Скорость повреждения данных всегда была примерно постоянной во времени, а это означает, что современные диски ненамного безопаснее старых. В старых дисках вероятность повреждения данных была очень мала, поскольку на них хранились крошечные объемы данных. В современных дисках вероятность намного выше, потому что они хранят гораздо больше данных, но при этом не безопаснее. Таким образом, скрытое повреждение данных не представляло серьезной проблемы, в то время как устройства хранения оставались относительно небольшими и медленными. В наше время, с появлением более крупных дисков и очень быстрой настройки RAID, пользователи могут передавать 1016 битов за достаточно короткое время, что позволяет легко достичь пороговых значений повреждения данных.[8]

В качестве примера, ZFS создатель Джефф Бонвик заявил, что быстрая база данных на Greenplum, компания, производящая программное обеспечение для баз данных и специализирующаяся на крупномасштабных хранилищах данных и аналитике, сталкивается с незаметным повреждением каждые 15 минут.[9] Другой пример - исследование из реальной жизни, проведенное NetApp на более чем 1,5 миллионах жестких дисков за 41 месяц было обнаружено более 400 000 скрытых повреждений данных, из которых более 30 000 не были обнаружены аппаратным RAID-контроллером. Другое исследование, выполненное ЦЕРН более шести месяцев с участием около 97петабайты данных, обнаружено, что около 128мегабайты данных были безвозвратно повреждены.[10][11]

Скрытое повреждение данных может привести к каскадные отказы, при котором система может работать в течение определенного периода времени с необнаруженной начальной ошибкой, вызывая все больше проблем, пока она не будет окончательно обнаружена.[12] Например, сбой в файловой системе метаданные может привести к частичному повреждению или полной недоступности нескольких файлов, поскольку файловая система используется в поврежденном состоянии.

Контрмеры

Смотрите также: Обнаружение и исправление ошибок

Когда повреждение данных ведет себя как Пуассоновский процесс, где каждый немного данных имеет независимо низкую вероятность изменения, повреждение данных, как правило, можно обнаружить с помощью контрольные суммы, и часто может быть исправлено с использованием коды исправления ошибок.

Если обнаружено неисправимое повреждение данных, такие процедуры, как автоматическая повторная передача или восстановление из резервные копии может быть применено. Определенные уровни RAID дисковые массивы имеют возможность хранить и оценивать биты четности для данных на наборе жестких дисков и может восстанавливать поврежденные данные при выходе из строя одного или нескольких дисков, в зависимости от уровня реализованного RAID. Немного ЦПУ архитектуры используют различные прозрачные проверки для обнаружения и уменьшения повреждения данных в Кеши процессора, Буферы ЦП и конвейеры команд; пример Воспроизведение инструкций Intel технология, доступная на Intel Itanium процессоры.[13]

Многие ошибки обнаруживаются и исправляются жесткими дисками с помощью кодов ECC / CRC.[14] которые хранятся на диске для каждого сектора. Если дисковый накопитель обнаруживает несколько ошибок чтения в секторе, он может сделать копию отказавшего сектора на другой части диска, переназначив отказавший сектор диска на резервный сектор без участия операционной системы (хотя это может быть отложено до следующей записи в сектор). За этой "тихой коррекцией" можно следить, используя УМНАЯ. и инструменты, доступные для большинства операционных систем, для автоматической проверки диска на предмет надвигающихся сбоев, наблюдая за ухудшением параметров SMART.

Немного файловые системы, такие как Btrfs, МОЛОТОК, ReFS, и ZFS, использовать внутренние данные и метаданные контрольная сумма для обнаружения скрытого повреждения данных. Кроме того, если обнаружено повреждение и файловая система использует встроенные механизмы RAID, которые обеспечивают избыточность данных, такие файловые системы также могут прозрачным образом восстанавливать поврежденные данные.[15] Этот подход позволяет улучшить защиту целостности данных, охватывающую все пути к данным, что обычно называется сквозная защита данных, по сравнению с другими подходами к целостности данных, которые не охватывают разные уровни в стеке хранения и допускают повреждение данных, когда данные проходят границы между разными уровнями.[16]

Очистка данных - это еще один метод снижения вероятности повреждения данных, так как ошибки диска выявляются и устраняются до того, как накопятся несколько ошибок и превысят количество битов четности. Вместо проверки четности при каждом чтении, четность проверяется во время обычного сканирования диска, часто выполняемого как фоновый процесс с низким приоритетом. Обратите внимание, что операция «очистки данных» активирует проверку четности. Если пользователь просто запускает обычную программу, которая считывает данные с диска, то четность не будет проверяться, если проверка четности при чтении не поддерживается и не включена в дисковой подсистеме.

Если соответствующие механизмы используются для обнаружения и устранения повреждения данных, целостность данных может быть сохранена. Это особенно важно в коммерческих приложениях (например, банковское дело), где необнаруженная ошибка может либо повредить индекс базы данных, либо изменить данные, что существенно повлияет на баланс учетной записи, а также при использовании зашифрованный или сжатый data, где небольшая ошибка может сделать большой набор данных непригодным для использования.[6]

Смотрите также

Рекомендации

  1. ^ Scientific American (2008-07-21). «Солнечные бури: быстрые факты». Издательская группа Nature. В архиве из оригинала 26.12.2010. Получено 2009-12-08.
  2. ^ Эрик Лоу (16 ноября 2005 г.). "ZFS спасает положение (-та)!". Oracle - Основные дампы мозга хакера ядра - Блог Эрика Лоу. Oracle. Архивировано из оригинал (Блог) 5 февраля 2012 г.. Получено 9 июн 2012.
  3. ^ bcantrill (31 декабря 2008 г.). «Крики в центре обработки данных» (Видео файл). YouTube. В архиве из оригинала 3 июля 2012 г.. Получено 9 июн 2012.
  4. ^ jforonda (31 января 2007 г.). «Неисправный порт FC соответствует ZFS» (Блог). Blogger - нестандартный подход. В архиве из оригинала 26 апреля 2012 г.. Получено 9 июн 2012.
  5. ^ «Являются ли диски основной причиной отказов систем хранения? Комплексное исследование характеристик отказов подсистемы хранения» (PDF). USENIX. Получено 2014-01-18.
  6. ^ а б Бернд Панцер-Штейндель (8 апреля 2007 г.). «Проект 1.3». Целостность данных. ЦЕРН. В архиве из оригинала 13 октября 2012 г.. Получено 9 июн 2012.
  7. ^ «Наблюдения за ошибками, исправлениями и доверием зависимых систем». В архиве из оригинала от 29.10.2013.
  8. ^ «Тихое повреждение данных в дисковых массивах: решение» (PDF). NEC. 2009 г. В архиве из оригинала от 29.10.2013. Получено 2013-10-24.
  9. ^ «Разговор с Джеффом Бонвиком и Биллом Муром». Ассоциация вычислительной техники. 15 ноября 2007 г. В архиве из оригинала 16 июля 2011 г.. Получено 6 декабря, 2010.
  10. ^ Дэвид С. Х. Розенталь (1 октября 2010 г.). "Хранение битов в безопасности: насколько это сложно?". Очередь ACM. В архиве с оригинала 17 декабря 2013 г.. Получено 2014-01-02.
  11. ^ Лакшми Н. Байравасундарам; Гарт Р. Гудсон; Шанкар Пасупати; Иржи Шиндлер (июнь 2007 г.). Анализ скрытых секторных ошибок дисковых накопителей. Труды Международной конференции по измерениям и моделированию компьютерных систем (SIGMETRICS'07). Сан-Диего, Калифорния, США: ACM. С. 289–300. CiteSeerX 10.1.1.63.1412. Дои:10.1145/1254882.1254917. ISBN 9781595936394. S2CID 14164251. Получено 9 июн 2012.
  12. ^ Дэвид Фиала; Фрэнк Мюллер; Кристиан Энгельманн; Рольф Ризен; Курт Феррейра; Рон Брайтвелл (ноябрь 2012 г.). «Обнаружение и исправление скрытых искажений данных для крупномасштабных высокопроизводительных вычислений» (PDF). fiala.me. IEEE. В архиве (PDF) из оригинала от 07.11.2014. Получено 2015-01-26.
  13. ^ Стив Бостиан (2012). «Повышение надежности для критически важных приложений: технология Intel Instruction Replay» (PDF). Intel. В архиве (PDF) из оригинала на 02.02.2016. Получено 2016-01-27.
  14. ^ «Чтение уровней серьезности ошибок и логики управления ошибками». В архиве из оригинала 7 апреля 2012 г.. Получено 4 апреля 2012.
  15. ^ Маргарет Бирман; Ленц Гриммер (август 2012 г.). «Как я использую расширенные возможности Btrfs». Корпорация Oracle. В архиве из оригинала от 02.01.2014. Получено 2014-01-02.
  16. ^ Юпу Чжан; Абхишек Раджимвале; Андреа К. Арпачи-Дюссо; Ремзи Х. Арпачи-Дюссо (04.02.2010). «Сквозная целостность данных для файловых систем: пример использования ZFS» (PDF). Департамент компьютерных наук, Висконсинский университет. В архиве (PDF) из оригинала 2011-06-26. Получено 2014-08-12.

внешняя ссылка