Перейти к содержимому


Перед регистрацией ознакомьтесь с темой про сертификат безопасности:
Фотография
- - - - -

Что такое RAID и с чем его едят


  • Please log in to reply
508 ответов в этой теме

#1 Virs

Virs

    Широкопрофильный гуру по NLE

  • Без доступа
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 10804 Сообщений:

Отправлено 22 Apr 2005 - 06:51

Основные задачи, которые позволяют решить RAID, это обеспечение отказоустойчивости дисковой системы и повышение ее производительности. Отказоустойчивость достигается тем, что вводится избыточность. В RAID объединяется больше дисков, чем это необходимо для получения требуемой емкости.


RAID: от принципов функционирования до реальных систем
Вячеслав ОВСЯННИКОВ
ведущий специалист фирмы «ЕПОС»

В 1987 г. три американских исследователя Паттерсон, Гибсон и Катц из Калифорнийского университета Беркли написали статью "A Case for Redundant Arrays of Inexpensive Discs (RAID)". В статье описывалось, каким образом можно несколько дешевых жестких дисков объединить в одно логическое устройство таким образом, что в результате объединения повышаются емкость и быстродействие системы, а отказ отдельных дисков не приводит к отказу всей системы. Возможность недорого (inexpensive) построить дисковый массив большой емкости, повышенного быстродействия и, к тому же, отказоустойчивый, с этого времени постоянно беспокоит умы компьютерщиков. Однако широкое распространение такие системы получили только сейчас. Это связано с тем, что с недороговизной (inexpensiveness) получилась маленькая неувязочка. Всем ведь известно, что не всякие комплектующие подходят, чтобы вышла «конфетка». В самые первые RAID-ы, чтобы они действительно работали, пришлось устанавливать очень дорогие дисковые устройства от мэйнфреймов. Поэтому и аббревиатуру RAID стали расшифровывать как "Redundant Arrays of Independent Discs" – избыточный массив независимых дисков. Сейчас достаточно хорошие диски имеют разумную стоимость, и RAID становится основным элементом современного сервера любого уровня (а часто и не только сервера). Тем не менее, когда мы говорим о RAID, то о дешевизне лучше сразу забыть. Стоимость полных RAID-систем не снижается так же быстро, как цены на базовые диски, из-за «накладных расходов»: контроллеры, коннекторы, специализированное программное обеспечение и т.п.

Массивы RAID становятся вместительнее, дешевле и приобретают новые возможности. Однако покупателям по-прежнему приходится определять приоритеты и искать компромиссы: между функциональностью и ценой; между производительностью и объемом дисковой памяти.

Вариантов построения систем с RAID существует много. Все они гарантируют отличную работу при умеренных затратах. Реальное же применение такой перспективной технологии очень часто приносит совершенно необъяснимые трудности. Отчасти это связано и с тем, что во множестве публикаций о RAID упускаются очень существенные детали относительно различных уровней RAID. Например, в качестве основного различия RAID-уровней 3 и 5 чаще всего указывается, что в RAID уровня 3 контрольная информация хранится на выделенном диске. Как следствие, это трактуется как недостаток («узкое горлышко»). На самом деле механизм взаимодействия дисков в RAID намного сложнее, способ размещения контрольной информации на дисках не является определяющим фактором, да и выделенный диск в RAID уровня 3 не является «узким горлышком». Давайте более детально рассмотрим хотя бы самые основные особенности систем, использующих RAID, чтобы если и не облегчить свою жизнь, то хотя бы понять, почему она так трудна.

Общие принципы функционирования
Основные задачи, которые позволяют решить RAID, это обеспечение отказоустойчивости дисковой системы и повышение ее производительности.

Отказоустойчивость достигается тем, что вводится избыточность. В RAID объединяется больше дисков, чем это необходимо для получения требуемой емкости.

Производительность дисковой системы повышается за счет того, что современные интерфейсы (в частности, SCSI) позволяют осуществлять операции записи и считывания фактически одновременно с несколькими дисками. Поэтому в первом приближении можно рассчитывать, что скорость записи или чтения, в случае применения RAID, увеличивается пропорционально количеству дисков, объединяемых в RAID.

Возможность одновременной работы с несколькими дисками можно реализовать двумя способами: с использованием параллельного доступа (parallel-access array) и с использованием независимого доступа (independent-access array).

Для организации параллельного доступа рабочее пространство дисков размечается на зоны определенного размера (блоки) для размещения данных и избыточной информации. Информация, подлежащая записи на диски (запрос на обслуживание), разбивается на такие же по величине блоки, и каждый блок записывается на отдельный диск. При поступлении запроса на чтение, необходимая информация собирается из нескольких блоков (рис. 1).
Изображение

Рис. 1. Массив с параллельным доступом

Понятно, что в этом случае скорость записи (равно как и скорость чтения) увеличивается пропорционально количеству дисков, объединенных в RAID.

Для организации независимого доступа рабочее пространство дисков также размечается на зоны определенного размера (блоки). Однако, в отличие от предыдущего случая, каждый запрос на запись или чтение обслуживается только одним диском (рис. 2).
Изображение

Рис. 2. Массив с независимым доступом

Естественно, в этом случае скорость записи будет не выше, чем при работе с одним диском. Однако массив с независимым доступом в каждый момент времени может обслуживать одновременно несколько запросов, каждый диск обслуживает свой запрос.

Таким образом, оба архитектурных решения способствуют повышению производительности, но механизм повышения производительности у этих решений различен. Соответственно, свойства RAID существенно зависят от того, какой из этих двух механизмов в нем используется. Именно поэтому при сравнении RAID различного уровня в первую очередь необходимо сравнивать размер логических блоков. Точнее говоря, не собственно размер, а соотношение размера блока и величины запроса на обслуживание (объем информации, подлежащей записи или считыванию).

Другим фактором, влияющим на производительность, является способ размещения избыточной информации. Избыточная информация может храниться на специально выделенном для этого диске и может распределяться по всем дискам.

И, наконец, в RAID различного уровня применяются различные способы вычисления избыточной информации. Это также влияет на характеристики RAID (надежность, в первую очередь, производительность и стоимость). Основные способы: полное дублирование информации, применение кодов с коррекцией ошибок (применяется код с коррекцией одиночных ошибок и обнаружением двойных ошибок ECC – код Хемминга) и вычисление четности (Parity).

Уровни RAID
Для стандартизации продуктов RAID в 1992 году был организован промышленный консорциум – Комиссия советников по RAID (RAID Advisory Board: RAB, www.raid-advisory.org).

В настоящее время комиссией стандартизировано 8 вариантов (уровней) объединения дисков в массивы: от RAID-0 до RAID-7. Номера уровней определены просто в порядке, в котором были предложены различные варианты и не связаны с характеристиками RAID. Применяются также комбинированные уровни, например, уровень 0+1 означает RAID уровня 0, но в этот RAID объединены не одиночные диски, а несколько RAID уровня 1 (несколько зеркальных дисков).

Уровни с 1-го по 5-й включительно были представлены в упомянутой выше статье Калифорнийского университета в Беркли, и эта систематика RAID была принята как стандарт «де факто». Именно эти уровни и будут рассмотрены ниже, причем основное внимание будет уделено наиболее распространенным уровням: 1, 3 и 5.

RAID-0, строго говоря, вообще не является избыточным массивом (RAID); тем не менее, данный термин широко применяется и поэтому разрешен RAB. Уровни 6 и 7 по различным причинам применяются очень редко. Например, RAID 7® является зарегистрированной торговой маркой Storage Computer Corporation (SCC), поэтому применяется исключительно в изделиях этой фирмы. Более того, многие производители RAID-контроллеров уровнями 6 и 7 обозначают нестандартизированные или комбинированные уровни. Например, в контроллерах фирмы Mylex под RAID уровня 6 понимается комбинированный уровень 0+1, а под RAID уровня 7 – простое объединение нескольких дисков в один логический.

Классификация уровней RAID, составленная с учетом сделанных выше замечаний, приведена на рис. 3.
Изображение

Рис. 3. Классификация уровней RAID

RAID уровня 1 (Mirrored disk) предназначен в основном для обеспечения отказоустойчивости системы. За счет полного дублирования информации обеспечивается очень высокий уровень надежности. Однако и стоимость хранения информации получается немалой.

RAID уровня 2 (Memory-Style ECC) характеризуется очень высокой надежностью. В RAID уровня 2 применяется код с коррекцией одиночных ошибок и обнаружением двойных ошибок ECC. Такой же метод, кстати, применяется и для коррекции ошибок в оперативной памяти серверов. В RAID уровня 2 расслоение данных для записи или чтения осуществляется на уровне битов. Однако, вследствие применения кода с коррекцией ошибок, RAID уровня 2 требует для хранения контрольной информации более одного диска. Большинство контрольных дисков, используемых в RAID уровня 2, нужны для определения положения неисправного разряда. Но в этом сейчас уже нет нужды, так как большинство контроллеров в состоянии самостоятельно определить, когда диск отказал при помощи специальных сигналов, или дополнительного кодирования информации, записанной на диск и используемой для исправления случайных сбоев. В связи с этим RAID уровня 2 не нашел практического применения.

В RAID уровней 3, 4 и 5 применяется простое вычисление четности путем применения к записываемым блокам операции «исключающее или» – XOR (Parity), что позволяет использовать меньшее количество избыточных дисков.

В RAID уровня 3 (Bit-Interleaved Parity) для обеспечения отказоустойчивости вводится один дополнительный диск, на который записывается дополнительная (контрольная) информация. При записи данные разбиваются на блоки, каждый из которых записывается на отдельный диск. Затем вычисляется контрольная сумма, которая записывается на дополнительный диск. При выходе из строя любого диска данные на нем можно восстановить по контрольным данным и данным, оставшимся на исправных дисках. Как и в RAID уровня 2 расслоение данных для записи или чтения осуществляется на уровне битов (вообще говоря, допускается и расслоение на уровне байтов). Таким образом, в RAID уровня 3 реализуется практически в чистом виде архитектура с параллельным доступом.

RAID уровня 4 (Block-Interleaved Parity) отличается от RAID уровня 3 в первую очередь значительно большим размером блока записываемых данных (большим, чем размер записываемых данных). Типичное значение – кратно размеру сектора жесткого диска. Это и есть главное отличие между RAID 3 и 4.

RAID уровня 5 (Block-Interleaved Distributed-Parity) так же, как и RAID уровня 4, отличается от RAID уровня 3 большим размером блока записываемых данных. Кроме того, в отличие от RAID уровня 4, для хранения избыточной информации не выделяется отдельный диск, а контрольная информация записывается на различные диски по очереди. Такое размещение избыточной информации позволяет повысить производительность дискового массива, о чем мы поговорим далее. Однако, подчеркиваю, главное отличие RAID уровней 3 и 5 состоит, вопреки распространенному мнению, не в методе хранения избыточной информации, а в размере логических блоков, записываемых на каждый диск. В отличие от RAID уровня 3, в RAID уровня 5 реализуется архитектура с независимым доступом.

Производительность RAID
Прежде чем рассматривать вопрос производительности RAID различного уровня, необходимо определиться с самим вопросом: «что такое производительность?» Нельзя подходить к вопросу о производительности RAID с теми же мерками, с которыми мы оцениваем производительность одиночного диска. Это связано, прежде всего, с областью применения RAID. Основное применение технология RAID нашла в серверах. Поэтому такие показатели как скорость записи или скорость чтения важны, конечно, но не отражают способность системы в целом (сервера) выполнять свою основную задачу – обслуживать одновременно большое количество клиентов. В реальных условиях система, в которой установлен RAID (сервер), формирует поток запросов к RAID на обслуживание. Принципы, положенные в основу построения RAID позволяют одновременно обслужить несколько таких запросов или быстрее освободиться (в RAID-3) для обслуживания очередного запроса. Тем не менее, при интенсивном потоке заявок на обслуживание, RAID может быть занят обслуживанием предыдущих запросов. В этом случае очередной запрос ожидает, когда RAID освободится. Таким образом, перегрузка RAID интенсивным потоком запросов приводит в первую очередь к увеличению времени обслуживания очередного запроса. Поэтому в качестве критерия производительности RAID принято измерять время ожидания обслуживания при определенной интенсивности потока запросов.

Рассмотрим, каким же образом принципы, заложенные в RAID различного уровня, влияют на время ожидания обслуживания.

Время ожидания обслуживания
RAID разного уровня, естественно, по-разному ведут себя при увеличении количества запросов. Это связано в первую очередь с соотношением размера блоков на дисках и размера записываемых (считываемых) данных. Давайте еще раз вернемся к данному вопросу. Для иллюстрации на рис. 4 приведено соотношение размера запросов и размера блоков для двух случаев: запись или чтение большого файла («длинный» запрос) и малого файла («короткий» запрос).
Изображение

Рис. 4. Соотношение длины запросов и размера логических блоков

Данный рисунок соответствует RAID уровня 3 или 4 (в зависимости от величины запроса на обслуживание), организованного на трех дисках.

«Длинный» запрос хорошо иллюстрирует особенности RAID уровня 3. Такой запрос разбивается на отдельные блоки. Половина этих блоков (в соответствии с рисунком) записывается на один диск, а половина на другой. Одновременно на третий диск записывается контрольная информация. Операция вычисления четности – это очень быстрая операция и легко реализуется аппаратно. Поэтому дополнительными временными задержками, связанными с вычислением избыточной операции, можно пренебречь. В итоге большой файл будет записан или считан в два раза быстрее (для системы из 3-х дисков, как на рис. 4) чем, если бы запись осуществлялась на одиночный диск. Однако любой другой запрос, поступивший в это время, будет ожидать обслуживания. Таким образом, при интенсивном потоке запросов время ожидания может быть весьма значительным.

«Короткий» запрос соответствует режиму работы RAID уровня 4 или 5. Если размер записываемого файла меньше чем размер логического блока, то такой файл, естественно, не может быть разбит на части. Он весь размещается на каком-либо одном диске. Поэтому и скорость записи должна была бы быть точно такой, как и при записи на одиночный диск. Однако контрольная информация, связанная с модифицируемым блоком, соответствует всему блоку, а не только той части, которая модифицируется. Поэтому реально, чтобы выполнить запись, необходимо вначале считать модифицируемый блок и контрольную сумму, затем вычислить новое значение контрольной суммы и только после этого записать модифицированный блок и новое значение контрольной суммы. Вместо операции записи в RAID-5 и -4 фактически осуществляется операция «чтение-модификация-запись». Таким образом, в RAID уровня 4 и 5 скорость записи практически вдвое хуже, чем при использовании одиночного диска. Это – самая большая проблема в RAID уровня 5, и производители RAID-контроллеров ведут интенсивные работы по ее преодолению. Однако наличие такой проблемы еще не говорит о том, что RAID уровня 5 обладает низкой производительностью или уступает по этому показателю RAID уровня 3. При чтении, RAID уровня 4 или 5 может одновременно обслужить несколько запросов, благодаря чему производительность RAID уровня 5 может оставаться высокой даже при весьма интенсивном потоке запросов на обслуживание. В RAID уровня 5 одновременно также может обслуживаться и несколько запросов на запись. Именно для этого контрольная информация размещается не на одном диске, а чередуется на всех. Поэтому, в целом, время ожидания обслуживания при интенсивном потоке малых запросов в RAID уровня 5 оказывается лучше, чем, например, в RAID уровня 3.

Типичная зависимость времени обслуживания запросов малого размера (в потоке – 25% запросов на запись) для RAID различных уровней приведена на рис. 5. Заметим, что условия измерения близки к реальным условиям в системе с централизованной базой данных Клиент-Серверной технологии.
Изображение

Рис. 5. Типичная зависимость времени обслуживания запросов от интенсивности запросов

Формы кривых для RAID различного уровня хорошо объясняют поведение системы с RAID в реальных условиях.

RAID-0+1 обеспечивает минимальное время обслуживания при гораздо более интенсивном потоке запросов, чем все остальные уровни RAID. Более того, увеличение времени обслуживания при увеличении интенсивности потока запросов происходит достаточно плавно, благодаря чему уменьшение производительности почти незаметно для большинства пользователей.

Несколько худшими характеристиками обладает система, использующая RAID-1. При увеличении интенсивности запросов увеличение времени обслуживания практически пропорционально числу запросов (примерно эквивалентно количеству подключенных к системе пользователей). Плавное снижение производительности очень хорошо воспринимается пользователями.

В большинстве случаев именно RAID уровня 1 или уровня 0+1 обеспечивают наилучшую производительность в реальных системах.

RAID уровня 3 обеспечивает очень высокую производительность при редких запросах, но при увеличении интенсивности запросов увеличение времени обслуживания происходит очень быстро. Это не позволяет рекомендовать RAID уровня 3 в серверах, и особенно в серверах, предназначенных для обслуживания баз данных.

RAID уровня 5 занимает промежуточное положение.

Несколько по-другому ведут себя RAID-ы при обслуживании больших запросов (интенсивный обмен длинными файлами). Для таких приложений RAID-3 показывает ощутимо лучшую производительность, чем RAID-5. Возможности RAID-0 несколько скромнее, однако лучше, чем у RAID-3 и RAID-5. Эти условия оказываются очень трудными для RAID-1. По времени обслуживания длинных запросов RAID-1 значительно уступает всем другим вариантам RAID. По-прежнему лидирующим оказывается RAID-0+1.

Затраты и целесообразность
RAID различного уровня для своей организации требуют также и различных аппаратных затрат. Предположим, если необходима дисковая система емкостью 36 ГБ, то можно, например, использовать 4 диска по 9 ГБ каждый. Однако с учетом дисков, необходимых для размещения избыточной информации, потребуется установить больше дисков (см. рис. 6).
Изображение

Рис. 6. Количество дисков в системах с RAID разного уровня
Приведенное выше сравнение показывает наиболее целесообразные области применения RAID различного уровня. В серверах начального уровня, когда на первый план выдвигается вопрос стоимости, целесообразно применять RAID уровня 1 (требуется только один дополнительный диск, зеркальный с основным). В серверах, для которых основным требованием является высокая производительность, лучшим решением будет RAID уровня 0+1. В большинстве же других случаев RAID уровня 5 обеспечивает достаточно высокую производительность при умеренных затратах. RAID уровня 3 целесообразно применять только в специальных серверах, предназначенных для хранения больших файлов (графика, видео и т.п.). Но и в этом случае RAID уровня 0+1 обеспечит лучшую производительность.

В целом, качественное соотношение характеристик различного уровня может быть проиллюстрировано рис. 7.
Изображение

Рис. 7. Качественное соотношение характеристик RAID различного уровня

Реальные RAID системы
Существует несколько компаний, которые производят RAID-системы в виде готового изделия. Это, например, Digital, Hitachi и др. Однако стоимость этих изделий не позволяет им оказать сколько-нибудь заметное влияние на украинский рынок. В подавляющем большинстве случаев для организации RAID используется PCI-to-SCSI RAID-контроллер и несколько SCSI-дисков, которые устанавливаются в сервер отечественными производителями серверов, а иногда даже и самостоятельно. Самой большой популярностью на украинском рынке пользуются RAID-контроллеры фирм Mylex и AMI, хорошо известны также DPT и Adaptec. В конструкции современных RAID-контроллеров этих фирм (за исключением, правда, Adaptec) применяются самые последние достижения в области устройств хранения информации и устройств ввода-вывода.

Наиболее распространенными в бывшем СНГ являются контроллеры:

Mylex: AcceleRAID 150, 200 и 250;
AMI: MegaRAID 762, 466, 428 и 438;
DPT: Decade и Century.
Все эти контроллеры построены с использованием технологии I2O. Это означает, что в составе каждого контроллера есть специализированный процессор ввода-вывода Intel i960. В рамках данной статьи вряд ли целесообразно вдаваться в суть технологии I2O. Отметим только, что она позволяет добиться значительного повышения производительности дисковой системы даже без учета возможностей технологии RAID. Так, в частности, на рис. 8 приведены результаты испытания нескольких контроллеров, причем к контроллеру подключался только одиночный диск.
Изображение

Рис. 8. Результаты испытания контроллеров с использованием технологии I2O

Время ожидания обслуживания для 100 потоков запросов снижается более чем в 2 раза только за счет применения технологии I2O.

Кроме этого, все эти контроллеры имеют встроенную кэш довольно большого объема, что также способствует повышению производительности системы. Кэш используется как при записи, так и при чтении. Более того, алгоритмы кэширования постоянно совершенствуются. Так, в частности, в контроллерах DPT применяется так называемая «виртуальная кэш». Часть памяти отводится не для хранения данных, а для хранения адресов этих данных. Как правило, в реальных условиях одни и те же данные требуются в одной и той же последовательности. Поэтому, при поступлении запроса на чтение первой порции данных, контроллер в состоянии предсказать какие данные будут запрошены в дальнейшем и заранее сосчитать эти данные с дисков в свою кэш.

Указанные выше контроллеры имеют приемлемую даже для серверов начального уровня цену, но обладают при этом уникальной производительностью. На рис. 9 приведены результаты измерения производительности системы с контроллером Mylex AcceleRAID 250 и 4 U2 SCSI-дисками для одного и ста потоков заявок.
Изображение

Рис. 9. Производительность системы с контроллером Mylex AcceleRAID 250:
а) для одного потока заявок; б) для ста потоков заявок

Внимательный читатель, конечно же сравнил результаты, приведенные на рис. 5 и рис. 9. Результаты на рис. 5 кажутся более привлекательными. Но на рис. 5 приведены данные из работ Digital Equipment Corporation (Peter McLean "An Introduction to RAID Redundant Arrays of Inexpensive Disks", апрель 1991). В то время, конечно, еще не было приборов, поддерживающих технологию I2O. Но ведь это Digital Equipment! Более того, в этой установке подключалось большое количество дисков. Данные же на рис. 9 получены с использованием серийного, широко распространенного контроллера для серверов начального уровня и только с 4 жесткими дисками.

Некоторые другие контроллеры, например, фирмы Adaptec, используют программную реализацию RAID. Практически всеми вопросами организации RAID и операциями ввода-вывода в таком контроллере занят центральный процессор компьютера. Это, конечно, не позволяет достичь высокой производительности. Однако и стоят такие контроллеры значительно дешевле.

Более подробную информацию о конкретных моделях RAID-контроллеров можно найти на сайтах производителей этих контроллеров. Кроме приведенных выше ссылок на сайты ведущих производителей контроллеров, могу привести (не претендуя на полноту списка) ссылки еще на ряд известных производителей: ASUStek, Digi-Data, Domex, ICP Vortex, IFT (Infortrend), Promise.
По информации сайта ЕПОС
Инфа с сайта pc-zone.net

#2 PaulV

PaulV

    Иногда нажимаю на красную кнопку (Reset)

  • Читатели
  • PipPipPipPip
  • 106 Сообщений:

Отправлено 28 Apr 2005 - 23:34

Статья интересная, хотя довольно старая. Конечно, основные принципы не изменились, но кое-какие данные несколько устарели. Я обратил внимание, что при рассмотрении вопроса производительности акцент делается на требовании "...обслуживать одновременно большое количество клиентов." Вполне справедливо для серверных приложений, а вот как для видеомонтажа и т.п.? Не является ли здесь все же более важным вопрос о эффективной скорости обмена данными с диском? Можно, конечно, рассматривать некоторое многопоточное приложение как большое количество клиентов, ставящих одновременно много запросов в/в, но какие это приложения в реальности? С другой стороны, неоднократно встречал на форуме утверждения, что для real-time работы при монтаже с использованием многих слоев и несжатого видео без RAID не обойтись. Форумчане, кто имеет опыт в этом плане - выскажитесь! Может, кто подскажет, как количественно оценить загрузку системы по параметрам "байты в/в в секунду" и "запросы в/в в секунду"? В Win98 есть такая программка System Monitor, а что есть в Win XP?

#3 Aley

Aley

    Есть камера, комп, а где поля ?

  • Писатели
  • PipPipPipPip
  • 100 Сообщений:

Отправлено 29 Apr 2005 - 05:22

На шину PCI- 33 MHz/32-bit устанавливать RAID-контроллер с современными быстрыми EIDE или SATA дисками бессмысленно.
Из-за низкой пропускной способности шины.
Лучше работать с одиночными дисками.

#4 Gradov_Georg

Gradov_Georg

    штатный злобный буратино форума

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 7808 Сообщений:

Отправлено 29 Apr 2005 - 10:38

в ХР == адиминистрирование == производительность.

БЫСТРЫЕ ЭТО 10000-15000? или 7200?

у меня все RAID отдают более стабильные потоки, чем одиночные диски (7200 Вестерны, Сигейты, Самсунги 200Г). что ОСОБЕННО принципиально после заполнения на две трети объема.
работа с одиночным винтом в последней четверти вообще вызывает зубовный скрежет == поэтому на винтах для внешних карманов USB/1394 -- отсечены разделы "для мусора".

Практика. Что же касается машин-файлсерверов-- на которые одновременно пишется и читается -- то там и подавно одиночки не справляются.

#5 PaulV

PaulV

    Иногда нажимаю на красную кнопку (Reset)

  • Читатели
  • PipPipPipPip
  • 106 Сообщений:

Отправлено 29 Apr 2005 - 15:53

На шину PCI- 33 MHz/32-bit устанавливать RAID-контроллер с современными быстрыми EIDE или SATA дисками бессмысленно.
Из-за низкой пропускной способности шины.
Лучше работать с одиночными дисками.

Просмотр сообщения

Теоретически пропускная способность PCI- 33 MHz/32-bit шины составляет 132 Мб/с, что, конечно, меньше, чем теоретическое значение для UDMA133 или SATA150. Однако и диск, подключенный к UDMA133 (и поддерживающий такой интерфейс!) у меня в тестах не давал выше прибл. 50 Мб/с. А вот выигрыш, например, в RAID0 за счет распараллеливания запросов к двум (трем и т.д.) дискам и теоретически в 2 раза меньшего количества позиционирований головок можно ожидать. Но это все теория, а хотелось бы практических результатов/советов (как у Gradov_Georg)...

#6 Aley

Aley

    Есть камера, комп, а где поля ?

  • Писатели
  • PipPipPipPip
  • 100 Сообщений:

Отправлено 04 May 2005 - 07:31

В двух словах:

"Vegas-5", проект с 3-я видеофайлами-multikam.
HDD - "Maxtor"- 80GB, 7200 ob/min.
Захотелось быстрее.
Поставил плату: PCI-32 бит/33 МГц контроллер:АТА-100, и к ней
подключил как мастер, 2 одинаковых HDD "Maxtor" - 80GB, 7200 об/мин...
в конфигурации RAID0. Опять оцифровал те же самые три файла и...
И стало еще хуже. Особенно звук стал заикаться..

Так,как мат. плата была с 4-я слотами PCI-64 bit/33Mhz,
то пришлось 32-битные контроллеры заменить на 64-битные,
а точнее:
а) ACARD 6885 RAID контроллер,
б) Firewire 800,
в) LAN 1Gbit..
больше 64-битных плат не нашел.
Сейчас вроде все нормально.

Быстродействие переферии проверить легко.
Создайте файл размером 1-1,5 GB и скопируйте его с одного
диска на другой. Заметьте время, затем разделите первое число
на второе, вот и получите РЕАЛЬНУЮ скорость записи/чтения.

Шина PCI 32bit/33MHz не позволяет передавать за один такт
и данные и адрес. А если учесть, что на этой шине еще и
несколько одновременно работающих устройств "висит"...
132 MB/sec получается от перемножения байтов на мегагерцы...
А реальная пропускная способность этой шины, наверное,
раза в 3 меньше...

Сообщение отредактировано Aley: 04 May 2005 - 07:39


#7 Gradov_Georg

Gradov_Georg

    штатный злобный буратино форума

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 7808 Сообщений:

Отправлено 04 May 2005 - 09:13

Особенно звук стал заикаться..p

Анонимный рейдконтролер... На анонимной материнской плате.

Я то знаю его название и название материнской платы на которой он так работает, но приличные люди ИХ ПИШУТ ЯВНО.

Данная проблема -- в драйверах, недавно коллега из аудиобизнеса разбирался с ней = напишите в в тех поддержку и получите письмо с извинениями и СТАРОЕ ядро минипорта для которое обеспечивает НОРМАЛЬНУЮ ЭТОГО КОНТРОЛЛЕРА НА ЭТОЙ МАТЕРИНСКОЙ ПЛАТЕ.

В приведеном случае явная безграмотность по железу/драйверам и соотвествующие далеко идущие выводы.

Если не ошибаюсь текущие ядро 42, а РАБОТАЮЩЕЕ 23, но могу и ошибится тк подобный случай ЕДИНИЧНЫЙ в кругу моих знакомых

Сообщение отредактировано Gradov_Georg: 04 May 2005 - 09:16


#8 Aley

Aley

    Есть камера, комп, а где поля ?

  • Писатели
  • PipPipPipPip
  • 100 Сообщений:

Отправлено 04 May 2005 - 13:31

Почему "анонимный"?
Мат. плата "Tyan" S2460"
Процессоры: "Athlon 2400 MP" - 2 .
32-бит контроллер: "Silicon Image"...
Да об этом уже писалось на форуме, около года назад...
http://forum.videoed...topic=15304&hl=
http://forum.videoed...topic=13270&hl=

#9 Virs

Virs

    Широкопрофильный гуру по NLE

  • Без доступа
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 10804 Сообщений:

Отправлено 04 May 2005 - 14:39

Aley
Это твой частный случай,у меня с рейдом от Промайс стал работать некомпрес в РТ.Атлоновские мамки всегда страдали нелюбовью к хардам и всем,что с ними связано,так что не делай глобальных выводов!

#10 Gradov_Georg

Gradov_Georg

    штатный злобный буратино форума

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 7808 Сообщений:

Отправлено 04 May 2005 - 16:09

Aley

ПОЧЕМУ АНОНИМНЫЙ == Silicon Image == это прозводитель ЧИПОВ, а не марка контроллера.
Так что контроллер по прежнему анонимный.

На вскидку могу вспомнить (не без помощи гугля) 680 и 649 чипы которые отличались между собой, НО ОБА НИКОГДА НЕ ПОПАДАЛИ ДАЖЕ В ОПИСАТЕЛЬНЫЕ ТЕСТЫ... кажется их цена за 30 долларов не выходила...

тогда как приличный промис стоил от 60...

#11 PaulV

PaulV

    Иногда нажимаю на красную кнопку (Reset)

  • Читатели
  • PipPipPipPip
  • 106 Сообщений:

Отправлено 04 May 2005 - 22:23

А вот такой вопрос. Чипсеты (например, NVidia4) и HDD, поддерживающие SATA-2, какую могут дать (или дают, если кто уже пробовал) скорость обмена?

#12 SLoNiCK

SLoNiCK

    А что такое камера, NLE?

  • Участники
  • Pip
  • 18 Сообщений:

Отправлено 05 May 2005 - 11:02

Aley

Дык, это ж широко известная в узких кругах проблема аымдэшнаго чипа 762 - там обычная PCI-шина реализована как-то коряво. Как результат - ПС шины максимум в 25-30Мбайт/сек вместо легко достижимых 60-70 на обычных десктопных мамках. На 2cpu народ тоже рейды ставил, мерял скорость и сильно удивлялся... Хитрой игрой с таймингами PCI вроде можно было добиться некоторого улучшения, но небольшого. Увы и ах, единственный выход - пользовать контроллеры под 64бит PCI. Ну, или платформу менять.

PaulV
Чипсеты (например, NVidia4) и HDD, поддерживающие SATA-2, какую могут дать (или дают, если кто уже пробовал) скорость обмена?

Да ничего они не дают. Если исключить клинические случаи, подобные упомянотому выше, то скорость обмена между обычными семитысячниками, буде они даже в два raid0 по 2 диска зацеплены и по обычной PCI случаемы, ограничена непосредственно приводами, а не интерфейсом или шиной. И уж тем более все упрется в винты, если контроллер нормально интегрирован в чипсет. SATA-2 - просто задел на будущее, ну может на паттернах баз данных при поддержке винтами NCQ он и покажет какой-то выйгрыш по сравнению со стареньким ATA100-винтом с такой же емкостью и кол-вом пластин, а в задачах видеомонтажа - вряд ли.

Для интеловской платформы on-chip рейды научились работать и в raid5, но как-то не очень. Вот тут тесты есть:
http://www.fcenter.r...herboards/12819
На реальных задачах скорость ниже плинтуса. Да и линейная скорость записи просто провальна.

А так, по жизни с рейдами... Для новостных материалов и кина без накрученных эффектов наиболее эффективным решением является размешение исходников на одном накопителе (или рейде), а конечного файла - на другом, чтобы добится максимально линейных чтения и записи данных.

Для хитрого композитинга лучше использовать рейд, причем с умным контроллером и приличным кешем. Обычный винт отдаст где-то 3 потока DV, десятитысячник или страйп из двух винтов на интегрированом в мать контроллере - 4. Одновременная запись результата на тот же носитель "кушает" полтора-два DV-потока.

#13 Aley

Aley

    Есть камера, комп, а где поля ?

  • Писатели
  • PipPipPipPip
  • 100 Сообщений:

Отправлено 06 May 2005 - 05:00

Aley

Дык, это ж широко известная в узких кругах проблема аымдэшнаго чипа 762 - там обычная PCI-шина реализована как-то коряво. Как результат - ПС шины максимум в 25-30Мбайт/сек вместо легко достижимых 60-70 на обычных десктопных мамках. На 2cpu народ тоже рейды ставил, мерял скорость и сильно удивлялся... Хитрой игрой с таймингами PCI вроде можно было добиться некоторого улучшения, но небольшого. Увы и ах, единственный выход - пользовать контроллеры под 64бит PCI. Ну, или платформу менять...


В этой мат. плате шина PCI-64-bita/33 MHz - 4 слота, подключена к северному
мосту: AMD-762, а PCI-32-bita/33 Mhz -2 слота - к южному - AMD-766.
Как только я поставил на 64-битную шину 64-битные контроллеры, один из
которых: RAID ACARD-6885, к которому подключены 2 "Maxtor"a
со скоростью вращения 7200 об/мин, у меня все проблемы исчезли.
До этого все контроллеры стояли 32-битные.

Шина PCI-32/33 была "придумана" в начале 90-х...
Был у меня тогда компутер: процессор -Cyrix 120Mhz(486 серия),
мат. плата: 2 слота VLB, 2-3 слота PCI и несколько слотов ISA...
За это время все изменилось: процессоры, память, диски, появилась
AGP шина, а PCI-32/33 все еще "живее всех живых"...
Кстати, 132МБ/сек на шине PCI можно получить только в пакетном режиме...

Все платы, которые работают с некомпрессом, рассчитаны или на 64-бит/33 Мгц
шину или на 32-бит/66 Мгц, или даже лучше...

Полезно прочитать:

http://www.aten.ru/a...view.php?idx=33

"...Поэтому 32-разрядная реализация шины PCI с тактовой частотой 33 МГц имеет пиковую скорость немонопольной передачи около 66 Мбайт/с (два шинных цикла для передачи 4 байт) и пиковую скорость монопольной передачи около 132 Мбайт/с (после завершения адресного цикла). Однако длина этих пакетов обычно ограничивается 4 длинными словами (каждый из которых составляет 4 байта), т.е. в сумме 16 байт. После этого запрашивающее устройство должно подать запрос на обслуживание и снова получить управление над шиной (и выполнить адресный цикл). Следовательно, 32-разрядная шина PCI характеризуется скоростью передачи непрерывного пакета, равной 80 Мбайт/с, которой достаточно для обработки 24-битового цвета со скоростью 30 кадров в секунду (полноцветного видео кинематографического качества)."

http://hardvision.ru...=mb_technology1

"...Использование шины PCI для связи Северного и Южного мостов довольно часто провоцирует простои, т.к. шина PCI - все еще 32-битная шина, работающая на 33 МГц. Теоретически, шина PCI способна передавать данные с пропускной способностью 133 Мб/сек. Но это пиковая пропускная способность, реальное же ее значение - около 40 Мб/сек. В последнее время периферийные устройства значительно ускорили свою работу. К примеру, стандартный жесткий диск теоретически способен передавать данные со скоростью 100 Мб/сек."

http://www.bytemag.r...cle.asp?ID=2862

"...С распространением в системах потребительского класса RAID-массивов, Gigabit Ethernet и других высокоскоростных устройств даже пропускной способности PCI (133 Мбайт/с) перестало хватать для одновременной работы всех устройств. Шина ввода-вывода снова стала узким местом вычислительной системы."

Сообщение отредактировано Aley: 06 May 2005 - 05:38


#14 SLoNiCK

SLoNiCK

    А что такое камера, NLE?

  • Участники
  • Pip
  • 18 Сообщений:

Отправлено 06 May 2005 - 19:08

Aley

Вы это все к своему тезису
На шину PCI- 33 MHz/32-bit устанавливать RAID-контроллер с современными быстрыми EIDE или SATA дисками бессмысленно.
?

Я бы не высказывался столь категорично. Скажем, для рейдов с ПС менее 70Мбайт/сек обычной PCI-шины достаточно. Также ее хватит при интенсивном параллельном обмене (большом кол-ве одновременных операций с дисками). То, с чем столкнулись Вы, все же является проблемой прежде всего плохой реализации шины PCI на платформе 760MP/MPX. На www.2cpu.com в форумах все подробно обглодано (можно воспользоваться поиском, задав в параметрах что-то вроде "MPX pci speed"). Почему производители плат, работающих с некомпрессом, делают их под PCI 64/33-66? Ну, тут действительно затык по шине, если плата "нелинейная, реалтаймовая", то имеем 2х20Мбайт на вход, 20 Мбайт на выход в секунду и каждый чих, например той же звуковухи, не говоря о рейде, вызовет сообщение "PCI bus busy"... Но если работа идет с DV-материалом, то система гораздо раньше выберет возможности рейда по кол-ву воспроизводимых потоков, чем ПС PCI.

#15 PaulV

PaulV

    Иногда нажимаю на красную кнопку (Reset)

  • Читатели
  • PipPipPipPip
  • 106 Сообщений:

Отправлено 06 May 2005 - 19:19

PaulV
Чипсеты (например, NVidia4) и HDD, поддерживающие SATA-2, какую могут дать (или дают, если кто уже пробовал) скорость обмена?

Да ничего они не дают. Если исключить клинические случаи, подобные упомянотому выше, то скорость обмена между обычными семитысячниками, буде они даже в два raid0 по 2 диска зацеплены и по обычной PCI случаемы, ограничена непосредственно приводами, а не интерфейсом или шиной. И уж тем более все упрется в винты, если контроллер нормально интегрирован в чипсет. SATA-2 - просто задел на будущее, ну может на паттернах баз данных при поддержке винтами NCQ он и покажет какой-то выйгрыш по сравнению со стареньким ATA100-винтом с такой же емкостью и кол-вом пластин, а в задачах видеомонтажа - вряд ли.

Для хитрого композитинга лучше использовать рейд, причем с умным контроллером и приличным кешем.

Просмотр сообщения

Так вроде бы уже продаются накопители, поддерживающие интерфейс SATA-2. Кстати, используемые в указанном выше тесте WD740GD поддерживают только SATA, производитель дает такие параметры: скорость передачи между буфером и контроллером - 1200 Мбит/с (т.е. скорость SATA-интерфейса), между буфером и диском - 72 Мбайт/с - только половина того, что может SATA :( Я посмотрел, что предлагают другие производители: Hitachi - 757 Мбит/с, Seagate - 760 Мбит/с, Samsung - 840 Мбит/с - это все для SATA-накопителей. Для своих SATA-2 Samsung указывает TBD (To Be Determined), но не думаю, что будет хуже, чем для SATA. В любом случае, скорость обмена с диском явно ниже, чем обмена буфера с контроллером. Кстати, "остаток" пропускной способности канала может быть использован для передачи команд контроллеру. Т.е. тезис ограничения скорости обмена накопителем вроде бы подтверждается, но... В ЛЮБОМ СЛУЧАЕ, скорости обмена, указанные производителями, достигаются в упомянутом тесте только при измерении линейной скорости операций в/в и, в какой-то степени, файлового копирования, что дает основание предполагать: а) скорость обмена отнюдь не всегда ограничивается непосредственно приводами; б) поддержка NCQ, что является неотъемлемой частью SATA-2, может все же дать повышение средней скорости обмена в более сложных случаях ("одновременное" чтение/запись множества файлов). Кстати, на какую шину надо посадить умный RAID-контроллер? Ведь шина PCI может оказаться занята не только обслуживанием обмена с HDD. И как рассчитать объем приличного кэша?


Обычный винт отдаст где-то 3 потока DV, десятитысячник или страйп из двух винтов на интегрированом в мать контроллере - 4. Одновременная запись результата на тот же носитель "кушает" полтора-два DV-потока.

Один DV-поток - это, если я не ошибаюсь, около 3.6 Мбайт/с. Неужели современный обычный винт отдаст только порядка 11-12 Мбайт/с ?

#16 SLoNiCK

SLoNiCK

    А что такое камера, NLE?

  • Участники
  • Pip
  • 18 Сообщений:

Отправлено 06 May 2005 - 22:40

PaulV
Так вроде бы уже продаются накопители, поддерживающие интерфейс SATA-2.
Эээээх... Но ведь это совершенно не означает, что они _реально могут до упора на _реальных задачах загрузить этот интерфейс! Не смотрите на скорость обмена данными кэша и контроллера, это _очень теоретические цифры, реальной пользы в 99% задач не имеющие. Реальная работа диска - это прежде всего механика. Сперва ждем, пока привод расположит головку над нужной дорожкой на диске, затем ждем поворота нужного сектора под эту головку и считываем его. Если идет последовательное чтение, то происходит считывание следующих секторов, затем переход на соседнюю дорожку и т.д. В этом случае скорость считывания зависит от скорости "пролета" секторов под считывающей головкой. Роль механики - минимальна. Т.к. угловая скорость вращения и геометрические размеры дисков одинаковы, логично предположить, что чем больше плотность записи информации, тем выше линейная скорость чтения. И действительно :) у современных монстров на 300-400 гиг она больше, чем у старенького 80-ка, и подбирается к 65Мбайт/сек у наружной кромки диска, но падает до 30Мбайт/сек у внутренней. У рапторов хотя и меньшая плотность записи, но бОльшая угловая скорость вращения, что позволяет им показывать схожие скорости _линейного чтения. В raid0 линейная скорость чтения растет практически линейно :) и в массиве из двух самых быстрых ширпотребных дисков она сверху чуть прижимается ПС обычной PCI. Для записи все вышеизложенное приблизительно тоже верно.

Самое веселое начинается, когда к винту идут запросы на чтение и запись произвольных случайных блоков. Среднее время позиционирования головки из одного произвольного положения в другое у современных винтов ~1 сотой доли секунды. Если чтение идет блоками по 64КБ, то результирующая скорость будет, теоретически, 6,5Мбайт/сек :D На самом деле, конечно, все немного лучше за счет кэш-памяти винта, но не сильно. Лучше ситуация у десятитысячников из-за меньшего времени поворота диска и более быстрой механики (меньше плотность записи - больше допуски по позиционированию головки) Вне конкуренции - сказевые 15000RPM. Рейды эту ситуация не сильно исправляют. Скажем эмпирически и грубо, увеличение кол-ва дисков в raid0 вдвое увеличивает ПС на случайных обращениях процентов на 30. Несколько сгладить ситуацию может технология NCQ. Эт когда на контроллер в винте передается не один запрос на чтение/заись какого-то сектора, а очередь запросов, внутри которой контроллер вправе менять порядок выполнения этих запросов, наиболее эффективно работая механикой. Есть эта штука в SCSI и SATA. Помимо поддержки в контроллере интерфейса эту технологию, естественно, должен поддерживать и контроллер винчестера. Реально это наблюдается в рапторах и некоторых старших сигейтах. Подавляющее же большинство современных SATA-винтов - обычные PATA винты (и по механике, и по электронике) + "конвертер интерфейса" PATA<->SATA.

Все вышенаписанное написано очень приблизительно и на пальцах. Для понимания того, какую дисковую подсистему надо для монтажки, рекомендуетсч прикинуть кол-во и объем потоков, которые будут на ней гонятся, затем зайти на какой-нить крупный хардверный сайт и внимательно, вдумчиво почитать тесты винтов, вникая в смысл подтестов и пытаясь представить, насколько они моделируют вашу ситуацию...

Фуууу, ну и телегу написал :)

#17 PaulV

PaulV

    Иногда нажимаю на красную кнопку (Reset)

  • Читатели
  • PipPipPipPip
  • 106 Сообщений:

Отправлено 10 May 2005 - 14:57

Результаты теста контролера Promise FastTrak TX4200 (PCI32/66МГц) на fcenter.ru. Режим NCQ, правда, не тестировался. В общем, тезис об ограничении производительности RAID пропускной способностью шины подтверждается. Не знаю, насколько умным может считаться этот контроллер, но, как говориться, против лома (против шины PCI32/66)...

Там же еще один тест, другой контроллер: Talon ZL 4-150 от Pacific Digital .

И, наконец, тест контроллера с интерфейсом PCI-X 133 MHz: SiI3124 SATALink™ 4-Port PCI-X Host Controller от Silicon Image. Наверное, на таких контроллерах надо бы тестировать, что на самом деле могут реальные накопители с поддержкой SATA2. И их (контроллеры) сравнивать с тем, что позволяют получить встроенные в чипсет/на материнскую плату RAID-контроллеры...

Сообщение отредактировано PaulV: 10 May 2005 - 15:57


#18 Listt

Listt

    Любитель почитать.

  • Писатели
  • PipPipPipPipPipPip
  • 610 Сообщений:

Отправлено 18 May 2005 - 01:55

Вот еще статейка о возможной проблеме с дисками на RAID
http://www.spline.ru...ems/HDDForRAID/

Сообщение отредактировано Listt: 18 May 2005 - 01:56


#19 Kursh

Kursh

    Широкопрофильный гуру по NLE

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2978 Сообщений:
  • место работы:

Отправлено 16 Aug 2005 - 07:02

Парни! А если конкретный вариант: 2 х HDD SATA 200Gb Maxtor DiamondMax 10 <6L200M0> (7200rpm, 8Mb cache, вр. доступа 9.3ms, поддержка NCQ) в Страйпе (0) на встроенном контролере мамки Абит AV8 3rd? Даст что-то в производительности как при работе с видео, так и в производительности системы в целом?
Мне пора винты менять по срокам - думаю, что делать. ;) Посоветуйте. :)

Сообщение отредактировано Kursh: 16 Aug 2005 - 07:03


#20 andrews

andrews

    Ремесленник

  • Писатели
  • PipPipPipPip
  • 189 Сообщений:

Отправлено 16 Aug 2005 - 08:21

Изображение
Результаты двух моих Sata Samsung 160Gb в Raid0 на nforce3 чипсете Epox8kda3+ (Raid заполнен на 80 процентов)
Результаты винтов с NCQ должны быть поболее...
P.S. в четверг смогу запостить скорость двух SATA-II винтов самсунга 250Gb тоже в raid0, но на материнке i845G, жду когда двухъядерник под нее привезут:)

Сообщение отредактировано andrews: 16 Aug 2005 - 08:23


#21 Kursh

Kursh

    Широкопрофильный гуру по NLE

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2978 Сообщений:
  • место работы:

Отправлено 16 Aug 2005 - 14:28

АЛЛ! Пришла пора менять парк винтов дома - и разных их 5 штук и давно оне трудятся... Задумался над SATA RAID 0 - поскольку на мамке Abit AV8 3rd есть SATA RAID 150. Винты мне по душе 2 х HDD SATA 200Gb Maxtor DiamondMax 10 <6L200M0> (7200rpm, 8Mb cache, вр. доступа 9.3ms, поддержка NCQ, уровень шума 27/35дБ, 24 м.г.) поскольку IDE-ный такой же Макстор есть больше года и трудится исправно и шустрее остальных.

Чего скажете в сторону дружеского совета? :)

#22 trh

trh

    Подержал камеру в руках

  • Участники
  • PipPip
  • 48 Сообщений:

Отправлено 16 Aug 2005 - 17:40

У меня на одном
2х250 Seagate Barracuda 7200.8 (ST3250823AS) 8mb cashe, 8ms
На втором
3х120 Seagate Barracuda 7200.7 (ST3120026AS) 8mb cashe, 8,5ms
Никаких претензий кроме одной - ну очень сильно греются. Пришлось дополнительные вентиляторы ставить.

#23 Dimuskr

Dimuskr

    Дал камеру подержать другу

  • Писатели
  • PipPipPipPipPip
  • 290 Сообщений:
  • место работы:

Отправлено 16 Aug 2005 - 17:52

У меня 2х400 Gb 7200rpm 8Mb cache Seagate Barracuda 7200.8 ST3400832AS NCQ
Претензий нет (тьфу, тьфу, тьфу)
Дополнительный карлсон на корзине стоит тоже...

#24 Azat

Azat

    +

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5210 Сообщений:

Отправлено 16 Aug 2005 - 18:11

А попутный вопрос.
Какой лучше сделать диск из RAID-а, базовый или динамический?

#25 Frippy

Frippy

    Широкопрофильный гуру по NLE

  • Активные Участники
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 3949 Сообщений:

Отправлено 16 Aug 2005 - 19:13

Лучше сделать аппаратными средствами, но!
программыные будут где угодно опознаваться (от w2k до wV)

#26 Azat

Azat

    +

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5210 Сообщений:

Отправлено 16 Aug 2005 - 20:08

Лучше сделать аппаратными средствами

А можно поподробнее об этом?

#27 Edouard

Edouard

    Подержал камеру в руках

  • Участники
  • PipPip
  • 28 Сообщений:

Отправлено 17 Aug 2005 - 06:20

У меня на Гигабайте 8IPE1000 Pro3 аппаратно создан рейд - 2х160 максторы САТА - очень доволен.

#28 Azat

Azat

    +

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5210 Сообщений:

Отправлено 17 Aug 2005 - 07:00

Еще раз. Что значит аппаратно?

#29 422digital

422digital

    Научил друга включать камеру

  • Писатели
  • PipPipPipPipPipPip
  • 484 Сообщений:

Отправлено 17 Aug 2005 - 07:45

Еще раз. Что значит аппаратно?

Просмотр сообщения

Наверно когда стоит RAID железка, либо встроена в мат. плату, тогда система видит набор дисков как один, и его надо отконвертировать в динамический.

#30 PavelBuilder

PavelBuilder

    ...

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5853 Сообщений:

Отправлено 17 Aug 2005 - 08:21

Еще раз. Что значит аппаратно?


Как тут многие замечают должна быть железка- контроллер, но не многие знают (или не говорят) что это не совсем верное утверждение, поскольку многие железные рейды на самм деле софтовые, разница лишь в том что сама программа зашита в памяти на плате контроллера, а процессор компа выполняет эту программу, истинная аппаратная поддержка как правило означает наличие на борту контроллера собственного процессора, для обслуживания ввода вывода (какой нибудь интел камень предыдуших поколений) и наличие собственной набортной памяти для кеширования.
Так что абсолютно правы высказывания некоторых, что софтовый виндовый рейд ничем не уступает аппаратному :) просто при этом не говорится что аппаратный как таковой таковым не является :lol:


Kursh, прочти вот тут _http://www.spline.ru/information/reviews/StorageSystems/HDDForRAID/
и подумай, может все таки WD RAID Edition возьмешь?
Тут все хвалялся, что все хорошо, но может быть и плохо в некоторых, может быть кому то покажется и редких случаях, но достаточно одного такого случая, чтобы убить весь массив, а купив "специальную редакцию" винтов ты имеешь большой плюс и отсутствие вышеобозначенной проблемы.

Сообщение отредактировано PavelBuilder: 17 Aug 2005 - 08:31


#31 Edouard

Edouard

    Подержал камеру в руках

  • Участники
  • PipPip
  • 28 Сообщений:

Отправлено 17 Aug 2005 - 15:06

Еще раз. Что значит аппаратно?

Просмотр сообщения


Значит через биос материнки объединяю диски в рейд и винда сразу видит его как один диск.

#32 Azat

Azat

    +

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5210 Сообщений:

Отправлено 17 Aug 2005 - 15:18

Всё понятно, спасибо.

#33 Kursh

Kursh

    Широкопрофильный гуру по NLE

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2978 Сообщений:
  • место работы:

Отправлено 18 Aug 2005 - 07:15

подумай, может все таки WD RAID Edition возьмешь?

Спасибо, PavelBuilder, на сплайне был, читал и думал... Насчет Вестернов, все рекомендуют

HDD SATA 200Gb Western Digital 2000JS (SATA-II, 7200rpm, 8Mb cache, серия WD Caviar 7200 SE, время доступа 8.9/10.9 ms (чтение/запись), поддержка NCQ, скорость до 61Mbps, FDB-подшипник, 26-31 дБ, 24 м.г.)

- но! Есть ньюанс: на моей нынешней мамке на VIA K8T800 нет поддержки SATAII, и есть, говорят, некоторые траблы по поводу совместимости южного моста с рейдами на данных винтах. Еще с NCQ непонятность - работает или нет... Вопрос - менять мамку на nForce 4? Или что?! ;) :unsure: Я в раздумьях...

Сообщение отредактировано Kursh: 18 Aug 2005 - 07:19


#34 Davis

Davis

    просто Davis

  • Писатели
  • PipPipPipPipPipPipPip
  • 888 Сообщений:

Отправлено 19 Aug 2005 - 19:59

А тебе дорога информация, которая будет на этих винтах?
Может тогда 4 винта и RAID 1+0?
Причем контроллер аппаратный купить.
И не будет вопросов о совместимости.

P.S. Ну по кр. мере меньше должно быть :)

#35 RACER

RACER

    Есть камера, комп, а где поля ?

  • Писатели
  • PipPipPipPip
  • 106 Сообщений:

Отправлено 19 Aug 2005 - 21:01

Компьютерные фирмы, услугами которых я пользуюсь, в этом году полностью отказались от поставок "Seagate Barracuda" по понятным причинам... И закупают Western Digital, в основном SATA 200Gb.
SATA RAID 0 очень рисковано делать, хотя и привлекательно.
Успокаивает то, что WD умирает медленно в отличии от SB.
А с VIA всегда проблемы и я бы на неё не ставил. Из nForce 4 на Р4 сейчас есть только одна мамка на PCI-Express и то для SLI видеокарт.

#36 Davis

Davis

    просто Davis

  • Писатели
  • PipPipPipPipPipPipPip
  • 888 Сообщений:

Отправлено 20 Aug 2005 - 13:04

По поводу RAID 0 :)

http://forum.videoed...topic=21965&hl=

#37 oiiabr

oiiabr

    Дали нажать на красную кнопку :)

  • Участники
  • PipPipPip
  • 70 Сообщений:

Отправлено 20 Aug 2005 - 13:52

У меня на работе постоянно летят винты WD, все компьютеры производства HP Compaq. В год гдето до 10 винчестеров меняем из за отказа. Так, что им доверять не могу. Samsung и Seagate последней модели с NCQ пока живут. Дама RAID 0 на SB c NCQ. Еще WD греются больше других.

#38 Azat

Azat

    +

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5210 Сообщений:

Отправлено 20 Aug 2005 - 14:05

Kursh, я тут поэкспериментировал с RAID-контроллерами и сделал для себя вывод, что для дома они не нужны. Особенно RAID0. Во-первых много головной боли с подбором контроллера, который будет нормально работать в твоем компьютере. Во-вторых, если не покупать специальные HDD для RAID0, с обычными винчестерами повышается риск выхода из строя этих винчестеров и потери данных.
А скорости чтения/записи на обычном SATA-контроллере (у меня сейчас 60-70 Мб/с) мне за глаза хватает...

По-поводу HDD. У меня сейчас есть разные винчестеры в компьютере, меньше всего греются именно WD, а больше всего Seagate.

Сообщение отредактировано Azat: 20 Aug 2005 - 14:07


#39 vladzakharov

vladzakharov

    Есть камера, комп, а где поля ?

  • Писатели
  • PipPipPipPip
  • 176 Сообщений:

Отправлено 20 Aug 2005 - 16:21

HDD SATA 200Gb Maxtor DiamondMax 10 <6L200M0> (7200rpm, 8Mb cache, вр. доступа 9.3ms, поддержка NCQ

У меня точно такие же,проблем нет,контроллер Promise Fast track tx s150.Попутно к обществу другой вопрос:Как поведет себя рейд созданный средствами Винды,при формате системы и установке новой?И каковы шансы правильного определения новой виндой,что это рейд,а не чистые диски?
А NCQ по большому счету на домашней машине,при работе с видео, прирост даст незначительный

Сообщение отредактировано vladzakharov: 20 Aug 2005 - 16:23


#40 Kursh

Kursh

    Широкопрофильный гуру по NLE

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2978 Сообщений:
  • место работы:

Отправлено 22 Aug 2005 - 06:15

OK ALL! Понял - траблов много - толку мало - выигрыша в скорости - ничерта... Буду ждать смерти винтов - потом брать HDD SATA RAID Edition. Для скорости же надо лучше сначала взять 2х Ядерный проц - мамка на новом бивисе - уже поддерживает... Но пока их не видел в продажах. ;) Лучше пока гидру на заказ пошью - хочется понырать подольше - а без гидры - холодно уже у нас в озерах. :) ;) :D

#41 oLGol

oLGol

    Железячный маньяк

  • Писатели
  • PipPipPipPip
  • 124 Сообщений:
  • место работы:

Отправлено 02 Nov 2005 - 19:07

Добавлю свои пять капель.

RAID массивы использую достаточно долго, первый был перепаянный Promise FT66 с 30Гб винтами от IBM (60Гмб/c мах). Потом был FT100 с 80Гб IBM (90мб/с MAX) на матери MSI 694D Pro .

Сейчас у меня ASUS PC-DL Deluxe с встроеным Promise и два винта Hitachi в STRIPE дают максимально 120Мб /c. Причем график говорит от том, что максимальная скорость держится первые 60-80% емкости (винты 80Гб SATA). Явно понятно, что контроллер сидит на PCI и у него не получается в принципе передавать данные быстрее 120Мб/c.

Поэтому периодически возникает желание купить другую мать за 200$ от Asus PCH-DL где есть 2 слота 66мгц 64бит. Это теоретически отодвинет барьер за пределы скоростных возможностей двухдискового массива STRIPE из двух Hitachi которые поодиночке дают около 65мб/c. Но обойдется это в стоимость матери 200$ и контроллера ??? (я находил и за 300$). Получается, что реально придется потратить около 400-500$ для получения прибавки менее чем на 10%.

Основной сейчас формат DV со скоростью 3.5 мб.с. позволяет вообще не заморачиваться с этими массивами, а просто сделать для успокоения зеркало (у меня одно зеркало на 200Гб) и работать с одиночными дисками.

Так и получается, до того времени, пока при рендеринге DV файла, который разрезан на части и склеен внахлест, программе приходится считывать один и тот же кусок данных и тут скорость дико падает, загрузка процессоров тоже падает, потому что дисковая подсистема проседаети не скармливает поток процессорам, которые начинают простаивать.

Я не нашел решения проблемы, за исключением того, что если у меня происходит склейка с двух камер, я файлы с этих камер кладу на разные физические диски и тем самым знакичтельно уменьшая просаживаемость дисковой подсистемы в этом проекте. Но это частные случаи.

Немного на эту тему я написал в конце этой статьи
http://www.olgol.ru/...kstation_2.html

Но общий смысл такой, даже если сделать супер быстрый массив, то скорость финального рендеринга упрется сначала в процессоры, а потом в проблемые места проекта, где идет с разных видеодорожек обращение к одному и тому же куску файла. Т.е. трата денег на дорогие массивы получается не всегда оправдана.

Добавление.

Озадачился я этой проблемой и начал читать обзоры материнок на 875 чипсете. Нашел на ф центре обзор мамки от MSI, где было сравнение работы втроенных в мать RAID контроллеров от Promise и ICH5R.

-----------------------------------------------------------------------------------------------------------------------
Как показывают результаты нашего блиц-тестирования, одиночные диски быстрее работают, будучи подключенными к контроллеру Promise PDC20378. Впрочем, преимущество в этом случае получается не таким уж и значительным. В режиме же RAID 0 контроллер, встроенный в южный мост чипсетов Intel, ощутимо превосходит контроллер от Promise. Вполне возможно, причина этого заключается в способе подключения контроллера. Promise PDC20378 подключен к южному мосту по обычной шине PCI с пропускной способностью 133 Мбайт в секунду, которая делится между всеми PCI устройствами. Интегрированный же в ICH5 контроллер работает без участия шины PCI, которая с течением времени становится одним из узких мест современной системы.
-------------------------------------------------------------------------------------------------------------------------

Итого получается, что мне достаточно просто перенести STRIPE на ICH5R , а на Promise посадить одиночные диски и тогда скорость интерфейса на STRIPE увеличится до 150мб.с. а может и более.

В любом случае, делать STRIPE из 3х и более дисков смысла нет, больше шансов потери информации поэтому, физически, предполагаемая скорость массива не еще долго не выйдет за пределы 150 мб.с и будет даже запас.

З.Ы. Но мать, я все таки куплю вторую, с PCI 64 бит 66мгц. Чтобы было на будущее. :-)

Сообщение отредактировано oLGol: 03 Nov 2005 - 11:12


#42 oLGol

oLGol

    Железячный маньяк

  • Писатели
  • PipPipPipPip
  • 124 Сообщений:
  • место работы:

Отправлено 30 Nov 2005 - 14:07

После сборки новой машины с PCI-X и набивания первых шишек хочется поделиться с остальными, чтобы не наступали на мои грабли повторно.

Короче, если несколько видов RAID контроллеров: дешевые софтовые, дорогие софтовые, недорогие аппаратные и дорогие аппаратные. Софтовые - это когда все задачи решает центральный процесор , а карта используется только в качестве интерфейса. Аппаратный - это когда задачами занимается отдельный чип, с частотой в десятки или сотни мегагерц.

Так вот, для видеомонтажа нам больше важна скорость линейного чтения, которую могут выдать тока либо дешевые софтовые либо дорогие аппаратные RAID контроллеры от 500$ и дороже. А вот все решения на аппаратном уровне с ценой, тоже недешевой, типа 200-400$ пролетают. А ведь именно такие железки обычно покупают монтажеры, немного поднакопив на контроллер с поддержкой RAID 5 , думая, что будет и скорость и надежность. Надежность будет, но скорости не будет, потому что слабые процессоры на недорогих контроллерах расчитаны на работу в другом режиме и не могут выдать линейные скорости чтения записи, чтобы хоть как-то подойтти к пропускной способности шины PCI.

А вот сделав софтовый райд средствами винды на SATA портах, можно как раз и достичь скоростей значительно выше. Либо купить RAID контроллер за 100 c небольшим долларов или чуть дороже, но на шину PCI-X типа Adaptec 1420SA и в RAID 0 из 4-х SATA дисков получить около 190 мб.с. на чтение и около 100 на запись, что уже хорошо и значительно дешевле.

До этого я покупал Intel SRCS14L, который мог делать RAID 5 уровня, имел на борту кеш 64мб, стоил в Ultra почти 300$, а реально он выдавал около 110мб.с. на чтение и около 70 на запись в такой же конфигурации дисков. RAID 0 из двух дисков там читал со скоростью около 80 мб.с., писал на 40. (Правда я купил его за 100$)

И еще есть такая штука - несовместимость отдельных контроллеров с отдельными материнскими платами, которая выражается в том, что показатели чтения - записи массива там получаются просто убогие.

Ну и напоследок еще, в некоторых матерях с PCI-X часто южный мост, на котором висит эта шина и следовательно контроллер, соединен с северным узкой шиной (hublink которая бывает 1.5 и 2.0, соотвественно 266 мб.с. или 1066 мб.с.) , например в 266мб.с. Тут уже какой контроллер не ставь, а все винты , которые висят на южном мосту, а туда относятся все SATA и все что на PCI и на PCI-X, все это делит между собой эту полосу пропускания. И поэтому в реальных задачах цифры получаются не такие как на тестах отдельных винтов.

подробности можно прочитать тут
http://www.datamine....sp?TID=528&PN=1
http://www.datamine....p?TID=461&TPN=2

Тесты некоторых не очень дорогих RAID контроллеров есть тут http://nkserver.naro...tRaid/index.htm

Описание некоторых бытовых чипсетов со схемами
http://nkserver.naro...ipset/index.htm

#43 hqvideo

hqvideo

    Каждый способен на многое, но не каждый знает на что он способен

  • Писатели
  • PipPipPipPip
  • 161 Сообщений:
  • место работы:

Отправлено 08 Dec 2005 - 13:44

Всем привет!
Есть контроллер Intel SRCS16 к нему 4-е HDD по 250Гб.
Какой уровень массива выбрать? RAID-0, RAID-5 или RAID-10?
Спасибо.

#44 PavelBuilder

PavelBuilder

    ...

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5853 Сообщений:

Отправлено 08 Dec 2005 - 14:08

я бы выбрал RAID-5

#45 hqvideo

hqvideo

    Каждый способен на многое, но не каждый знает на что он способен

  • Писатели
  • PipPipPipPip
  • 161 Сообщений:
  • место работы:

Отправлено 08 Dec 2005 - 14:27

А как у него со-скоростью записи и чтения?

#46 DaLiV

DaLiV

    Спрашивайте только если не разберетесь сами.

  • Админы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2295 Сообщений:

Отправлено 08 Dec 2005 - 17:34

1. http://forum.videoed...showtopic=18331

на указанном железе по объему получится:
raid0 = 1Tb raid5=750Gb raid10=500G

#47 Илья Кимсанов

Илья Кимсанов

    Научил друга включать камеру. Учу выключать.

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1427 Сообщений:
  • место работы:

Отправлено 09 Dec 2005 - 03:16

Если есть возможность достать RocketRAID 2224 с дисками SATA II NCQ для тестов, то думаю такой вариант мог бы подойти. Так как они вроде его специально для видео заточили.
http://www.highpoint.../USA/sataII.htm

#48 hqvideo

hqvideo

    Каждый способен на многое, но не каждый знает на что он способен

  • Писатели
  • PipPipPipPip
  • 161 Сообщений:
  • место работы:

Отправлено 09 Dec 2005 - 10:23

Понятно.
Спасибо.
Вчера проверил скорость с разными массивами. Остановился на 5-ом, позволяет работать с SD YUV-2stream.

#49 oLGol

oLGol

    Железячный маньяк

  • Писатели
  • PipPipPipPip
  • 124 Сообщений:
  • место работы:

Отправлено 13 Dec 2005 - 12:13

Добрый день, а чем вызван выбор Intel SRCS16 , кроме цены?

Насколько я слышал, там слабый процессор и для видео он мало подходит ввиду провалов при линейном чтении записи.
У меня Intel SRCS14L на 4 SATA в RAID 0 выдавал результаты слабее чем Promise 20378 на 2х дисках SATA.
Насколько я помню, может и ошибаюсь, контроллеры отдичаются только количеством портов, а процессоры там идентичные по производительности.


У меня на 4-х дисках в RAID 5 запись была около 40мб.с. а чтение около 70, не более. Это и насторожило.
В конце концов купил Adaptec 1420SA , там сделал RAID 0 на 4 диска и получил запись на 100мб.с. и чтение 170-190мб.с. А 14L лежит и ждет своей участи :-)

#50 Артур

Артур

    Дали нажать на красную кнопку :)

  • Участники
  • PipPipPip
  • 66 Сообщений:

Отправлено 02 Jul 2006 - 17:31

:help: Уважаемые специалисты, порекомендуйте, пожалуйста, как наиболее эффективно (скорость и надежность) организовать два независимых SATA RAID”0” по 2 винчестера в каждом на MB Asus P5LD2 Deluxe (для распараллеливания операций «чтение-запись» при видеомонтаже)? Плата даёт возможность сделать оба таких массива на базе одного контроллера южного моста в составе чипсета ICH7R (задействовав в RAIDы имеющиеся там 4 конектора для винчестеров по схеме 2х2), либо сделать один RAID на базе контроллера ICH7R, а другой, на дополнительном контролере Sil3132R (не знаю, работает ли он также через южный мост). Заранее благодарен.


0 человек читают эту тему

0 пользователей, 0 гостей, 0 скрытых пользователей



Рейтинг@Mail.ru