Перейти к содержимому


Перед регистрацией ознакомьтесь с темой про сертификат безопасности:
Фотография
- - - - -

Что такое RAID и с чем его едят


  • Please log in to reply
508 ответов в этой теме

#51 Joan Lui

Joan Lui

    А что такое камера, NLE?

  • Участники
  • Pip
  • 18 Сообщений:

Отправлено 02 Jul 2006 - 21:07

Подскажите пожалуйста.
У нас на работе сеть состоит из пяти машин, одна из которых сервер. Скорость передачи данных по сети между машинами стандартная. К примеру образ DVD диска переливается с компа на комп за 12-15 минут. А вот с сервером непонятки, если залить на его Raid такой образ с DVD резака, то вытянуть потом его по сети получается не меньше часа, т.е. раза в 3-4 скорость меньше. Не подумайте, что сеть для того и используем. :) Просто насторожила пропускная способность сервера, вот и проверяли таким образом.
Так вот, у сервера Raid состоит из трёх SCSI дисков. Но в свойствах системы видно, что жёсткие диски работают на протоколе UDMA-4.
Подскажите, это так и должно быть или неправильно создан (настроен) Raid массив?

#52 MAPT

MAPT

    Дали нажать на красную кнопку :)

  • Участники
  • PipPipPip
  • 67 Сообщений:

Отправлено 02 Jul 2006 - 22:57

Артур

Реализовать на ICH7R будет проще. Но почему вы думаете что два массива нулевого уровня датут Вам скорость и надежность?

Joan Lui
Вы бы описали поподробнее сервер.
Железо, софт и т.д. Очень трудно сказать что-то конкретное по тому, что Вы описали , а штатный телепат сейчас в отпуске :D

#53 Артур

Артур

    Дали нажать на красную кнопку :)

  • Участники
  • PipPipPip
  • 66 Сообщений:

Отправлено 02 Jul 2006 - 23:13

MAPT Первое условия для ускорения операций видеомонтажа – распараллелить чтение информации с исходника и записи конечного материала. Рейд «0» резко ускоряет работу дисковой системы, но сильно снижает её надёжность. Таким образом, объединив 1 и 2, получаем хорошую скорость, но надёжность страдает. Для меня вопрос – разводить рейды по разным контроллерам или задействовать на одном, основном. На матери их 2: один встроен в чипсет южного моста ICH7R, но есть ещё дополнительный Sil3132R, тоже реализующий рейды по SATA – он слабее.

#54 Wisky

Wisky

    Сенсей для друзей по NLE

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1699 Сообщений:
  • место работы:

Отправлено 02 Jul 2006 - 23:33

1. Все встроенные контроллеры так или иначе гораздо слабже отдельных решений. Даже дешевые варианты внешних контроллеров просто не работают адекватно.
Я наблюдал как силиконовский контроллер на 4 хардах давал в режиме 0+1 (страйп+миррор) скорость порядка 20-30 метров, что на чтение, что на запись.
2. Все интегрированные дела так или иначе привязаны к матери. В случае чего - придется искать такую-же мать, если контроллер поддерживает реинициализацию. На внешнем контроллере - его можно обычно безболезненно перенести даже на другую машину.
3. Лично я долго и вдумчиво читал форум 3nity.ru - много весьма полезной и интересной информации.

#55 Ilya Ositchev

Ilya Ositchev

    <...>

  • Писатели
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2167 Сообщений:
  • место работы:

Отправлено 03 Jul 2006 - 13:53

Тринити штука хорошая, но они, как я понял больше теоретики чем практики.

#56 Артур

Артур

    Дали нажать на красную кнопку :)

  • Участники
  • PipPipPip
  • 66 Сообщений:

Отправлено 03 Jul 2006 - 14:48

1. Все встроенные контроллеры так или иначе гораздо слабже отдельных решений. Даже дешевые варианты внешних контроллеров просто не работают адекватно.
Я наблюдал как силиконовский контроллер на 4 хардах давал в режиме 0+1 (страйп+миррор) скорость порядка 20-30 метров, что на чтение, что на запись.
2. Все интегрированные дела так или иначе привязаны к матери. В случае чего - придется искать такую-же мать, если контроллер поддерживает реинициализацию. На внешнем контроллере - его можно обычно безболезненно перенести даже на другую машину.
3. Лично я долго и вдумчиво читал форум 3nity.ru - много весьма полезной и интересной информации.


Привет, Wisky! Спасибо за помощь. В ветке по маме я Вам уже послал вопрос по моему эксперименту со звуком ... , прошу, посмотрите. Я понимаю, что дешево и хорошо не бывает. Но у меня уровень не тот. Говорить о нормальных внешними контроллерах можно только имея мать с 64-битовыми слотами, остальное просто смешно - пустая трата денег. Исхожу из реальной ситуации: по PCI/32 (только они у меня и есть) я с RAID работать не буду. Есть только 2 варианта работы со встроенными контроллерами: 1. с основным интелом ICH7R - ставить на нём 2 рейда (на нем один RAID уже стоит), или 2. оставлять на основном 1 рейд, а другой ставить на допконтроллер Sil3132R, который слабенький, но автономный. Кстати, второй рейд на ICH7R тоже будет дохлым - это даже в инструкции к матери написано, что вторая пара винтов при подключении будет медлительнее. Третьего варианта у меня нет, надо выбирать из двух, но ЧТО?

#57 MAPT

MAPT

    Дали нажать на красную кнопку :)

  • Участники
  • PipPipPip
  • 67 Сообщений:

Отправлено 03 Jul 2006 - 15:48

Артур

Спасибо за теоретический экскурс в основы ускорения дисковых систем вообще и для видеомонтажа в частности. :D Только это я уже знаю.
Поскольку речь об использовании внешних контроллеров не шла, что выбрать в Вашей ситуации, я уже ответил. При выборе указанного выше варианта Вы получите выигрыш в скорости (заметный, но не рекордный) , но ничего не выиграете в плане надежности (даже наоборот). А распараллелить потоки вы сможеет если только Ваш софт поддерживает возможность указывать куда писать исходники, где хранить результаты просчетов, временные файлы и т.д. и т.п.

Сообщение отредактировано MAPT: 03 Jul 2006 - 15:53


#58 Wisky

Wisky

    Сенсей для друзей по NLE

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1699 Сообщений:
  • место работы:

Отправлено 03 Jul 2006 - 16:13

Тринити штука хорошая, но они, как я понял больше теоретики чем практики.

как-раз наоборот - а точнее - хорошие теоретики с большой практической базой.
Очень жалею, что нет подобных контор (форумов) по монтажу и связанному с этим железу.
Т.е. либо это конторы, связанные с видеооборудованием, которые вскормлены на готовых(закрытых) решениях от белых фирм, либо фирмы, специализирующиеся на поставках и обслуживании серверов, которые не сильно знакомы со спецификой видеомонтажа.

Артур - я втыкал в обычный 32-битный слот PCI-X карту 3ware. У них есть обратно совместимые решения.
Потом легко переставил на PCI-X.
Сейчас появились PCI-Express 1х контроллеры.
Если скорость машины устраивает - может есть резон сделать софтовый массив - обьединив два Raid-0 в винде в Raid-1
Разумеется, при условии, что они одинаковы по обьему...

#59 gluck_

gluck_

    А что такое камера, NLE?

  • Читатели
  • Pip
  • 2 Сообщений:
  • место работы:

Отправлено 04 Jul 2006 - 15:11

Добрый день! Имею у себя внешний райд массив фирмы Areca 6020. SCSI контроллер от Adaptec 29160LP. И ни как немогу добиться полной работоспособности райд выдает скорость 40 Мbit/sec a должен 160Mbit/sec. Помогите советом, не знаю что делать. Драйвера перешивал контроллеру и райду не помогло

#60 Артур

Артур

    Дали нажать на красную кнопку :)

  • Участники
  • PipPipPip
  • 66 Сообщений:

Отправлено 04 Jul 2006 - 15:46

MAPT, также благодарю за совет, но до конца его не понял. «Реализовать на ICH7R будет проще» - это понятно (уже сделал), но будет ли лучше, чем порознь (каждый на своём контроллере)? На Силиконе делать рейд сильно геморройно (второй коннектор на нём сзади матери с разъёмом eSATA – не могу даже шлейф-переходник найти, чтобы обычный SATA винт подключить). Я бы выбрал трудности, если они приведут к качеству, а в этом и вопрос. Софт у меня самый обычный - Edius 3 с железом Canopus NX.

#61 DaLiV

DaLiV

    Спрашивайте только если не разберетесь сами.

  • Админы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2295 Сообщений:

Отправлено 04 Jul 2006 - 15:50

v nastrojkah kontrollera posmotri na nechto tipa writeback,writethru: (iz manuala na offsaite sledujushee)
sync transfer rate = 160
+host adapter bios enabled -> enable writeback cache = yes
+ wide = yes

nu i kabelj dolzhen bytj normaljnij (ultra 160/320/... obychno perepletennije, a ne ploskije s perehodnikami, da i vneshnije /osobo dlinnije/ chasto ne sootvetstvujut standartu u160/...)
na konce ustrojstvo dolzhno bytj s terminatorom

#62 GLuck

GLuck

    скромное ЧЕЛОВЕЧИЩЕ

  • Писатели
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2043 Сообщений:

Отправлено 04 Jul 2006 - 18:19

тезка, проверь терминаторы.
зайди в биос контроллера. какой режим там?

#63 MAPT

MAPT

    Дали нажать на красную кнопку :)

  • Участники
  • PipPipPip
  • 67 Сообщений:

Отправлено 04 Jul 2006 - 22:06

Артур
Не нужно выбирать трудности. :D
Тем более, что к результату они не преведут. Будет медленно

#64 Sergey_Russu

Sergey_Russu

    А что такое камера, NLE?

  • Читатели
  • Pip
  • 1 Сообщений:

Отправлено 05 Jul 2006 - 14:33

Спасибо! Проблема была в кабеле.

#65 oLGol

oLGol

    Железячный маньяк

  • Писатели
  • PipPipPipPip
  • 124 Сообщений:
  • место работы:

Отправлено 25 Jul 2006 - 12:23

Основная проблема в бытовых машинках для видеомонтажа в том, что там слабая шина PCI, мало отсеков для HDD и слабые блоки питания.

Чего-то советовать в такой ситуации сложно. По мне , надо минимум 4 винта для работы. Системный, страйп для временного хранения видео в процессе монтажа, диск, куда будет сваливаться просчитанное видео.

Страйп можно сделать на внешнем контроллере или том, что распаян на маме, но к чипсету не относится. Скорость чтения одного потока будет до 115 мб.с., запись до 60-80 мб.с. при скорости чтения/записи винта типа SATA Hitachi 60/40 мб.с.

Т.е. процесс таков. Сливаем видео с камеры на RAID0, понтируем (сохраняя файлы проектов на другом диске) , рендеринг делаем на отдельный винт, оттуда уже собираем в образ DVD опять на RAID0 и оттуда пишем на DVD-RW.

В перспективе, можно из одного из одиночных винтов сделать зеркало, добавив 5-й винт в систему.

У меня в системе 12 жестких дисков, 6 из них в RAID5 , на контроллере Promise EX8300 PCI-X, показатели работы массива 200-220 мб.с. - чтение, 180-200 мб.с. - запись. Особенности чипсета материнки или может сам контрроллер на дает сделать скорость выше 220 мб.с. Мерял ликвидовской тестилкой HDD.

Вот то, чего я добился за последние несколько месяцев в плане RAID массивов. Затраты весьма серьезные, 400$ только контроллер стоит. Пришлось заменить корпус, чтобы было больше посадочных мест, докупить корзину SATA на 4 винта, поменять б.п. на 700вт FSP FX700 Epsilon, плюс сами винты.

Результат всего этого - комфортная работы с большими кусками видео, надежность хранения видеофайлов и продуманность технологического процесса. Появилась возможность одновременной работы под несколькими задачами без потерь в производительности, в том числе , запись на два DVD-RW и чтение с них параллельно. Правда не удалось заставить писать одновременно 2 DVD с двух, лежащих рядом образов, на 16х скорости.

У меня накопился материал по этой теме, там есть несколько тестов RAID массивов STRIPE для разных контроллеров, масштабируемость скорости контроллеров Promise EX8300 и Adaptec 1420SA в зависимости от количества HDD в массиве. Как оформлю, сразу выложу ссылку.

Кстати, много полезного я узнал на форуме Тринити в разделе RAID массивов. Всем рекомендую, там очень грамотные спецы в по подобным вопросам.

#66 PaulV

PaulV

    Иногда нажимаю на красную кнопку (Reset)

  • Читатели
  • PipPipPipPip
  • 106 Сообщений:

Отправлено 26 Oct 2006 - 10:45

По мне , надо минимум 4 винта для работы. Системный, страйп для временного хранения видео в процессе монтажа, диск, куда будет сваливаться просчитанное видео.
...
В перспективе, можно из одного из одиночных винтов сделать зеркало, добавив 5-й винт в систему.

У меня в системе 12 жестких дисков, 6 из них в RAID5 , на контроллере Promise EX8300 PCI-X, показатели работы массива 200-220 мб.с. - чтение, 180-200 мб.с. - запись. Особенности чипсета материнки или может сам контрроллер на дает сделать скорость выше 220 мб.с. Мерял ликвидовской тестилкой HDD.

Обалденная конфигурация! :good: Что касается предложенной выше из 4 винтов, то можно к теоретическим пожеланиям добавить 5-й - для свопинга (если оперативная память недостаточного для решаемых задач размера) и временных файлов (легче дефрагментировать, на рабочих винтах меньше будет мелкого мусора накапливаться).
Только вот шумит все это хозяйство, наверное, прилично ;)

#67 oLGol

oLGol

    Железячный маньяк

  • Писатели
  • PipPipPipPip
  • 124 Сообщений:
  • место работы:

Отправлено 05 Dec 2006 - 14:53

Конфиг у меня зачетный получился, что говорить :-) Винты шумят не сильно, процессоры и видеокарта на водяном охлаждении, а это почти бесшумно. Вентиляторы в корпуса работают на половине напряжения и их почти не слышно. В данный момент всех перекрикивает вентилятор в блоке питания, который (вентилятор) я думаю заменить на более тихий и с подсветкой.

Контроллер Promise EX8300 работает вполне нормально. По крайней мере, я пока не хочу его менять на Areca 1120 или 3Ware 9550 , которые дороже в полтора раза. Если только для тестовых целей.

Корзина SATA полезная штука, можно накупить винтов по 400Гб и хранить там всякую ерунду в огромных количествах, а подключать только по мере необходимости.

Вообще, самой лучший способ проверки между апргрейдами - это сделать какой нить проект, который использует винты активно и потом запускать его при разных изменениях конфигурации компьютера. И смотреть разницу. Я так обычно делаю, потому что не очень доверяю синтетическим тестам, которые не учитывают загрузку шины и других устройств.

Своп - штука очень опасная. Лучше просто купить памяти побольше, 2-3Гб. Этого всегда хватит, а память лишней не бывает никогда. Переносы свопов от винды частто ее вешают при загрузке, особенно больших свопов. Иногда, если массив со свопом откажет, винда может не загрузиться вообще. Для рабочего компа это фатально будет. Так что вот.

#68 DaLiV

DaLiV

    Спрашивайте только если не разберетесь сами.

  • Админы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2295 Сообщений:

Отправлено 05 Dec 2006 - 15:09

oLGol: ne fataljno - safe mode - perenastroitj/peresozdatj swap ...

#69 VOLDEMAR.UA

VOLDEMAR.UA

    Дали нажать на красную кнопку :)

  • Участники
  • PipPipPip
  • 67 Сообщений:
  • место работы:

Отправлено 24 Jan 2007 - 20:46

Я тут немножко влез не по теме в другой топик :unsure: А теперь вроде бы вопрос по теме. Хотелось бы для себя и других прояснить несколько пунктов:
1- Рейд 0 организовать лучше для хранения видео или под систему из SATA?
2- Какой прирост (реальный а не теоретический) в процентном соотношении даст Рейд 0 в каждом из вариантов?
3-Может ли Рейд 0 быть альтернативой вместо преобретения скази под систему?
4-Какой прирост (реальный а не теоретический) в процентном соотношении даст каждый из вариантов?
Если кто может приведите примеры из личного опыта.

#70 vovikZ

vovikZ

    Научил друга включать камеру

  • Писатели
  • PipPipPipPipPipPip
  • 617 Сообщений:

Отправлено 24 Jan 2007 - 21:10

VOLDEMAR.UA
Вы не разобрались в том, что такое RAID, поэтому все 4 вопроса в том виде, как есть не имеют ответов.
RAID (любой) это способ организации работы с несколькими накопителями (в общем случае не только жестких дисков)
Поэтому RAID может быть как на SCSI дисках, так и на SATA (а так же FC и даже включать в себя диски с разными интерфейсами)
Так что на первый вопрос можно ответить, только если его прочитать до середины: Рейд 0 организовать лучше для хранения видео... - если надо именно хранить, то RAID 0 это найхудший вариант вне зависимости от того, какие используются диски SCSI или SATA
По второму вопросу могу предположить, что сравнивать надо опять же RAID 0 на дисках с разным интерфейсами. На него, к сожулению однозначного ответа нет. Тут все сильно зависит от того каким способом создается RAID, какие у него настройки контроллера (если RAID аппаратный), и главное, какая задача решается: чтение одного потока данных дает практичесски линейный рост производительности (пропорционально числу дисков, пока в скорость шины не упрется).
Третий вопрос - см начало RAID и SCSI это разные вещи их нельзя сравнивать.
Четвертый - тоже

#71 -Stas-

-Stas-

    Сенсей для друзей по NLE

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1948 Сообщений:

Отправлено 17 Apr 2007 - 12:52

В связи со сборкой нового компа возникло несколько вопросов по РЕЙДу.
1) Какой процент места теряется под служебную информацию на рейд-5
2) Сколько минимум дисков нужно для построения рейд-5
3) Что быстрее в работе в следующей ситуации: исходники и файл с рендерингом находтся на одном рейде или исходник идет с одного винта, а результат на другой. Прошу указать для рейд-0 и рейд-5.
Винты, если это существенно, 400 GB Seagate Baracuda ES ST3400620NS (7200 rpm, 16MB) Serial ATA 2 NCQ. Рейд строится на основе втроенного контроллера ASUS P5W DH Deluxe/WiFi LGA775 (i975X/ICH7R) ATX 1066Mhz, 2PCI-E x16(SLI), 2PCI-E 1x, 3PCI, 4DDR2(800..) DC, 4 SATA I/II RAID(01,1,5,10)+SI4723.

#72 DaLiV

DaLiV

    Спрашивайте только если не разберетесь сами.

  • Админы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2295 Сообщений:

Отправлено 17 Apr 2007 - 13:17

-Stas-
1. nekorrektnij vopros
2. 3 /kazhdij posledujushij prosto pojdet na uvelichenije objema (ili na spare disk)/
3. s odnogo na drugoj - ne vazhno kakoj urovenj reid

#73 -Stas-

-Stas-

    Сенсей для друзей по NLE

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1948 Сообщений:

Отправлено 17 Apr 2007 - 14:51

-DaLiV-
По п.1 я имел ввиду, что если у меня скажем 3 диска по 400, то сколько у меня будет объем свободного места рейд-5. Или у меня 1 диск полностью затратиться под информацию для восстановления? Я все честно прочитал в начале ветке, но что-то так и не допонимаю.

А если в пределах 1 диска и 1 рейда, то что быстрее? По логике рейд.

Сообщение отредактировано -Stas-: 17 Apr 2007 - 14:52


#74 DaLiV

DaLiV

    Спрашивайте только если не разберетесь сами.

  • Админы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2295 Сообщений:

Отправлено 17 Apr 2007 - 16:40

vnimateljno prochti p.2 otveta ... odin disk na crc /ne fizicheski a po objemu/

#75 Edius 19

Edius 19

    Вокруг шум. Пусть так не кипишуй.

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1071 Сообщений:
  • место работы:

Отправлено 17 Jul 2007 - 14:23

Вопросы:
А)Что лучше, поставить:
1) Жесткий диск - сверхскоростной новый жесткий диск. - 15000, 16 Мб.
2) SCSI
3) Купить два-три жестких(7200,16) диска и сделать RAID - систему.
Т.к. я сам в этом не разбираюсь, помогите определиться с выбором, читал, что SCSI система очень дорогая, сверхскоростной новый жесткий диск. - 15000, 16 Мб, тоже наверно немало стоит. Я цен не знаю, может кто-нибудь проконсультирует?
Б) Из прочитанной статьи понял, что лучше для надежности и скорости, подойдет система RAID 0+1.
Что такое RAID 0 я понял, а вот что понимается под +1 - жесткий диск или RAID 1.
Интересно на сколько эта система, вытянет?
Материнская плата - 945P Neo
Помогите, определиться с выбором, скорости одиночных жестких дисков, не хватает ...
Одному мне не разобраться, помогите …

Сообщение отредактировано Edius 19: 17 Jul 2007 - 14:41


#76 Azat

Azat

    +

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5210 Сообщений:

Отправлено 17 Jul 2007 - 16:02

А) - 3
Б) - все выше написано

Применяются также комбинированные уровни, например, уровень 0+1 означает RAID уровня 0, но в этот RAID объединены не одиночные диски, а несколько RAID уровня 1 (несколько зеркальных дисков).



#77 VOLDEMAR.UA

VOLDEMAR.UA

    Дали нажать на красную кнопку :)

  • Участники
  • PipPipPip
  • 67 Сообщений:
  • место работы:

Отправлено 17 Jul 2007 - 18:21

Докупил второй сигейт на 80 Гиг и поставил систему. По тестам в Эвересте средняя скорость чтения записи увеличилась примерно на 20%. Работаю в Ликвиде - увеличение оскорости прощёта эффектов CPU стало заметно, но ожидаемого теоретического прироста я не получил. Для себя сделал вывод увеличение прозводительности всётаки это комплексное решение за счет видюхи, памяти и т.д.

#78 Azat

Azat

    +

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5210 Сообщений:

Отправлено 17 Jul 2007 - 19:12

У меня тоже попутно вопрос. Кто-нибудь на практике тестировал какой рейд быстрее?
0, 5, ... и какое минимально разумное количество дисков нужно для достижения хорошей скорости.
У меня рейд0 на двух WD4000YR выдает скорости около 120, а я видел тесты за 200
Мне дисков добавить (сколько?) или рейд другого уровня делать (из скольких дисков?) ?

#79 Edius 19

Edius 19

    Вокруг шум. Пусть так не кипишуй.

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1071 Сообщений:
  • место работы:

Отправлено 17 Jul 2007 - 19:40

Azat
Спасибо.
Теперь вроде все понятно.
RAID 0 - это объединение двух физических дисков(или более) в один логический.
RAID 1 - это два жестких дисках, основной и зеркальный.
В принципе если я правильно понял, то RAID 0+1
- это два логических диска, объединенные в один логический (RAID 0) + зеркало этих дисков, т.к. в данном случае я рассматриваю два жестких диска, следовательно, и зеркальных дисков должно быть два.
Итого: 4 жестких диска.
Я правильно все изложил?
Возникли еще вопросы:
1) Нужен ли для моей системы PCI-контролер или можно обойтись, который есть на материнской плате?
2) Жесткий диск:
а) Какой производитель, лучше делает жесткие диски для RAID - систем?
б) Какой объем жесткого диска является оптимальным для RAID - систем?
- - - - - - - - - -

и какое минимально разумное количество дисков нужно для достижения хорошей скорости.

Если я правильно понял, то чем больше дисков включены в систему, тем больше скорость ...?
Да наверно это так - информация будет распыляться по всем жестким дискам, а не по двум...
Кто что думает по этому поводу?

Сообщение отредактировано Edius 19: 17 Jul 2007 - 19:54


#80 mval

mval

    -

  • Писатели
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2029 Сообщений:
  • место работы:

Отправлено 18 Jul 2007 - 10:06

У меня тоже попутно вопрос. Кто-нибудь на практике тестировал какой рейд быстрее?
0, 5, ... и какое минимально разумное количество дисков нужно для достижения хорошей скорости.

- конечно тестировали, но тут много встречных вопросов. Для видео нулевой рейд с максимальным размером кластера будет самым производительным - при любом контроллере и любом числе дисков. Рейд пятый выдает сравнимые с нулевым параметры (хотя все равно меньше) при числе дисков начиная от пяти - шести на железном контроллере. Софтовые контроллеры в большинстве своем для пятого рейда слабы - в них все и упирается.

У меня рейд0 на двух WD4000YR выдает скорости около 120, а я видел тесты за 200
Мне дисков добавить (сколько?) или рейд другого уровня делать (из скольких дисков?) ?

- 120 для двух дисков - хороший показатель, 200 на двух дисках может быть только для операций записи - чтения в кэш - из кэша, что явно к видео отношения не имеет. RAID-5 на четырех дисках на софтовом контроллере будет тормознее нулевого на двух. RAID-10 из четырех дисков на операциях чтения будет шустрее нулевого на двух, на операциях записи - примерно такой же, но потеряешь половину объема, RAID-0 из четырех дисков городить - будет масштабироваться почти линейно, т.е. получишь те самые "за 200", только хранить на таком массиве что - либо ценное дольше пары суток - способ обрести геморрой в не самом отдаленном будущем. В общем, если производительности нулевого рейда из двух дисков не хватает (предполагается, что исходники, рендер и результат на разных дисках, или массивах) - нужно планировать серьезную и дорогую дисковую подсистему с серьезным контроллером.

а) Какой производитель, лучше делает жесткие диски для RAID - систем?
б) Какой объем жесткого диска является оптимальным для RAID - систем?

а) Если RAID 0, 1, 10, то подойдут диски любого производителя, лишь бы они были одинакового объема и желательно из одной партии. Если массив начиная от 5 го уровня - то рекомендуется использовать диски рейдовых серий - а их в розницу продает только вестерн да сигейт. Существенной разницы в производительности и надежности дисков разных производителей нет. Есть провальные серии дисков (почти у всех производителей), но узнаешь об этом уже тогда когда серия идет больше полугода, т.е. когда она уже заменяется, так, что это лотерея.
б) Оптимальный объем диска определяется исключительно требуемым объемом массива. (число дисков и контроллер определяется исходя из требуемой производительности). По соотношению цена - емкость для массива оптимальны на сегодня 500ГБ диски, но если массив построен на дорогом контроллере и главное требование к нему - максимальная емкость, то по этому параметру могут оптимальными оказаться и 750 гиговые и даже террабайтные диски, т.к. приличный контроллер добавит от 60 до 150 баксов на диск вне зависимости от объема диска. Плюс нужно учитывать требования к корпусу, подсистеме охлаждения, питания..... - чем больше дисков - тем дороже все это хозяйство. По надежности - понятно, что четырехдисковая 750ка менее надежна, чем двухдисковая 320ка, но точно не менее надежна, чем пара 320ток в RAID0, хотя по производительности последний вариант намного лучше.

#81 Edius 19

Edius 19

    Вокруг шум. Пусть так не кипишуй.

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1071 Сообщений:
  • место работы:

Отправлено 18 Jul 2007 - 11:06

ВОПРОС №1
В принципе если я правильно понял, то RAID 0+1
- это два логических диска, объединенные в один логический (RAID 0) + зеркало этих дисков, т.к. в данном случае я рассматриваю два жестких диска, следовательно, и зеркальных дисков должно быть два.
Итого: 4 жестких диска.
Я правильно все изложил?
ВОПРОС №2
Нужен ли для моей системы PCI-контролер или можно обойтись, который есть на материнской плате?

Люди может, на вышеперечисленные вопросы ответите, вообще хорошо будет.
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

- конечно тестировали, но тут много встречных вопросов. Для видео нулевой рейд с максимальным размером кластера будет самым производительным - при любом контроллере и любом числе дисков.

Я так понял RAID 0+1, уступает по производительности RAID 0 ?

а) Если RAID 0, 1, 10, то подойдут диски любого производителя, лишь бы они были одинакового объема и желательно из одной партии.

А если RAID 0+1 ?

Есть провальные серии дисков (почти у всех производителей), но узнаешь об этом уже тогда когда серия идет больше полугода, т.е. когда она уже заменяется, так, что это лотерея.

:secret: А у каких производителей, выигрыш в лотерее более частый?
Если правильно понял, есть беспроигрышная лотерея ...

Сообщение отредактировано Edius 19: 18 Jul 2007 - 11:37


#82 Azat

Azat

    +

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5210 Сообщений:

Отправлено 18 Jul 2007 - 11:45

Спасибо.

В общем, если производительности нулевого рейда из двух дисков не хватает (предполагается, что исходники, рендер и результат на разных дисках, или массивах) - нужно планировать серьезную и дорогую дисковую подсистему с серьезным контроллером.

У меня два WD на Promise SX4300. Для пробы брал еще 3ware 9550, скорость была та же.
Отсюда вопрос. Что есть серьезный контроллер и что есть дорогая дисковая подсистема?

У меня в общем-то на рейде0 только рендер, и скорости чтения при работе хватает на один слой HD-некомпресса и то если рейд забит не больше половины. Хотелось бы не один слой...

#83 DaLiV

DaLiV

    Спрашивайте только если не разберетесь сами.

  • Админы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2295 Сообщений:

Отправлено 18 Jul 2007 - 12:28

Azat , mval:

skorostj raid zavisit ot kolichestva diskov (pro parametry prosto diska tozhe ne zabyvajem - rpm,bufer,i t.d.).
raid-0 podrazumevajet 2 diska = 1.7
raid-5 - on na 3-h i bolee ... pri 4-h diskah on = 3.5 skorosti ot odinochnogo diska

estestvenno igrajet rolj kontroller (cifry po softovym variantam - hardware - tam chutj boljshe)

Edius 19:
(a) = seagate, western digital
(B) - ne igrajet roli

boljshe diskov - boljshe skorostj (raid-5...) no ne v raid[0,1]

Я так понял RAID 0+1, уступает по производительности RAID 0 ?

minimaljno (ochenj grubo do 5%)

Azat:

Что есть серьезный контроллер и что есть дорогая дисковая подсистема?

osnovnije priznaki serjeznogo kontrollera:
1. ne budet otvalivatj disk iz sistemy pri obnaruzhenii sboinogo sektora
2. pozvoljajet delatj gorjachuju zamenu
3. imeet sobstvennuju bufernuju pamjatj i batareju (na sluchaj propadanija elektrichestva - dlja okonchanija zapisi na diski)

dorogaja - ta kotoraja stoit mnogo... :) po cene raid-1 samij dorogoj poluchajetsja za edinicu objema :)

VOLDEMAR.UA : kontroller i shina na kotoroj on visit imejut tak zhe svoi ogranichenija ...

#84 mval

mval

    -

  • Писатели
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2029 Сообщений:
  • место работы:

Отправлено 18 Jul 2007 - 12:58

В нулевом рейде из двух дисков разницы между софтовым контроллером (на материнке) и железным дорогим (хотя бы тем же 3Ware) не увидишь (соответственно - нет разницы с любым другим контроллером), разница будет на 5-6 рейдах с большим числом дисков. Промайз обычно дает неплохие параметры по скорости, его проблема (говорю не о конкретной модели, а о производителе) - в устойчивости многодисковых массивов.

Исходники - не на рейдах? Может в этом проблема? Я что - то не очень понимаю, как скорость рендерового диска влияет на число слоев. Разве рендер - это не один слой всегда? Может быть достаточно было бы всего один - два диска добавить в массив?

Если я все же чего - то не понимаю, то вот простейший расчет:
Исходя из того, что скорости нулевого рейда из 2х дисков едва хватает на один слой, а нужно два слоя, то на вскидку нужен массив RAID-5 как минимум из 6 дисков (RAID-0 из пяти и более дисков - это самоубийство). Чтобы не было мучительно больно - лучше все же взять тот же триварь восьмипортовый + 6-8 дисков + корпус с блоком питания, который все это нормально потянет - вот уже и дорогая дисковая подсистема, как вариант - внешний массив - еще дороже, но наиболее устойчивое решение, потребует сказевого интерфейса.

2Edius 19:
RAID 0+1 никогда не встречал, когда встречал - это было неправильное название RAID 1+0, т.е. RAID 10 - это два (три, четыре...) зеркала объединенных в страйп, а не наоборот. Для четырехдисковой десятки хватит контроллера на плате (если конечно мамке не сто лет в обед). Если честно - не могу понять, зачем вообще может быть нужен 0+1 - по производительности - та же десятка, а по надежности хуже.

Массив любого уровня будет уступать в производительности нулевому. 1 или 10 может дать производительность чтения сравнимую с нулевым, но по производительности записи будет вдвое медленнее.

Беспроигрышная лотерея - это из разряда бесплатного сыра - по гарантии диски заменят (может быть), но во-первых через пару лет тебе никто не будет искать диск той же серии, что и накрывшийся, заменят другим, что для массива критично, во-вторых, потерянная информация (если массив был нулевого уровня) обычно стоит много дороже самого диска.
Лично мне сигейты нравятся больше - с ними я ни разу не попадал, с самсунгами, вестернами, дятлами - было. Впрочем с максторами тоже попадал, а сейчас уже не поймешь, где макстор, где сигейт. Понятно, что сие субъективно.

#85 Edius 19

Edius 19

    Вокруг шум. Пусть так не кипишуй.

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1071 Сообщений:
  • место работы:

Отправлено 18 Jul 2007 - 19:04

mval
Спасибо.
Почему RAID 0+1, потому-то мне нужна страховка и производительность, судя потому то написал DaLiV minimaljno (ochenj grubo do 5%), производительность упадет на 5%, а это немного.
Что касается страховки, то информация записывается в два места, в случае если произойдет сбой, информация останется, жива в том или другом месте.
RAID 0+1 никогда не встречал, когда встречал - это было неправильное название RAID 1+0, т.е. RAID 10 - это два (три, четыре...) зеркала объединенных в страйп, а не наоборот. - здесь не совсем понял RAID 0+1, RAID 1+0, RAID 10 - это все одно и тоже?
Что такое страйп?
Я так понял, что лучше всего поставить RAID 0 и не мучиться с этими системами.
Я просто одного боюсь, что информация можно будет потерять, многие говорили что RAID - система ненадежно, вот я и решил перестраховаться, выбрал себе RAID 0+1.
- - - - - - - - - - - - - - - - - - - -
В основном, наверно у всех RAID 0. Скорей всего лучше, поставит и мне его.
mval, DaLiV, Azat вы как думаете? У вас много опыта, у меня его нет. Какой RAID для меня будет лучше ...
Помогите определиться...

Сообщение отредактировано Edius 19: 18 Jul 2007 - 19:11


#86 Azat

Azat

    +

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5210 Сообщений:

Отправлено 18 Jul 2007 - 19:29

Какой RAID для меня будет лучше ...

Какие цели? Что нужно от рейда и что на нем будет храниться?

#87 Edius 19

Edius 19

    Вокруг шум. Пусть так не кипишуй.

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1071 Сообщений:
  • место работы:

Отправлено 18 Jul 2007 - 19:51

Занимаюсь видеомонтажом. Работаю преимущественно в Edius c DV - форматом.
Обрабатываем свадьбы, юбилеи, и т.д. и т.п.. Проще сказать, разовая работа.
Любой проект, в течение одной, двух-недель должен записаться и обработаться, и отдаться на рассмотрение.
Еще неделя дается на посмотрение и одобрение проекта.
Вообщем максимум три недели, затем проект стираем.
От RAID хочу получить скорость и с другой стороны надежность, обидно будет если он умрет, ты старался работал, а он возьмет да и помрет в самый не подходящей момент.

Сообщение отредактировано Edius 19: 18 Jul 2007 - 20:01


#88 Azat

Azat

    +

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5210 Сообщений:

Отправлено 18 Jul 2007 - 20:08

С DV хватит и одиночных современных САТА дисков.

#89 Edius 19

Edius 19

    Вокруг шум. Пусть так не кипишуй.

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1071 Сообщений:
  • место работы:

Отправлено 18 Jul 2007 - 22:15

Если просто происходит захват, то хватит и одиночного диска, но а если на таймлинию бросить несколько слоев видео, то реалтайм останавливается.
Достаточно положить четыре слоя видео, он затормозит.
Мне кажется, что он останавливается из-за того, что ему не хватает скорости жесткого диска.
RAID системы - создали не только для HDV - формата, тогда еще никто не знал что такое HDV формат.
К примеру, RAID 0 имеет отношение не только к записи на диск, но и также считыванию информации с жесткого диска, т.е. во время воспроизведения на тамлинии, информация считывается с жесткого диска (точнее сказать так HDD>RAM>CPU).
Если я заблуждаюсь, поправьте.

Сообщение отредактировано Edius 19: 18 Jul 2007 - 22:55


#90 PavelBuilder

PavelBuilder

    ...

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5853 Сообщений:

Отправлено 18 Jul 2007 - 23:06

Кто что может сказать про: SAS/SATA 8 кан. Intel SRCSAS144E 128МБ RAID 0/1/5/10/50 (PCI-E x1)

#91 Azat

Azat

    +

  • Модераторы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 5210 Сообщений:

Отправлено 19 Jul 2007 - 04:18

Edius 19,
ну тогда рейд0 на внешнем контроллере, диски WD, Seagate.
Не знаю где пишут про ненадежность рейдов, но у меня рейд0 на двух WD4000YR, на контроллере Promise SX4300 жив уже год и ни разу с ним не было проблем.
Были рабочие вопросы с контроллером, но они были, пока не вышли новые БИОС и драйвера для него.

Павел,
я как-то намучался с Интеловским контроллером, правда другой модели, на форуме есть моя тема.
У них, как я понял, очень тяжелая совместимость с материнскими платами, лучше не рискуй... Я свой с трудом обратно в Москву отправил.
Посмотри 3ware или тот же Promise (хотя не все их хвалят, но у меня прекрасно работает).

#92 Wisky

Wisky

    Сенсей для друзей по NLE

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1699 Сообщений:
  • место работы:

Отправлено 19 Jul 2007 - 08:36

Господа, многие тут по кругу ходят - сходите на www.3nity.ru
Там и ликбеза полно, и информации более профильной по хардам и контроллерам дофига.

#93 mval

mval

    -

  • Писатели
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2029 Сообщений:
  • место работы:

Отправлено 19 Jul 2007 - 11:00

2Edius 19:
Для нулевого (или 1, 10) рейда лучше всего использовать встроенный рейд контроллер материнки на ICH7,8 - на тринитях (_http://www.3nity.ru/) их уважают больше, чем Promise, а там серьезные ребята в этом вопросе сидят. Чревато использование встроенного рейда тем, что в случае смерти материнки нужно искать мамку на этом же чипсете, другая может массив не распознать. Для низкоуровневых рейдов с количеством дисков до четырех влияние контроллера на производительность нулевое.
Повторюсь, RAID1+0 и десятка - одно и то же, там, где я встречал 0+1 - несмотря на другое написание - та же десятка.
Десятку имеет смысл городить, если проекты с большим количеством исходников монтируются по нескольку недель, если проекты короткие - хватит и двухдискового нулевого, впрочем в Эдиусе по умолчанию и проекты и исходники хранятся на одном диске, поэтому вылет этого диска (массива) крайне болезненен - переделывать нужно всю работу от захвата, так, что тебе решать. По опыту двухдисковый нулевой рейд падает в среднем раз в два - три года с разной вероятностью восстановления (факторов много, включая кривые руки). Кстати скорость чтения очень сильно зависит от размера кластера, чем он больше - тем больше потоков сможет выдать как одиночный диск, так и массив.

2PavelBuilder:
У интела неплохие контроллеры по надежности, совместимость ограничена, как у большинства серверного железа, но как то смущает PCI-Ex1 для восьмидискового SAS контроллера - должно быть не меньше PCI-Ex4 - сорри - нашел этот контроллер - у него как и предполагал, PCI-Ex4, но при этом к нему можно подключить только четыре SATA диска в корпусе, другие четыре - через внешний интерфейс, в общем - весьма специфическая машинка, оправдана только если использовать действительно SAS диски, для SATA - дороговато да и геморройно.

#94 Edius 19

Edius 19

    Вокруг шум. Пусть так не кипишуй.

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1071 Сообщений:
  • место работы:

Отправлено 19 Jul 2007 - 16:54

Десятку имеет смысл городить, если проекты с большим количеством исходников монтируются по нескольку недель, если проекты короткие - хватит и двухдискового нулевого, впрочем в Эдиусе по умолчанию и проекты и исходники хранятся на одном диске, поэтому вылет этого диска (массива) крайне болезненен - переделывать нужно всю работу от захвата, так, что тебе решать.

Если я правильно понял, то для работы в Edius, нет смысла делать RAID 10, по причине что в Эдиусе по умолчанию и проекты и исходники хранятся на одном диске.
Или вы имели ввиду RAID 0 ?
Что RAID 0 не дает страховки, это и так ясно.
Впрочем RAID 0 вполне стабильная система если один раз в два-три года. + проекты будут, лежат на этом рейде две-три недели + дешевле + проще настраивать.
Скорей всего я на RAID 0 и буду ориентироваться.

Сообщение отредактировано Edius 19: 19 Jul 2007 - 16:56


#95 vladimir73

vladimir73

    Местные мы

  • Писатели
  • PipPipPipPipPipPip
  • 490 Сообщений:
  • место работы:

Отправлено 19 Jul 2007 - 17:45

Ну а кто пробовал собрать рейд на Intel975XBX 5уров. из 4 дисков на встроенном в чипсет? ? Эта мать вроде поддерживает? Напирмер 4 х 320 или по 400гиг?

Сообщение отредактировано vladimir73: 19 Jul 2007 - 18:14


#96 Wisky

Wisky

    Сенсей для друзей по NLE

  • Писатели
  • PipPipPipPipPipPipPipPipPipPip
  • 1699 Сообщений:
  • место работы:

Отправлено 19 Jul 2007 - 18:14

Забудьте про Раид-5 на интегрированном контроллере. то же самое, что Опен-Гл на интегрированной видеокарточке. Он как бы есть, но толку от него очень мало.

#97 vladimir73

vladimir73

    Местные мы

  • Писатели
  • PipPipPipPipPipPip
  • 490 Сообщений:
  • место работы:

Отправлено 19 Jul 2007 - 18:23

Я так думаю (про производительность ничего сказать не могу) только из за надёжности (вернее не надёжности) материнской платы уже не стоит городить многодисковые рейды на встроенном чипсете.

#98 mval

mval

    -

  • Писатели
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2029 Сообщений:
  • место работы:

Отправлено 19 Jul 2007 - 19:49

Если я правильно понял, то для работы в Edius, нет смысла делать RAID 10, по причине что в Эдиусе по умолчанию и проекты и исходники хранятся на одном диске.

- это как раз не достоинство, а недостаток, получается, что при падении диска (массива) теряешь все - и исходники и проекты. Если бы в разных местах - то проблем было бы много меньше. Так, что для Едиуса дополнительная страховка в виде десятки может быть нужна, но ее целесообразность зависит от многих факторов, и основной - оценка потерь от падения массива - потери легко могут превысить стоимость дополнительных дисков в несколько раз (а могут и не превысить - в зависимости от вашей конкретной ситуации). Лично я с некоторых пор нулевых рейдов не делаю в принципе - либо одиночные диски, либо как минимум десятку (или пятерку на железном контроллере).
Надежность материнки на порядок выше надежности нулевого рейда (по личному опыту), если однотипных машин несколько, то поднять массив с другой машины - вообще не проблема. (речь не идет о массиве пятого и выше уровня).

#99 Muhin

Muhin

    не теряя ни секунды

  • Активные Участники
  • PipPipPipPipPipPipPipPipPipPip
  • 1793 Сообщений:

Отправлено 19 Jul 2007 - 20:41

OFFTOP:
Эдик всуе поминается, да еще в таком, прям скажем идиотском контексте, будто нельзя хранить проект на одном, а исходники на другом диске?

#100 DaLiV

DaLiV

    Спрашивайте только если не разберетесь сами.

  • Админы
  • PipPipPipPipPipPipPipPipPipPipPipPipPipPipPip
  • 2295 Сообщений:

Отправлено 19 Jul 2007 - 21:26

na 4-h diskah (stoljko dlja raid-10 nado) sovetuju vsje zhe delatj raid-5 ...
edinstvennoje - esli vstrojennij chipset - to sootvetstvenno zhelateljno provesti testy skorosti i raid-10 i raid-5.
teoreticheskij rasschet elementarnij:
skorostj chtenija 1 bloka dannyh s 1-go diska = X - na chtenije 6 blokov dannyh ujdet 6X
raid-10 - 6 blokov za (6/2)X = 3X [2 diska paralaljno]
raid-5 (3 diska) - 6 blokov za 6/(3-1)X = 3X [2 diska paraleljno]
raid-5 (4 diska) - 6 blokov za 6/(4-1)X = 2X [ 3diska paraleljno]

dlja neponjavshih pochemu v raid5 delitsja na (Y-1) - potomu chto v raid 5 massive toljko 1 disk uhodit na kontroljnuju informaciju ne zavisimo ot kolichestva diskov

teorija ot praktiki otlichajetjsja v osnovnom: realizacijej algoritmov na kontrollere (samaja boljshaja problema), nesinhronnostju diskov (ne tak kritichno kak risujut mnogije - diski buferirujut ctenije/zapisj informacii), vremenami ozidanija, skorostju kontrollera, propusknoj sposobnostju shiny

v dopolnenije k #72
aljternativnoje reshenije - te zhe 4 diska - delajem 2 massiva: 1 = raid1 (hranim vazhnije dannije - sam projekt, dokumenty i t.d); 2 - raid0 - skorostnoj disk s materialom ....
objemy dlja 4 diskov - odn disk X edinic
raid10 = 2X, minimum 1 logicheskij
raid5 = 3X, minimum 1 logicheskij
raid1 + raid0 = 1X+2X, minimum 2 logicheskih diska

informacija k razmyshleniju estj - reshenije estestvenno za vami samimi ...


0 человек читают эту тему

0 пользователей, 0 гостей, 0 скрытых пользователей



Рейтинг@Mail.ru