Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3 4 5 6 7 8 9 10 .. 13   вперед  Ctrl
 Проект построения большой БД - давайте пообсуждаем  [new]
Сергей Тихонов
Member

Откуда: Киев
Сообщений: 787
Всем привет.

Итак, условия задачи следующие: нужно построить VLDB. Объем - терабайты.
Кто чего думает? В принципе вариантов два:

  • MSSQL
  • Oracle

    Вот и давайте пообсуждаем плюсы и минусы каждого варианта ;-) .

    ЗЫ
    В случае c Oracle вопрос выбора ОС также открыт...
  • 6 авг 04, 11:38    [864123]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    alex_k
    Member

    Откуда: krasnoyarsk
    Сообщений: 6694
    а что db2?
    тоже, говорят, солидная система.

    а еше я про terradata что-то слышал...
    6 авг 04, 11:39    [864135]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    Сергей Тихонов
    Member

    Откуда: Киев
    Сообщений: 787
    Народ, давайте обсуждать с аргументами: есть и слышал - не аргументы ;-) ...
    6 авг 04, 11:42    [864154]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    zass
    Member

    Откуда: Minsk
    Сообщений: 1043
    Уважаемый Сергей. То что вы выносите на форум может иметь разные ответы.
    Мое мнение такое: как у кого и под что подточены руки. Я уже три года работаю с MS SQL Server - система очень нравится. Работает стабильно. Но что бы вы знали я ее "родил" с самого начала, вылизывал каждую табличку, триггер, референсы и т.д. Знаю несколько фирм, которые работаю на оракле. Кленут его на чем свет стоит, а когда я посмотрел их БД - плакать хочется...
    6 авг 04, 11:53    [864218]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    zass
    Member

    Откуда: Minsk
    Сообщений: 1043
    В родая я имел в виду БД.
    6 авг 04, 11:54    [864229]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    Yo!
    Guest
    ну как бы с mssql действительно тяжело сравнивать - у него нет значительной часть фич для VLDB. тут соревнуются db2, terradata & oracle
    крупнейшие можно посмотреть сдесь:
    http://www.wintercorp.com/vldb/2003_TopTen_Survey/TopTenWinners.asp

    ЗЫ. а ос зависит от железа, ораклу по большому счету все равно что за ось.
    6 авг 04, 11:56    [864242]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    Сергей Тихонов
    Member

    Откуда: Киев
    Сообщений: 787
    > zass
    Для меня MSSQL - как первая любовь со всеми вытекающими... ;-)

    Но тем не менее, давайте подойдем к обсуждению с холодной головой.
    Я сформулирую еще ряд критериев. Помимо поддержки больших объемов данных СУБД должна:

  • быть надежной
  • быть распространенной и известной
  • должна быть поддержка импорта/экспорта данных из/в другие СУБД
  • на рынке труда должно существовать достаточное количество грамотных специалистов, способных администрировать и поддерживать эту СУБД
  • эта СУБД должна поддерживаться ведущими разработчиками RAD-инструментов
    Пока что все...
  • 6 авг 04, 12:02    [864273]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    Yo!
    Guest
    Terradata - лидер, а долго был вообще недосигаемым лидером в DSS и VLDB.

    - не распространенная и большинству известная
    - на российском рынке труда практически не существует достаточное количество грамотных специалистов, способных администрировать и поддерживать эту СУБД
    - эта СУБД должна не поддерживаться ведущими разработчиками RAD-инструментов

    ;)
    6 авг 04, 12:07    [864297]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    EugeneS
    Member

    Откуда:
    Сообщений: 1255
    Сергей Тихонов
    > zass
    Но тем не менее, давайте подойдем к обсуждению с холодной головой.
    Я сформулирую еще ряд критериев. Помимо поддержки больших объемов данных СУБД должна:

  • быть надежной
  • быть распространенной и известной
  • должна быть поддержка импорта/экспорта данных из/в другие СУБД
  • на рынке труда должно существовать достаточное количество грамотных специалистов, способных администрировать и поддерживать эту СУБД
  • эта СУБД должна поддерживаться ведущими разработчиками RAD-инструментов
    Пока что все...


  • Я бы все же прошелся по функционалу необходимому для подержки больших объемов.
    Так же давайте определимся , что вы подразумеваете под VLDB кроме большого объема?
    То есть речь идет о OLTP cистеме или о DSS.
    После чего давайте сформулируем какие функциональные возможности необходимы для VLDB.
    Например:
    - Партицирование таблиц
    - Возможности конкретной СУБД по настройке ввода-вывода.
    - Возможности СУБД по подержанию больших объемов памяти и больших файлов.
    - Если речь идет о DSS системах , то например рассмотреть функционал индексов .

    и т.д. и т.п.
    6 авг 04, 12:11    [864320]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    zass
    Member

    Откуда: Minsk
    Сообщений: 1043
    Я еще добавлю, что по данной СУБД имеется очень много литературы и как админ легко подготовил себе нескольких замов.
    По надежности: веду 2-х часовой учет состояния БД, отслеживаю (программно) все ресурсы с среду БД. Но работа по автоматизации ведется и по сей день. Конца пока не видно. За все время работы БД ни разу не упала. А ее хотят поиметь сразу 55 человек.
    О распространенности и известности: оракл и MS SQL Server - самы распростаненные (можно посмотреть главную страничку www.sql.ru)

    Все остальное также очевидно.
    6 авг 04, 12:12    [864331]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    viper
    Member

    Откуда: Киев
    Сообщений: 527
    Убедительных технических аргументов не приведу, но большинство (не скажу все), известных мне, больших баз (налоговая, ГАИ и т.д.) оракуловые (нк по крайней мере на Украине), возможно не последнюю роль играют такие аспекты как исторические традиции орг. структур, не желание/ не имениие возможности работать с виндовыми серверами и т.д. но факт остается фактом...
    В принципе нужно решить обсуждаем мы гипотетическую ситуацию (тоесть обсуждаем только тех. аспекты СУБД) или реальную где стоит учитывать дополнительные аспекты (стабильность серверных ОС, надежность инструментов разработчиков работающих с БД и прочее)
    Может я не в те ворота лезу... тогда поправте меня.
    _________________________________________________
    Легче написать не правильную программу чем понять правильную (С) Alan Perlis
    6 авг 04, 12:24    [864381]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    Сергей Тихонов
    Member

    Откуда: Киев
    Сообщений: 787
    EugeneS
    Я бы все же прошелся по функционалу необходимому для подержки больших объемов.
    Так же давайте определимся , что вы подразумеваете под VLDB кроме большого объема?
    То есть речь идет о OLTP cистеме или о DSS.
    После чего давайте сформулируем какие функциональные возможности необходимы для VLDB.
    Например:
    - Партицирование таблиц
    - Возможности конкретной СУБД по настройке ввода-вывода.
    - Возможности СУБД по подержанию больших объемов памяти и больших файлов.
    - Если речь идет о DSS системах , то например рассмотреть функционал индексов .

    и т.д. и т.п.

    1. Система будет гибридной, больше с уклоном в OLTP, чем в DSS
    2. Партицирование таблиц - угу, обязательно.
    3. Настройке ввода-вывода - конечно обсуждаем.
    4. Объемы памяти - обсуждаем.
    5. Серверные ОС - обсуждаем.
    6 авг 04, 12:35    [864424]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    Сергей Тихонов
    Member

    Откуда: Киев
    Сообщений: 787
    Хотя нет: OLTP/DSS - 50/50
    6 авг 04, 12:36    [864431]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    vadiminfo
    Member

    Откуда: Обнинск
    Сообщений: 4802
    viper

    дополнительные аспекты (стабильность серверных ОС

    ОС для надежности всей системы в целом имеет значение. А про надежность первый пункт. Поэтому было бы интересно и про надежность ОС сервера БД.
    У нас на фирме есть разные точки зрения про это. Поэтому скажите, пожалуйста, что думаете про ОС.
    6 авг 04, 12:40    [864448]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    zass
    Member

    Откуда: Minsk
    Сообщений: 1043
    Считаю, что Win 2000 SP4 или Win 2003 - подойдет.
    Хотите круто - Linux. Но тогда вам необходимо владеть многими промежуточными программами типа Samba и т.д.
    6 авг 04, 12:48    [864482]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    ASCRUS
    Member

    Откуда: МО Электросталь
    Сообщений: 5994
    Ну до кучки в сравнению Sybase IQ, который вроде как не требует администрирования, хранит данные вертикально по полям, а не страничкам позаписно, держит БД в сжатом виде, довольно шустро подгружает данные с удаленных серверов и текстовых файлов, имеет в арсенале ASA-шный диалект WatcomSQL, который много чего умеет и поддерживает кучу всяких специализированных индексов. Так как он изначально ведет себя как полноценная РСУБД (кстати он версионник), то с ним может работать любой инструмент. Основная его задача - это аналитика, как OLTP его использовать нельзя (слишком медленно будут идти операции изменения данных), основное его предназначение - периодически закачивать большие обьемы данных и за максимально короткое время производить выборки. Специальных знаний особо не требуется, так как снаружи это обычный РСУБД с 2 диалектами: WatcomSQL (чем то похож на PL/SQL) и TSQL (совместим с MSSQL и Sybase ASE). Ограничений на кол-во колонок и записей в таблицах особо нет, из за того, что способ физического хранения данных заточен под такие задачи. По словам Sybase-совцев у них вроде как в Монреале успешно крутиться на IQ БД на 26 террабайт (в расжатом виде данные занимают порядка 45 террабайт), однако это любой конкурент может заявить то же самое. Насколько я знаю IQ неплохо крутиться на Украине в банках (по моему и в Первом национальном, я плохо знаю название их банков). В России то же есть успешные внедрения, однако информацией где они были я не располагаю, это наверное нужно спрашивать у Sybase CIS.

    P.S. Чуть чуть характеристик по Sybase IQ можно посмотреть в этом документе. В нем правда не сколько рассматривается отдельно IQ, а сравниваются между собой все СУБД от Sybase, но кое какая там информация есть.
    6 авг 04, 12:54    [864503]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    EugeneS
    Member

    Откуда:
    Сообщений: 1255
    Сергей Тихонов
    Хотя нет: OLTP/DSS - 50/50


    Оп ля!
    Ну если так и все это будет крутиться на одной железке, то того возникает вопрос "Управления ресурсами СУБД".
    Для чего имеется Resource Manager в СУБД Oracle.

    Пока из-того, что я знаю о конкурентах такой функциональности нет.
    Хотя конечно возможен вариант разнесения БД но тогда остро встает вопрос подержания адекватности данных во второй СУБД.
    Конечно это сильно связано с условиями задачи, но такое может иметь место.
    6 авг 04, 13:02    [864525]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    Ggg_old
    Guest
    ...Итак, условия задачи следующие: нужно построить VLDB. Объем - терабайты.
    Кто чего думает? В принципе вариантов два:
    MSSQL
    Oracle
    ...
    есть две отправные точки.
    1. Самая важная- сколько дают денег? (ведь вы же терабайты не на пиратской БД будете разворачивать).
    2. Какой объем данных из терабайтов будет активно использоваться в транзакциях?
    По п.2.
    Есть эмпирическое правило: рекомендумый объем кэша как минимум 5-10% от объма "активных" данных. Если нужный объем ОЗУ переползает за 3Гб, то вам нужна 64бит ОС. Если это так, то вам дорога в ORACLE, SYBASE, DB2, INFORMIX на Solaris, AIX, и.т.п. Если нет, то включаем в рассмотрение MSSQL на Windows.
    Вариант 64bit Windows+64bit MSSQL/Sybase/DB2 лично я бы еще пару тройку лет не рассматривал бы (технология должна "осесть", отладится, ведь вы же не хотите хранить терабайты на относительно "незрелой" системе).
    ПРисоединяюсь к мнению о том, что для больших БД нужны такие фичи
    как: партиционирование таблиц, именованные кэши для таблиц и индексов, возможность управлять ресурсами под IO, блокировки, кэши процедур, стратегией эскалации блокировок и пр. и др.
    6 авг 04, 13:05    [864547]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    Yo!
    Guest
    автор
    Хотя конечно возможен вариант разнесения БД но тогда остро встает вопрос подержания адекватности данных во второй СУБД.


    для терабайтной субд имхо это практически не реально.

    гибридная система на блокировочнике mssql не реально, тут DSS будет мешать OLPT задаче или грязное чтение ...

    автор
    Хотите круто - Linux. Но тогда вам необходимо владеть многими промежуточными программами типа Samba и т.д.


    да без самбы ораклу никак :) еще прокси и квак, тоже очень полезны.
    6 авг 04, 13:08    [864566]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    _Dog
    Member

    Откуда: от туда...
    Сообщений: 265
    Kesariu - kesarevo. Esli govorit o VLDB, to OLTP/DSS v odnom ne vsegda optimalno. Deneg budet stoit ocen' mnogo.

    DSS - Sybase IQ. Dlia menia pocti odnoznachno.

    OLTP+DSS v odnom flakone... Terradata. No budet stoit stolko, skolko stoili by 2-3 sistemy tipa: Sybase ASE+IQ ili Oracle+IQ ili MS+IQ.
    6 авг 04, 13:13    [864587]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    _Dog
    Member

    Откуда: от туда...
    Сообщений: 265
    Yo!
    ну как бы с mssql действительно тяжело сравнивать - у него нет значительной часть фич для VLDB. тут соревнуются db2, terradata & oracle
    крупнейшие можно посмотреть сдесь:
    http://www.wintercorp.com/vldb/2003_TopTen_Survey/TopTenWinners.asp

    ЗЫ. а ос зависит от железа, ораклу по большому счету все равно что за ось.


    O Winter'e :
    "Sybase IQ won Grand Prize in Windows category comScore #1, #2, #3 largest data warehouses

    Sybase IQ won 22 out of 80 awards in Decision Support Systems (DSS) categories – on UNIX & Windows.
    More wins than Teradata, DB2, Oracle & Microsoft

    Sybase IQ won over Teradata in every category – except the “obesity contest”
    Real-world customers need efficiency, not obesity"

    O VLDB: 155TB dumaju hvatit? 1 Trillion rows representing 155TB of input(raw) data was loaded in IQ on Solaris platform.

    This DW is 15x larger than AMEX DW, 10x larger than Nielsen DW, 15x larger than Teradata at SBC, 3x larger than Teradata at Walmart and is ~15x larger than the largest TPC-H (10TB).

    IQ compressed 155TB of input data in 55TB of storage: competition would need 400-1,000TB of storage. Storage savings alone are $30M-$100M.

    I eche: http://www.sybase.ru/Syb/corporate/events/iq_30-03-2004.htm
    --------------------------
    Sorry za takuju kirillicu :)
    6 авг 04, 13:21    [864634]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    Yo!
    Guest
    так Sybase IQ бесполезен в гибридной системе, только в DSS. значит к нему нужет ну допустим mssql для OLPT. представляете скока железа надо для двух терабайтный субд ... + данные синхронизировать а это ж небойсь гигабайты. сложно и не понятно зачем если можно эфективно решать задачу на одном сервере.
    6 авг 04, 13:26    [864657]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    EugeneS
    Member

    Откуда:
    Сообщений: 1255
    _Dog

    O Winter'e :
    "Sybase IQ won Grand Prize in Windows category comScore #1, #2, #3 largest data warehouses

    Sybase IQ won 22 out of 80 awards in Decision Support Systems (DSS) categories – on UNIX & Windows.
    More wins than Teradata, DB2, Oracle & Microsoft

    Sybase IQ won over Teradata in every category – except the “obesity contest”
    Real-world customers need efficiency, not obesity"

    O VLDB: 155TB dumaju hvatit? 1 Trillion rows representing 155TB of input(raw) data was loaded in IQ on Solaris platform.

    This DW is 15x larger than AMEX DW, 10x larger than Nielsen DW, 15x larger than Teradata at SBC, 3x larger than Teradata at Walmart and is ~15x larger than the largest TPC-H (10TB).

    IQ compressed 155TB of input data in 55TB of storage: competition would need 400-1,000TB of storage. Storage savings alone are $30M-$100M.

    Производитель СУБД может рассказывать, что хочет ( у него цель продать продукт ) - нужны доказательства.



    Остается только найти подтверждение ваших мыслей на
    http://www.tpc.org/tpch/results/tpch_perf_results.asp?resulttype=noncluster&version=2%¤cyID=0

    И что мы там видим?
    На объемах свыше терабайта только MSSQL и Oracle и то на чистом DSS.

    А что будет когда 50:50 DSS/OLTP ?
    6 авг 04, 13:46    [864752]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    _Dog
    Member

    Откуда: от туда...
    Сообщений: 265
    1. V takoj sheme, mozet otpast trebovanie imet terabaity v OLTP.
    2. IQ pozvoliaet s'ekonomit na zeleze stolko i supporte, cto v nekotorych slucajach delaet MSSQL/Oracle dlia OLTP 'besplatnym'.
    VLDB dlia OLTP/DSS v odnom flakone mozet stoit dopustim 1-2-3-4M$. OLTP+DW: OLTP- 0.2-0.5M$ plius DW - 0.5-1M$ = 1-1.5M$.
    Da i ne slysal, chtoby naprimer Terradau , libo voobce warehouse delali vmeste (na tom ze zeleze) cto i OLTP.
    Naprimer: http://www.sybase.com/detail?id=1027607
    6 авг 04, 13:56    [864807]     Ответить | Цитировать Сообщить модератору
     Re: Проект построения большой БД - давайте пообсуждаем  [new]
    vadiminfo
    Member

    Откуда: Обнинск
    Сообщений: 4802
    EugeneS

    http://www.tpc.org/tpch/results/tpch_perf_results.asp?resulttype=noncluster&version=2%¤cyID=0

    Вы не в курсе почему Оракла нет в 10 меньше 1000Гб? Он не участвовал? Или участвовали не лучшие проекты? Наверное последнее.
    6 авг 04, 13:59    [864828]     Ответить | Цитировать Сообщить модератору
    Топик располагается на нескольких страницах: [1] 2 3 4 5 6 7 8 9 10 .. 13   вперед  Ctrl
    Все форумы / Сравнение СУБД Ответить