Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Какую СУБД выбрать для небольшого хранилища  [new]
squirearchy
Member

Откуда:
Сообщений: 18
Руководство поставило задачу экспорта из 1С 8 проводок и таблиц материального учета в какое-нибудь центральное хранилище.
Экспорт нужно делать дважды в месяц, затем преобразовать данные таблиц 1с в другой вид и загрузить в ХД (хранилища данных). Затем в центральном офисе 10 пользователей будут строит отчеты (отчеты на ХП) и будут выплевываться (кстати посоветуйте куда?) с обязательной выгрузкой в Excel. Количество филиалов 35, в среднем 300 000 проводок в год на одном филиале, значит 10,5 млн. записей в таблице проводок ХД (хранилища данных) и 5-6 млн. записей в таблице материального учета я их для себя назвал таблицы фактов. Справочников подвязанных к таблицам фактов порядка 16 (я их назвал для себя таблицы измерений) в них содержится по всем филиалам вместе взятых записей 100-200 тыс. На филиалах 1с крутится на MS SQL 2000 StnEd (Win 2003 server), в центральном офисе есть уже MS SQL 2000 StnEd (Win 2003 server). Есть под эту базу отдельный сервер. Данные должны хранится 5-7 лет и накапливаться (то есть эта хранилище может превратится в какую-нибудь систему принятия решений), так как растет объем реализации то через 7 лет можно ожидать и 150 млн. записей в одной и 70 млн. в другой таблице. Прогнозирую сложные выборки, с агрегированием и прочее за большие периоды, неплохо бы что-нибудь типа иметь патриционирования, такое в Oracle есть вроде. Сразу обращаюсь за консультацией.
1. Какую ОС выбрать для этих целей?
2. Какую СУБД выбрать MS SQL 2000, 2005, Oracle 10g Std Ed One или Std Ed, ASE, ASA, PostgreSQL, еще, что-нибудь по вашему предложению. Основные требования надежность данных, возможность восстановления после краха системы, время 10*5.
3. На чем построить отчетную систему с возможностью модификации данных (Crystal Report, ASP.Net, WinForms(C#), Developer Suite (если СУБД Oracle), Java, еще что-нибудь) с выгрузкой в Excel.
4. Как построить таблицы измерений все сущности в одну или по разным таблицам?
5. Может быть как-то по другому проводки организовать, сейчас в голове решение такого характера (Дата, Дт, Суб1, Суб2, Суб3, Кт, СУб1, Суб2, Суб3, Сумма) может быть стоит расщепить на 2 таблицы.
6. Нужно ли делать итоговые таблицы или представления (желательно индексированные и материализованные).
7. Скольких разработчиков привлекать из аутсорсинга ?
8. Как построить стратегию выгрузки-передачи-загрузки (канал хороший почти у всех) репликация SQL Server-экспорт в ХД (хранилище данных) или ХML или полная база 1сv8 (так называемый <file>.dt) или запросы к таблицам на филиалах их результат куда-то поместить (куда?) и передать в централ. офис, затем извлечь эти данные (из этого куда) и поместить в ХД?
Отчеты сложные, желательно иметь хорошую оптимизацию и производительность, и надежность хранилища данных.

Сам склоняюсь к Win 2003+Oracle SE + Developer Suite+ [Oracle App Server], может я неправ? Может стоит рассмотреть вариант, то что есть Win2003+SQL Server 200 SE+ADO(ASP,C#).NET (Access, Excel, еще что-нибудь). Или еще какая-нить комбинация.

Спасибо.
22 фев 07, 17:27    [3824186]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
Yo.!
Guest
в Oracle 10g Std Ed One или Std Ed partitioning нету, он только в EE edition ...
зато есть нормальные мат вью. имхо поскольку выборки будут делатся по агрегированым мат вью то партитирнинг может и не пригодится. в mssql indexed view не умеет агринированые данные хранить.
а вообще лучше в форуме dwh спросить.
22 фев 07, 17:43    [3824302]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
squirearchy
Member

Откуда:
Сообщений: 18
Yo.!
в Oracle 10g Std Ed One или Std Ed partitioning нету, он только в EE edition ...
зато есть нормальные мат вью. имхо поскольку выборки будут делатся по агрегированым мат вью то партитирнинг может и не пригодится. в mssql indexed view не умеет агринированые данные хранить.
а вообще лучше в форуме dwh спросить.


EE дорогой $800* min 25 users=$20 000
а SE Std One $150* min 5 (у меня 10)=$1500
SE Std $300*min 5 (у меня 10)=$3000
22 фев 07, 17:54    [3824361]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
squirearchy
Member

Откуда:
Сообщений: 18
Чем оракл привлекает, что у него очень гибкий язык разработки SQL*Plus, PL/SQL. И к нему есть Dev Suite сразу все в одном флаконе. С точки зрения эгоистических намерений, мне хочется что бы ХД было построено именно на нем.Но дело в том, что мне надо аргументировать перед руководством. Допустим стороний консультант советует нам использовать MS.
22 фев 07, 18:00    [3824405]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
Yo.!
Guest
squirearchy
Чем оракл привлекает, что у него очень гибкий язык разработки SQL*Plus, PL/SQL. И к нему есть Dev Suite сразу все в одном флаконе. С точки зрения эгоистических намерений, мне хочется что бы ХД было построено именно на нем.Но дело в том, что мне надо аргументировать перед руководством. Допустим стороний консультант советует нам использовать MS.


ну с МС все просто :) с умным видом заявляете что вам просто необходимы матвью, bitmap/reverse/funcion based indxes и вообще mssql дорого. оракл стандарт one до 2х cpu вам обойдется дешевде mssql, а если на linux так значительно дешевле.
посмртрите тут чуток подробней: http://triffids.googlepages.com/oraclevsyukon
22 фев 07, 18:09    [3824446]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
автор
Экспорт нужно делать дважды в месяц, затем преобразовать данные таблиц 1с в другой вид и загрузить в ХД (хранилища данных).

...

с обязательной выгрузкой в Excel

...

есть уже MS SQL 2000 StnEd (Win 2003 server). Есть под эту базу отдельный сервер...
...
Прогнозирую сложные выборки, с агрегированием и прочее за большие периоды, неплохо бы что-нибудь типа иметь патриционирования


Выскажу свое IMHO:

автор
1. Какую ОС выбрать для этих целей?


Было бы странно, если Вы выберете не Windows.

автор
2. Какую СУБД выбрать


В свете озвученных требований Вам не реляционная СУБД нужна, а OLAP сервер.

автор
3. На чем построить отчетную систему с возможностью модификации данных


Не совсем понял про "модификацию данных", но Excel может кубы и сам "читать". Главное - нужных шаблончиков наделать.

4-6. Об этом можно говорить только имея детальную структуру OLTP системы и необходимое представление о возможных разрезах анализа.

7. no comments

8. Как говорится, it's depends, от очень многих условий, например, изменяются данные ли "задним числом".

автор
Или еще какая-нить комбинация.


Раз у Вас уже есть SE то Вы уже MS Analysis Services, а он, как мне кажеться лучше всего подойдет под Ваши нужды.
22 фев 07, 18:16    [3824483]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
Раз у Вас уже есть SE то Вы уже MS Analysis Services,

читать как

Раз у Вас уже есть SE то Вы уже имеете "совершенно бесплатно" MS Analysis Services,
22 фев 07, 18:18    [3824489]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
squirearchy
Member

Откуда:
Сообщений: 18
Не совсем понял про "модификацию данных", но Excel может кубы и сам "читать". Главное - нужных шаблончиков наделать.

Я оговорился, просто в этом же хранилище возможны соотнесения данных бухучета и западных стандартов, то есть нужна еще одна таблица фактов, которая будет строится по желанию бухгалтера-аудитора. Например он хочет что-бы по нажатию кнопки было
(отобрать все записи с таким-то бух счетом
обновить колонку соответствия с западным отчетом на такое-то значения из такой-то таблички
сагрегировать по статьям западного учета.
Визуализировать все это
Нажать кнопку и получить данные в Excel)

4-6. Об этом можно говорить только имея детальную структуру OLTP системы и необходимое представление о возможных разрезах анализа.

Аналитика по 3 разрезам,
Построение бух. баланса
Построение разных фин отчетов, в основном участвуют или срез по остаткам по всем аналитикам (3 шт), либо обороты за период
Построение западных очетов

Структура такая, таблица фактов (Дата, СчетДт, Анал1, Анал2, Анал3, СчетКт, Суб1,Суб2,Суб3, Сумма) и 16 таблиц измерений(Id, Наименование, тип), которые соединяются по 6 полям.


8. Как говорится, it's depends, от очень многих условий, например, изменяются данные ли "задним числом".
22 фев 07, 18:38    [3824632]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
squirearchy
Member

Откуда:
Сообщений: 18
Нет не могут, только корректировки нового периода
22 фев 07, 18:39    [3824640]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
Anton Demidov
Member

Откуда: Atlanta, GA
Сообщений: 1187
Если ваш MS SQL SERVER шёл с 1С, то по лицензионному соглашению его нельзя использовать для других целей. Т.е. покупать всё равно придётся.

ИМХО ставьте Оракл на Windows 64bit.
Enterprise Edition вам пока не нужна, если через несколько лет вы дорастёте объёмами до необходимости использования партицирования - тогда и будете договариваться с Ораклом об апгрейде.


--
Per rectum ad astrum
22 фев 07, 22:12    [3825352]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
squirearchy
Member

Откуда:
Сообщений: 18
Anton Demidov
Если ваш MS SQL SERVER шёл с 1С, то по лицензионному соглашению его нельзя использовать для других целей. Т.е. покупать всё равно придётся.

ИМХО ставьте Оракл на Windows 64bit.
Enterprise Edition вам пока не нужна, если через несколько лет вы дорастёте объёмами до необходимости использования партицирования - тогда и будете договариваться с Ораклом об апгрейде.


--
Per rectum ad astrum




Насчет MS да правда не можем использовать кроме 1С.


Win 2003+Oracle 10g SE One+DevSuite (Forms+Report) - хороший выбор?
23 фев 07, 11:21    [3826284]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
Yo.!
Guest
еще посмотри чо это такое

http://www.oracle.com/technology/products/bi/standard-edition-one.html
23 фев 07, 12:53    [3826521]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
vadiminfo
Member

Откуда: Обнинск
Сообщений: 4802
squirearchy
Затем в центральном офисе 10 пользователей будут строит отчеты (отчеты на ХП) и будут выплевываться (кстати посоветуйте куда?) с обязательной выгрузкой в Excel.

У Оркла есть средства позволяющие использовать для ОЛАП в качестве смотрелки Exel. Там аналитики смогут крутить эти кубы многомерного представления данных.

squirearchy

Сам склоняюсь к Win 2003+Oracle SE + Developer Suite+ [Oracle App Server], может я неправ?

Возможно, лучше Линукс. Оракл, по моему, лучше ЕЕ, чтобы не думать чего там не хватает. Даже не знаю есть ли в SE Олап, Датамайнинг. Без них, Вы, вряд ли, произведете сильное впечатление на аналитиков. Oracle App Server хорошая весчь, но смотрелки там готовые - Дискавереры. А вот чтобы туда Йксель прикрутить, пока не сталкивался.

Раскалывайте Ваше руководство на 20 кусков. Из одной овчины семи шапок не сошбешь. Материя сохраняется. Из ничего и не получится ничего стоящего.
23 фев 07, 13:57    [3826666]     Ответить | Цитировать Сообщить модератору
 Re: не могу запустить прогу  [new]
A.V.Goncharyk
Member

Откуда: Ternopil, Ukraine
Сообщений: 672
Смотрите в сторону Sybase IQ
23 фев 07, 15:15    [3826867]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
Anton Demidov
Member

Откуда: Atlanta, GA
Сообщений: 1187
squirearchy
Win 2003+Oracle 10g SE One+DevSuite (Forms+Report) - хороший выбор?

Мне лично DevSuite не нравится, но это кому-как. Для ваших 10 пользователей не имеет смысл городить весь это сыр-бор с ним. ИМХО, конечно.

vadiminfo
Раскалывайте Ваше руководство на 20 кусков. Из одной овчины семи шапок не сошбешь. Материя сохраняется. Из ничего и не получится ничего стоящего.

не забудьте умножить на кол-во ЦПУ. Если только брать с одним двухкоровым камнем (но быстрым). Всё равно производительность наверняка будет упираться в ограничения дисковой системы.
23 фев 07, 18:58    [3827432]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
AAron
Member

Откуда: Москва
Сообщений: 4324
дучше спросить на форуме DWH...но я бы рекомендовал использовать нормальный OLAP + отчетность, а не самописные мат.вью и отчеты...
насчет Оракла - прайсы тут
Yo особо не слушайте, он слабо разбирается в SQL Server 2000/2005, еще меньше - в OLAP , но неплохо в Оракле.

На форуме DWH есть тема по ценам OLAP-продуктов

Не забудьте, что нужет будет еще и ETL-инструментарий.
23 фев 07, 22:12    [3827647]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
Локшин Марк
Member

Откуда: Воронеж
Сообщений: 3155
Yo.!
в mssql indexed view не умеет агринированые данные хранить

Это совершенно не верно. Нельзя только использовать агрегатные функции, для которых нельзя рассчитать значения основываясь только на существующих значениях агрегатных функций и измененных строках исходных отношений.
23 фев 07, 22:41    [3827684]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
Lepsik
Member

Откуда: glubinka
Сообщений: 4257
зачем вам плодить зоопарк серверов если у вас уже MSSQL. любая разница в цене быстро отобьется уменьшением затрат на администрирование.
24 фев 07, 01:20    [3827822]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
Anton Demidov
Member

Откуда: Atlanta, GA
Сообщений: 1187
Lepsik
зачем вам плодить зоопарк серверов если у вас уже MSSQL. любая разница в цене быстро отобьется уменьшением затрат на администрирование.
Уменьшение затрат?! За счёт чего? Или вы думаете, что под этот сервер специально наймут нового админа? Обратите внимание на первый пост - они же сами и пишут под себя, а не покупают что-то готовое - будет вдоволь времени узнать новую систему (если она вообще нова для них).
24 фев 07, 01:52    [3827845]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
АдминЯ
Guest
Anton Demidov
Уменьшение затрат?! За счёт чего? Или вы думаете, что под этот сервер специально наймут нового админа? Обратите внимание на первый пост - они же сами и пишут под себя, а не покупают что-то готовое - будет вдоволь времени узнать новую систему (если она вообще нова для них).


Неважно, наймут или нет сейчас - если, например, через 3 года понадобится админ - в требованиях нужо будет писать "знания MS SQL + Oracle". Вы много таких видели? ПО любому зарпалту нужно будет платить больше.
25 фев 07, 00:27    [3829236]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
Lepsik
Member

Откуда: glubinka
Сообщений: 4257
Anton Demidov
Lepsik
зачем вам плодить зоопарк серверов если у вас уже MSSQL. любая разница в цене быстро отобьется уменьшением затрат на администрирование.
Уменьшение затрат?! За счёт чего? Или вы думаете, что под этот сервер специально наймут нового админа? Обратите внимание на первый пост - они же сами и пишут под себя, а не покупают что-то готовое - будет вдоволь времени узнать новую систему (если она вообще нова для них).


Это не они - а автор решил проявить самостоятельность. И скорее всего начальство ему укажет на его место.
25 фев 07, 04:37    [3829376]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
Yo.!
Guest
Локшин Марк
Yo.!
в mssql indexed view не умеет агринированые данные хранить

Это совершенно не верно. Нельзя только использовать агрегатные функции, для которых нельзя рассчитать значения основываясь только на существующих значениях агрегатных функций и измененных строках исходных отношений.

MIN/MAX в полне укладывются в ваш алгоритм, но использывать во вью нельзя.
25 фев 07, 13:49    [3829682]     Ответить | Цитировать Сообщить модератору
 Re: Какую СУБД выбрать для небольшого хранилища  [new]
Локшин Марк
Member

Откуда: Воронеж
Сообщений: 3155
Min/Max в этот алгоритм не укладываются, поэтому их и нельзя использовать.
25 фев 07, 13:59    [3829689]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить