Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Сравнение СУБД Новый топик    Ответить
 Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
scaRJkee
Member

Откуда:
Сообщений: 2
Добрый день!

Обращаюсь к вам, как новичок в мире БД, с надеждой понять направление движения.
Специфика моей работы подразумевает составление отчетности по огромным ежедневным выгрузкам за большие сроки, а именно:
xlsx таблицы на 300+ тыс. строк, 50+ столбцов. Каждый день данные меняются (какие-то строки уходят совсем, добавляются новые, в старых меняются некоторые значения. Один из столбцов - уникальное поле ИД), появляется новый файл выгрузки каждый день.
Периодически возникает надобность проследить изменения определенных ИДшек (50+тыс. штук) полугодовой давности по сегодняшний день.

На сегодняшний день это реализовано так:
1) Открываем выгрузку за самую первую дату
2) Открываем выгрузку за вторую
3) ВПР в Экселе второй выгрузки к первой, смотрим, кто пропал, записываем
4) Закрываем первую, открываем третью
5) см. п.3
Такой вот цикл

Поскольку каждая выгрузка весит 150+МБ, а машины стоят 2хядерные селероны с 2гб оперативы, работа отдела такой задачей парализуется почти на неделю бесконечных открываний,ВПРов,закрываний,сохранений.

Есть мысли перенести все выгрузки в Access, чтобы подобные задачи сводились к составлению правильного запроса. Но возникают сомнения, осилит ли Аксесс такой объем? Также буду безмерно благодарен за советы по оптимизации хранения этих данных в Access, если такое хранение возможно.
20 окт 14, 08:46    [16729166]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
mad_nazgul
Member

Откуда:
Сообщений: 5825
scaRJkee
Есть мысли перенести все выгрузки в Access, чтобы подобные задачи сводились к составлению правильного запроса. Но возникают сомнения, осилит ли Аксесс такой объем? Также буду безмерно благодарен за советы по оптимизации хранения этих данных в Access, если такое хранение возможно.


Если выгрузка идет с MS SQL, то можно использовать MS Access как клиент для MS SQL.
Т.е. данные и выборка происходят на сервере MS SQL, а результат можно смотреть в MS Access.
20 окт 14, 11:33    [16729970]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54808

scaRJkee
Есть мысли перенести все выгрузки в Access

А нет мысли завязать с выгрузками и работать непосредственно с их источником?..

Posted via ActualForum NNTP Server 1.5

20 окт 14, 12:18    [16730247]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
SERG1257
Member

Откуда:
Сообщений: 2933
https://www.sql.ru/forum/olap-dwh
для такого режима работы придуман.
20 окт 14, 17:44    [16732676]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
scaRJkee
Member

Откуда:
Сообщений: 2
mad_nazgul

Если выгрузка идет с MS SQL, то можно использовать MS Access как клиент для MS SQL.
Т.е. данные и выборка происходят на сервере MS SQL, а результат можно смотреть в MS Access.


Выгрузка идет из Siebel (Oracle), к сожалению

Dimitry Sibiryakov
А нет мысли завязать с выгрузками и работать непосредственно с их источником?..


К сожалению - нет. Контора у меня с серьезной политикой безопасности, меня к самой базе не пустят. Я могу заказывать отчеты, которые мне необходимы, но реализуют их 1,5 айтишника очень долго и не с первого раза корректно. Примерный срок изготовления отчета или любой доработки к нему 2+ недели. А вид требуемого отчета меняется быстрее, чем кролики *********.

SERG1257
https://www.sql.ru/forum/olap-dwh
для такого режима работы придуман.


Спасибо, сейчас погляжу что там к чему. Буквально пара вопросов:
1) Он бесплатен?
2) Реален для освоения чайником?

Кстати, слышал, что в Аксессе ограничение на БД = 2ГБ, так ли это? И реально ли как-то хранить базы больше? Я так понимаю, разбивая на разные базы? Не повлияет ли это на работоспособность?
21 окт 14, 06:50    [16734187]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709
scaRJkee,
два совета:
-не связывайся с Access -ом.
-наймите специалиста.
21 окт 14, 07:58    [16734261]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
MasterZiv
Member

Откуда: Питер
Сообщений: 34709
scaRJkee

Спасибо, сейчас погляжу что там к чему. Буквально пара вопросов:
1) Он бесплатен?
2) Реален для освоения чайником?



на оба вопроса ответ "нет".

про безопасность: увольняйся (не шутка).
21 окт 14, 08:04    [16734269]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
MX-9
Member

Откуда: LIBAVA
Сообщений: 532
scaRJkee,

Можем предложить :
У нас разработан Виртуальный многомерный EXCEL
интегрируемый в noSQL базу данных
Ему все равно сколько миллионов строк и столбцов

Конечно надо прописать спец формулы в ячейках
Но эффект - скорость и обьемы
Отображается в виде двумерных сечений на обычный EXCEL


===========
sia.enters@inbox.lv
21 окт 14, 09:13    [16734401]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 54808

scaRJkee
Контора у меня с серьезной политикой безопасности, меня к самой базе не
пустят. Я могу заказывать отчеты, которые мне необходимы, но реализуют их 1,5 айтишника
очень долго и не с первого раза корректно. Примерный срок изготовления отчета или любой
доработки к нему 2+ недели.

Эта политика безопасности обходится служебной запиской типа "для нормального
функционирования отдела и оперативного выполнения им своих обязанностей необходим прямой
доступ на чтение таких-то и таких-то данных из основной БД предприятия или создание
реплики этих данных в отдельной БД отдела". При резолюции "отклонить" - увольнение, как и
сказал MasterZiv.

Posted via ActualForum NNTP Server 1.5

21 окт 14, 11:10    [16735113]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
Диклевич Александр
Member

Откуда:
Сообщений: 612
scaRJkee
Добрый день!

Поскольку каждая выгрузка весит 150+МБ, а машины стоят 2хядерные селероны с 2гб оперативы, работа отдела такой задачей парализуется почти на неделю бесконечных открываний,ВПРов,закрываний,сохранений.

Есть мысли перенести все выгрузки в Access, чтобы подобные задачи сводились к составлению правильного запроса. Но возникают сомнения, осилит ли Аксесс такой объем? Также буду безмерно благодарен за советы по оптимизации хранения этих данных в Access, если такое хранение возможно.


В свое время (лет 7 назад) на подобной машине я крутил локальное хранилище данных в Access 2003 для подобных задач - ежедневная выгрузка оборотно-сальдовой и потом всякие аггрегаты, отчеты и пр. Access 2003 использовался только для хранения данных, морда была разработана в Excel VBA - не выношу на дух Access'овские формы и VBA там какой-то извращенный. Более того, при таком подходе, можно даже не устанавливать Access (читай "не переплачивать за него"), так как JET провайдер это часть Windows начиная с XP (SP 2 или 3, не помню точно).

так вот, объемы были такими же (150-300 мб). я делал так:
1) Каждая выгрузка делалась в отдельную базу. Причины - быстродействие, ограничения на размер базы, сохранность данных (если одна база сломается, другие не пострадают), легкость архивирования (например, если данные за позапрошлый месяц не нужны, соответвующие базы легко отправляются в RAR/ZIP). При выгрузке данные очищались, и т.п. Также, можно было писать запросы к разным физическим базам одновременно для доп. проверки, т.к. JET SQL поддерживает такой синтаксис.
2) после выгрузки рассчитывались аггрегаты и вставлялись в отдельную мастер-базу. Так как аггрегаты занимают меньше места, то все ОК.

все работало вполне быстро и надежно.
21 окт 14, 15:48    [16737750]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
SERG1257
Member

Откуда:
Сообщений: 2933
scaRJkee
Спасибо, сейчас погляжу что там к чему
Это не какой-либо конкретный продукт, это тип базы "только для чтения" в которой обновления происходят только по таймеру и из других баз. Соответственно оно состоит из
1 самой базы (собственно datawarehouse)
2 скриптов/расписаний/джобов для заливки (aka ETL)
3 интерфейса пользователя.
https://ru.wikipedia.org/wiki/OLAP
scaRJkee
1) Он бесплатен?
Business Intelligence бесплатным не может быть по определению (солидная фирма возьмет в аренду дырокол (с) анекдот)
scaRJkee
2) Реален для освоения чайником?
Никто не рождался с этим в голове. ВСЕ когда-то были чайниками. Это вопрос мотивации и затраченных усилий.

По сабжу: крайне не рекомендую Access, разве что только для начальных опытов, построения модели, ибо боюсь рано или поздно вы упретесь в какое нибудь ограничение и сделать будет уже ничего нельзя ибо продукт для этого не предназначен.

scaRJkee
Контора у меня с серьезной политикой безопасности
а машины стоят 2хядерные селероны с 2гб оперативы
реализуют их 1,5 айтишника очень долго и не с первого раза корректно
Это все лирика никак не относящаяся к делу
21 окт 14, 17:50    [16739026]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
biwed.ru
Member

Откуда:
Сообщений: 179
scaRJkee,
Добрый день.
Для ваших задач хватит и MS Access (если идет об объемах 300+ тыс. строк, 50+ столбцов). Приблизительно на MS Access можно использовать до 2М строк (однако от принципов построения хранилища DWH никуда не денетесь). Ставите вопрос, далее моделируете на него ответы. Главное здесь, это не делать всяких форм в MS Access, что бы потом легко перенести на другую СУБД.

Сроки проектирования и развертывания проекта ну скажем месяц (это без опыта проектирования), при условии что вы знаете: SQL. Как выход на первое время самое то. Пример тут (вместе с данными + видео урок отдельно как все это работает). http://www.biwed.ru/index.php/access/3-excel-access

Далее как правильно заметили коллеги, это переход на OLAP + DWH + ELT. Ну это на перспективу. Там и выгрузки, скрипты и проектирование БД. Объемы там довольно большие и зависят от возможностей СУБД. Это дело совсем не быстрое. Если оценочно, то пол годика (где-то столько заняло у меня проектирование первого нормального проекта на Pentaho). Если бесплатно, то можно и на Pentaho все сделать. Пример тут (данные + видео) http://www.biwed.ru/index.php/pentaho

На счет конторы, то менять надо если есть возможность. Ваши программисты расти не будут. Им не нужны отчеты, как и ваши данные. Развертывание систем BI это прежде всего работа IT специалистов. Так что выходит либо самому становиться спецом в BI или либо уходить с конторы.

PS. Business Intelligence может быть бесплатным, только получите ограниченную функциональность, малое количество специалистов на поддержку и потратите огромное количество времени на разработку. Из бесплатных BI систем можно назвать Pentaho или Palo. А если по честному, то лучше нанять специалистов (встает проблема поиска специалистов), которые и запилят вам BI.

С уважением,
biwed.ru
28 окт 14, 03:58    [16765816]     Ответить | Цитировать Сообщить модератору
 Re: Организация огромной БД для 1 пользователя. Хватит ли MS Access?  [new]
Диклевич Александр
Member

Откуда:
Сообщений: 612
biwed.ru,

Прям в точку.
Сам через все описанное прошел - Access -> SQL Server + SSIS + SSAS. Естественно в новой компании.
Но Access дал хорошую базу для основ DWH и BI.
28 окт 14, 14:14    [16767659]     Ответить | Цитировать Сообщить модератору
Все форумы / Сравнение СУБД Ответить