Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 4666
katarikarom
мне самое главное разбить уже имеющуюся огромную тяжелую базу моих клиентов на несколько, чтобы программа работала быстрее
бюджет озвучьте (грубо, +\-).
3 ноя 17, 12:36    [20924507]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
katarikarom
Member

Откуда:
Сообщений: 11
wadman, да, ПО именно это, как уже писала неоднократно нужно одну большую базу разбить на несколько, так как программа на большой базе виснет по 5 минут, разработчики ПО только разводят руками
3 ноя 17, 12:46    [20924547]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
katarikarom
Member

Откуда:
Сообщений: 11
Дедушка, если вы сможете помочь, то лучше пишите на электронную почту, которую я указывала и обсудим бюджет
3 ноя 17, 12:46    [20924550]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Alex Torin
Member

Откуда:
Сообщений: 775
katarikarom
wadman, да, ПО именно это, как уже писала неоднократно нужно одну большую базу разбить на несколько

Это вы поверхностно понимаете проблему, а решение может быть и не в этом (даже скорее всего не в этом).
И готовы ли вы финансово к любому решению вопроса? Можно обсуждать?
3 ноя 17, 14:33    [20924985]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Konst_One
Member

Откуда:
Сообщений: 10615
katarikarom
разработчики ПО только разводят руками


не удивительно, тк у вас файловая база и разбитие её на несколько скорее всего не предусмотрено в самом ПО.
ваш путь - переносить базу на большой сервер SQL (общайтесь с разработчиками вашего ПО)
3 ноя 17, 14:41    [20925024]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
0lenevod
Member [скрыт]

Откуда:
Сообщений: 56
katarikarom
0lenevod, программа по составлению годовых отчетов по экологии, программа очень долго (порядка 5 минут) выполняет любую операцию (переход на другую вкладку / сохранение или создание отчета), виснет потому что очень много предприятий внесено и документов (лимиты, разрешения), нам нужно за месяц сделать порядка 1000 отчетов, в программе может работать только один пользователь и такое количество отчетов не удается сделать из-за того что программа грузит. Вот и хотим либо каким-то образом оптимизировать либо разделить уже имеющуюся базу на несколько. Просто если мы вручную будем разделять базы, то чтобы удалить предприятие нужно иерархично удалить все связанные с ним операции и документы, что очень и очень долго


Ok, ваш клиентский приклад использует функионал заложеннй в базе, представления, проедуры, функции и так делее.
Первое, надо дефрагментировать индексы, скорее всего их никогда не дефрагментровали, и там ужас-ужасный. Я как то пришел в алмазнй холдинг глянуть на их 1С-ные базы, там было 99% фрагментации. Запустили на выходные, все стало лучше.
Второе, надо настроить обновление статистики, чтобы движок имел планы выполнения типовх запросов. Достаточно раз в неделю делать дефрагментацию и апдейт статитстик. Не думаю что у вас база 200 ГБ.
Дальше, надо перенести базу темп на другой диск, если у сервера несколько дисков, перенесите tempdb на диск куда мало обращений, чтения/записи.
Желательно разнести файлы базы и логов на разные диски.

Дальше уже кодерские задачи, запустить разные инструменты для тюнинга, поискать missed index, профайлером, dmv, или сторонними тулзами. Ну и дальше внедрить эти индексы.

Ну и бест практисез, настроить репликаию или лог шиппинг и делать отчеты на другом сервере. Вам нужно будет еще один сервер.

Взвесте то вам проще, потратиться на еще один сервер или ждать когда сформируется отчет. Я понимаю жаба душит, сервер устройство не дешевое, купите сервер на облаке, правда репликация на облако идет с большой задержкой.

Можно в качестве сервера отчетов купить самую мощную рабочую станцию, с 8 ядерным процом и 16ГБ памяти, tempdb на SSD диск.
3 ноя 17, 15:11    [20925167]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
0lenevod
Member [скрыт]

Откуда:
Сообщений: 56
katarikarom
wadman, да, ПО именно это, как уже писала неоднократно нужно одну большую базу разбить на несколько, так как программа на большой базе виснет по 5 минут, разработчики ПО только разводят руками


Чтобы разбить базу, надо переписывать код и функционал. Партиционирование тоже не поможет.

У нас кодерки как то писали код который работает сразу с несколькими базами, и проедуры, которые обращаются в другую базу, но мы там с правами доступа долго потом разбирались. Кодерки не дали нам исходники и не сказали куда обращается процедура, потом бегали с каждым сообщением, у нас тут не работает, потом там не работает.
3 ноя 17, 15:16    [20925196]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Konst_One
Member

Откуда:
Сообщений: 10615
ТС же написал, что у них compact edition! о каком партиционировании вы тут речь ведёте?
3 ноя 17, 15:22    [20925224]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
katarikarom
Member

Откуда:
Сообщений: 11
Alex Torin, Вы можете сообщить стоимость?
3 ноя 17, 15:40    [20925269]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
katarikarom
Member

Откуда:
Сообщений: 11
0lenevod, можете стоимость сообщить?
3 ноя 17, 15:41    [20925274]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
0lenevod
Member [скрыт]

Откуда:
Сообщений: 56
katarikarom
0lenevod, можете стоимость сообщить?


Я живу в Австралии, смогу только удаленно делать. Сколько не жалко, в разумных пределах.
3 ноя 17, 16:11    [20925384]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
0lenevod
Member [скрыт]

Откуда:
Сообщений: 56
Konst_One
ТС же написал, что у них compact edition! о каком партиционировании вы тут речь ведёте?


Я то всю жизнь с Энтерпрайз и Стандарт эдишнами работал. У нас только файрвол логи писал в Экспресс.
3 ноя 17, 16:14    [20925396]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Злой Бобр
Member

Откуда: Украина, Кривой Рог
Сообщений: 3226
katarikarom,

О, похоже вы не бот.
По сути есть несколько вариантов:
1. Посмотреть нагрузку и если проблема в железе то перенести все на более мощный компьютер.
+ нет необходимости что-то менять в ПО
- клиент должен быть морально и денежно быть готов потратиться на более мощное железо. Возможно даже собрать что-то на вторичном рынке (если сильно поджимает по деньгам)
2. На каждого клиента одна БД. Если проблема связана с тем что в вашей БД несколько клиентов то поможет.
+ с точки зрения реализации - самое простое решение (при наличии нормальной структуры БД)
- если клиентов у вас "паровоз и тележка" и количество будет только расти, то вы можете сами представить все "прелести" удобства
3. Как вариант рассмотреть другие варианты "ускорения". Например вынести все это дело в Microsoft Analysis Services.
+ по сути нет разницы 300 клиентов у вас или 300 000 - все будет "летать"
- однозначно потребуется железо именно под MSAS, плюс ПО
- необходима доработка для формирования нужных отчетов, что будет не быстро и не дешево

В любом случае нужно сначала проанализировать в чем "узкое место". Потом уже отталкиваясь от этого можно что-то порекомендовать.
3 ноя 17, 16:21    [20925413]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Alex Torin
Member

Откуда:
Сообщений: 775
katarikarom
Alex Torin, Вы можете сообщить стоимость?

1000 руб/час
Стоимость всей работы сказать невозможно, т.к. сперва надо разбираться в чем проблема и как рукожопы это наваяли. А это тоже работа, которая так же стоит денег.. И не факт, что будет простое решение.
Меня смутило, что "разработчики разводят руками". Обычно адекватные разработчики в курсе возможностей своего ПО и могут хотя бы сказать что нужно переделать (пусть и за доп. плату). Следовательно можно предположить, что с большой все-таки ваяли рукожопы.
3 ноя 17, 16:29    [20925442]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1190
Злой Бобр
По сути есть несколько вариантов:
1. Посмотреть нагрузку и если проблема в железе то перенести все на более мощный компьютер.
+ нет необходимости что-то менять в ПО
- клиент должен быть морально и денежно быть готов потратиться на более мощное железо. Возможно даже собрать что-то на вторичном рынке (если сильно поджимает по деньгам)

База в Compact Edition, структура как обычно кривая, программа наверняка работает на устаревшем компьютере, которого не жалко.
Пусть для начала или на нормальный компьютер с Intel i7 переместят и посмотрят, что получится, или - если понравится - на одном из серверов развернут виртуальную машину типа Virtual BOX, которая позволяет по RDP внутрь себя ходить, и запускают работать по очереди всех, кому нужно.
Не верю я, что базу можно будет распилить на несколько клиентов так безболезненно, чтобы можно было в нескольких копиях программы использовать.
И опять таки вопрос про лицензии - допустим, Вы купили у разработчиков 1 копию на фирму. И ведете в ней условно ООО "Иванов" и ЗАО "Петров", сдаете по их выбросам отчеты в структуру по экологии.
Далее Вы разделили физически SDF на 2 файла - в первом остался только Иванов, во второй уже только Петров.
А дальше что? Посадили 2 разных сотрудников работать одновременно и отчеты отправлять в госструктуру?
На месте разработчиков программы я бы зашил противодействие этому, причем эти грабли сделал бы неочевидными, но очень болезненно бьющими. Допустим, в каком-то справочнике фиксируется количество ООО, заведенных в базе. Как только строки по любому физически исчезают - дальше код программы дает вбивать данные, вот только в момент формирования отчета выведет пустой файл - и отправлять будет нечего.
А что, отличное минное поле для тех, кто хочет в обход разработчиков что-то сделать.

P.S. Вы купили ноутбук, с ним шла бесплатная на Ваш взгляд лицензия OEM Windows. Вы решили, что работать в Word и Excel одновременно не сможете. Взяли и склонировали жесткий диск и вставили в другой ноутбук.
Теперь у Вас 2 ноутбука с 2 работающими Windows, один сотрудник работает в Word, другой в Excel.
Как Вы думаете - Вас прижмут за нарушении лицензии или нет? :)
3 ноя 17, 18:13    [20925764]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1190
Злой Бобр
Как вариант рассмотреть другие варианты "ускорения". Например вынести все это дело в Microsoft Analysis Services.

Коллега, вчитайтесь в то, что пишет автор темы.

"программа по составлению годовых отчетов по экологии, программа очень долго (порядка 5 минут) выполняет любую операцию (переход на другую вкладку / сохранение или создание отчета), виснет потому что очень много предприятий внесено и документов (лимиты, разрешения), нам нужно за месяц сделать порядка 1000 отчетов, в программе может работать только один пользователь"

Какие отчеты на SSAS?? В ее понимании - это по предприятию внесены данные по выбросам или очистке сточных вод, она вбила цифры, сохранился документ под названием "отчет в гос.комитет о том, что мы не вредим экологии в этом месяце". Отчет потом выгрузила и отправила файлик на портал.
Им это анализировать - цифры, сколько куда вылилось ГЗМ на автобазе, потому что водитель не закрутил кран - не интересно от слова "совсем". Им нужно вбить ахинею, что они любят и уважают природу-мать, и отправить наверх, чтобы проверка голову не открутила. Всё.
На 100% в этом уверен.
3 ноя 17, 18:59    [20925871]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1190
katarikarom
как уже писала неоднократно нужно одну большую базу разбить на несколько, так как программа на большой базе виснет по 5 минут, разработчики ПО только разводят руками

Уважаемый автор темы. Посмотрите на эту ситуацию глазами разработчиков ПО.
+

Они написали свою поделку под условия, когда есть маленькие фирмы, они программу берут (пусть даже бесплатно, цена равна нулю) по одной штуке на каждого клиента.
Вы решили смухлевать - может быть, не от хорошей жизни.
И вбили все в одну. Она тормозит.
Вы к разработчикам - а они заранее не позаботились, чтобы летала на крупных базах, или специально сделали, чтобы тормозило, если пользователь жадный и не хочет изначально несколько программ брать.
И теперь - кто же в этом признается? Они и будут разводить руками и говорить "Насяльника, усё так и било, эшельме-мешельме".
Ради одной конторы городить огород?
И потом - с чего Вы взяли, что они вообще понимают, как эта конструкция работает, а не вылетает в синий экран смерти? Когда-то был крутой разработчик, который понимал, что он делает, а где костыли приколачивает, чтобы потом в новой ревизии заменить на нормальный код. Он уволился, остались студенты, которые ходят вокруг и дохнуть в сторону исходников боятся. И перепиливают только тогда, когда в отчете формируемом вместо "отчет в министерство экологии России" нужно поменять заголовок на "отчет в комитет по экологии министерства РФ", условно говоря.
P.S. Все это лишь моя точка зрения, основанная не на фактах, а на догадках. Наверняка Вы тут найдете программистов, которые помогут, и все взлетит. Но. Я бы на этом не очень и рассчитывал...
3 ноя 17, 19:07    [20925893]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
katarikarom
Member

Откуда:
Сообщений: 11
Andy_OLAP, Вы разработчик модуля? а вы посмотрите глазами пользователя, у которого на абонентском обслуживании находятся организации
7 ноя 17, 18:06    [20934028]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
ОСПЦ3
Member

Откуда: Свободу Каталонии!
Сообщений: 1242
Укажите версию сервера. Не факт, что нужно разделять. Возможно, просто планы запросов в норму привести. Никто никаких закладок делать не будет -- разработчикам это не интересно, а менеджеры это делать не умеют. В основном истории о закладках -- миф, вызванный ошибками пользователей или эксплуатирующих служб и их воспалённым воображением. Реально -- гений и злодейство есть вещи несовместные, так же как айтишнег и какие-то там недокументированные фичи.
7 ноя 17, 18:20    [20934076]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1190
katarikarom
Andy_OLAP, Вы разработчик модуля? а вы посмотрите глазами пользователя, у которого на абонентском обслуживании находятся организации

Нет, я тот, кто Вам хороший совет дал - "База в Compact Edition, структура как обычно кривая, программа наверняка работает на устаревшем компьютере, которого не жалко. Пусть для начала или на нормальный компьютер с Intel i7 переместят и посмотрят, что получится". А Вы даже характеристики железа не привели, на котором у Вас это ПО крутится.
Сейчас выяснится, что Windows XP + Celeron III + 512 Мбайт оперативной памяти...
7 ноя 17, 18:23    [20934082]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1190
ОСПЦ3
Укажите версию сервера.

Там не сервер - там кривая поделка студентов, которую посадили на MSSQL Compact Edition, "вот это всё" (с)
7 ноя 17, 18:24    [20934086]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
ОСПЦ3
Member

Откуда: Свободу Каталонии!
Сообщений: 1242
ОСПЦ3
Укажите версию сервера. Не факт, что нужно разделять. Возможно, просто планы запросов в норму привести. Никто никаких закладок делать не будет -- разработчикам это не интересно, а менеджеры это делать не умеют. В основном истории о закладках -- миф, вызванный ошибками пользователей или эксплуатирующих служб и их воспалённым воображением. Реально -- гений и злодейство есть вещи несовместные, так же как айтишнег и какие-то там недокументированные фичи.


Нашёл. SQL Server Compact Edition Database File
7 ноя 17, 18:25    [20934087]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 1190
katarikarom
или разбить одну большую базу на несколько, в лучшем случае может получится сделать сетевой.

Не в "лучшем случае", а "скорее Луна упадет в Измаил, чем" эта база станет сетевой. Она изначально монолит.
А учитывая Ваше признание, что "разработчики разводят руками"...
7 ноя 17, 18:25    [20934089]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
ОСПЦ3
Member

Откуда: Свободу Каталонии!
Сообщений: 1242
Andy_OLAP
ОСПЦ3
Укажите версию сервера.

Там не сервер - там кривая поделка студентов, которую посадили на MSSQL Compact Edition, "вот это всё" (с)


да, дочитал.
7 ноя 17, 18:26    [20934091]     Ответить | Цитировать Сообщить модератору
 Re: Требуется разовая оплачиваемая помощь с базой SQL  [new]
Megabyte
Member

Откуда: ближайшее заМКАДье
Сообщений: 4141
katarikarom
... программа на большой базе виснет по 5 минут, разработчики ПО только разводят руками

Странные какие-то разработчики, видимо с БД не особо дружат. :)
8 ноя 17, 12:01    [20935832]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / Работа Ответить