Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Оптимизация базы 1С  [new]
Alex_MA
Member

Откуда: Вологда
Сообщений: 190
Здравствуйте уважаемые коллеги!

Стоит большая задача по оптимизации работы 1С, база которую надо ускорить (одновременно 200 работающих пользователей, база 160Gb).
В ней и долгих запросов и блокировок тьма...(На железо не жалуюсь - есть запас)
До меня никто не занимался вопросами оптимизации. Сервер установили "next,next,next" без настроек. И запустили базу. Сначала вроде все хорошо работало. Прошло 2-3 года, начали появляться проблемы и решили предпринять какие то шаги по оптимизации. Вопросами оптимизации буду заниматься я (без опыта администрирования ms sql).

Планирую (пока абстрактно):

1. Настройка reorganize и rebuid индексов по расписанию;
2. Подобрать корректно FILLFACTOR;
Если данные в таблице все время меняются, добавляются и удаляются (FF нужно делать < 100%).
(постараться написать какой либо скрипт, который на входе получает определенные данные для анализа, который бы анализировал данные в БД и на основании этих данных я бы оценить конкретный FF для конкретного объекта);
Подскажите как это проследить или , просто прошу задать направление.

3. Как проанализировать, что индексы используются правильно ?
Как понять как часто обновлять статистику ?
Как заставить сервер использовать правильный план выполнения запроса ?
4. Блокировки.

Все проблемы надо решить в течении 3 месяцев.
(Уже много всякого почитал, посмотрел - сложилась общая картина, а в детали не углублялся, но как известно дьявол кроется в деталях)
Как вы думаете это реально ?

Если с вашей помощью получиться решить заданные проблемы, я даже готов это потом все подитожить и создать удобночитаемый мануал.
Так большую проблему разбили на маленькие - будем пилить :)
Я или оптимизирую БД или...

Ну начнем пожалуй с п.1.
25 мар 14, 15:12    [15784017]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Glory
Member

Откуда:
Сообщений: 104751
Alex_MA
2. Подобрать корректно FILLFACTOR;
Если данные в таблице все время меняются, добавляются и удаляются (FF нужно делать < 100%).

И зачем вы тогда в предыдущей теме написали, что все поняли про FF ?
25 мар 14, 15:14    [15784030]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Alex_MA
Member

Откуда: Вологда
Сообщений: 190
Glory
Alex_MA
2. Подобрать корректно FILLFACTOR;
Если данные в таблице все время меняются, добавляются и удаляются (FF нужно делать < 100%).

И зачем вы тогда в предыдущей теме написали, что все поняли про FF ?


Я понял, за что вам спасибо. :)
Просто все вышесказанное относиться к этой одной большой теме.
25 мар 14, 15:20    [15784079]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Glory
Member

Откуда:
Сообщений: 104751
Alex_MA
Я понял, за что вам спасибо. :)

Да ничего вы не поняли, если пишите такое - "Если данные в таблице все время меняются, добавляются и удаляются (FF нужно делать < 100%). "
25 мар 14, 15:24    [15784124]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Alex_MA
Member

Откуда: Вологда
Сообщений: 190
Glory
Alex_MA
Я понял, за что вам спасибо. :)

Да ничего вы не поняли, если пишите такое - "Если данные в таблице все время меняются, добавляются и удаляются (FF нужно делать < 100%). "

Вы не слишком придираетесь ? Ну сформулируйте пожалуйста правильно данное предложение, буду очень признателен.
В OLTP системах советуют именно такие параметры, а 1С ка как раз к таким и относится.
25 мар 14, 15:33    [15784215]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Glory
Member

Откуда:
Сообщений: 104751
Alex_MA
Вы не слишком придираетесь ? Ну сформулируйте пожалуйста правильно данное предложение, буду очень признателен.

Вам уже наверное 100 раз сказали про 100% FF
25 мар 14, 15:36    [15784245]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Alex_MA
Member

Откуда: Вологда
Сообщений: 190
Glory
Alex_MA
Вы не слишком придираетесь ? Ну сформулируйте пожалуйста правильно данное предложение, буду очень признателен.

Вам уже наверное 100 раз сказали про 100% FF

100 - сомневаюсь, пришлось собирать все сообщения от пользователей и соединять все вместе, чтобы сложилась какая то конкретная картина, ну впрочем как обычно на форумах. А сообщением:

ну не смотрит он на ФФ, когда вставляет.
только при первичном заполнении/ребилде.

а вставка или апдейт существующего происходит, не гляда на ФФ:
есть место на странице -- запишет на эту страницу, нету -- получите сплит

все прояснилось.

Ну вот не получилось красиво начать тему :(
25 мар 14, 15:50    [15784393]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Minamoto
Member

Откуда: Москва
Сообщений: 1162
Alex_MA, я переведу то, что Glory вам пытается сказать :)

С чего вы взяли, что проблема с производительностью базы данных 1C связана с большим количеством page split и что вам нужно вообще смотреть на параметры FILLFACTOR для индексов?
25 мар 14, 16:07    [15784545]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
_djХомяГ
Guest
Вы можете сначала определить запросы , производительность которых не устраивает - оценить их, понять причины торможения, возможен ли рефакторинг кода и т д и тп
25 мар 14, 16:39    [15784780]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Alex_MA
Member

Откуда: Вологда
Сообщений: 190
Minamoto
Alex_MA, я переведу то, что Glory вам пытается сказать :)

С чего вы взяли, что проблема с производительностью базы данных 1C связана с большим количеством page split и что вам нужно вообще смотреть на параметры FILLFACTOR для индексов?


Я этого еще "не взял" :)
Разве я сказал что у меня тормоза из-за того что у меня не настроен FILLFACTOR ? Я вообще только еще три недели занимаюсь этим направлением, и первоначальная задача - оптимизация. Как угорелый ползаю по разным форумам и книжкам (пока по верхам). Начитавшись, насмотревшись, наслушавшись возникли вопросы, которые я хотел прояснить в предыдущем топике. В целом картина более/менее стала проясняться.

А тут я просто выписал пункты, по которым думаю провести оптимизацию и надеюсь они мне принесут положительный результат.
25 мар 14, 16:40    [15784791]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 8584
Для начала просто постройте недостающие индексы. Причем, подойдите к этому творчески, а не выполняйте безусловно все рекомендации сервера.
25 мар 14, 16:41    [15784804]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Alex_MA
Member

Откуда: Вологда
Сообщений: 190
_djХомяГ
Вы можете сначала определить запросы , производительность которых не устраивает - оценить их, понять причины торможения, возможен ли рефакторинг кода и т д и тп


Рефакторингом кода уже занимаемся. Переписываем неоптимальные запросы по рекомендациям фирмы 1С.
25 мар 14, 16:42    [15784808]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Glory
Member

Откуда:
Сообщений: 104751
Alex_MA
А тут я просто выписал пункты, по которым думаю провести оптимизацию и надеюсь они мне принесут положительный результат.

Любая оптимизация начинается с поиска узких мест
25 мар 14, 16:42    [15784810]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
HoBTID
Member

Откуда:
Сообщений: 929
Alex_MA
Здравствуйте уважаемые коллеги!

Стоит большая задача по оптимизации работы 1С, база которую надо ускорить (одновременно 200 работающих пользователей, база 160Gb).

Тогда вам надо нанять большого специалиста, жаль, что 1С я больше не занимаюсь, а то тысяч за 200 в месяц мог бы вам помочь.

Alex_MA
...
До меня никто не занимался вопросами оптимизации. Сервер установили "next,next,next" без настроек.
И запустили базу. Сначала вроде все хорошо работало.
Прошло 2-3 года, начали появляться проблемы и решили предпринять какие то шаги по оптимизации.
Это вы зря думаете, что оптимизация 1С заключается в настройках сервера MS SQL,
хотя и в них конечно есть небольшая часть.

Alex_MA
Вопросами оптимизации буду заниматься я (без опыта администрирования ms sql).
Думаю, за это Вам сразу следует выделить премию!

Alex_MA
Планирую (пока абстрактно):

Перестройка индексов и FILLFACTOR дадут прирост производительности максимум на пару десятков процентов,
но вам же, я так понимаю, нужно увеличить производительность в разы? (и самое смешное, что это возможно)

Alex_MA
Все проблемы надо решить в течении 3 месяцев.
Уже смешно. Меня так забавляют руководители, которые оценивают сроки без специалистов
Alex_MA
Как вы думаете это реально ?

А сами то как думаете? Но конечно, если оптимизацией займетесь Вы лично - вполне реально.
Но для профессионала, к сожалению, вряд ли.

Alex_MA
Если с вашей помощью получиться решить заданные проблемы, я даже готов это потом все подитожить и создать удобночитаемый мануал,
Спасибо, не надо, а то небольшой мануал получится на несколько сотен страниц,
да еще будет зависеть от версии платформы 1С.
25 мар 14, 20:54    [15786078]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
HoBTID
Member

Откуда:
Сообщений: 929
Alex_MA
Рефакторингом кода уже занимаемся. Переписываем неоптимальные запросы по рекомендациям фирмы 1С.

Ооо, еще одна большая ошибка. Переписывать неоптимальные запросы нужно по рекомендация фирмы Microsoft.
А по рекомендациям 1С никогда не угадаешь, где действительно полезная вещь написана, а где полная лажа.
25 мар 14, 20:56    [15786090]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Alex_MA
Member

Откуда: Вологда
Сообщений: 190
HoBTID
Alex_MA
Здравствуйте уважаемые коллеги!

Стоит большая задача по оптимизации работы 1С, база которую надо ускорить (одновременно 200 работающих пользователей, база 160Gb).

Тогда вам надо нанять большого специалиста, жаль, что 1С я больше не занимаюсь, а то тысяч за 200 в месяц мог бы вам помочь.

Alex_MA
...
До меня никто не занимался вопросами оптимизации. Сервер установили "next,next,next" без настроек.
И запустили базу. Сначала вроде все хорошо работало.
Прошло 2-3 года, начали появляться проблемы и решили предпринять какие то шаги по оптимизации.
Это вы зря думаете, что оптимизация 1С заключается в настройках сервера MS SQL,
хотя и в них конечно есть небольшая часть.

Alex_MA
Вопросами оптимизации буду заниматься я (без опыта администрирования ms sql).
Думаю, за это Вам сразу следует выделить премию!

Alex_MA
Планирую (пока абстрактно):

Перестройка индексов и FILLFACTOR дадут прирост производительности максимум на пару десятков процентов,
но вам же, я так понимаю, нужно увеличить производительность в разы? (и самое смешное, что это возможно)

Alex_MA
Все проблемы надо решить в течении 3 месяцев.
Уже смешно. Меня так забавляют руководители, которые оценивают сроки без специалистов
Alex_MA
Как вы думаете это реально ?

А сами то как думаете? Но конечно, если оптимизацией займетесь Вы лично - вполне реально.
Но для профессионала, к сожалению, вряд ли.

Alex_MA
Если с вашей помощью получиться решить заданные проблемы, я даже готов это потом все подитожить и создать удобночитаемый мануал,
Спасибо, не надо, а то небольшой мануал получится на несколько сотен страниц,
да еще будет зависеть от версии платформы 1С.


Тролль ?
25 мар 14, 22:03    [15786380]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Alex_MA
Member

Откуда: Вологда
Сообщений: 190
HoBTID, слов много, толка мало.
25 мар 14, 22:08    [15786404]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31868
Alex_MA
HoBTID, слов много, толка мало.
Вроде всё по делу HoBTID сказал, что неправильно?

Особенно первый пункт.
Наняли бы специалиста на месяцок, и денег бы съэкономили.
Да и 200 пользователей - большая ответственность, потери будут больше.

PS На всякий случай скажу сразу - нет, без бакапа базу восстановить нельзя.
25 мар 14, 22:18    [15786456]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Mind
Member

Откуда: Лучший город на Земле
Сообщений: 2322
Alex_MA
HoBTID, слов много, толка мало.
Пока что это можно сказать про вас. Вы тратите кучу времени, на то чтобы детально разобратся с тем что такое фрагментация и как работает fillfactor, но в решении задачи это вам мало поможет. Эффективность близка к нулю.
26 мар 14, 03:06    [15787040]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
HoBTID
Member

Откуда:
Сообщений: 929
Alex_MA,
Тролль я или нет, это вы узнаете после года "оптимизации", когда получите некоторое улучшение,
но желаемая производительность так и не будет достигнута.

А через 3 месяца, просто придумайте, что лучше сказать руководству, чтобы оно поверило.
26 мар 14, 10:28    [15787508]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Alex_MA
Member

Откуда: Вологда
Сообщений: 190
HoBTID
Alex_MA,
Тролль я или нет, это вы узнаете после года "оптимизации", когда получите некоторое улучшение,
но желаемая производительность так и не будет достигнута.

А через 3 месяца, просто придумайте, что лучше сказать руководству, чтобы оно поверило.


Оптимизация в кавычках не спроста ? (Говорите уже прямо, а то как будто шифруетесь)
Почему не будет достигнута ? Если заниматься проблемой целенаправленно - результат будет.
Вы прям на меня тоску нагоняете, откуда такие данные ?
26 мар 14, 11:39    [15788052]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Glory
Member

Откуда:
Сообщений: 104751
Alex_MA
Почему не будет достигнута ? Если заниматься проблемой целенаправленно - результат будет.

Ну вычислите вы какие там оптимальные FF для каждого объекта
Ну будете даже поддерживать эти FF.

А потом окажется, что у вас
- медленный диск, потому что он raid-5 и один на все
- или не хватает кэша и идет свопирование
- или сервер не патчился ни разу
26 мар 14, 11:50    [15788142]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
HoBTID
Member

Откуда:
Сообщений: 929
Alex_MA
Оптимизация в кавычках не спроста ? (Говорите уже прямо, а то как будто шифруетесь)
Почему не будет достигнута ? Если заниматься проблемой целенаправленно - результат будет.

И вы ей занимаетесь целенаправленно?
Вы определили узкие места и их оптимизируете?
Посмотрели запросы, как вам уже неоднократно говорили, посчитали их количество, хотя бы?
Дальше, при оптимизации запроса отлавливаете профайлером в какой запрос SQL он преобразуется,
какой план выполнения у этого SQL запроса?

Alex_MA
Вы прям на меня тоску нагоняете, откуда такие данные ?
Из многолетнего опыта оптимизации работы больших баз, откуда же еще.
26 мар 14, 12:20    [15788417]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
Minamoto
Member

Откуда: Москва
Сообщений: 1162
Ну или затраты на параллелизм зашкаливают.

Тут вот одному пользователю как раз с 1C очень помогло изменение параметров параллелизма:

И опять о тормозах 1с. Помогите разобраться со статистикой и блокировками.
26 мар 14, 12:40    [15788578]     Ответить | Цитировать Сообщить модератору
 Re: Оптимизация базы 1С  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31868
Alex_MA
Оптимизация в кавычках не спроста ? (Говорите уже прямо, а то как будто шифруетесь)
Почему не будет достигнута ? Если заниматься проблемой целенаправленно - результат будет.
Потому что вы выбрали путь, который не приведёт ни к каким улучшениям.

Странно ваше упорство - вам пишут люди, которые 10 лет по 8 часов в день занимаются оптимизацией, а вы их убеждаете, что они неправы, хотя ещё и не приступали :-)
Alex_MA
Если заниматься проблемой целенаправленно - результат будет.
Целенаправленности недостаточно.

Менеджер из макдональдса пришёл в авиакомпанию, и сказал, что через 3 месяца рейс должен выполняться не за 4 часа, а за 1. И нанял для этого приятеля, с которым вместе торговал пылесосами.
На тех, кто сомневается, этот приятель смотрит как на несмышлёных дурачков, и бодро говорит: "главное - не болтать, а делать! Саказали "нада", значит, будем работать! уходим вместо 18 в 20 часов!"

Смешно?
26 мар 14, 12:47    [15788628]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить