Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 не совсем оффтоп, как кто решает вопросы логирования работы приложений?  [new]
Crimean
Member

Откуда:
Сообщений: 13147
сразу предупреждаю - мне в первую очередь интересно логирование работы, скажем так, веб-сайта, да еще и с фермой за балансировщиком :) IIS + NLB, если что, для определенности, это все достаточно плотно с СУБД работает
я понимаю, что вариантов не особо много - или в оперативке держать или в файло или в базу или комбинировать это все как-то. собственно, и протокол-то нужен достаточно оперативный. то есть что было неделю назад уже никого не интересует
потенциальный объем - как минимум гигабайтЫ в день, по крайней мере RPC Complete + Batch Complete дают примерно столько за 1 день, а возможно, что и десятки гигов за день ибо в лог попадают не только обращения к СУБД
сейчас все держится в оперативке и вопрос возник из-за неудобства доступа к логу - надо сначала понять на каком именно сервере был пользователь и уже там смотреть лог его работы. когда серверов не 2 и не 3 это превращается в определенный квест
в базу писать страшновато - база и так подгружена (а железо "с запасом" никто никогда не берет) + она зеркалится / бакапится и т.д. да, можно в другую базу писать, но диски, как обычно, не очень резиновые все равно, а как только начну писать в базу - попрут индексы и отчеты по этим данным и никуда от этого сдыхаться не получится, как подсказывает опыт. с третьей стороны "потом" все равно можно и в базу затащить и проанализировать, было бы что, но тут главный момент - "потом", а не в реальном времени..
в общем-то, если у кого есть опыт или просто мысли, причем любой степени отвлеченности - буду очень признателен ибо с идеями внезапно туго.. или боимся не того или рутина заела или вселенский облом внезапно напал :)
24 апр 14, 19:47    [15931835]     Ответить | Цитировать Сообщить модератору
 Re: не совсем оффтоп, как кто решает вопросы логирования работы приложений?  [new]
Mnior
Member

Откуда: Кишинёв
Сообщений: 6723
Линус Торвальдс
Потсоны, колитесь, как кто пишет операционные системы. Особенно интересует серверные платформы широкого профиля ...
Crimean
сейчас все держится в оперативке и вопрос возник из-за неудобства доступа к логу
Чуть чуть допилить надстройку/интерфейс доступа, чтобы искать сразу везде?
Или распределять сразу MapReduce. Только непонятно зачем сразу.

По мне идей всегда море, трудно выбрать, или рассчитать стоимость выбраного (когда это море продуктов неясное).
Откуда мы знаем что вам легче, нафигачить программного кода, или накликать конфигу в известном продукте, или уже юзаете набор продуктов ...
Вы знаете как построен текущий механизм логов. Это уже накладывает рамки и куда можно копать.
Оперативка у вас резиновая? Если надо писать куда-то (не помещается), то спрашиваете о эффективности процесса? Ну коль логи довольно топорные, то используется точечные продукты, к примеру из класса NoSql.
Если у вас жёские критерии использования логов (только по пользователю + диапазон времени), то ключ подбирается соответствующий. Создавать и хранить индексы нет смысла, если точечные запросы - всегда отбирается нужный небольшой временный кусок, а потом "распарсивается" в нужное (индексы/структуры).

На правах нуба.
24 апр 14, 23:17    [15932543]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить