Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 requests taking longer than 15 seconds  [new]
урка1
Member

Откуда: Москва, Кремль
Сообщений: 761
Обнаружено периодическое зависание SQL-сервера

Microsoft SQL Server 2005 - 9.00.3080.00 (X64) 
Sep 6 2009 09:15:46
Copyright (c) 1988-2005 Microsoft Corporation
Enterprise Edition (64-bit) on Windows NT 5.2 (Build 3790: Service Pack 2)

C сообщением

LogFile
11/16/2009 12:53:09,spid3s,Unknown,SQL Server has encountered 2 occurrence(s) of I/O requests taking longer than 15 seconds to complete on file [C:\Program Files\Microsoft SQL Server\MSSQL.1\MSSQL\DATA\tempdb.mdf] in database [tempdb] (2). The OS file handle is 0x0000000000000690. The offset of the latest long I/O is: 0x0000001dea0000


Клиентские проги при этом намертво зависают - ну или падают где-то глубоко в среде .NET провайдера. По времени падение клиентских прог совпадает со временем этого сообщения.

Есть у кого-нибудь идеи борьбы с этим глюком?
16 ноя 09, 20:18    [7936352]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
Ken@t
Member

Откуда: 大地
Сообщений: 3264
1. Проблемы на диске
2. Антивирус
3. вирус.
16 ноя 09, 20:21    [7936364]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
урка1
Member

Откуда: Москва, Кремль
Сообщений: 761
Это происходит раз в несколько дней (иногда раз в сутки) на нагруженномы выделенном SQL, на сайте с четвертью миллионов посетителей в сутки. Плюс на этом SQL висит задача видеоконвертации и еще черт знает что...

Думаю, за сутки этот SQL тянет миллиарды транзакций, тк графика хранится тоже внутри SQL.
Сервер мощнейщий -16GB памяти, больше десятка сказевых дисков в рейд-массиве.
Тачка выделена под SQL - на ней нет больше ничего вообще. Все стоит лицензионное.
А это сообщение выпадает раз в сутки, иногда раз в три дня, иногда раз неделю.

Слишком общо, глобально и редко для "вирус/антивирус". Кто посоветует диагностику какую-то более конкретную?


Ищу хорошую детскую сказку про двух злобных карликов, поработивших целую страну
16 ноя 09, 20:33    [7936388]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
iljy
Member

Откуда:
Сообщений: 8711
урка1
Плюс на этом SQL висит задача видеоконвертации и еще черт знает что...

урка1
Тачка выделена под SQL - на ней нет больше ничего вообще. Все стоит лицензионное.


Так черт знает что или нет больше ничего вообще??
16 ноя 09, 20:37    [7936394]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
урка1
Member

Откуда: Москва, Кремль
Сообщений: 761
На самой этой тачке стоит только керио (дополнительно к SQL)
А черт знает что - относится к тому, что пишет/читает в этот SQL не только сайт, но и куча автономных сервисов портала - например упомянутый сервис видеоконвертации

Ищу хорошую детскую сказку про двух злобных карликов, поработивших целую страну
16 ноя 09, 20:49    [7936421]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
iljy
Member

Откуда:
Сообщений: 8711
урка1
На самой этой тачке стоит только керио (дополнительно к SQL)
А черт знает что - относится к тому, что пишет/читает в этот SQL не только сайт, но и куча автономных сервисов портала - например упомянутый сервис видеоконвертации

тогда сразу 2 вопроса.
1. Вы уверены, что нет физических сбоев на дисках? Самое простое - сбоит диск и инфа с него не читается.
2. Как сконфигурена дисковая подсистема? Если я правильно понял - вы видеофайлы храните в базе? Или в базе ссылки, а сами файлы на диске рядом?
16 ноя 09, 21:01    [7936434]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
урка1
Member

Откуда: Москва, Кремль
Сообщений: 761
Дисковая подсистема сконфигурена как RAID5 - хотя как раз вот этот диск С - это просто отдельный диск (загрузочный). На рейды разнесены базы, логи SQL, TempDB, индексы.
Насчет тупо дисковых сбоев.... хм не знаю, можно было бы наверное ProcMon'ом половить - но ведь за пару минут любой файл подкачки переполнится.
Что касается хранения длинных файлов в базе. Тут все не так просто. Делается сплитирование (ращепление длинных файлов на в-общем-то небольшие фрагменты - до 10 кб в любом случае. Каждый длинный файл пишется только короткими секциями. Так что никаких длинных операций записи нет. Плюс конечно есть кеш на самом web-сервере - где хранятся отмасштабированная графика. Это своего рода кеширующая защита - грубо говоря при чтении 90% графики выбирается из кеша - чтобы уменьшить нагрузку на SQL.



Ищу хорошую детскую сказку про двух злобных карликов, поработивших целую страну
16 ноя 09, 21:21    [7936467]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
iljy
Member

Откуда:
Сообщений: 8711
урка1
Дисковая подсистема сконфигурена как RAID5 - хотя как раз вот этот диск С - это просто отдельный диск (загрузочный). На рейды разнесены базы, логи SQL, TempDB, индексы.

Слушайте, выражайтесь точнее! Сконфигурена как RAID5 - или базы-логи-индексы разнесены на рейды? Сколько их у вас в итоге?
урка1

Насчет тупо дисковых сбоев.... хм не знаю, можно было бы наверное ProcMon'ом половить - но ведь за пару минут любой файл подкачки переполнится.

эээ?? а файл подкачки тут при чем?? И кстати - зачем он вам вообще? Скуль его использованию активно противится, а больше у вас сами говорите - ничего. Думаете керио его сильно юзает?
урка1

Что касается хранения длинных файлов в базе. Тут все не так просто. Делается сплитирование (ращепление длинных файлов на в-общем-то небольшие фрагменты - до 10 кб в любом случае. Каждый длинный файл пишется только короткими секциями. Так что никаких длинных операций записи нет. Плюс конечно есть кеш на самом web-сервере - где хранятся отмасштабированная графика. Это своего рода кеширующая защита - грубо говоря при чтении 90% графики выбирается из кеша - чтобы уменьшить нагрузку на SQL.

Ага, и эти короткие секции потоком передаются на сервер... Вы правда думаете, что таким образом уменьшаете нагрузку?
Очереди к дискам какие у вас получаются?
16 ноя 09, 21:29    [7936476]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
урка1
Member

Откуда: Москва, Кремль
Сообщений: 761
На самом деле это сильно упрощенное изложение архитектуры портала. Есть еще один выделенный SQL (старый) - часть запросов снесена с него именно на второй (новый) сервер - который как раз и падает.
До выноса проц стоял в 100% все время на старом SQL. Потом часть нагрузки была вынесена на кеширование (на отдельный тоже мощный сервер с 12-ю дисками), а часть запросов как раз была вынесена на этот новый мощный SQL сервер с 12-ю. дисками.

Он работает. Но иногда падает.

И эти падения редко сказывается на работе Web. Думаю, наши юзера этого не замечают. Ну может быть кто-то один из миллионов раз в несколько дней рефреш нажимает - мы этого не знаем.

А вот долгоиграющие сервисы портала - та же самая видеоконвертация роликов, которые юзера загружают нам - для видеоконвертаций эти падения SQL оказываются смертельными.

Ищу хорошую детскую сказку про двух злобных карликов, поработивших целую страну
16 ноя 09, 21:30    [7936481]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
урка1
Member

Откуда: Москва, Кремль
Сообщений: 761
1. Все на отдельных рейдах. Логи, базы и тд.
2. Файл подкачки при том - что ProcMon пишет в него, пока он не переполнится.
3. Насчет очередей. Мы оцениваем реактивность работы портала. Формальные счетчики неэффективны (по нашему мнению) - слишком из многих фактовов складывается итоговая реактивность портала.
Для оценки скрорости есть юзабилити менеждеры, тестеры - они оценивают что и когда подтормаживает. Контентщики тоже делают замечания о подтормаживании.
Задача всех-всех=-всех - чтобы не тормозило ВИДИМО. Проекту 10 лет (отпразновали в прошлом году). 10 лет и вылизывается реактивность отклика портала.


Ищу хорошую детскую сказку про двух злобных карликов, поработивших целую страну
16 ноя 09, 21:37    [7936496]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
урка1
Member

Откуда: Москва, Кремль
Сообщений: 761
УПС, а почему-то у меня TempDB оказался вообще на C:\ ?????????
Наверное там кто-то что-то ковырял помимо меня.
Все, приехали...

Ищу хорошую детскую сказку про двух злобных карликов, поработивших целую страну
16 ноя 09, 21:48    [7936524]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
iljy
Member

Откуда:
Сообщений: 8711
урка1
1. Все на отдельных рейдах. Логи, базы и тд.

Тогда запись в базу не должна влиять на работу tempdb. Если только запись ваших маленьких секций ее по какой-то причине не использует...
урка1

2. Файл подкачки при том - что ProcMon пишет в него, пока он не переполнится.

Вы просто не умеете их готовить;)
File-Backing Files - и лейте куда хотите. А предварительно настройте фильтры только на файловую подсистему и на операции, отличные от успешных (я не знаю точно, как у нее будет называться сбой, но наверное не SUCCESS ) И обязательно отметьте Filter-Drop Filtered Events.
урка1

3. Насчет очередей. Мы оцениваем реактивность работы портала. Формальные счетчики неэффективны (по нашему мнению) - слишком из многих фактовов складывается итоговая реактивность портала.
Для оценки скрорости есть юзабилити менеждеры, тестеры - они оценивают что и когда подтормаживает. Контентщики тоже делают замечания о подтормаживании.
Задача всех-всех=-всех - чтобы не тормозило ВИДИМО. Проекту 10 лет (отпразновали в прошлом году). 10 лет и вылизывается реактивность отклика портала.

Не буду спорить, но в моем представлении запись на один диск не может влиять на чтение с другого. А запись множества маленьких секций заведомо увеличивает нагрузку на сервер (один большой файл - просто льется в журнал и базу постранично, с формированием списка страниц, а ваши секции требуют изменения индексов и прочее и прочее, да и журнализируются тяжелее).
урка1

УПС, а почему-то у меня TempDB оказался вообще на C:\ ?????????
Наверное там кто-то что-то ковырял помимо меня.
Все, приехали...

Это уж вам виднее.
16 ноя 09, 22:15    [7936595]     Ответить | Цитировать Сообщить модератору
 Re: requests taking longer than 15 seconds  [new]
А.Панков
Member

Откуда: Toronto
Сообщений: 523
Вот тут посмотрите:
http://blogs.msdn.com/chrissk/archive/2008/06/19/i-o-requests-taking-longer-than-15-seconds-to-complete-on-file.aspx
16 ноя 09, 23:26    [7936752]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить