Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 нехватка ресурсов RAM  [new]
udar_molota
Member

Откуда: Тель-Авив
Сообщений: 61
у меня есть персональный сайт.

на нём обычно не более 30 человек одновременно.
сайт состоит из блогов и форума, все на MS SQL и ASP.
в последнее время, на сайте онлайн висит 100+ человек, но если заглянуть в их Session (я создала сешен, который содержит адрес страницы где пользователь находится), то они не находятся нигде. не пишет на каких страницах. возможно это какие-то роботы.

вопрос такой: могут ли эти роботы, не находясь (вроде как) ни на какой конкретной странице, запускать что-то, из-за чего у меня постоянная нехватка RAM (1GB)?

сайт постоянно падает. я начала оптимизацию запросов в блогах и на форуме, но подумалось, если они на сайте есть, но не "ходят" по страницам, значит оптимизация на них не повлияет? или повлияет?
14 мар 12, 20:02    [12248886]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31987
udar_molota
сайт постоянно падает. я начала оптимизацию запросов в блогах и на форуме, но подумалось, если они на сайте есть, но не "ходят" по страницам, значит оптимизация на них не повлияет? или повлияет?
Это у вас запросы ходят по страницам???
14 мар 12, 21:14    [12249099]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
udar_molota
Member

Откуда: Тель-Авив
Сообщений: 61
alexeyvg,

боты
14 мар 12, 21:21    [12249120]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
автор
нехватка RAM (1GB)


Ну, это, как бы, да. 1 гиг - это явная нехватка, даже если нет сайта из блогов и форума на MS SQL и ASP.

автор
сайт постоянно падает.


В чем это выражается?

автор
но если заглянуть в их Session (я создала сешен, который содержит адрес страницы где пользователь находится), то они не находятся нигде. не пишет на каких страницах. возможно это какие-то роботы.


Ну, конечно, можно заподозрить тут SYN-флуд, но что-то мне мало в это верится, учитывая популярность сайта в части потенциальной жертвы DDoS. :)
14 мар 12, 21:21    [12249124]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31987
udar_molota
alexeyvg,

боты
Понятно.

Тогда расшифруйте, что значит:

"если боты на сайте есть, но не "ходят" по страницам"

То есть они сидят между букв и никого не трогают?

Какие то странные у вас формулировки - непонятно, какая проблема и какой у вас вопрос.
14 мар 12, 21:26    [12249137]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
автор
я создала сешен, который содержит адрес страницы где пользователь находится


Session-State? В каком режиме? SQLServer?
14 мар 12, 21:30    [12249148]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
udar_molota
Member

Откуда: Тель-Авив
Сообщений: 61
pkarklin
Ну, это, как бы, да. 1 гиг - это явная нехватка, даже если нет сайта из блогов и форума на MS SQL и ASP.

сайту уже два года, раньше хватало.

pkarklin
В чем это выражается?

получаю страницу с надписью HTTP/1.1 500 Server Error

pkarklin
Ну, конечно, можно заподозрить тут SYN-флуд, но что-то мне мало в это верится, учитывая популярность сайта в части потенциальной жертвы DDoS. :)

пока я не позакрывала дырки в коде, у меня была куча попыток добавить пользователя (с неправильным форматом данных в полях, видимо через querystring), стереть комменарии, добавить темы, добавить ответы и т.д. всё это с бессмысленным набором букв и иногда за 5 минут по 400 действий (у меня раньше стоял email-notification на всякие подобные действия). волнами.


alexeyvg
если боты на сайте есть, но не "ходят" по страницам

расшифровываю: ASP Session показывает IP кого-то, кто находится на сайте. но не показывает где именно. все живые пользователи имеют конкретный адрес страницы и видно где они находятся, а эти боты или не знаю кто, не имеют. я могу видеть лишь их IP и не вижу где они конкретно на сайте. тем не менее именно из-за них увеличилась нагрузка на сервер, значит они каким-то образом запускают процессы SQL. не знаю каким.

alexeyvg
непонятно, какая проблема и какой у вас вопрос

проблема в этих пользователях, чьё местонахождение на сайте я не могу вычислить. я не могу понять, поможет ли оптимизация запросов SQL на страницах сайта снизить количество затраченных ресурсов на каждого посетителя сайта, учитывая то, что эти конкретные посетители не отслеживаются по страницам.



pkarklin
Session-State? В каком режиме? SQLServer?

ASP Session. в него загружаются данные о местонахождении пользователя.
MS SQL Express Edition 2005.
14 мар 12, 21:45    [12249199]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 31987
udar_molota
alexeyvg
если боты на сайте есть, но не "ходят" по страницам

расшифровываю: ASP Session показывает IP кого-то, кто находится на сайте. но не показывает где именно. все живые пользователи имеют конкретный адрес страницы и видно где они находятся, а эти боты или не знаю кто, не имеют. я могу видеть лишь их IP и не вижу где они конкретно на сайте. тем не менее именно из-за них увеличилась нагрузка на сервер, значит они каким-то образом запускают процессы SQL. не знаю каким.
Как то странно...

Боты ходят по сайту посредством запроса по какому то url, как же ещё...

Может, это в код внесли какие то ошибки, может, что то поменяли?

Странно это...
14 мар 12, 21:49    [12249212]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
udar_molota
Member

Откуда: Тель-Авив
Сообщений: 61
alexeyvg
Как то странно...

Боты ходят по сайту посредством запроса по какому то url, как же ещё...

Может, это в код внесли какие то ошибки, может, что то поменяли?

Странно это...
спам-боты какие-то. возможно есть причина, по которой Session их местоположение не считывает.
14 мар 12, 21:57    [12249241]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
udar_molota
спам-боты какие-то. возможно есть причина, по которой Session их местоположение не считывает.


А кроме IP, другая информация есть какая-нибудь? user-agent, например?
14 мар 12, 22:02    [12249262]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
udar_molota
Member

Откуда: Тель-Авив
Сообщений: 61
pkarklin
udar_molota
спам-боты какие-то. возможно есть причина, по которой Session их местоположение не считывает.


А кроме IP, другая информация есть какая-нибудь? user-agent, например?
нету. но я никогда об этом е задумывалась, это можно организовать, но что это даст? выделить их в группу и закрыть доступ?
14 мар 12, 22:05    [12249278]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
pkarklin
Member

Откуда: Москва (Муром)
Сообщений: 74930
udar_molota
можно организовать, но что это даст?...


Можно организовать, например распарсив логи IIS. Но это тема совершенно другого форума.
14 мар 12, 22:12    [12249301]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
udar_molota
Member

Откуда: Тель-Авив
Сообщений: 61
pkarklin
udar_molota
можно организовать, но что это даст?...


Можно организовать, например распарсив логи IIS. Но это тема совершенно другого форума.
у меня даже по IP их закрыть не получается. висят как ни в чём не бывало.
и ресурсы тратят как-то.

Модератор: udar_molota, обратитесь со своими проблемами на специализированный форум.


Сообщение было отредактировано: 14 мар 12, 22:16
14 мар 12, 22:13    [12249305]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
Mind
Member

Откуда: Лучший город на Земле
Сообщений: 2322
udar_molota
вопрос такой: могут ли эти роботы, не находясь (вроде как) ни на какой конкретной странице, запускать что-то, из-за чего у меня постоянная нехватка RAM (1GB)?

Все равно, где кто находится, но если они шлют запросы SQL Server-у то можно эти запросы отследить, и при этом не обязатально запускать профайлер, всегда можно посмотреть активные запросы на текущий момент.
Что значит постоянная нехватка RAM? RAM для SQL Server или для всего сайта или для чего-то другого? Как вы выяснили что у вас нехватка памяти? Какие вообще счетчики производительности вы смотрели? PLE? И какого размера у вас база?

udar_molota
сайт постоянно падает. я начала оптимизацию запросов в блогах и на форуме, но подумалось, если они на сайте есть, но не "ходят" по страницам, значит оптимизация на них не повлияет? или повлияет?

Тот запрос что вы выкладывали ранее, по моему мнению, не похож на bottleneck, если конечно его не вызывают 1000 раз в секунду, у вас проблемы где-то глубже.
14 мар 12, 22:16    [12249317]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
udar_molota
Member

Откуда: Тель-Авив
Сообщений: 61
Mind
Что значит постоянная нехватка RAM? RAM для SQL Server или для всего сайта или для чего-то другого? Как вы выяснили что у вас нехватка памяти? Какие вообще счетчики производительности вы смотрели? PLE? И какого размера у вас база?

сайт отключается постоянно и пишет HTTP/1.1 500 Server Error, я перезагружаю SQL сервисы и иногда WWW и он запускается.
спросила владельцев хостинга почему падает, те сказали что от нехватки ресурсов и предложили увеличить RAM на 512МБ за нелишние для меня деньги.

база около 120МБ.
14 мар 12, 22:32    [12249363]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
Crimean
Member

Откуда:
Сообщений: 13147
udar_molota,

точная версия сиквела?
активные процессы на сиквеле во время проблем смотрели?
память сиквелу зарезана? на сколько? вообще что покажет sp_configure
административный доступ на хостинг вообще есть?
сколько ядер доступно? в афинизацию играть не пробовали?
14 мар 12, 22:53    [12249428]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
udar_molota
Member

Откуда: Тель-Авив
Сообщений: 61
Crimean
udar_molota,

точная версия сиквела?
активные процессы на сиквеле во время проблем смотрели?
память сиквелу зарезана? на сколько? вообще что покажет sp_configure
административный доступ на хостинг вообще есть?
сколько ядер доступно? в афинизацию играть не пробовали?


Microsoft SQL Server 2008 (RTM) - 10.0.1600.22 (Intel X86) Jul 9 2008 14:43:34 Copyright (c) 1988-2008 Microsoft Corporation Express Edition with Advanced Services on Windows NT 6.0 <X64> (Build 6002: Service Pack 2) (WOW64)

про память надеюсь поняла вас правильно - у Express ona 1GB и ядро, думаю, одно. не знаю как узнать точно.

а что такое афинизация? в данном контексте)

sp_configure:

name minimum maximum config_value run_value
access check cache bucket count 0 16384 0 0
access check cache quota 0 2147483647 0 0
Ad Hoc Distributed Queries 0 1 0 0
affinity I/O mask -2147483648 2147483647 0 0
affinity mask -2147483648 2147483647 0 0
Agent XPs 0 1 0 0
allow updates 0 1 0 0
awe enabled 0 1 0 0
blocked process threshold (s) 0 86400 0 0
c2 audit mode 0 1 0 0
clr enabled 0 1 0 0
cost threshold for parallelism 0 32767 5 5
cross db ownership chaining 0 1 0 0
cursor threshold -1 2147483647 -1 -1
Database Mail XPs 0 1 0 0
default full-text language 0 2147483647 1033 1033
default language 0 9999 0 0
default trace enabled 0 1 1 1
disallow results from triggers 0 1 0 0
filestream access level 0 2 0 0
fill factor (%) 0 100 0 0
ft crawl bandwidth (max) 0 32767 100 100
ft crawl bandwidth (min) 0 32767 0 0
ft notify bandwidth (max) 0 32767 100 100
ft notify bandwidth (min) 0 32767 0 0
index create memory (KB) 704 2147483647 0 0
in-doubt xact resolution 0 2 0 0
lightweight pooling 0 1 0 0
locks 5000 2147483647 0 0
max degree of parallelism 0 64 0 0
max full-text crawl range 0 256 4 4
max server memory (MB) 16 2147483647 350 350
max text repl size (B) -1 2147483647 65536 65536
max worker threads 128 32767 0 0
media retention 0 365 0 0
min memory per query (KB) 512 2147483647 1024 1024
min server memory (MB) 0 2147483647 0 8
nested triggers 0 1 1 1
network packet size (B) 512 32767 4096 4096
Ole Automation Procedures 0 1 0 0
open objects 0 2147483647 0 0
optimize for ad hoc workloads 0 1 0 0
PH timeout (s) 1 3600 60 60
precompute rank 0 1 0 0
priority boost 0 1 1 1
query governor cost limit 0 2147483647 0 0
query wait (s) -1 2147483647 -1 -1
recovery interval (min) 0 32767 0 0
remote access 0 1 1 1
remote admin connections 0 1 0 0
remote login timeout (s) 0 2147483647 20 20
remote proc trans 0 1 0 0
remote query timeout (s) 0 2147483647 600 600
Replication XPs 0 1 0 0
scan for startup procs 0 1 0 0
server trigger recursion 0 1 1 1
set working set size 0 1 0 0
show advanced options 0 1 1 1
SMO and DMO XPs 0 1 1 1
SQL Mail XPs 0 1 0 0
transform noise words 0 1 0 0
two digit year cutoff 1753 9999 2049 2049
user connections 0 32767 0 0
user instance timeout 5 65535 60 60
user instances enabled 0 1 1 1
user options 0 32767 0 0
xp_cmdshell 0 1 0 0
14 мар 12, 23:11    [12249488]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
Knyazev Alexey
Member

Откуда: Екб -> Мск
Сообщений: 10233
Блог
max server memory (MB) 16 2147483647 350 350


Жесть!
14 мар 12, 23:46    [12249643]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
Crimean
Member

Откуда:
Сообщений: 13147
> Microsoft SQL Server 2008 (RTM) - 10.0.1600.22

патчить!!

> default trace enabled 0 1 1 1

обсудить, возможно убрать

> optimize for ad hoc workloads 0 1 0 0

собрать трас и проанализировать. возможно что и включить

> priority boost 0 1 1 1

99% выключить нафик

это раз. два - после того как пропатчите сиквел разберитесь - систему садит сиквел или иис. но для этого нужен административный доступ к операционке на время проблем.
15 мар 12, 00:06    [12249732]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
udar_molota
Member

Откуда: Тель-Авив
Сообщений: 61
Knyazev Alexey
max server memory (MB) 16 2147483647 350 350


Жесть!
а переведите?)
15 мар 12, 00:06    [12249736]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
Knyazev Alexey
Member

Откуда: Екб -> Мск
Сообщений: 10233
Блог
udar_molota
Knyazev Alexey
max server memory (MB) 16 2147483647 350 350


Жесть!
а переведите?)


вы лимитировали сиквел до 350 Мб
15 мар 12, 00:08    [12249744]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
udar_molota
Member

Откуда: Тель-Авив
Сообщений: 61
Crimean
> Microsoft SQL Server 2008 (RTM) - 10.0.1600.22
патчить!!

не факт что разрешат.
и на что патчить, кстати? и почему?

Crimean
> default trace enabled 0 1 1 1
обсудить, возможно убрать

> optimize for ad hoc workloads 0 1 0 0
собрать трас и проанализировать. возможно что и включить

> priority boost 0 1 1 1
99% выключить нафик

а вы не могли бы пояснить свои слова? я в тонкостях баз данных мало что понимаю.

Crimean
это раз. два - после того как пропатчите сиквел разберитесь - систему садит сиквел или иис. но для этого нужен административный доступ к операционке на время проблем.

посмотреть в Task Maneger'e кто жрёт больше ресурсов? или где-то в логах? у меня есть Remote доступ, но там несколько урезаны права на операции.
15 мар 12, 00:11    [12249761]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
udar_molota
Member

Откуда: Тель-Авив
Сообщений: 61
Knyazev Alexey
вы лимитировали сиквел до 350 Мб

не мы. мы не умеем.

хотя, если у меня всего памяти 1ГБ, разве не логично лимитировать SQL на 350МБ?

может ли сайт падать от нехватки памяти для SQL?
15 мар 12, 00:13    [12249770]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
Mind
Member

Откуда: Лучший город на Земле
Сообщений: 2322
Crimean
> default trace enabled 0 1 1 1

обсудить, возможно убрать

Чем вам дефолтный трейс то помешал?
15 мар 12, 00:20    [12249793]     Ответить | Цитировать Сообщить модератору
 Re: нехватка ресурсов RAM  [new]
Crimean
Member

Откуда:
Сообщений: 13147
Mind,

были прецеденты. да, все весьма и весьма раскладное, но если он нужен - лучше настроить самому, явно. а если не нужен - то нафик он нужен?
15 мар 12, 00:26    [12249814]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить