Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Delphi Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Способы борьбы с фрагментацией памяти  [new]
hlopotun
Member

Откуда:
Сообщений: 498
Всем доброго дня,

10.4.1, х32
большая программа состоящая из множества модулей (dll, ocx и проч) по отзывам клиентов через несколько часов работы замедляется. Причём не только сама замедляется, замедляет также остальные программы запущенные на этом PC. Даже если нагрузка на процессор небольшая и количество свободной памяти достаточное.
Если программу закрыть и открыть снова скорость восстанавливается. В процессе выяснения причин подозрение пало на фрагментацию памяти.
Соотв. возникло несколько вопросов.
1. Как это проверить? Есть ли какие средства позволяшщие оценит степень фрагментации памяти?
2. Как с этим бороться? Возможно ли в фоне проводить дефрагментацию памяти? Возможно изменить настройки менеджера памяти? Выполнить какие другие действия....
По утверждениям тех же клиентов ещё пару лет назад такой проблемы не наблюдалось. У эбаркадеры что то кардинально менялось в направлении работы с памятью последние несколько лет?

Спасибо за любые советы и ссылки.
21 июл 21, 17:54    [22349495]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
kealon(Ruslan)
Member

Откуда: Нижневартовск
Сообщений: 6385
hlopotun,

Это у вас скорее всего не с памятью проблемы, а с утечкой ресурсов: GDI-объекты, дескрипторы и пр.

Обычно в этом случае ОС начинает хорошо так лагать. Выделение этих объектов можно посмотреть в стандартном диспетчере задач.
21 июл 21, 18:14    [22349504]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 66317
Блог
hlopotun
В процессе выяснения причин подозрение пало на фрагментацию памяти.

Пальценебным методом, я полагаю? Было бы интересно хотя бы услышать ответ на вопрос - какой памяти.

hlopotun
По утверждениям тех же клиентов ещё пару лет назад такой проблемы не наблюдалось.

А они за последние пару лет, случаем, десятку не обновляли?
21 июл 21, 18:15    [22349505]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
Zelius
Member

Откуда: Россия, Москва
Сообщений: 1557
hlopotun,

самый простой способ избавиться от накапливаемых ошибок - это вынести проблемный код в отдельный процесс, который можно периодически прибивать и перезапускать
21 июл 21, 18:44    [22349513]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
Fr0sT-Brutal
Member

Откуда:
Сообщений: 806
Фрагментация влияет, только если размещать большие куски зараз (в ОП не найдется непрерывного куска - уйдет в своп), или мега-производительно бегать по массивам (кеши процессора, вот это все). Остальное будет незаметно. Так что смотреть загрузку ОП и свопа, а потом идти хэндлы проверять
21 июл 21, 18:44    [22349514]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
Кроик Семён
Member

Откуда: СПб --> Dortmund
Сообщений: 6833
Zelius
самый простой способ избавиться от накапливаемых ошибок - это вынести проблемный код в отдельный процесс, который можно периодически прибивать и перезапускать


плавно переходим к теме "Микросервисная архитектура приложений на Delphi"
21 июл 21, 19:35    [22349539]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
ъъъъъ
Member

Откуда:
Сообщений: 2233
"Узнай автора по названию темы".
Очередной бессмысленный топик.
21 июл 21, 22:03    [22349579]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
Соколинский Борис
Member

Откуда: Москва
Сообщений: 14815
hlopotun

1. Как это проверить? Есть ли какие средства позволяшщие оценит степень фрагментации памяти?

rammap

hlopotun

2. Как с этим бороться? Возможно ли в фоне проводить дефрагментацию памяти? Возможно изменить настройки менеджера памяти? Выполнить какие другие действия....

Переход на Win64 решает большинство проблем.
21 июл 21, 22:15    [22349586]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
Relic Hunter
Member

Откуда: AB
Сообщений: 7599
Соколинский Борис
Переход на Win64 решает большинство проблем.
как? если прога 32 бит.
21 июл 21, 23:24    [22349611]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
Соколинский Борис
Member

Откуда: Москва
Сообщений: 14815
Relic Hunter,
прогу переделать под Win64, вестимо, вместе со всей требухой.
21 июл 21, 23:33    [22349617]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 53761

Соколинский Борис
прогу переделать под Win64

Некому.

Posted via ActualForum NNTP Server 1.5

22 июл 21, 00:18    [22349635]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
Relic Hunter
Member

Откуда: AB
Сообщений: 7599
Непонятно как фрагментация может вызывать замедление. Выделение памяти может произойти или не произойти по причине её отсутствия. А вот если очереди выстроились к какому-то ресурсу, то да. Пулу соединений к БД, например.
22 июл 21, 00:37    [22349640]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
x1ca4064
Member

Откуда:
Сообщений: 1292
Relic Hunter
Непонятно как фрагментация может вызывать замедление. Выделение памяти может произойти или не произойти по причине её отсутствия.


Менеджеру памяти (МП) нужно как-то найти кусок памяти, который он выделит - а у него есть список (а то и несколько) освобожденных кусков, которые он может объединять, если они соседние и пр.
Логика работы МП - тема для долгих бесед, некоторое замедление конкретного приложения он может вызвать, но тормозить всю систему - сомнительно.

Сообщение было отредактировано: 22 июл 21, 01:07
22 июл 21, 01:16    [22349647]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
DmSer
Member

Откуда: Пенза
Сообщений: 1386
Я в этом году сталкивался с фрагментацией стандартного ММ в D2007.
При каждой операции синхронизации справочников утекало порядка 50Кб. Делал порядка 100 операций и каждый раз память увеличилась на 50 Кб, в коде ошибок не было, поэтому сделал вывод что это фрагментация. Проблема решилась после переноса вызова метода Free для одного из объектов на несколько строк выше.
22 июл 21, 08:20    [22349666]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
hlopotun
Member

Откуда:
Сообщений: 498
DmSer
Я в этом году сталкивался с фрагментацией стандартного ММ в D2007.
При каждой операции синхронизации справочников утекало порядка 50Кб. Делал порядка 100 операций и каждый раз память увеличилась на 50 Кб, в коде ошибок не было, поэтому сделал вывод что это фрагментация. Проблема решилась после переноса вызова метода Free для одного из объектов на несколько строк выше.


тут так просто всё не будет.
Огромная программа которая уже более 25 лет растёт, не один десяток программистов приложили руку. Одних только самописных фреймворков несколько штук, есть модули из delphi 5 без исходников, мегатонны кода. Всё это работает и запускается в рамках одного х32 приложения.Взять это и одним махом перенести на х64 не получится. Слишком большой объём работ. Для начала надо разобраться, действительно ли фрагментация причина или как выше написали не освобождение ресурсов или ещё что. Как только это не освобождение может влиять на сторонние программы если памяти достаточно и процессора не нагружены (по меньшей мере так выглядит в менеджере задач винды). Разбираться надо короче.
Для начала хорошо бы какую статью почитать с разбором поиска подобных проблемм. И какие инструменты и методики лучше использовать при этом разборе. Например, есть ли вообще вожможность визуализировать фрагментацию памяти и её заполнение.

Спасибо всем за участие.
22 июл 21, 09:35    [22349685]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
hlopotun
Member

Откуда:
Сообщений: 498
Fr0sT-Brutal
Фрагментация влияет, только если размещать большие куски зараз (в ОП не найдется непрерывного куска - уйдет в своп), или мега-производительно бегать по массивам (кеши процессора, вот это все). Остальное будет незаметно. Так что смотреть загрузку ОП и свопа, а потом идти хэндлы проверять


тут как раз наверное случай с самописными датасетами/массивами которые работают и с paradox и с firebird и тащат всё сразу в память.
22 июл 21, 09:44    [22349690]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
hlopotun
Member

Откуда:
Сообщений: 498
вот нашел у мелкомягких софтину RamMap.
Хоть фрагментацию и не показывает но карту памяти строит.
22 июл 21, 10:03    [22349705]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
Fr0sT-Brutal
Member

Откуда:
Сообщений: 806
hlopotun
Как только это не освобождение может влиять на сторонние программы если памяти достаточно и процессора не нагружены (по меньшей мере так выглядит в менеджере задач винды). Разбираться надо короче.

Если памяти достаточно, то не в фрагменатции дело, кмк. Смотри на хэндлы.
22 июл 21, 10:14    [22349712]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
swame2
Member

Откуда: Москва
Сообщений: 72
hlopotun,

Не факт, что это фрагментация памяти.
Я бы все-таки начал с исследования производительности профайлером.
Может программа тормозит при вызове каких то внешних процессов или ресурсов, тогда большой загрузки процессор не покажет.
А профайлер покажет.
Может растут какие то списки и идет поиск перебором в них (но тогда процессор покажет увеличение загрузки).
Я пользуюсь профайлером https://www.prodelphi.de.
Ну а чтобы мониторить это все на постоянной основе - логирование времени выполнения всех кусков кода при превышении лимита времени выполнения, от крупных к мелким.

Сообщение было отредактировано: 22 июл 21, 10:33
22 июл 21, 10:39    [22349726]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
GunSmoker
Member

Откуда:
Сообщений: 3240
Слон в комнате:
hlopotun
Причём не только сама замедляется, замедляет также остальные программы запущенные на этом PC.


Память в программах виртуальна ужо больше 25 лет. Никаким макаром память в вашей программе не может влиять на ядро или другие программы.
22 июл 21, 11:00    [22349737]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
Barmaley57
Member

Откуда: Москва
Сообщений: 5902
GunSmoker
Слон в комнате:
hlopotun
Причём не только сама замедляется, замедляет также остальные программы запущенные на этом PC.


Память в программах виртуальна ужо больше 25 лет. Никаким макаром память в вашей программе не может влиять на ядро или другие программы.
Да запросто! "Отберите" у приложений их рабочие наборы и они прекрасно все вместе будут их подгружать заново и тормозить всю систему.
22 июл 21, 11:11    [22349740]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
Barmaley57
Member

Откуда: Москва
Сообщений: 5902
Надо смотреть, что вообще творится с памятью. Сколько физической. Какие операции с ней производятся. Может тупо система не успевает отдавать "обнуленные" страницы.
22 июл 21, 11:14    [22349741]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
hlopotun
Member

Откуда:
Сообщений: 498
GunSmoker
Слон в комнате:
hlopotun
Причём не только сама замедляется, замедляет также остальные программы запущенные на этом PC.


Память в программах виртуальна ужо больше 25 лет. Никаким макаром память в вашей программе не может влиять на ядро или другие программы.


потому и возникла мысль о фрагментации. Фрагментация организованная одним приложением мешает выделять цельные блоки другому приложению что приводит в свопингу на диск или перераспределению/дефрагментации если система или менеджер памяти делфи их вообще производит.. При этом суммарный объём свободной памяти остаётся достаточно большим. Но если она вся из маленьких кусочков/фрагментирована начинаются тормоза на свопинге.
Поправьте меня если это невозможно.

Спасибо.
22 июл 21, 11:19    [22349746]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
hlopotun
Member

Откуда:
Сообщений: 498
на просторах сети нащел интересную книгу и тут обзорное видео о ней "Delphi memory management".
22 июл 21, 11:24    [22349750]     Ответить | Цитировать Сообщить модератору
 Re: Способы борьбы с фрагментацией памяти  [new]
_Vasilisk_
Member

Откуда: Украина, Харьков
Сообщений: 13002
hlopotun
Фрагментация организованная одним приложением мешает выделять цельные блоки другому приложению

GunSmoker
Память в программах виртуальна ужо больше 25 лет. Никаким макаром память в вашей программе не может влиять на ядро или другие программы.
22 июл 21, 11:28    [22349752]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Delphi Ответить