Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Delphi Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3]      все
 Re: ServerMode и несколько миллионов записей  [new]
rgreat
Member

Откуда:
Сообщений: 3997
Переелать на BDE. Будет быстро. ;)
7 дек 17, 14:40    [21015222]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
vavan
Member

Откуда: Казань
Сообщений: 2997
Леонов Юрий
перешел бы давно на UniDAC
не думаю что принципиально время изменится при смене дака. и все же любопытно где проходят озвученные минут
Леонов Юрий
Я предлагал руководству переписать с нуля и на других компонентах. Жмутся, типа времени много займет
это знакомо, я под это дело тоже часы выбивал. одно время даже параллельно тащил в аппсервере доа и anydac и передачей параметра с клиента инстанцировался тот или иной rdm
7 дек 17, 14:54    [21015286]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
EAlexander
Member

Откуда: Москва
Сообщений: 361
Servermode от DevExp рассчитан на запрос, который возвращает первые записи быстро, остальные записи они сами подтягивают по мере необходимости. Всякие футтеры они считают делая запрос вида select ... from (ваш запрос), т.е. такие запросы тоже должны выполняться быстро.
Если же сам запрос выполняется 7 минут, то тут его ничем не ускоришь, кроме переписывания запрос. Для ServerMode нужен запрос Select * from mytable, а фильтровать и искать грида будет сама когда надо.

вопрос к ТС - исходный запрос в sqlplus сколько выполняется?
7 дек 17, 15:55    [21015561]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
vavan
Member

Откуда: Казань
Сообщений: 2997
EAlexander
Servermode от DevExp рассчитан на запрос, который возвращает первые записи быстро, остальные записи они сами подтягивают по мере необходимости. Всякие футтеры они считают делая запрос вида select ... from (ваш запрос), т.е. такие запросы тоже должны выполняться быстро.
Если же сам запрос выполняется 7 минут, то тут его ничем не ускоришь, кроме переписывания запрос. Для ServerMode нужен запрос Select * from mytable, а фильтровать и искать грида будет сама когда надо
OP при этом заявляет что
Леонов Юрий
На обычном встроенном DBGrid открываются влет первые N записей (при установке ReadBuffer = N и QueryAllRecords = False) за секунду
7 дек 17, 16:47    [21015797]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
white_nigger
Member

Откуда: Тула
Сообщений: 1733
Леонов Юрий
Суть в том, что в ServerMode режиме полуторамиллионник открывается около 7 минут. Просто, без сумматоров в футере. Это непозволительно долго.
Посмотри в профилировщике/мониторе какие запросы отправляются гридом. Не должно так долго. У нас хватает пользователей с базами и побольше. Правда лучше тестить на более современных компонентах, там за три года могло и поменяться что-то :)
7 дек 17, 17:07    [21015893]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 327
Еще один вопрос в тему. Пытаюсь перехватить момент, когда пользователь устанавливает свой фильтр. TcxGridServerModeTableView на событие OnFilterChanged не реагирует. Да и вообще событий у него по сравнению с TcxGridDBTableView по части DataController`a не сильно и много. Кто с таким сталкивался?
20 дек 17, 15:59    [21049135]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
X-Cite
Member

Откуда: Минск
Сообщений: 1000
Леонов Юрий
Финансовая организация, народ специфический, им нужен весь набор, по которому можно делать фильтры, сортировки и т.п. хрень. Мое предложение в виде предформы, на которой можно было бы настроить нужный фильтр, было отвергнуто. Лично мне СТОЛЬКО данных и в пупок не впирались))


Толковый бизнес-аналитик после сбора требований разложит этот супер мега отчет на 20 небольших но решающих конкретный задачи. Ведь вашим пользователям после фильтраций и еще чего, нужен какой-то результат. Логичнее отдавать этот результат сразу.

Например если надо на основании показателей за прошлый год надо решить прогноз на будущее.. не надо выгружать показатели... Надо расписать алгоритм пользователя который на основании показателей считает прогноз... И при вводимых коэффициентах сразу выводится прогноз. и т.п.
20 дек 17, 22:22    [21050271]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 327
X-Cite
Толковый бизнес-аналитик после сбора требований разложит этот супер мега отчет на 20 небольших но решающих конкретный задачи. Ведь вашим пользователям после фильтраций и еще чего, нужен какой-то результат. Логичнее отдавать этот результат сразу.

Например если надо на основании показателей за прошлый год надо решить прогноз на будущее.. не надо выгружать показатели... Надо расписать алгоритм пользователя который на основании показателей считает прогноз... И при вводимых коэффициентах сразу выводится прогноз. и т.п.


А кто вам сказал что это отчет? Это счета клиентов. И работать надо с ними со всеми. Другое дело что запрос умирает с "Out of memory" на сильно большом количестве. Построение отчетов тут ни к чему, откуда вы это взяли?
21 дек 17, 10:01    [21050826]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
X-Cite
Member

Откуда: Минск
Сообщений: 1000
Леонов Юрий
X-Cite
Толковый бизнес-аналитик после сбора требований разложит этот супер мега отчет на 20 небольших но решающих конкретный задачи. Ведь вашим пользователям после фильтраций и еще чего, нужен какой-то результат. Логичнее отдавать этот результат сразу.

Например если надо на основании показателей за прошлый год надо решить прогноз на будущее.. не надо выгружать показатели... Надо расписать алгоритм пользователя который на основании показателей считает прогноз... И при вводимых коэффициентах сразу выводится прогноз. и т.п.


А кто вам сказал что это отчет? Это счета клиентов. И работать надо с ними со всеми. Другое дело что запрос умирает с "Out of memory" на сильно большом количестве. Построение отчетов тут ни к чему, откуда вы это взяли?


Такой объем данных необходим только для мега отчетов. Во всех остальных случаях не надо тянуть ВСЕ счета клиентов.

Выбрали одного клиента, загрузили его счета, поработали. Выбрали второго клиента, загрузили счета, поработали.

Работать сразу с миллионом счетов, зачем? Чтобы потом в Excel отфильтровать и работать с 20?

Вам надо понять что они делают с этими счетами, они же какой-то результат на основании работы с ними получают.. Можно же сразу результат этот им и выдавать...
21 дек 17, 14:21    [21051885]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
vavan
Member

Откуда: Казань
Сообщений: 2997
X-Cite
Работать сразу с миллионом счетов, зачем? Чтобы потом в Excel отфильтровать и работать с 20?

Вам надо понять что они делают с этими счетами, они же какой-то результат на основании работы с ними получают.. Можно же сразу результат этот им и выдавать
иногда бывает что отбор на сервере происходит существенно дольше чем загрузить "менее отфильтрованный" набор на клиента и дорезать его локально
21 дек 17, 14:26    [21051918]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
vavan
Member

Откуда: Казань
Сообщений: 2997
X-Cite
Толковый бизнес-аналитик
при наличии его и соответствующих инструментов можно вообще отказаться от дельфового приложения
X-Cite
Надо расписать алгоритм пользователя
хорошо когда удается всю задачу формализовать и автоматизировать, тогда и пользователь глядишь не нужен
21 дек 17, 14:29    [21051938]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 327
X-Cite,

это конечно хорошо, выбрать одного клиента... Только учтите, что в основном у каждого клиента как раз один счет и есть, консолидированный. Речь идет не о банке как таковом, а о Фонде гарантирования вкладов, у них уже 90% всех клиентов имеют по одному счету. И откуда тогда выбирать клиента? Списочек на миллион строк? Так и комбобох любой загнется...

Этой проблеме не один год, уже много вариантов было проиграно
27 дек 17, 11:53    [21066081]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
X-Cite
Member

Откуда: Минск
Сообщений: 1000
Леонов Юрий
X-Cite,

это конечно хорошо, выбрать одного клиента... Только учтите, что в основном у каждого клиента как раз один счет и есть, консолидированный. Речь идет не о банке как таковом, а о Фонде гарантирования вкладов, у них уже 90% всех клиентов имеют по одному счету. И откуда тогда выбирать клиента? Списочек на миллион строк? Так и комбобох любой загнется...

Этой проблеме не один год, уже много вариантов было проиграно

Ммм.. А если такой вариант...
Они с этими счетами что-то делают.. Например (из головы в порядке бреда) сначала смотрят по каким не было движения, потом смотрят например какие истекли, потом смотрят еще что-то... Или например продлить все счета где то и то...
Тогда делается 3 отчета...
Счета без движения, Счета истекшие, Счета еще чего-то...... Функционал по продлению счетов где то-то и то-то....
27 дек 17, 14:59    [21066792]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 327
X-Cite
Ммм.. А если такой вариант...
Они с этими счетами что-то делают.. Например (из головы в порядке бреда) сначала смотрят по каким не было движения, потом смотрят например какие истекли, потом смотрят еще что-то... Или например продлить все счета где то и то...
Тогда делается 3 отчета...
Счета без движения, Счета истекшие, Счета еще чего-то...... Функционал по продлению счетов где то-то и то-то....


Им нужны счета. Чтобы все было на одной форме. Весь необходимый функционал они хотят иметь тут же (хотя большей половиной его никогда не пользовались и зачем заказывали непонятно). У людей мозг завязан только на Excel. Им по барабану сколько записей в наборе, но не хотят ждать пока он откроется.

Да, они тупые. Да, они реально уже бесят! Но они платят. И платят жирно. Вот такой вот парадокс...
Вам такие не попадались?
27 дек 17, 16:14    [21067287]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
makhaon
Member

Откуда: A galaxy far far away
Сообщений: 2308
Леонов Юрий,

пагинация? или любое другое разбиение данных на части? не обязательно кидаться в крайности - показывать одного клиента или миллион. может сделать тысяч 20 + пагинацию?
27 дек 17, 16:16    [21067298]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
Леонов Юрий
Member

Откуда: Украина, Харьков
Сообщений: 327
makhaon
пагинация? или любое другое разбиение данных на части? не обязательно кидаться в крайности - показывать одного клиента или миллион. может сделать тысяч 20 + пагинацию?


Вот про паггинацию подробнее можно? Сейчас тоже возникла про это мысль. Не читал про такую возможность у cxGrid.
29 дек 17, 12:06    [21072296]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
vavan
Member

Откуда: Казань
Сообщений: 2997
а разве servermode не занимается как раз таки пейджингом?
29 дек 17, 12:36    [21072413]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
makhaon
Member

Откуда: A galaxy far far away
Сообщений: 2308
Леонов Юрий,

не всё же компоненты должны за тебя делать :) хотя некоторые и умеют нативно. руками.
29 дек 17, 15:48    [21073012]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
makhaon
Member

Откуда: A galaxy far far away
Сообщений: 2308
хотя лучше бы умели сами показывать постранично, конечно. ручной skip набора - то еще удовольствие. с другой стороны - я слабо верю, что кому-то реально нужно больше 20ти тысяч записей одновременно. если для поиска - то в миллионе записей всё равно глазами найти что-то практически невозможно, фильтры нужны, и тогда проблема количества записей исчезнет сама собой.
может просто ограничить набор 20ю-50ю тысячами записей?
29 дек 17, 15:53    [21073026]     Ответить | Цитировать Сообщить модератору
 Re: ServerMode и несколько миллионов записей  [new]
чччД
Guest
Леонов Юрий
...Суть в том, что в ServerMode режиме полуторамиллионник открывается около 7 минут...


Сделай минимальное тестовое приложение, с "полуторамиллионником" в данных и выложи здесь.

Будет код - будет что обсуждать. Не будет кода - будет болтовня еще на 10 страниц.
29 дек 17, 17:23    [21073236]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3]      все
Все форумы / Delphi Ответить