Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Delphi Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3]      все
 Re: Сортировка сотен миллионов строк с удалением дублей  [new]
X-Cite
Member

Откуда: Минск
Сообщений: 1432
Дегтярев Евгений
> Все 24 лп не напрягались, ощущение что уперлось во что-то другое, возможно память.
NUMA?

Да
8 июл 19, 09:33    [21922461]     Ответить | Цитировать Сообщить модератору
 Re: Сортировка сотен миллионов строк с удалением дублей  [new]
Gator
Member

Откуда: Москва
Сообщений: 14346
X-Cite
Дегтярев Евгений
> Все 24 лп не напрягались, ощущение что уперлось во что-то другое, возможно память.
NUMA?

Да

Вроде бы Тема о сортировке большых(?) объёмах данных? На клиенте?
А вы тут... PUMA зачем-то... Вы бы ещё IBM & Cray Corp вспомнили...
SAS мозгололомоы разбежались по конторам по тематике...
___
Собственно вопрос. Кто в состоянии обработать 100 миллионов строк (а завтра и 100 миллиардов)?
Тут нужен сервис ленивый (а ля LazyReader/LazyWriter)
Клиенту-то это зачем?
Распределённая сеть с распределёнными транзакциями ради тупой сортировки(?) неизвестно чего(ТС?)???
Да ещё на Дельфи? Не верю!

Клиент пусть берёт нужную выборку из своего OLAP и сортирует,
как жопса скажет нужные ему поля в нужном ему порядке
______________
Картинка с другого сайта.Картинка с другого сайта.Картинка с другого сайта.
9 июл 19, 00:23    [21923139]     Ответить | Цитировать Сообщить модератору
 Re: Сортировка сотен миллионов строк с удалением дублей  [new]
Дегтярев Евгений
Member

Откуда: Барнаул
Сообщений: 1605
Gator
А вы тут... PUMA зачем-то...

whaat?
9 июл 19, 07:34    [21923177]     Ответить | Цитировать Сообщить модератору
 Re: Сортировка сотен миллионов строк с удалением дублей  [new]
Gator
Member

Откуда: Москва
Сообщений: 14346
Дегтярев Евгений,
Pardon, NUMA
9 июл 19, 11:23    [21923282]     Ответить | Цитировать Сообщить модератору
 Re: Сортировка сотен миллионов строк с удалением дублей  [new]
X-Cite
Member

Откуда: Минск
Сообщений: 1432
Gator,

В первом сообщении был затронут общий вопрос сортировки, неважно где.
Меня же клиентские машины вообще не интересуют, у нас вся логика в бэкэнде на сервисах. Поэтому и рассматриваю этот вопрос исключительно на серверной части.

К тому же в своих тестах привел кейс для своей машины, считай клиентской, и для двух разных серверов. Моя выиграла из-за того что частота CPU выше, хотя я пробовал на физическом сервере с такой же частотой и он все равно медленнее оказался. Виртуальные серверы понятно, что проиграли.
А вопрос про NUMA возник из-за того, что меня удивило, что 24 ЛП не напрягались, и как я понял это может быть причиной, когда данные оказались в памяти не того сокета, куда прикреплен процессор.

Никакие распределенные сети не нужны. Нужно чтобы TArray.Sort<T> работал быстро неважно где и использовал все возможности машины на которой выполняется код.

P.S.
Создал в QC 3 таски:
Одна на multithreading сортировку в TArray.Sort<T> - добавить возможность включения
Одна на поддержку NUMA в менеджере памяти - актуально для бэкенда (на гитхабе нашел коммент в FastMM на поддержку, но он так и остался комментом [planned: support for multiple per-NUMA-node allocators])
Одна на поддержку NUMA в TThredPool - актуально для бэкенда
9 июл 19, 15:15    [21923501]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3]      все
Все форумы / Delphi Ответить