Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 7 [8] 9 10 11   вперед  Ctrl      все
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
graycode
Member

Откуда:
Сообщений: 461
PetroNotC Sharp,

У него и запрос левый, он говорит про пагинацию, а ее нет ... ))
3 ноя 20, 00:07    [22225393]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
andreykaT
H5N1
пропущено...

потому что ты
а) смотришь не план выполненого запроса, а предолагаемый
б) к гадалке не ходи, смотришь после того как запрос выполнился за 30 секунд и значит все блоки уже в буферном кеше.

я говорю джун и девопс, без дба убойная смесь. в нормальной ситуации ты должен был стандартным sqlplus сказать set timing on, set autotrace on и показать резалт дба. дба со свой сороны не должны были ждать от тебя репорта, сами должны были увидеть все в админке. должны были увидеть варнинги, что заросы тупят по 30 секунд. в админке это хорошо видно и видно именно выполнившиеся планы, а не предолагаемые.

в моем видении прекрасного дба должны были сами напрячь булочки и подумать что за чухня что простой селект каунт рандомно тупит 30 сек. даже снимать ничего не надо. мне НЕ интересно колупаться в потрохах оракла. просто потому что я не сделаю это лучше чем дба за тот же отрезок времени как это мог бы сделать адекватный дба. и да, кейс я зарепортил. дальше тут вон народ уже 5 страниц никак не хочет прочесть с чего топик начался и развлекается как может. ну ладно, значит это важнее. стараюсь как могу.

Андрей. Разве dba или девопс тебе указывают брать TreeMap или HashMap?

Ты это определяешь! Ты тот кто знает потребности бизнеса! Ты знаешь алгоритмы.

ДБА может быть советчиком но он не решает какие типы данных включать в таблицу! Партишенинг. Матвью. Это продумывает в первую очередь тот кто создаёт систему!

Что за пассивная позиция! Ты согласен заниматься чепухой с эластиком вместо того чтоб открыть справочник по ораклу и просто посмотреть как можно написать create table с учётом твоих потребностей.
3 ноя 20, 01:23    [22225422]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
hVostt
Member

Откуда:
Сообщений: 18555
andreykaT
я напилил некий ПОЦ на хиберсерче. но хиберсерч работает поверх рдбмс. то есть прилетает пользовательский запрос -
ХС, идет за данными в эластик по индексированным полям, вытряхивает из него скажем 40 айдих (на страницу) и с этими айди прётся в рдбмс, доставая уже оттуда сущности целиком и простым запросом а ля селект туда сюда фром таблица вхере айди ин ()

собссно вопрос - насколько эта схема рациональна?


вполне рациональна.
насколько, зависит от вороха деталей.

почитал топик, подивился... народ, скажем, странно реагирует не вникнув в детали проблемы :)

делайте поиск на ЕС, это нормальное решение.
3 ноя 20, 06:01    [22225445]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
hVostt
вполне рациональна.
насколько, зависит от вороха деталей.
угу. Если вороха много и он плохой то задача перестает рациональной.
Так по логике вещей?

Сообщение было отредактировано: 3 ноя 20, 08:11
3 ноя 20, 08:16    [22225460]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
graycode
запрос левый,
левый запрос с которым пристает ко всем - "выпрямите мне его!"
)
3 ноя 20, 08:20    [22225461]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
Я же говорю. Запрос - нормальный.
Надо выпрямить структуру данных по которой запрос бегает.
3 ноя 20, 10:03    [22225503]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 3233
PetroNotC Sharp
graycode
запрос левый,
левый запрос с которым пристает ко всем - "выпрямите мне его!"
)

Вполне логично. Если ТВ говоришь что кривой то ты знаешь как должен выглядеть прямой. Хотя нет. Ты по ходу не знаешь. Ты даже простой вложенный селект боишься разложить :)
3 ноя 20, 10:09    [22225508]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
andreykaT
Если ТВ говоришь что кривой то ты знаешь как должен выглядеть прямой
пьян?
Термины - мешок, булки, прямой, кривой только твои в топике.
3 ноя 20, 10:27    [22225514]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
mayton
Запрос - нормальный.
мы не в курсе что это означает.
3 ноя 20, 10:27    [22225515]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
mayton,
У него рандомно (тоже термин) то работает то нет.
Это очень тяжелый случай. Не лечится.
3 ноя 20, 10:32    [22225517]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
Нормальный в бытовом смысле.
Приемлемый. Достаточный чтоб не искать перфекционизма.
3 ноя 20, 10:33    [22225519]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
mayton
Нормальный в бытовом смысле.
Приемлемый. Достаточный чтоб не искать перфекционизма.
ок.
А что он ищет?
3 ноя 20, 10:35    [22225521]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
PetroNotC Sharp
mayton,
У него рандомно (тоже термин) то работает то нет.
Это очень тяжелый случай. Не лечится.

Я уже объяснил это явление. У базы остывает кеш.
За счёт конкурирующих запросов которые выталкивают полезные блоки.

И если долго ждать (сутки), то этот же запрос с этим же планом при следующем выполнении полезет вычитывать с диска все блоки.
3 ноя 20, 10:37    [22225522]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
mayton
Я уже объяснил это явление. У базы остывает кеш.
не явление объясни. Что не работает "так как надо".
И "как надо"
)))
3 ноя 20, 10:42    [22225525]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
mayton,
На уровне черного ящика субд.
Не видим никаких кешей.
Внутри ящика любая рсубд
3 ноя 20, 10:43    [22225527]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
Я просто устал. У человека есть свои убеждения.
А у меня - просто гипотезы как улучшить.

Вот мы и кружимся в вальсе. То сходимся. То расходимся.

А почему Elastic? Давайте Tarantool.

Все одно скушно в этом топике.
3 ноя 20, 10:47    [22225531]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
PetroNotC Sharp
mayton,
На уровне черного ящика субд.
Не видим никаких кешей.
Внутри ящика любая рсубд

Ну сорян. Я не спец по "любым" СУБД.
3 ноя 20, 10:48    [22225533]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
mayton,
Да.
До эластика разговор вообще не доходил и не дойдет.
Пока ТС не прекратит парить мозги про рандомные ошибки.
Есть же анекдот про суслика.
Кто устраняет рандомность?
Думаю если есть тестировщики в штате то они.
Если нет, то программист.
3 ноя 20, 10:51    [22225535]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
mayton
Ну сорян. Я не спец по "любым" СУБД.

Не верю:
- стабильные результаты
- повторяемость результатов
- непротиворечивые данные
- многопользователские данные
- транзакционность
...
3 ноя 20, 10:54    [22225538]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 3233
mayton
andreykaT
пропущено...

в моем видении прекрасного дба должны были сами напрячь булочки и подумать что за чухня что простой селект каунт рандомно тупит 30 сек. даже снимать ничего не надо. мне НЕ интересно колупаться в потрохах оракла. просто потому что я не сделаю это лучше чем дба за тот же отрезок времени как это мог бы сделать адекватный дба. и да, кейс я зарепортил. дальше тут вон народ уже 5 страниц никак не хочет прочесть с чего топик начался и развлекается как может. ну ладно, значит это важнее. стараюсь как могу.

Андрей. Разве dba или девопс тебе указывают брать TreeMap или HashMap?

Ты это определяешь! Ты тот кто знает потребности бизнеса! Ты знаешь алгоритмы.

ДБА может быть советчиком но он не решает какие типы данных включать в таблицу! Партишенинг. Матвью. Это продумывает в первую очередь тот кто создаёт систему!

Что за пассивная позиция! Ты согласен заниматься чепухой с эластиком вместо того чтоб открыть справочник по ораклу и просто посмотреть как можно написать create table с учётом твоих потребностей.

я не уверен что легким путем можно создать новую таблицу и туда всё перетащить с этой на которую миллион зависимостей из других таблиц и просто экземпляров этих таблиц по всем инстансам десятки. то есть масштабы бедствия несколько велики.
в общем, я зарепортил кейс. подожду что они там скажут. отмазка "у тебя кривой запрос" у них точно не прокатит, даже наш Петрушка согласился что запрос не кривой.

Сообщение было отредактировано: 3 ноя 20, 11:39
3 ноя 20, 11:41    [22225560]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 3233
graycode
PetroNotC Sharp,

У него и запрос левый, он говорит про пагинацию, а ее нет ... ))

я гляну в код как до компа с ним доберусь. возможно там просто берется топ 10к и всё. возможно просто это запрос первой страницы без скипа.
3 ноя 20, 11:43    [22225561]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
andreykaT
я зарепортил кейс.
неужели официально написал что рандомно то работает, то нет)))).

andreykaT
возможно там просто берется топ 10к и всё. возможно просто это запрос первой страницы без скипа.
здорово, когда прогер без компа 8 страниц спорит
и не знает как взять первые N записи после сортировки.
3 ноя 20, 12:00    [22225572]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
graycode
Member

Откуда:
Сообщений: 461
andreykaT
возможно просто это запрос первой страницы без скипа.

Неважно какая страница, запрос должен быть один и запрос должен использовать связанные переменные, в противном случае будет выполняться 15 разных запросов, для каждой страницы свой и каждый из них парсится и для каждого строится свой план выполнения.

Запрос твой был бы нормальным году этак в 2005-м на 8-9-й версии Оракла, вот тебе статься от 2007 года On Top-n and Pagination Queries, приведи свой запрос хотя бы к виду актуальному на 2007 год и не забудь использовать связанные переменные, а то прям веет временами когда мамонты по земле бродили))

Сообщение было отредактировано: 3 ноя 20, 14:01
3 ноя 20, 14:03    [22225678]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
Это ему не поможет. У него в плане - неэффективная выборка по индексу. И сделать с ней
вобщем ничего нельзя по причине тех 10% селективности о которых я говорил.

Грубо говоря 3% - индекс рулит.
50% рулит партишенинг (+локальный индекс).

Где-то между ними стоит мягкая граница где идет вечная война оптимизатора и хинтов.

Есть еще другие технологии такие как материализация ответа и кластеризованные таблицы.
И вообще отказ от БД как таковой (далее мы дойдем до эластиков-уястиков) но мы еще не вычерпали
Оракл. Я так считаю.

Сообщение было отредактировано: 3 ноя 20, 14:08
3 ноя 20, 14:12    [22225685]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
andreykaT
Member

Откуда: Finland
Сообщений: 3233
В смысле в стандартном виде без тюнинга оракл дохнет на паре сотен тысяч записей в таблице на десять миллионов?
3 ноя 20, 14:23    [22225694]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 7 [8] 9 10 11   вперед  Ctrl      все
Все форумы / Java Ответить