Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 7 8 9 [10] 11   вперед  Ctrl      все
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
Я не настаиваю. Я 2000х интересовался базами данных. Читал книжки по Postgres, Oracle, Db2.
Но времена меняются. Сегодня DBA на производстве уже не нужен. Техподдержка стала более
шаблонизированной. Но общий уровень знаний баз данных среди программистов сильно упал.
Я не знаю с чем это связано. Наверное с трендами времени. Хотя учет денег не ушел как задача.
Скорее на фоне него дурие задачи (Internet-Of-Thins, BigData, ML, FuzzyText processing)
резко вышли на новый уровень и культура реляционок просела.

И сам программист перестал быть мотивированным к решению таких задач. Он просто резко
меняет постановку отказываясь от ACID в пользу eventual consistency/idempotancy. Благо
бизнес это позволяет. А на этих евеншуал можно уже танцевать в сторону файловых хранилищ,
или сообщений. Вобщем - красота.

Так что я не сомневаюсь что Адрей бросит конешно разбираться с БД. Он выкрутится по своему.
Просто будут заказаны и куплены серваки под кеш на базе или Эластика-уястика или
Редиса-уедиса... или Ignite или Hazelcast да мало-ли чего. Кеширующих софтин тысячи.
3 ноя 20, 17:39    [22225851]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
graycode
Member

Откуда:
Сообщений: 461
mayton,

Объем необходимых знаний в каждой дисциплине растет и одному человеку сложно охватывать все и сразу, поэтому идет более глубокая дифференциация, фуллстек уже не может быть эффективным на сложных задачах, банально не хватит актуальности знаний и опыта.

Чтобы заказывать серваки и развертывать новую неспецифичную для проекта архитектуру, нужно обоснование, с обоснованием есть явные проблемы ...
3 ноя 20, 17:45    [22225858]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
Биллинг. Лицензии на RDBMS были всегда дорогие.

Я заметил что Амазон при прочих равных условиях тяготеет к перетаскиванию людей с нормальных БД
на свой DynamoDb. И их калькуляторы биллинга обычно к этому способствуют. Люди смотрят и чешут
репу. Ой блин... а нахрена нам Постгрес если мы его просто как key-value гоняем. Пускай будет Динамка
она дешевле.
3 ноя 20, 17:48    [22225862]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
hVostt
Member

Откуда:
Сообщений: 18555
mayton
Я же говорю. Запрос - нормальный.
Надо выпрямить структуру данных по которой запрос бегает.


совершенно нет стойкого ощущения, что вы работали в больших корпоративных системах :)

ваши "правильные" структуры там не работают.
человек озвучил проблему, поиск не работает быстро, проблема плавающая -- очевидно, что задержки приходятся на моменты повышенной нагрузки.

что вы заладили, исправь запрос.
не пей.
не кури.
живи по корану.

что за бестолковая идеализация мира такая у вас?

и решается такое достаточно просто. либо БД выносится на отдельные мощностя, либо делается срез данных на своих мощностях. этому решению 100500 лет в обед. оно прекрасно работает.
3 ноя 20, 18:33    [22225908]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
Хвост, ты запрыгнул в вагон который никуда не едет. О чем мы тут?

Вот приходи в следующий топик и будешь создавать "отдельные мощности".
3 ноя 20, 18:37    [22225912]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
hVostt
Member

Откуда:
Сообщений: 18555
mayton
Хвост, ты запрыгнул в вагон который никуда не едет. О чем мы тут?

Вот приходи в следующий топик и будешь создавать "отдельные мощности".


ни в какой вагон я не запрыгивал, я просто внимательно почитал то, что ТС написал в самом начале.
вопрос простой и понятный.
ответ такой же простой и понятный.

я вот видал много людей, которые пальцы гнут на тему как правильно БД проектировать, запросы писать королевские, всё-то у них летает быстрее света, мастера хинтов куда не плюнь

ну-ну.
3 ноя 20, 19:12    [22225925]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
hVostt
Member

Откуда:
Сообщений: 18555
mayton
И сам программист перестал быть мотивированным к решению таких задач. Он просто резко
меняет постановку отказываясь от ACID в пользу eventual consistency/idempotancy. Благо
бизнес это позволяет. А на этих евеншуал можно уже танцевать в сторону файловых хранилищ,
или сообщений. Вобщем - красота.


я боюсь, что вы путаете круглое с мягким. зачем-то ACID и EC противопоставляете...
3 ноя 20, 19:15    [22225926]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
Я не мастер хинтов. Я их уже 10 лет как забыл. Я же писал выше.
3 ноя 20, 19:15    [22225927]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
hVostt
Member

Откуда:
Сообщений: 18555
mayton
Я не мастер хинтов. Я их уже 10 лет как забыл. Я же писал выше.


да я про общий фон разглагольствования.. с подобными смешными выводами:

graycode
В течении всего обсуждения тебя пытаются направить на путь поиска причин проблемы, казалось бы обычная работа программиста, выяснить причину и найти пути ее устранения, но что то танцору мешает ...


слышал притчу про отца, сына и осла? :)
3 ноя 20, 19:20    [22225931]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
hVostt,
Нормальные выводы.
Вот ты шаришь в архитектуре, а ТС двух слов связать не может про: "тормозит при нагрузке или тормозит в полуденный сон".
Он только борется с админом своим всю жизнь и с петро)))).
Если не умеет логически думать, то кто ему даст там серверы ставить? Кафку, базы, эластик и прочее.
Без эластика ему там занятся нечем.
3 ноя 20, 19:37    [22225941]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
hVostt
Member

Откуда:
Сообщений: 18555
PetroNotC Sharp
Вот ты шаришь в архитектуре, а ТС двух слов связать не может про: "тормозит при нагрузке или тормозит в полуденный сон".


ТС не может дать вам ответ за систему, которой не владеет.

Кроме того, любому самому захудалому спецу должно быть понятно, что причина плавающего времени ответа кроется в нагрузке на БД, которую создают другие системы.

Как ты собираешься на это повлиять с помощью своих ЭСКУЭЛЬ запросов? Вставишь туда хинт, чтобы он матом крыл системы, которую нагрузку создают или что?

В таких случаях применяют децентрализацию хранилища, забирают срез данных и пинают его как хотят.

Тут вот глубокоуважаемый mayton упоминал про биллинг.
В этот самый биллинг вам, как внешней системе-потребителю, никогда доступ не дадут.
И если ты пойдёшь к ним, с заявлениями, что дескать АЦИД же!!, ОЛАП, и бла-бла, плохая структура, кто вас допустил до проектирования, тебя просто нахер пошлют, и правильно сделают.
3 ноя 20, 19:45    [22225944]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
hVostt
Кроме того, любому самому захудалому спецу должно быть понятно, что причина плавающего времени ответа кроется в нагрузке на БД, которую создают другие системы.

Это и есть ВЫЯВЛЕНИЕ ЗАВИСИМОСТЕЙ.
Ты предположил что зависимость от других приложений.
Я предположил на второй странице что антивирус в 14 00 проверяет на вирус диск С:.
Дальше?
)))))
Вот этот диалог должен был быть с умным ТС.
Но не случилось.
3 ноя 20, 19:52    [22225947]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
hVostt
ТС не может дать вам ответ за систему, которой не владеет.
есть методики анализа черных дыр)))
Вы владеете ими?
3 ноя 20, 19:54    [22225949]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
hVostt,
Юмор:
Кстати у нас на работе реально антивирусник по понедельникам все шерстит на компе.
Вырубить прав нет.
Так и тормозит все пока не проверит))))))
3 ноя 20, 19:58    [22225953]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
Хвост поднял знамя менторства? Ну что-ж. Я уступаю.
Приходи в эластик миграцию. Будь уважаемым гостем. Назвался груздем - полезай в кузов.

P.S. И только попробуй откажись...
3 ноя 20, 19:58    [22225955]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
mayton,
Фиг придет. Он обычно в самом конце приходит))))
Когда все разошлись)
3 ноя 20, 20:00    [22225957]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
hVostt
Member

Откуда:
Сообщений: 18555
PetroNotC Sharp
Это и есть ВЫЯВЛЕНИЕ ЗАВИСИМОСТЕЙ.
Ты предположил что зависимость от других приложений.
Я предположил на второй странице что антивирус в 14 00 проверяет на вирус диск С:.
Дальше?
)))))
Вот этот диалог должен был быть с умным ТС.
Но не случилось.


ну так задача-то другая.. понятно можно и повыяснять и даже найти виноватого :)

mayton
Хвост поднял знамя менторства? Ну что-ж. Я уступаю.
Приходи в эластик миграцию. Будь уважаемым гостем. Назвался груздем - полезай в кузов.


на этом пути у ТС встретятся куда более интересные вызовы.
в этом отношении может вы и правы, надо было давить на дба, чем лезть во всё это :)
но какой в этом интерес? )))
3 ноя 20, 20:18    [22225967]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
hVostt
ну так задача-то другая.. понятно можно и повыяснять и даже найти виноватого :)
угу. Прыщавый юнец поставил зубрам java задачу - обосрать оракл чтобы поставить чудо эластик.
Так что ли?
У него как у эллочки людоедки словарный запас три фразы: "мешок сервисов/шевели булками/кривой запрос".
Как ты собрался лечить если не найден виновник болезни.
У тебя сегодня с логикой туго.
3 ноя 20, 21:32    [22225996]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
mayton
Member

Откуда: loopback
Сообщений: 49762
Девочки не ссорьтесь.

Я вообще одинаково люблю и Elastic и Oracle. Я просто философ и эстет строительства систем
и ощущаю сожаление когда какая-то из них недоисследована по каким-то причинам.

В топике мы не видели AWR/ADDM статистики и говорить о проблемах на сервере пока
преждевременно.
3 ноя 20, 21:55    [22226002]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
17-77
Member

Откуда:
Сообщений: 1471
andreykaT

есть приложение, оно выполняет одну единственную роль - обрабатывать запросы клиентов и возвращать данные. предварительно их откуда то собрав....

я правильно понял, что есть оракл, который отвечает на запрос от 2 до 30 секунд? а ваше приложение больше похоже на прокси? т.е. перекладывает запросы на эту внешнюю базу? при этом база чужая, вы с ней ничего не можете сделать?

кардинальных решений два:
1. что-то все же сделать с той внешней базой, чтобы она справлялась с запросами (оптимизировать запрос, добавить индексов, партиционирование, шардинг и так далее)
2. сделать себе копию данных любым способом, чтобы не зависеть от внешней базы, и регулярно эту копию обновлять

и в связи со вторым решением вопрос - можно более подробно про "ХС, идет за данными в эластик по индексированным полям"
каким образом в эластике оказались ид из оракловской базы? т.е. все таки что-то туда их сливает? а что если сливать не только ИД, но и поля, которые участвуют в поиске, или даже сделать полную копию?

я встречал на проекте вариант, когда в эластике тип записи, ид, данные для полнотекстового поиска и description, пользователь вводит запрос, эластик его обрабатывает и показывает предварительный результат в виде списка (на UI отображался description), если надо перейти и посмотреть найденный объект целиком - на основании типа записи и ид дергался из реляционной базы весь объект

но у вас то проблема как раз в последнем шаге - достать весь единичный объект по ид - это тоже от 2 до 30 секунд?

сразу скажу, что вот заполнять и обновлять эластик предварительными данными из реляционки - та еще морока была

Сообщение было отредактировано: 3 ноя 20, 22:44
3 ноя 20, 22:41    [22226030]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
17-77,
Оракл не очень корректно называть внешней бд.
Если коротко, ваш пост:
- разбираться почему время гуляет
- не разбираться и сделать еще такую же бд чтобы потом опять разбираться.
И третье.
Если разрабу лень разбираться, то категорически нельзя ему давать в руки что то строить на данном участке. Новые дома, мосты и сооружения.
4 ноя 20, 08:58    [22226120]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
hVostt
Member

Откуда:
Сообщений: 18555
PetroNotC Sharp
Если разрабу лень разбираться, то категорически нельзя ему давать в руки что то строить на данном участке. Новые дома, мосты и сооружения.


Вот у тебя коннект к инету пропал. Пошёл искать где обрыв провода под землёй.
Или лень-матушка? А починить слабо? :)
5 ноя 20, 00:43    [22226543]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 6525
hVostt,

Все продумано до нас.
Методика поиска неисправностей методом "деления пополам".
-у соседа работает? У тебя нет. Значит дело не в земле а в тебе.
Тоже самое пополам у ТС:
- рядом ставим постгри бд. Работает? Это одно. Не работает? Это другое.
5 ноя 20, 07:07    [22226595]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 10760
Важно только ребёнка не выплескивать вместе с водой.
Вот нахрена знать работает ли оно в отдельной СУБД, если оно должно работать в строго определённой среде???
5 ноя 20, 07:19    [22226599]     Ответить | Цитировать Сообщить модератору
 Re: и снова немного архитектуры и эластика с рдбмс  [new]
hVostt
Member

Откуда:
Сообщений: 18555
PetroNotC Sharp
Все продумано до нас.
Методика поиска неисправностей методом "деления пополам".
-у соседа работает? У тебя нет. Значит дело не в земле а в тебе.
Тоже самое пополам у ТС:
- рядом ставим постгри бд. Работает? Это одно. Не работает? Это другое.


Угу, а теперь давай на примере лечения или проведения хирургической операции :)
Деление пополам.
5 ноя 20, 07:37    [22226606]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 7 8 9 [10] 11   вперед  Ctrl      все
Все форумы / Java Ответить