Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4] 5   вперед  Ctrl      все
 Re: Как лучше сделать  [new]
Zzz79
Member

Откуда:
Сообщений: 569
mayton
Ну тыже понимаешь что если жук получает объект java.sql.Connection то у этого объекта
уже установлено свойство auto-commit={true|false} то ты обязан тогда явно фиксировать
транзакцию если авто-фиксация была в false.

Проверь на всякий случай.

понятия не имею даже где это посмотреть в конфигах ничего про jooq нет,во всех файлах конфигов тоже ничего

я хз как тут все работает но это не суть - суть в том что дефолт метод жука saveAll( records) делает то что надо

все остальные потуки с игнор и тд ведут вникуда
16 июн 20, 22:47    [22152032]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
mayton
Member

Откуда: loopback
Сообщений: 47967
Ну у тебя в стеке технологий стоит Jdbc connection. Где-то есть точка где этот объект инициализируется.
Возможно это пул. Поищи. И где-то у тебя над ним есть контроль.
16 июн 20, 22:50    [22152036]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
mayton
Member

Откуда: loopback
Сообщений: 47967
Ну вот для постгреса это Properties:

https://jdbc.postgresql.org/documentation/head/ds-cpds.html

defaultAutoCommit=true
16 июн 20, 22:55    [22152039]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
Zzz79
Member

Откуда:
Сообщений: 569
mayton
Ну вот для постгреса это Properties:

https://jdbc.postgresql.org/documentation/head/ds-cpds.html

defaultAutoCommit=true

у нас такого нет

вообщем я щас сделал вот так ошибок нет ,но в бд пусто

плять я уже устал смеяться с этого) обычный процесс запись в базу дерьма без дубликатов - это надо обосраться чтобы сделать)

К сообщению приложен файл. Размер - 17Kb
16 июн 20, 23:01    [22152046]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
Zzz79
Member

Откуда:
Сообщений: 569
вообщем по сути нужно чтобы дубликат перезаписался и все

сейчас если есть дубликат - вообще ничего не пишется в бд
я так понимаю надо просто использовать дефолтный метод жука saveAll
вся эта дичь DO nothing работает немного не так как бы хотелось
16 июн 20, 23:09    [22152050]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
Zzz79
Member

Откуда:
Сообщений: 569
вообщем работает как нудно только дефолт метод
saveall- сохраняет в бд уникальные значения и кидает ошибку - но сервис не падет самое главное
16 июн 20, 23:23    [22152054]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
mayton
Member

Откуда: loopback
Сообщений: 47967
У тебя где вообще команда .execute() ? Или executeUpdate?
16 июн 20, 23:23    [22152055]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
Zzz79
Member

Откуда:
Сообщений: 569
mayton
У тебя где вообще команда .execute() ? Или executeUpdate?


после set последнего я ее добавил уже после как скрин сделал
все тоже самое - корректно отрабавает только saveAll хотя я туда залез - там тоже самое)

видмо конфликт тупо отменяет записи
хотя не понятно почему я же делаю черех цикл+ екзекут

Сообщение было отредактировано: 16 июн 20, 23:33
16 июн 20, 23:33    [22152063]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
mayton
Member

Откуда: loopback
Сообщений: 47967
Хочешь моё мнение? JOOQ для ETL процессов непригоден.
17 июн 20, 00:33    [22152082]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
Zzz79
Member

Откуда:
Сообщений: 569
mayton
Хочешь моё мнение? JOOQ для ETL процессов непригоден.

да не ,он нормальный,привыкнуть только надо

как оказалось все работает,но ничего не записывалось в базу,потому что jooq не умеет сам сетить Id

как только я добавил setId(UUID.random)
все заработало
17 июн 20, 07:51    [22152123]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
mayton
Member

Откуда: loopback
Сообщений: 47967
Как хочешь. Но промеряй перформанс. У тебя должно быть хотя-бы 2 варианта.
17 июн 20, 09:15    [22152144]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
hck1
Member [заблокирован]

Откуда:
Сообщений: 144
товарищ, остановись и продумай хотя бы на пол шага вперед. выясни требования. ведь понятно, что в подготовленных руками файлах будет тьма ошибок и пользователям нужен интерфейс заместить ошибочные данные исправленными.
17 июн 20, 09:41    [22152156]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
crutchmaster
Member

Откуда: оттуда.
Сообщений: 1492
Leonid Kudryavtsev
За нахрена для решения данной задачи какие-то жуки и DTO - мне не понятно

За тем, что Стасян не осилил sql, он ему был нинужен.

Сообщение было отредактировано: 17 июн 20, 10:13
17 июн 20, 10:14    [22152175]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
mayton
Member

Откуда: loopback
Сообщений: 47967
Давайте обсуждать топик а не персону.
17 июн 20, 13:08    [22152302]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
Leonid Kudryavtsev
Member

Откуда:
Сообщений: 8762
hck1
и пользователям нужен интерфейс заместить ошибочные данные исправленными.

не факт
для того, что бы что-то замещать, пользователь должен знать правильные данные

при массовой загрузки, когда данные добираются до компьютера, человек который их грузит скорее всего не знает, что есть правильно

сейчас наблюдаю загрузку данных по 600 домам x кучу квартир = примерно 100 000 квартир от поставшика информации. Приходить хрень в последний момент. И что с ней делать? Какие данные правильные? Не будешь же самолично садиться на троллейбусь и город объезжать, в попытках выяснить, какие реально показания на счетчиках за запертыми дверями ))) А даже если и выяснишь, что с этими правильными данными делать? Искажать информацию без документов никакого права ты не имеешь, а права составлять и подписывать документы никто тебе не давал.

Максимум, можно где нибудь в базе отмечать, что тогда-то пришла хрень, нужно разобраться. Это максимум. Но у нас даже этого не делают, т.к. все равно никто разбираться не будет )))

Поставшик информации прислал хрень, мы хрень загрузили, в базе хрень, в отчетах хрень - все хорошо, работа выполнена, компьютер функционирует нормально "раббиш ин - раббиш аут" ( C )
17 июн 20, 14:27    [22152390]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
mayton
Member

Откуда: loopback
Сообщений: 47967
ETL процесс в большинстве случаев - роботизирован. Запускается ночью.
Грузится все что можно. Что не загрузилось - как-то выпадает в лог ошибок.
Утром - отвественные админы задач приходят. Читают и принимают решения по
всем ошибкам.

Разработчик вобщем не принимает участия в этом процессе. Разраб 1 раз создает
эту автоматизацию и больше не прикасается к данным.
17 июн 20, 14:44    [22152404]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
chpasha
Member

Откуда:
Сообщений: 9552
mayton
Разработчик вобщем не принимает участия в этом процессе

так можно договориться до того, что разработчик не настраивает среду выполнения и не деплоит сам свою нетленку
17 июн 20, 14:55    [22152415]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
mayton
Member

Откуда: loopback
Сообщений: 47967
Радуйся разделению труда. Тебе хотя-бы ночью никто звонить не будет.
17 июн 20, 15:02    [22152426]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
Zzz79
Member

Откуда:
Сообщений: 569
crutchmaster
Leonid Kudryavtsev
За нахрена для решения данной задачи какие-то жуки и DTO - мне не понятно

За тем, что Стасян не осилил sql, он ему был нинужен.

а я то тут причем?)) продукт был до меня написан и давно уже работает)
17 июн 20, 15:38    [22152457]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
hck1
Member [заблокирован]

Откуда:
Сообщений: 144
Leonid Kudryavtsev,

ну я бы все равно разделял платформу и бардак в организации. завтра им поставят вменяемого манагера, тот назначит Data steward и что ? не получится же рассказывать, что у вас там был бардак так у нас и платформа исключительно бардак поддерживает.
поддержка бардака все таки как опция должна идти
17 июн 20, 15:50    [22152463]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
Zzz79
Member

Откуда:
Сообщений: 569
hck1
товарищ, остановись и продумай хотя бы на пол шага вперед. выясни требования. ведь понятно, что в подготовленных руками файлах будет тьма ошибок и пользователям нужен интерфейс заместить ошибочные данные исправленными.

нет там никакого интерфейса и никаких пользователей) это закрытая система ,что там в файле нам по барабану,главное чттобы были нужные поля и дубляжа не было,
за корректрность данных отвечают другие люди
17 июн 20, 15:54    [22152471]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
Zzz79
Member

Откуда:
Сообщений: 569
hck1
Leonid Kudryavtsev,

ну я бы все равно разделял платформу и бардак в организации. завтра им поставят вменяемого манагера, тот назначит Data steward и что ? не получится же рассказывать, что у вас там был бардак так у нас и платформа исключительно бардак поддерживает.
поддержка бардака все таки как опция должна идти

ахаахахах)
ну ты приколист

дядь у нас проект из более 100 микросервисов ,все это разрабатывается более чем 30 командами по всему миру ,начальство наше тут ничего не решает ,тем более менеджеры,решают StockHolderы ,от которых до нас еще сидит человек 100 в цепочке)
чтобы например добавть даже 1 столбец в таблицу мы должны пройти согласования с десятком сторонних организаций)
все что в проекте имеется - все это описано от А до Я в спеках,мы не имеем права даже запятую лищнюю в шаблон поставить)
17 июн 20, 16:00    [22152475]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
hck1
Member [заблокирован]

Откуда:
Сообщений: 144
Zzz79

дядь у нас проект из более 100 микросервисов ,все это разрабатывается более чем 30 командами по всему миру ,начальство наше тут ничего не решает ,тем более менеджеры,решают StockHolderы ,от которых до нас еще сидит человек 100 в цепочке)
чтобы например добавть даже 1 столбец в таблицу мы должны пройти согласования с десятком сторонних организаций)
все что в проекте имеется - все это описано от А до Я в спеках,мы не имеем права даже запятую лищнюю в шаблон поставить)


типичный бардак. у нас 25 стран и говорят примерно такая же ботва была, но пришел консультант и запахло облаками. тут же все сделали по лучшим патернам. и data steward в каждой стране и отдельная команда согласовывающая формат и табу на местечковые идеи. а 30 команд которые согласовывают пока не выясняется, что инициатор 3 года как ушел из компании, да. видел. болото.

Сообщение было отредактировано: 17 июн 20, 16:35
17 июн 20, 16:37    [22152515]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
mayton
Member

Откуда: loopback
Сообщений: 47967
Вам что, мало платят? Следуйте процессам.
17 июн 20, 16:38    [22152518]     Ответить | Цитировать Сообщить модератору
 Re: Как лучше сделать  [new]
Zzz79
Member

Откуда:
Сообщений: 569
hck1
Zzz79

дядь у нас проект из более 100 микросервисов ,все это разрабатывается более чем 30 командами по всему миру ,начальство наше тут ничего не решает ,тем более менеджеры,решают StockHolderы ,от которых до нас еще сидит человек 100 в цепочке)
чтобы например добавть даже 1 столбец в таблицу мы должны пройти согласования с десятком сторонних организаций)
все что в проекте имеется - все это описано от А до Я в спеках,мы не имеем права даже запятую лищнюю в шаблон поставить)


типичный бардак. у нас 25 стран и говорят примерно такая же ботва была, но пришел консультант и запахло облаками. тут же все сделали по лучшим патернам. и data steward в каждой стране и отдельная команда согласовывающая формат и табу на местечковые идеи. а 30 команд которые согласовывают пока не выясняется, что инициатор 3 года как ушел из компании, да. видел. болото.

ты понимаешь тут есть такие вещи - название столбца - дата выдачи, а на самом деле там лежит например ФИО)
17 июн 20, 20:54    [22152682]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4] 5   вперед  Ctrl      все
Все форумы / Java Ответить