Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Oracle Новый топик    Ответить
 async запросы к oracle через python приложение  [new]
Nillkin1
Member

Откуда: Warsaw
Сообщений: 28
Привет всем!

Подскажите, может кто стакивался.

Есть приложение написанное на python.
Один из этапов - это заполнение динамически генерируемых таблиц по таблице конфигурации.
insert into <dable_name >select * from <query> где table_name и query - данные лежащие в таблице конфигурации, всего около 30 таблиц, заполнение каждой в среднем 10-15 минут.

Сейчас приложение выполняет скрипт, который фетчит конфигурационные данные и последовательно заполняет таблицы.
Хотелось бы распараллелить данный процесс.
На первый взгляд, наиболее простым видится решение, запускающее джобы в скедулере, которые независимо друг от друга заполняют таблицы, но данное решение натыкается на сопротивление со стороны команды поддерживающей приложение (там нет DB специалистов).

Есть ли какая-то возможность добавить параллелизм через python библиотеки, так чтобы это выглядело следующим образом:
посылается insert на таблицу 1, не дожидаять окончания процесса, посылается insert 2, ..., insert N ???

Первичное гугление натыкается на то, что cx_oracle не поддерживает async.

Так понимаю, что при threading или multiprocessing нагрузка ляжет не на сервер оракла, а на машину с которой выполняется команда, но тут я возможно не прав, поправьте меня плз, если это неверно.
10 апр 19, 02:02    [21857841]     Ответить | Цитировать Сообщить модератору
 Re: async запросы к oracle через python приложение  [new]
Elic
Member

Откуда: 1984. Выбраковка финно-угром продолжается. КЯЗ
Сообщений: 28823
Nillkin1
динамически генерируемых таблиц по таблице конфигурации
Быдлоподход.
10 апр 19, 07:47    [21857904]     Ответить | Цитировать Сообщить модератору
 Re: async запросы к oracle через python приложение  [new]
-2-
Member

Откуда:
Сообщений: 14504
Nillkin1
там нет DB специалистов
А "здесь"?
Nillkin1
не поддерживает async.
Что бы дал async?
Nillkin1
при threading или multiprocessing нагрузка ляжет не на сервер оракла, а на машину с которой выполняется команда
Какая нагрузка при ожидании выполнения команды сервером? Разве, что несколько килобайт памяти на коннект.
10 апр 19, 07:58    [21857909]     Ответить | Цитировать Сообщить модератору
 Re: async запросы к oracle через python приложение  [new]
AserYZ
Member

Откуда: Dniepr (Ukraine)
Сообщений: 216
Nillkin1,

Если и нужно делать именно так как описано, то логично было бы запускать несколько параллельных процессов на клиенте, создавать для каждого отдельную сессию и конкурировать за ресурсы сервера БД.

Но мне кажется все уже сделано до нас и вы страдаете велосипедостроением.
10 апр 19, 08:14    [21857916]     Ответить | Цитировать Сообщить модератору
Все форумы / Oracle Ответить