Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Разработка информационных систем Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 [7] 8 9   вперед  Ctrl      все
 Re: Затраты на создание DWH  [new]
s_ustinov
Member

Откуда: Munchen, DE
Сообщений: 2108
Вот, кстати, обратная сторона некоторых оптимизаций:
https://www.sql.ru/forum/1313252/dannye-v-kube-i-vo-vu-ne-sovpadaut

С таким сталкиваешься редко, но крови может попить...
3 июн 19, 16:38    [21900697]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Ares_ekb
Member

Откуда: Екатеринбург
Сообщений: 1300
Ivan Durak,

да, но это уже поверх. Мы на одном проекте делаем модель данных, правда не хранения, а обменную (иногда называют канонической). В ней тыщи элементов и типов. Каждый документируется как самостоятельная сущность. И на основе этой модели фигачим структуры электронных документов (или наборы сведений - по смыслу это аналог витрин данных). Я из этой модели генерил схемы хранения данных разной степени нормализации:

3 июн 19, 16:58    [21900719]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3618
автор
да, но это уже поверх.

ну так это везде "поверх". И у Инмона "поверх", и у Кимбала это "поверх" фактов. И в любом dwh где с одной стороны сырые данные, а с другой аналитика - будут витрины "поверх"
3 июн 19, 17:20    [21900736]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Ares_ekb
Member

Откуда: Екатеринбург
Сообщений: 1300
Ivan Durak,

всё-таки это разные подходы. Одно дело когда мы по Кимбаллу просто собираем много разрозненных кучек данных, нужных для конкретных отчетов. Это даже сложно назвать хранилищем данных. При этом совершенно не факт, что данные в исходных OLTP были сильно нормализованные. "Единость" хранилища тут только в том, что снежинки просто сложены в одну кучку. Там никакой гармонизации исходных данных, никакого долговременного хранения. Со временем такое хранилище будет только захламляться.

И совершенно другое дело, когда мы по Инмону гармонизирует исходные базы данных. Тут необходима сильная нормализация данных. И это действительно долговременное хранилище. На котором уже можно делать витрины и аналитику.

Т.е. у Кимбалла основной акцент на аналитике, а не на хранилище.
3 июн 19, 17:49    [21900758]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
vitkhv
Member

Откуда: Москва
Сообщений: 909
H5N1
1с с его историей в виде "версионных документов" .


А что не так в 1С с версионностью? А то уже несколько раз от вас в этом топике слышу про убогую версионность от 1С. Аж любопытно стало.
3 июн 19, 20:04    [21900884]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
s_ustinov
Member

Откуда: Munchen, DE
Сообщений: 2108
vitkhv
H5N1
1с с его историей в виде "версионных документов" .


А что не так в 1С с версионностью? А то уже несколько раз от вас в этом топике слышу про убогую версионность от 1С. Аж любопытно стало.

В 1С есть перепроведение...
Кроме того, там таблички выглядят... Одним словом - лучше на них не смотреть. :)
3 июн 19, 20:59    [21900927]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
Ivan Durak
Member

Откуда: Minsk!!!
Сообщений: 3618
Ares_ekb
Ivan Durak,
всё-таки это разные подходы. Одно дело когда мы по Кимбаллу просто собираем много разрозненных кучек данных, нужных для конкретных отчетов. Это даже сложно назвать хранилищем данных. При этом совершенно не факт, что данные в исходных OLTP были сильно нормализованные. "Единость" хранилища тут только в том, что снежинки просто сложены в одну кучку. Там никакой гармонизации исходных данных, никакого долговременного хранения. Со временем такое хранилище будет только захламляться.
чушь, и у Кимбала в методологии естественно присутствует и гармонизация данных и связь их между собой. "conformed dimensions" это кака раз его термин
4 июн 19, 09:59    [21901213]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
МодальноеОкно
Member

Откуда:
Сообщений: 2163
s_ustinov
vitkhv
пропущено...


А что не так в 1С с версионностью? А то уже несколько раз от вас в этом топике слышу про убогую версионность от 1С. Аж любопытно стало.

В 1С есть перепроведение...
Кроме того, там таблички выглядят... Одним словом - лучше на них не смотреть. :)


содержательно.... Картинка с другого сайта.Картинка с другого сайта.Картинка с другого сайта.


и это наши мозговые аристократы
4 июн 19, 10:22    [21901247]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
МодальноеОкно
содержательно.... Картинка с другого сайта.Картинка с другого сайта.Картинка с другого сайта.


и это наши мозговые аристократы

можешь показать бессодержательным как в 1с упп вытащить список товаров заказа, которые были до стадии согласование, но были удалены к стадии отгрузка ?
4 июн 19, 10:26    [21901258]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
МодальноеОкно
Member

Откуда:
Сообщений: 2163
H5N1
МодальноеОкно
содержательно.... Картинка с другого сайта.Картинка с другого сайта.Картинка с другого сайта.


и это наши мозговые аристократы

как в 1с упп вытащить список товаров заказа, которые были до стадии согласование, но были удалены к стадии отгрузка ?


запросом. не хватает мозга самим - позовите 1с-ника
4 июн 19, 10:50    [21901285]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
МодальноеОкно
запросом. не хватает мозга самим - позовите 1с-ника

так покажи запрос. задача ж на три минуты, верно ?
4 июн 19, 11:00    [21901301]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
МодальноеОкно
Member

Откуда:
Сообщений: 2163
H5N1
задача ж на три минуты, верно ? Картинка с другого сайта.


какой дешевый трюк - самому придумать, а потом собственную выдумку опрокидывать Картинка с другого сайта.
4 июн 19, 11:04    [21901310]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
МодальноеОкно
Member

Откуда:
Сообщений: 2163
вас вроде внятно спросили - что за версионность про которую вы тут всем затираете

в ответ начинается какая-то дичь про перепроведение и таблицы
4 июн 19, 11:09    [21901317]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
s_ustinov
Member

Откуда: Munchen, DE
Сообщений: 2108
МодальноеОкно
s_ustinov
пропущено...

В 1С есть перепроведение...
Кроме того, там таблички выглядят... Одним словом - лучше на них не смотреть. :)


содержательно.... Картинка с другого сайта.Картинка с другого сайта.Картинка с другого сайта.


и это наши мозговые аристократы

А что ещё объяснять?
Есть документ с номером и датой и некоторыми цифрами.
Через некоторое время внезапно у документа с тем же номером и датой цифры меняются. И надо такие ситуации отслеживать и правильно на них реагировать.
4 июн 19, 11:12    [21901321]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
МодальноеОкно
Member

Откуда:
Сообщений: 2163
s_ustinov
Через некоторое время внезапно у документа с тем же номером и датой цифры меняются.


и причем тут 1с как таковая?

таковы возможности РСБУ - в рамках как минимум квартала бухгалтер может перепроводить период хоть до посинения

опять же корректное фифо как вы организуете если документы на доп. расходы пришли через неделю после поступления

чтобы он этого не делал в закрытом периоде - есть дата запрета редактирования
4 июн 19, 11:25    [21901332]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
s_ustinov
Member

Откуда: Munchen, DE
Сообщений: 2108
МодальноеОкно
s_ustinov
Через некоторое время внезапно у документа с тем же номером и датой цифры меняются.


и причем тут 1с как таковая?

таковы возможности РСБУ - в рамках как минимум квартала бухгалтер может перепроводить период хоть до посинения

опять же корректное фифо как вы организуете если документы на доп. расходы пришли через неделю после поступления

чтобы он этого не делал в закрытом периоде - есть дата запрета редактирования

Например в навике при поступлении доп расходов создаются дополнительные записи (с новым номером записи) которые корректируют цифры себестоимости. Старые записи при этом не удаляются.
Собственно, все корректировки можно так делать.
4 июн 19, 12:04    [21901392]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
МодальноеОкно
Member

Откуда:
Сообщений: 2163
s_ustinov
МодальноеОкно
пропущено...


и причем тут 1с как таковая?

таковы возможности РСБУ - в рамках как минимум квартала бухгалтер может перепроводить период хоть до посинения

опять же корректное фифо как вы организуете если документы на доп. расходы пришли через неделю после поступления

чтобы он этого не делал в закрытом периоде - есть дата запрета редактирования

Например в навике при поступлении доп расходов создаются дополнительные записи (с новым номером записи) которые корректируют цифры себестоимости. Старые записи при этом не удаляются.
Собственно, все корректировки можно так делать.


так доп. расход - такая же доп. запись которая увеличивает стоимость поступления.

а в навике доп расход умеет всю цепочку пересчитывать? все производство и реализации по этой партии?
4 июн 19, 13:13    [21901480]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
s_ustinov
Member

Откуда: Munchen, DE
Сообщений: 2108
МодальноеОкно
s_ustinov
пропущено...

Например в навике при поступлении доп расходов создаются дополнительные записи (с новым номером записи) которые корректируют цифры себестоимости. Старые записи при этом не удаляются.
Собственно, все корректировки можно так делать.


так доп. расход - такая же доп. запись которая увеличивает стоимость поступления.

а в навике доп расход умеет всю цепочку пересчитывать? все производство и реализации по этой партии?

Да - по всей цепочке создаются дополнительные корректировки себестоимости.
4 июн 19, 13:29    [21901492]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
L_argo
Member

Откуда:
Сообщений: 890
МодальноеОкно
а в навике доп расход умеет всю цепочку пересчитывать? все производство и реализации по этой партии?
А его не надо пересчитывать. Оно всегда считается на лету по вычисляемым полям (SIFT).
4 июн 19, 13:33    [21901497]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
s_ustinov
Member

Откуда: Munchen, DE
Сообщений: 2108
L_argo
МодальноеОкно
а в навике доп расход умеет всю цепочку пересчитывать? все производство и реализации по этой партии?
А его не надо пересчитывать. Оно всегда считается на лету по вычисляемым полям (SIFT).

Надо.
Не считается оно на лету.
Есть специальное задание, его запуск обычно на ночь настраивают.

К сообщению приложен файл. Размер - 12Kb
4 июн 19, 13:54    [21901521]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
s_ustinov
Member

Откуда: Munchen, DE
Сообщений: 2108
L_argo,
вот здесь можно почитать:
https://docs.microsoft.com/en-us/dynamics-nav-app/design-details-cost-adjustment

Вроде действительно есть опция автоматического обновления себестоимости:
Automatically, by adjusting costs every time that you post an inventory transaction, and when you finish a production order. The cost adjustment is only run for the specific item or items affected by the posting. This is set up when you select the Automatic Cost Adjustment check box in the Inventory Setup window.

Но её включать - плохая идея.
Разносишь расходы по инвойсу от поставщика услуг на пару тысяч товарных операций. А после них еще цепочки из 10-15 шагов. И постинг инвойса будет идти несколько минут (десятков минут). Со всеми вытекающими в виде блокировок.
4 июн 19, 14:03    [21901531]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
vitkhv
Member

Откуда: Москва
Сообщений: 909
s_ustinov
А что ещё объяснять?
Есть документ с номером и датой и некоторыми цифрами.
Через некоторое время внезапно у документа с тем же номером и датой цифры меняются. И надо такие ситуации отслеживать и правильно на них реагировать.


т.е. я правильно понимаю, что не нравится сам принцип? Когда документ изменяем и перепроводим, создается новая версия этого документа, а старая уходит в специальные таблички, в которых мы всегда можем посмотреть, что с этим документом происходило, и всегда можем вернуться на старую версию.
4 июн 19, 14:21    [21901557]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
s_ustinov
Member

Откуда: Munchen, DE
Сообщений: 2108
vitkhv
s_ustinov
А что ещё объяснять?
Есть документ с номером и датой и некоторыми цифрами.
Через некоторое время внезапно у документа с тем же номером и датой цифры меняются. И надо такие ситуации отслеживать и правильно на них реагировать.


т.е. я правильно понимаю, что не нравится сам принцип? Когда документ изменяем и перепроводим, создается новая версия этого документа, а старая уходит в специальные таблички, в которых мы всегда можем посмотреть, что с этим документом происходило, и всегда можем вернуться на старую версию.

Да, скорее сам принцип.
Я с механизмом версий на практике не работал. Когда с 1С работал, вообще все плохо было: "Океания воевала с Остазией: Океания всегда воевала с Остазией."
Бесило сильно.
С версиями наверно получше - можно хоть следы найти. Но не нравится мне сама идея перепроведения.

Я вообще считаю, что в учётных и ерп системах апдейтов и делейтов не должно быть - только селекты и инсерты. :)
4 июн 19, 15:22    [21901623]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
softwarer
Member

Откуда: 127.0.0.1
Сообщений: 58456
Блог
s_ustinov
Я вообще считаю, что в учётных и ерп системах апдейтов и делейтов не должно быть - только селекты и инсерты. :)

Чудится в этом высказывании секта свидетелей Postres
4 июн 19, 15:33    [21901628]     Ответить | Цитировать Сообщить модератору
 Re: Затраты на создание DWH  [new]
H5N1
Member

Откуда: Yo.! из "Сравнения субд"
Сообщений: 218
vitkhv
т.е. я правильно понимаю, что не нравится сам принцип? Когда документ изменяем и перепроводим, создается новая версия этого документа, а старая уходит в специальные таблички, в которых мы всегда можем посмотреть, что с этим документом происходило, и всегда можем вернуться на старую версию.


Result = DataHistory.SelectVersions(
New Structure(
""Data, DataChangeType"",
Parameters.Data,
ExcludeDeleted),
""VersionNumber"",
""VersionNumber Desc"",
1);
представь каким аналом пришлось бы заняться что бы достать удаленные из заказа товары. по сути она у 1с ни на что более чем посмотреть что за гад менял объект не предназначена.
4 июн 19, 15:42    [21901646]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 4 5 6 [7] 8 9   вперед  Ctrl      все
Все форумы / Разработка информационных систем Ответить