Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Использование репликации для DWH  [new]
Voyager_lan
Member

Откуда:
Сообщений: 1493
Приветствую.
Интересует собственно вопрос (и best practice) использует/ал ли кто штатные механизмы репликации ms sql server для обновления DWH?
Например:
  • когда есть несколько типовых источников данных,
  • повышенные требования к актуальности данных
  • ежегодные изменения структуры источников,
  • недостаточно "толстые" и стабильные каналы связи,
  • изменения в данных "задним числом",
  • изменения от 5 до 30 тыс. записей в сутки

    Или стоит смотреть в сторону Change Tracking в связке с Sync Framework супротив репликации ?
    Какие плюсы-минусы?
  • 17 янв 12, 12:14    [11916533]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Ivan Durak
    Member

    Откуда: Minsk!!!
    Сообщений: 3754
    Да использует,
    да для нескольких источников,
    актуальность стандартная - суточная. ЕТЛ процесс ежедневный.
    и структура источников меняется не ежегодно, а регулярно.
    каналы правда и толстые и стабильные.
    извменения задним числом - без проблем, причем тут репликация вообще?
    ну 5-30 тыс это копейки.

    "Change Tracking в связке с Sync Framework "
    У нас сейчас CDC поверх репликации - медленно. CDC будем по возможности убирать,
    оставлять одну репликацию, где возможно.
    17 янв 12, 12:29    [11916653]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Voyager_lan
    Member

    Откуда:
    Сообщений: 1493
    автор
    изменения задним числом - без проблем, причем тут репликация вообще?
    - а зачем гонять лишний Гб информации чтобы информация была актуальна? (писать свой триггерный механизм на источнике - не вариант) Я вот и смотрю в сторону репликации транзакциями vs (Change Tracking + Service Broker)

    п.с. Как оцениваете трудозатраты в администриовании используемого решения с репликацией?
    17 янв 12, 12:43    [11916779]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Ivan Durak
    Member

    Откуда: Minsk!!!
    Сообщений: 3754
    какой лишний гигабайт? Естественно подразумевается Transactional Replication !!!
    17 янв 12, 13:04    [11916991]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Voyager_lan
    Member

    Откуда:
    Сообщений: 1493
    Ivan Durak
    какой лишний гигабайт?

    преувеличил. меньше :) но все же - когда данные изменятся в тек. году
    17 янв 12, 13:11    [11917065]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Ivan Durak
    Member

    Откуда: Minsk!!!
    Сообщений: 3754
    изменились - пришел update - взял его и залил себе в DWH.
    17 янв 12, 14:10    [11917653]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Voyager_lan
    Member

    Откуда:
    Сообщений: 1493
    Ivan Durak
    изменились - пришел update - взял его и залил себе в DWH.

    вот механизм репликации или отслеживания изменений этот update и сразут принесут, а не придется забирать данные за год и искать этот апдейт.
    17 янв 12, 14:44    [11918023]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    --__Александр__--
    Member

    Откуда:
    Сообщений: 2631
    Есть более простые и менее ресурсоемкие способы остлеживания изменений.
    Например, можно по строке считать checksum или другие агрегаты, и забирать только те строки, у которых агрегат изменился.
    17 янв 12, 14:51    [11918122]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Voyager_lan
    Member

    Откуда:
    Сообщений: 1493
    --__Александр__--
    Есть более простые и менее ресурсоемкие способы остлеживания изменений.
    Например, можно по строке считать checksum или другие агрегаты, и забирать только те строки, у которых агрегат изменился.

    Согласен, но для этого нужно на приемнике (DWH) считать этот checksum и потом сопоставлять, что явно будет упираться в "повышенные требования к актуальности данных" из-за времени доставки и сравнения данных большего объема

    п.с. собственно сейчас checksum и используется , но требуется "повышенные требования к актуальности данных" из максимально достижимных
    17 янв 12, 15:01    [11918250]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Fire83
    Member

    Откуда: Гомель-Минск
    Сообщений: 474
    Voyager_lan,

    У вас планируется некий процесс преобразования данных и загрузка в другую схему (ETL) или то что вы назаываете хранилищем будет той же структуры что и исходные БД, но будут использоваться для других целей (репортинг)?
    17 янв 12, 23:17    [11921642]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Voyager_lan
    Member

    Откуда:
    Сообщений: 1493
    Fire83
    Voyager_lan,

    У вас планируется некий процесс преобразования данных и загрузка в другую схему (ETL) или то что вы назаываете хранилищем будет той же структуры что и исходные БД, но будут использоваться для других целей (репортинг)?

    Планируется промежуточная бд и dwh (с сур. ключами). Обновление промежуточной БД - собственно основная диллемма
    17 янв 12, 23:25    [11921668]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Fire83
    Member

    Откуда: Гомель-Минск
    Сообщений: 474
    Voyager_lan
    Ivan Durak
    изменились - пришел update - взял его и залил себе в DWH.

    вот механизм репликации или отслеживания изменений этот update и сразут принесут, а не придется забирать данные за год и искать этот апдейт.

    Вы видимо не до конца понимаете суть реликации, репликация сама по себе предназначена для хранения копии данных на другом сервере а не для отслеживания изменений. Если нужно отслеживать измнения то, как уже писать выше есть разные методы.
    1) CDC
    2) Change tracking
    3) CheckSum в таблицах
    4) TimeStamp столбец в таблицах
    5) Использование аудитных таблиц
    и т.д.
    17 янв 12, 23:53    [11921723]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    --__Александр__--
    Member

    Откуда:
    Сообщений: 2631
    Fire83
    Voyager_lan
    пропущено...

    вот механизм репликации или отслеживания изменений этот update и сразут принесут, а не придется забирать данные за год и искать этот апдейт.

    Вы видимо не до конца понимаете суть реликации, репликация сама по себе предназначена для хранения копии данных на другом сервере а не для отслеживания изменений. Если нужно отслеживать измнения то, как уже писать выше есть разные методы.
    1) CDC
    2) Change tracking
    3) CheckSum в таблицах
    4) TimeStamp столбец в таблицах
    5) Использование аудитных таблиц
    и т.д.


    Есть еще продукт Golden Gate. Это одновременно репликация + ETL. Если погуглить "real time dwh", то можно найти пример решений на Golden Gate.
    18 янв 12, 07:57    [11922342]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Voyager_lan
    Member

    Откуда:
    Сообщений: 1493
    Fire83
    Вы видимо не до конца понимаете суть реликации, репликация сама по себе предназначена для хранения копии данных на другом сервере а не для отслеживания изменений. Если нужно отслеживать измнения то, как уже писать выше есть разные методы.
    1) CDC
    2) Change tracking
    3) CheckSum в таблицах
    4) TimeStamp столбец в таблицах
    5) Использование аудитных таблиц
    и т.д.

    Ну почему же, отчасти согласен с вами, т.к. требуется иметь оперативную копию данных подписчиков локально и никто не запрещает использовать такой механизм доставки. MS сам рекомендует репликацию для решения такого рода задач.
    Сейчас вопрос только в трудоемкости поддержки такого решения и его стоимости если это сторонний продукт.
    CDC не рассматривается, т.е. входит в корп. редакцию

    --__Александр__--
    Касаемо Golden Gate - буду смотреть
    .
    Есть еще решение от Attunity - кто использует?

    Может попробовать переформулировать первоначальный вопрос - нужен бюджетный вариант реализации real-time обновления ХД.
    18 янв 12, 10:19    [11922872]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Ivan Durak
    Member

    Откуда: Minsk!!!
    Сообщений: 3754
    автор
    real-time обновления ХД.

    А для каких целей нужно реал-тайм хд??
    18 янв 12, 11:46    [11923590]     Ответить | Цитировать Сообщить модератору
     Re: Использование репликации для DWH  [new]
    Voyager_lan
    Member

    Откуда:
    Сообщений: 1493
    Ivan Durak
    автор
    real-time обновления ХД.

    А для каких целей нужно реал-тайм хд??

    Для оперативного мониторинга относительный отклонений вчастности
    18 янв 12, 14:10    [11925235]     Ответить | Цитировать Сообщить модератору
    Все форумы / Microsoft SQL Server Ответить