Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
 Интеграция 1с и DWH  [new]
Yagrus2
Member

Откуда: Москва
Сообщений: 912
Здравствуйте!
Подскажите, как лучше забирать таблицы из 1c в SQL-server2008.
Интересны механизмы, которые вы используете на практике.
25 фев 13, 12:40    [13975848]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Вася Горный
Guest
Yagrus2
Здравствуйте!
Подскажите, как лучше забирать таблицы из 1c в SQL-server2008.
Интересны механизмы, которые вы используете на практике.


Можно в самой 1С ке делать выгрузку в файл XML, а затем этот файл парсить и кидать напрямую к базу.

Напрямую к базе 1С подключиться не получиться.
25 фев 13, 12:43    [13975877]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Гость333
Member

Откуда:
Сообщений: 3683
Вася Горный
Напрямую к базе 1С подключиться не получиться.

Да ладно? А что может помешать этому?
25 фев 13, 12:47    [13975903]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Вася Горный
Guest
Гость333
Вася Горный
Напрямую к базе 1С подключиться не получиться.

Да ладно? А что может помешать этому?


мето система мешает....нужно знать что и как лежит в базе. Но это информация не документирована.
25 фев 13, 12:53    [13975961]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Glory
Member

Откуда:
Сообщений: 104751
Yagrus2
Подскажите, как лучше забирать таблицы из 1c в SQL-server2008.

Плоские файлы с уже готовыми к загрузке данными.
25 фев 13, 12:54    [13975974]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
_djХомяГ
Guest
в таком случае небыстрый путь - отлавливать профайлером и смотреть что куда обращается
25 фев 13, 12:55    [13975983]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
VladimirKr
Member

Откуда: СПб
Сообщений: 1063
Вася Горный
Гость333
пропущено...

Да ладно? А что может помешать этому?


мето система мешает....нужно знать что и как лежит в базе. Но это информация не документирована.


Структура таблиц БД 1С
25 фев 13, 12:56    [13975997]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Kasper
Member

Откуда: Брянск
Сообщений: 124
Вася Горный,

Воспользуйтесть методом ПолучитьСтруктуруХраненияБазыДанных(), узнаете много интересного.
25 фев 13, 12:59    [13976023]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
VladimirKr
Member

Откуда: СПб
Сообщений: 1063
Yagrus2
Здравствуйте!
Подскажите, как лучше забирать таблицы из 1c в SQL-server2008.
Интересны механизмы, которые вы используете на практике.


Уже лет 10 только напрямую в SQL БД 1С залезаю. И в 7.7 и в >=8.1.
25 фев 13, 13:00    [13976043]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Вася Горный
Guest
Kasper
Вася Горный,

Воспользуйтесть методом ПолучитьСтруктуруХраненияБазыДанных(), узнаете много интересного.



лучше юзать как я написал
25 фев 13, 13:01    [13976050]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
ambarka_max
Member

Откуда: Россия
Сообщений: 517
Kasper
Вася Горный,

Воспользуйтесть методом ПолучитьСтруктуруХраненияБазыДанных(), узнаете много интересного.


Только путь этот тернист и порой чреват. Особенно если Конфигурация не типовая и вдруг нужно развернуть все на новом месте.
25 фев 13, 13:03    [13976071]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 35836
Блог
Метода всего 2 - "тяни" и "толкай".
С помощью указанного метода строятся представления с понятными именами, откуда можно забирать всё нужное.
25 фев 13, 13:08    [13976108]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Вася Горный
Guest
ambarka_max
Kasper
Вася Горный,

Воспользуйтесть методом ПолучитьСтруктуруХраненияБазыДанных(), узнаете много интересного.


Только путь этот тернист и порой чреват. Особенно если Конфигурация не типовая и вдруг нужно развернуть все на новом месте.


Вот Вот я и говорю
25 фев 13, 13:11    [13976132]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Yagrus2
Member

Откуда: Москва
Сообщений: 912
Итак, предложено 4 варианта:
Вася Горный - делать выгрузку в файл XML, а затем этот файл парсить и кидать напрямую к базу.
Glory - Плоские файлы с уже готовыми к загрузке данными.
_djХомяГ - отлавливать профайлером и смотреть что куда обращается.
VladimirKr - Использовать програмку "Структура таблиц БД 1С".

Вопросы:

Вася Горный подскажите,
Каким средством формируется файл XML?
Сколько времени примерно займет формирование такого файла, если исходный регистр состоит из 5 мил. записей?
Не будет ли лучше использовать встроенный в 1с интегратор и переносить данные сразу в базу dwh?

Glory, напишите пожалуйста подробней про этот файл. Где его можно посмотреть?

_djХомяГ, какова надежность такого метода? Как часто происходит перестроение таблиц и от чего это может зависеть? Сколько времени занимало у вас правка скриптов если происходило перестроение таблиц?

VladimirKr, чем открывается эта программа и вы уверены в ее безопасности?
25 фев 13, 13:41    [13976429]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Glory
Member

Откуда:
Сообщений: 104751
Yagrus2
Glory, напишите пожалуйста подробней про этот файл. Где его можно посмотреть?

Его надо создавать, прежде чем смотреть
И в нем должны быть те данные, которые вы намерены загрузить в DWH
25 фев 13, 13:43    [13976443]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Yagrus2
Member

Откуда: Москва
Сообщений: 912
ambarka_max
Kasper
Вася Горный,

Воспользуйтесть методом ПолучитьСтруктуруХраненияБазыДанных(), узнаете много интересного.


Только путь этот тернист и порой чреват. Особенно если Конфигурация не типовая и вдруг нужно развернуть все на новом месте.


В моем случае конфигурация не типовая.
25 фев 13, 13:48    [13976478]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Yagrus2
Member

Откуда: Москва
Сообщений: 912
Glory
Yagrus2
Glory, напишите пожалуйста подробней про этот файл. Где его можно посмотреть?

Его надо создавать, прежде чем смотреть
И в нем должны быть те данные, которые вы намерены загрузить в DWH


Опишите пожалуйста подробней основные шаги.
Или вы предлагаете формировать txt вместо xml?
25 фев 13, 13:50    [13976501]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
_djХомяГ
Guest
_djХомяГ, какова надежность такого метода? Как часто происходит перестроение таблиц и от чего это может зависеть? Сколько времени занимало у вас правка скриптов если происходило перестроение таблиц?

1 Если не генерируется ошибка - то 100%
2 Зависит от собственных потребностей (наверное)
3 Смотря какое перестроение + зависит нсколько скрипты поддерживаются в актуальном состоянии
25 фев 13, 13:53    [13976521]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 35836
Блог
Yagrus2,

что тут описывать-то?
1) найти нужные данные в 1с
2) выгрузить их в каком-либо формате
3) загрузить их в целевую систему

хотя проще сразу импортировать без промежуточных шагов
25 фев 13, 13:53    [13976528]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Glory
Member

Откуда:
Сообщений: 104751
Yagrus2
Опишите пожалуйста подробней основные шаги.

Выгружаете из вашей 1с нужные данные в виде плоского файла
Загружаете его в DWH c помощью BULK INSERT или bcp.exe
25 фев 13, 13:54    [13976529]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Yagrus2
Member

Откуда: Москва
Сообщений: 912
_djХомяГ
_djХомяГ, какова надежность такого метода? Как часто происходит перестроение таблиц и от чего это может зависеть? Сколько времени занимало у вас правка скриптов если происходило перестроение таблиц?

1 Если не генерируется ошибка - то 100%
2 Зависит от собственных потребностей (наверное)
3 Смотря какое перестроение + зависит нсколько скрипты поддерживаются в актуальном состоянии


1. Как часто у вас генерируется ошибка?
2. Опишите какие потребности вы имеете ввиду?)
3. Чем вы поддерживаете скрипты в актуальном состоянии?

Мне нужно чтобы 1 раз в сутки(ночью) данные попадали в dwh и этот процесс был автоматизирован. В предложенном вами подходе никакой автоматизации нет, так как скрипт если и ломается, то во время выгрузки. А починить его можно только после того как он завалился.
25 фев 13, 14:23    [13976744]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Yagrus2
Member

Откуда: Москва
Сообщений: 912
Критик
Yagrus2,

что тут описывать-то?
1) найти нужные данные в 1с
2) выгрузить их в каком-либо формате
3) загрузить их в целевую систему

хотя проще сразу импортировать без промежуточных шагов



Мой вопрос как раз и состоит из вашего первого пункта: как найти нужные данные в 1с.

В 1с есть регистр. Он обычно разбит на несколько системных таблиц, которые как-то связаны друг с другом.

Каким способом вы определяли нужные таблицы?
Интересует только личный опыт, а не догадки и предположения.
25 фев 13, 14:27    [13976786]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
_djХомяГ
Guest
Yagrus2
Мне нужно чтобы 1 раз в сутки(ночью) данные попадали в dwh и этот процесс был автоматизирован. В предложенном вами подходе никакой автоматизации нет, так как скрипт если и ломается, то во время выгрузки. А починить его можно только после того как он завалился.

Чтобы не ломалось нужно делать так, чтобы не ломалось
И Вы правильно подметили - грошь цена такой нестабильной системы
25 фев 13, 14:32    [13976833]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
Гость333
Member

Откуда:
Сообщений: 3683
Yagrus2
В 1с есть регистр. Он обычно разбит на несколько системных таблиц, которые как-то связаны друг с другом.

Каким способом вы определяли нужные таблицы?

С такими вопросами лучше сюда: Все форумы / 1С

Yagrus2
Интересует только личный опыт, а не догадки и предположения.

Смотрел в файл .dds, в котором описано соответствие метаданных и таблиц БД. Разбирался со структурой таблиц при помощи Query Analyzer (давно дело было, около 10 лет назад), благо ничего сложного там не было. Это на 1С 7.7, а вы версию не указали.
25 фев 13, 14:36    [13976892]     Ответить | Цитировать Сообщить модератору
 Re: Интеграция 1с и DWH  [new]
ambarka_max
Member

Откуда: Россия
Сообщений: 517
[quot Yagrus2]
Критик
Yagrus2,

В 1с есть регистр. Он обычно разбит на несколько системных таблиц, которые как-то связаны друг с другом.


Я всегда считал, что регистр это всегда одна таблица. О каких нескольких таблицах вы говорите? Если о срезах - то это просто представления на основе той же самой таблицы регистра.
25 фев 13, 14:53    [13977081]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2 3   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить