Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5112
Dogen,

ну, хор... пустое это всё...

у нас с вами разговор примерно следующего содержания:
Я - телега это средство передвижения
Вы - нет телега не средство передвижения, телега это гужевой транспорт.
средство передвижения это автомобиль.
Я - но почему? на телеге можно доехать из пункта А в пункт Б
Вы - средством передвижения управляют непосредственно через руль, а телега управляется опосредованно через лошадь! телега это - "гужевой транспорт с лошадиным движетелем"
21 дек 17, 14:19    [21051870]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2838
Дедушка
Dogen,

ну, хор... пустое это всё...

у нас с вами разговор примерно следующего содержания:
Я - телега это средство передвижения
Вы - нет телега не средство передвижения, телега это гужевой транспорт.
средство передвижения это автомобиль.
Я - но почему? на телеге можно доехать из пункта А в пункт Б
Вы - средством передвижения управляют непосредственно через руль, а телега управляется опосредованно через лошадь! телега это - "гужевой транспорт с лошадиным движетелем"

Человек хочет устроиться водителем на каблучок, имея опыт управления конём.

Я говорю - будут пустые поездки на собесы.
21 дек 17, 15:56    [21052498]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
GuidanceMoralic
Member [скрыт] [заблокирован]

Откуда:
Сообщений: 242
Дедушка
Dogen,
ну для примера...

если я загружаю показания датчиков температуры (значение в момент запроса, датчик ничего не хранит),
пусть будет 10 штук, в стейдж с переводом из цельсия в фаренгейты (разные датчики отдают данные в разных еденицах), то это:
не Extract (это просто чтение), не Transform (это "причёсывание") и не Load (нет никаких балков, просто 10 одиночных инсертов)...
Я вас правильно понял?

А что надо сделать в том же примере с датчиками чтобы было действительно E, T, L ?
21 дек 17, 18:05    [21053125]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5112
GuidanceMoralic,

если вопрос ко мне, то я считаю, что в примере "действительно ETL"
21 дек 17, 19:27    [21053364]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2838
GuidanceMoralic
Дедушка
Dogen,
ну для примера...

если я загружаю показания датчиков температуры (значение в момент запроса, датчик ничего не хранит),
пусть будет 10 штук, в стейдж с переводом из цельсия в фаренгейты (разные датчики отдают данные в разных еденицах), то это:
не Extract (это просто чтение), не Transform (это "причёсывание") и не Load (нет никаких балков, просто 10 одиночных инсертов)...
Я вас правильно понял?

А что надо сделать в том же примере с датчиками чтобы было действительно E, T, L ?

Сложить в базу в каком-то более или менее читабельном виде, можно от каждого вида датчиков в свою таблицу. Или хотя бы копить в каталогах файлы, считанные с датчиков, если есть средство чтения этих файлов (а-ля драйвер к СУБД) либо они имеют формат CSV, XML, текст с колонками фиксированной ширины и т.д.

E - читать эти файлы
T - нормализовывать, преобразовывать, обогащать
L - грузить в базу для анализа/дальнейшего использования

А вот если кто-то считает что ETL это другое, то мне на это абсолютно фиолетово, просто потом надо будет доказывать свою правоту на собеседованиях. Если не надо - вообще без разницы, хоть горшком называй. Но для общения с коллегами стоит использовать де-факто общеупотребимое толкование. Монографию пишите, там можете "термины перегружать", и то будет выглядеть странно.
22 дек 17, 10:54    [21054563]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
soulsurfer
Member

Откуда:
Сообщений: 324
Есть такая книжка (правда слегка старовата уже) "ETL Toolkit" от Кимбалла. Так вот там есть 3 признака, которыми обладают etl-процессы:
1) Загружать данные в максимальном удобном виде для целевого приложения (т.е. не просто 1:1, а сплитать, мерджить или пивотить в зависимости от потребностей);
2) В процессе загрузки данных обогащать их дополнительной информацией (т.е. суррогатные ключи, лукапы, джойны и прочее data quality);
3) Фиксировать и документировать lineage (происхождение) данных (т.е. для каждой строчки в целевой системе иметь возможность сказать когда, откуда и как она пришла в целевую систему).

Проблема термина ETL в его "слишком простой" и "очевидной" расшифровке, поэтому понимать могут под ним все что угодно.
22 дек 17, 12:30    [21054879]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Полковник.
Member [заблокирован]

Откуда:
Сообщений: 1730
GuidanceMoralic
Ну вот физически.
Из википедии https://ru.wikipedia.org/wiki/ETL под вопрос подходят крайне примитивные вещи.
Например, я пишу софтину на Python, которая опрашивает 1000 датчиков температуры разных производителей (Extract), приводит к одной форуме (Transform) и кладёт в мускуль (Load).


Ничего не означает - это копипаста, скорее всего pl/sql заменили на три буквы.
22 дек 17, 15:09    [21055472]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
ptr128
Member

Откуда: Moscow
Сообщений: 393
GuidanceMoralic
А что надо сделать в том же примере с датчиками чтобы было действительно E, T, L ?

Холивар какой-то.
Вот подошла бабуля к счетчику и записала его показания на бумажке. - Extraction
Затем с бумажки занесла в веб-форму, в нужные поля - Transformation
Нажала "Передать показания", они были валидированы и записались в БД - Loading
По мне так самый настоящий ETL с движком на бабуле )))
Почему-то никого не смущает, что БД может выступать даже текстовый файл, а к ETL придрались )
22 дек 17, 15:55    [21055621]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Sintetik
Member

Откуда: SpB->Msk->...
Сообщений: 9202
Какая-то буря в стакане воды, сейчас пользуются больше термином - интеграция, она разная бывает - систем, приложений, данных. Вот ETL это часть более обширной темы - интеграция данных. Она вообще про все, не только для хранилищ.
Назовитесь специалистом по интеграции данных и не насилуйте мозг никому.
22 дек 17, 17:16    [21055855]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2838
ptr128
GuidanceMoralic
А что надо сделать в том же примере с датчиками чтобы было действительно E, T, L ?

Холивар какой-то.
Вот подошла бабуля к счетчику и записала его показания на бумажке. - Extraction
Затем с бумажки занесла в веб-форму, в нужные поля - Transformation
Нажала "Передать показания", они были валидированы и записались в БД - Loading
По мне так самый настоящий ETL с движком на бабуле )))
Почему-то никого не смущает, что БД может выступать даже текстовый файл, а к ETL придрались )

Да не текущие показания надо Extract, а вчерашние, на 0 часов. Ваш счетчик так умеет?
22 дек 17, 17:30    [21055918]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2264
Dogen
ptr128
пропущено...

Холивар какой-то.
Вот подошла бабуля к счетчику и записала его показания на бумажке. - Extraction
Затем с бумажки занесла в веб-форму, в нужные поля - Transformation
Нажала "Передать показания", они были валидированы и записались в БД - Loading
По мне так самый настоящий ETL с движком на бабуле )))
Почему-то никого не смущает, что БД может выступать даже текстовый файл, а к ETL придрались )

Да не текущие показания надо Extract, а вчерашние, на 0 часов. Ваш счетчик так умеет?

А то. Бабуля подходит к вахтеру, который вчера в 23:59 не спал и посматривал на датчики, и спрашивает "Милок, а не помнишь, что датчик показывал в 0 часов?". А он как раз помнит.
Задача Extract в очередной раз безупречно выполнена.
Вся надежда на этих бабуль.
22 дек 17, 20:02    [21056192]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2]      все
Все форумы / Работа Ответить