Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Что физически означает "умение писать ETL-процедуры"?  [new]
GuidanceMoralic
Member [скрыт] [заблокирован]

Откуда:
Сообщений: 242
Ну вот физически.
Из википедии https://ru.wikipedia.org/wiki/ETL под вопрос подходят крайне примитивные вещи.
Например, я пишу софтину на Python, которая опрашивает 1000 датчиков температуры разных производителей (Extract), приводит к одной форуме (Transform) и кладёт в мускуль (Load).
18 дек 17, 19:26    [21043704]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Wizandr
Member

Откуда: Санкт-Петербург
Сообщений: 35826
GuidanceMoralic
Например, я пишу софтину на Python, которая опрашивает 1000 датчиков температуры разных производителей (Extract), приводит к одной форуме (Transform) и кладёт в мускуль (Load).


и что тут сложного?
18 дек 17, 19:27    [21043706]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5113
GuidanceMoralic,

как правило подобная фраза звучит в контексте какого либо фреймворка
(ваш вариант "просто кодом" тож можно считать разновидностью "фреймворка" :) )

поэтому тут нужно уточнять о какой платформе и технологиях говорится
например, на том же пайтоне можно делать ETL на Bonobo и тогда
"умение писать ETL-процедуры" означает умение сделать это на бонобо (с пониманием всех его нюансов)

а тему чисто кодом или на ETL фреймворке уже столько раз обсуждали...
18 дек 17, 19:40    [21043733]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 45067

GuidanceMoralic
Ну вот физически.

У конкретного ETL-продукта обычно бывает конкретный язык на котором можно конкретно писать
конкретные процедуры для тонкого вмешательства в логику процесса. Физически это нажимание
кнопок на клавиатуре. Иногда - на мыши.

Posted via ActualForum NNTP Server 1.5

18 дек 17, 19:47    [21043748]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
bideveloper
Member

Откуда:
Сообщений: 325
GuidanceMoralic
Из википедии https://ru.wikipedia.org/wiki/ETL под вопрос подходят крайне примитивные вещи.

Так ничего сверхсложного в этом и нет. Просто надо знать как использовать инструмент для ETL оптимальным образом с точки зрения удобства и производительности.
18 дек 17, 20:15    [21043793]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 26571
GuidanceMoralic
Ну вот физически.
Из википедии https://ru.wikipedia.org/wiki/ETL под вопрос подходят крайне примитивные вещи.
Например, я пишу софтину на Python, которая опрашивает 1000 датчиков температуры разных производителей (Extract), приводит к одной форуме (Transform) и кладёт в мускуль (Load).
Имеется в виду более специализированная вещь.
И даже более примитивная, чем у вас.
Это просто некая специализация. Работодателю удобно, что бы человек это уже знал и умел, знал инструменты, как с ними работать с учётом больших объёмов (у вас 1000 датчиков, а люди загружают терабайт в день), знал терминологию, идеально - знал предметную область.
PHP или написание драйверов тоже примитивная вещь, нужно тоже знать только язык и API, но лучше брать человека, который это уже делал.
18 дек 17, 20:30    [21043814]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
.Евгений
Member

Откуда:
Сообщений: 320
Нужно знание и умение решать типовые задачи ЕТЛ. Отличия инициализирующей и инкрементальной выгрузок, методы определения инкремента, умение распределять подзадачи между движками ЕТЛ, источника и приемника, распараллеливание ЕТЛ и т.д.
18 дек 17, 20:48    [21043840]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Andy_OLAP
Member

Откуда: я знаю, что Зенит - чемпион
Сообщений: 2160
GuidanceMoralic
Ну вот физически.
Из википедии https://ru.wikipedia.org/wiki/ETL под вопрос подходят крайне примитивные вещи.
Например, я пишу софтину на Python, которая опрашивает 1000 датчиков температуры разных производителей (Extract), приводит к одной форуме (Transform) и кладёт в мускуль (Load).

Физически термин "умение писать" означает то, что когда Вы увольняетесь или идете в отпуск - на Ваше место садится другой разработчик, открывает Ваши ETL-процедуры и читает как детские сказки - все написано понятно, где что-либо поменять - тоже понятно.

Это умение приходит с годами - скажем, Вы таки полгода не лазали в свой код, открываете - и хватаетесь за голову. А над Вами грозно навис начальник и говорит "шнелле, шнелле, ты же это писал, быстро поправь, поезд уже отходит с 6-го перрона, нужно бежать, чтобы успеть". Пару раз - и появляется мотивация писать так, чтобы через полгода такой ETL понимали с лета не только лишь Вы.
18 дек 17, 20:52    [21043844]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2706
GuidanceMoralic
опрашивает 1000 датчиков температуры разных производителей (Extract)

Это вовсе не Extract, это Read.
19 дек 17, 10:31    [21044717]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5113
Dogen,

ну значит у ТСа - RTL
19 дек 17, 12:04    [21045023]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
alexeyvg
Member

Откуда: Moscow
Сообщений: 26571
Дедушка
Dogen,

ну значит у ТСа - RTL
"Т" у него тоже нету. Что там, от датчиков куча непонятных показаний с разными шкалами, что там трансформировать? от датчика температура в комнате шла в цельсиях, но с 1 ноября по чётным часам будет в фаренгейтах, а с нового года в литрах, завоз пива в соседний бар?
Так у ТСа - RL, а не ETL
19 дек 17, 16:07    [21046114]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Wizandr
Member

Откуда: Санкт-Петербург
Сообщений: 35826
alexeyvg
Дедушка
Dogen,

ну значит у ТСа - RTL
"Т" у него тоже нету. Что там, от датчиков куча непонятных показаний с разными шкалами, что там трансформировать? от датчика температура в комнате шла в цельсиях, но с 1 ноября по чётным часам будет в фаренгейтах, а с нового года в литрах, завоз пива в соседний бар?
Так у ТСа - RL, а не ETL


ниразу невидел в вакансиях требования знать RL
19 дек 17, 16:10    [21046124]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
ptr128
Member

Откуда: Moscow
Сообщений: 393
alexeyvg
"Т" у него тоже нету. Что там, от датчиков куча непонятных показаний с разными шкалами

Смотря что за датчики и какие к ним каналы связи. Потому что у разных датчиков разная достоверность, погрешность, периодичность. Могут быть серийные номера, периоды поверки, концентраторы. Могут быть датчики с RTC и памятью, с которых, например, можно забрать сразу 96 показаний раз в сутки за каждые 15 минут. А могут быть датчики еще и с событиями (меня вскрыли, перешел на автономное питание, вообще выключился и т.п.).
Так что и извлечение данных и трансформация их могут быть совсем не просты.
20 дек 17, 00:40    [21047317]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2706
Это не та трансформация, что имеется в виду в ETL, это просто причесывание.
20 дек 17, 10:23    [21047761]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
ptr128
Member

Откуда: Moscow
Сообщений: 393
Dogen,

Нет. Это полноценная трансформация. Так как, продолжая пример, мне на выход надо выдать среднесуточную температуру объекта (с девиацией), на котором может быть несколько датчиков. Потому что хранить в БД по 96 показаний в сутки с миллиона датчиков за 10 лет не предоставляется возможным.
20 дек 17, 10:39    [21047816]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2706
ptr128
Dogen,

Нет. Это полноценная трансформация. Так как, продолжая пример, мне на выход надо выдать среднесуточную температуру объекта (с девиацией), на котором может быть несколько датчиков. Потому что хранить в БД по 96 показаний в сутки с миллиона датчиков за 10 лет не предоставляется возможным.

Считайте как хотите, мне-то что. Пусть будет трансформация. Вы ее можете выполнить в удобное вам время?

...Но почему невозможно хранить? Было бы желание. Это на самом деле копейки. 1-2 терабайта.

А для среднесуточной температуры за 10 лет вам придется доказывать применимость реализованного механизма осреднения.
20 дек 17, 10:54    [21047889]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5113
Dogen
Это не та трансформация, что имеется в виду в ETL, это просто причесывание.
а если я, скажем, названия на входе преобразую в апперкейс эт тоже не трансформация? :)
20 дек 17, 11:30    [21048031]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2706
Дедушка
Dogen
Это не та трансформация, что имеется в виду в ETL, это просто причесывание.
а если я, скажем, названия на входе преобразую в апперкейс эт тоже не трансформация? :)

Куда - входе?

E должно быть из БД или файла, т.е. постоянного хранилища. Опрашиваться оно должно когда угодно.

Датчик, который хранит данные сутки и должен опрашиваться пару раз в сутки - это пограничный случай, то ли Е, толи еще нет.
20 дек 17, 11:55    [21048100]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5113
Dogen,
ну для примера...

если я загружаю показания датчиков температуры (значение в момент запроса, датчик ничего не хранит),
пусть будет 10 штук, в стейдж с переводом из цельсия в фаренгейты (разные датчики отдают данные в разных еденицах), то это:
не Extract (это просто чтение), не Transform (это "причёсывание") и не Load (нет никаких балков, просто 10 одиночных инсертов)...
Я вас правильно понял?
20 дек 17, 12:35    [21048302]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Vyatich
Member

Откуда:
Сообщений: 2202
Дедушка
Dogen,
ну для примера...

если я загружаю показания датчиков температуры (значение в момент запроса, датчик ничего не хранит),
пусть будет 10 штук, в стейдж с переводом из цельсия в фаренгейты (разные датчики отдают данные в разных еденицах), то это:
не Extract (это просто чтение), не Transform (это "причёсывание") и не Load (нет никаких балков, просто 10 одиночных инсертов)...
Я вас правильно понял?

Это нормализация.
20 дек 17, 12:47    [21048340]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
ptr128
Member

Откуда: Moscow
Сообщений: 393
Dogen
Считайте как хотите, мне-то что. Пусть будет трансформация. Вы ее можете выполнить в удобное вам время?

Так трансформация из SQL Server Agent и запускается. Какие-то виды трансформации каждый час. Какие-то - раз в сутки. Есть еще и ежемесячная агрегация.

Dogen
...Но почему невозможно хранить? Было бы желание. Это на самом деле копейки. 1-2 терабайта.

Потому что температура - лишь малая часть всего объема. Которая, кстати, не имеет никакого смысла без данных с других датчиков: расхода, давления, спектра и т.п.
Поэтому каждый месяц живет в отдельном разделе и своей файловой группе. Файловые группы старше 2-3 месяцев переводятся в read-only. А старше двух лет - вообще в offline.
20 дек 17, 13:19    [21048455]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5113
Vyatich
Это нормализация.
вот оно, что... :)
а если я при переводе в фаренгейты джойнюсь к справочнику городов (обогащая данные названием города), то это кластеризация? Но при этом вовсе не Extract, не Transform и не Load?
20 дек 17, 13:19    [21048457]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2706
Дедушка
Dogen,
ну для примера...

если я загружаю показания датчиков температуры (значение в момент запроса, датчик ничего не хранит),
пусть будет 10 штук, в стейдж с переводом из цельсия в фаренгейты (разные датчики отдают данные в разных еденицах), то это:
не Extract (это просто чтение), не Transform (это "причёсывание") и не Load (нет никаких балков, просто 10 одиночных инсертов)...
Я вас правильно понял?

Это сбор и первичная обработка измерительной информации.
20 дек 17, 14:02    [21048602]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5113
Dogen
Это сбор и первичная обработка измерительной информации.
но не ETL?
можно увидеть ваше определение для Extract, Transform и Load (в контексте термина ETL)?
20 дек 17, 14:18    [21048667]     Ответить | Цитировать Сообщить модератору
 Re: Что физически означает "умение писать ETL-процедуры"?  [new]
Dogen
Member

Откуда: Гондурас
Сообщений: 2706
Дедушка
Dogen
Это сбор и первичная обработка измерительной информации.
но не ETL?
можно увидеть ваше определение для Extract, Transform и Load (в контексте термина ETL)?

Пойдите от противного, это не первичная обработка.

Википедию еще почитайте, какой смысл натягивать термин на сугубо пограничные случаи, где нет типовых подходов и решений?
21 дек 17, 13:38    [21051676]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Работа Ответить