Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Сеть для анализа данных в таблицах, возможно?  [new]
User2155
Member

Откуда:
Сообщений: 150
Всем привет,

есть тонна таблиц и нужно анализировать данные на адекватность.
Суммы при группировках по различным показателям. Проблема в том, что показателей очень много.


Вопрос - может ли сеть или еще какой адский механизм, это анализировать и выявлять отклонения?
Сводные таблицы в экселе рисовать умеем, но показателей ооочень много. Человеку тяжело все это контролировать на адекватность.

Спасибо.
15 сен 17, 17:06    [20799583]     Ответить | Цитировать Сообщить модератору
 Re: Сеть для анализа данных в таблицах, возможно?  [new]
bideveloper
Member

Откуда:
Сообщений: 503
Такой сети, чтобы понимала, что такое адекватность, еще нет )
15 сен 17, 17:19    [20799621]     Ответить | Цитировать Сообщить модератору
 Re: Сеть для анализа данных в таблицах, возможно?  [new]
bideveloper
Member

Откуда:
Сообщений: 503
А что вам мешает написать хранимую процедуру?
15 сен 17, 17:20    [20799623]     Ответить | Цитировать Сообщить модератору
 Re: Сеть для анализа данных в таблицах, возможно?  [new]
Шыфл
Member

Откуда: Прага
Сообщений: 776
bideveloper,

Я думаю уровень адекватности не позволяет
15 сен 17, 17:37    [20799659]     Ответить | Цитировать Сообщить модератору
 Re: Сеть для анализа данных в таблицах, возможно?  [new]
User2155
Member

Откуда:
Сообщений: 150
Там смысл в том, чтобы проверять данные. Чем предыдущее значение отличается от текущего.
Если различие, скажем, больше 5%, то надо показать это пользователю.

Хранимку любой дурак написать может, только как вы себе это представляете? У меня около 200 показателей - для каждого придется делать курсор? Это ж адищще.
Нужен какой-то инструмент, чтобы это проще делать.
15 сен 17, 21:07    [20799977]     Ответить | Цитировать Сообщить модератору
 Re: Сеть для анализа данных в таблицах, возможно?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5111
User2155,

приведите адекватный пример ваших таблиц, показателей, группировок и проверок иначе никакого внятного совета вы не получите.
15 сен 17, 21:52    [20800043]     Ответить | Цитировать Сообщить модератору
 Re: Сеть для анализа данных в таблицах, возможно?  [new]
User2155
Member

Откуда:
Сообщений: 150
Дедушка,

Куб с размерностями:
- время (месяцы);
- группы продуктов;
- продажи.

Если товар А два года продавался в количестве 200 штук, а в сентябре 2017 продали 112, то скорей всего где-то в базе ошибка и продажи тупо не посчитались.
Если у компании всегда было около 300 клиентов, а в сентябре 2017 года их стало 98, то это скорей всего ошибка в расчетах.


И таких показателей очень много. Мне не надо делать бизнес аналитику - для этого другие люди есть, мне надо проверять точность расчетов.
15 сен 17, 22:06    [20800052]     Ответить | Цитировать Сообщить модератору
 Re: Сеть для анализа данных в таблицах, возможно?  [new]
User2155
Member

Откуда:
Сообщений: 150
Таблица с данными для кубика доступна.
Т.е. можно обращаться напрямую в SQL либо в SSAS кубик (как удобней).
15 сен 17, 22:09    [20800058]     Ответить | Цитировать Сообщить модератору
 Re: Сеть для анализа данных в таблицах, возможно?  [new]
Mind
Member

Откуда: Лучший город на Земле
Сообщений: 2322
User2155,

Data Mining?

https://docs.microsoft.com/en-us/sql/analysis-services/data-mining/data-mining-ssas
https://docs.microsoft.com/en-us/sql/analysis-services/data-mining-tutorials-analysis-services
15 сен 17, 22:38    [20800093]     Ответить | Цитировать Сообщить модератору
 Re: Сеть для анализа данных в таблицах, возможно?  [new]
Дедушка
Member

Откуда: Город трёх революций
Сообщений: 5111
User2155
Куб с размерностями:
- время (месяцы);
- группы продуктов;
- продажи.

Если товар А два года продавался в количестве 200 штук, а в сентябре 2017 продали 112, то скорей всего где-то в базе ошибка и продажи тупо не посчитались.
Если у компании всегда было около 300 клиентов, а в сентябре 2017 года их стало 98, то это скорей всего ошибка в расчетах.
дата-кволити не всегда делают "ковровым бомбометанием" проверяя все показатели.
но иногда, да нужно именно все.

раз у вас данные уже в кубе (куб подразумеваю SSAS?), то подобные проверки пишутся на MDX достаточно просто.
вам же нужно по сути один раз написать и потом много раз использовать (добавление проверок и их модификацию не учитываем).

сильно подозреваю, что проверки для разных компаний и продуктов у вас в большинстве однотипны
(сравнение меры текущего периода со значением в прошлом по измерениям периоды\компании\товары).
поэтому у вас скорее всего не 200+ показателей, а значительно меньше.

- можно зажать яйца в кулак и написать руками.
- можно написать скрипт на biml который по метаданным сгенерит вам код.
15 сен 17, 22:59    [20800111]     Ответить | Цитировать Сообщить модератору
 Re: Сеть для анализа данных в таблицах, возможно?  [new]
User2155
Member

Откуда:
Сообщений: 150
Куда буду копать:

1) Data mining.
Посмотрю видео, может сработает. На первый взгляд это не совсем то, что нужно, но я только 40 минут отсмотрел, может дальше интересней будет.

2) Команда LAG на MS SQL.
- создаем функцию, которая в качестве параметра принимает таблицу (User Defined Type).
В таблице всего 2 столбца: дата и число. Т.е. данные, сгруппированные по дням, а в моем случае это всегда конец месяца.
- функция вычисляет средний прирост/уменьшение за год;
- если на последнюю дату значение сильно отклоняется от среднего - сигнал пользователю;


Пока так. Всем спасибо.
16 сен 17, 21:58    [20801011]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить