Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Работа Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3085
Коллеги, добрый день,

На данный момент я обучил своего ИСИНа (искусственный интеллект) разбираться в структуре баз данных наиболее популярных в России и СНГ учетных систем и выстраивать из них хранилища данных для целей создания аналитической отчетности (BI), трансформации факта из БУ в УУ, загрузки факта в системы бюджетирования, прогнозирования и оптимизации.

Теперь возникла идея, не обучить ли ИСИНа менее распространенным в России учетным системам + популярным учетным системам других стран. Под учетными системами я понимаю системы бухгалтерского, складского, кадрового учета, MRP/ERP системы, CRM, ТОиР, и прочие системы, где накапливаются данные, полезные для дальнейшей загрузки в хранилища данных и аналитические системы.

Если у вас имеется доступ к какой-либо подобной базе данных - напишите мне об этом на адрес cognos@yandex.ru . В обмен на скрипт создания этой базы данных вам будут начислены виртуальные Хракойны (в зависимости от распространенности и дефицитности учетной системы), которые после ICO превратятся в реальные Хракойны.

Оптимально, если СУБД базы данных будет MS SQL Server (другие СУБД также интересны), и будет возможность получить расшифровку структуры таблиц/полей базы данных (например, такая-то физическая таблица - это строки документа по продажам, содержащая поля - идентификатор документа, идентификатор номенклатуры, количество, цену, и т.п.).
4 янв 19, 15:12    [21778404]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
alex55555
Member

Откуда:
Сообщений: 1738
Jurii
На данный момент я обучил своего ИСИНа (искусственный интеллект) разбираться в структуре баз данных наиболее популярных в России и СНГ учетных систем и выстраивать из них хранилища данных для целей создания аналитической отчетности (BI), трансформации факта из БУ в УУ, загрузки факта в системы бюджетирования, прогнозирования и оптимизации.
...
Оптимально, если ... будет возможность получить расшифровку структуры таблиц/полей базы данных (например, такая-то физическая таблица - это строки документа по продажам, содержащая поля - идентификатор документа, идентификатор номенклатуры, количество, цену, и т.п.).

Так научил или оптимально всё же будет, если кто-то другой научит?
4 янв 19, 16:04    [21778425]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
L_argo
Member

Откуда:
Сообщений: 645
На данный момент я обучил своего ИСИНа (искусственный интеллект) разбираться в структуре баз данных наиболее популярных в России и СНГ учетных систем и выстраивать из них хранилища данных для целей создания аналитической отчетности (BI), трансформации факта из БУ в УУ, загрузки факта в системы бюджетирования, прогнозирования и оптимизации.
Куета на АИ-хайпе. Для "поиграцца и выкинуть".
Не взлетит.
Качество ее работы будет низким.
4 янв 19, 16:42    [21778449]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
bga83
Member

Откуда: Город герой Ленинград
Сообщений: 30436
Jurii
вам будут начислены виртуальные Хракойны (в зависимости от распространенности и дефицитности учетной системы), которые после ICO превратятся в реальные Хракойны.
писали бы по честному - "в обмее ничего не дам."
4 янв 19, 16:49    [21778456]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
.Евгений
Member

Откуда:
Сообщений: 445
Усилием воли сдерживаю соблазн послать структуру FairIsaak Debt Manager 7, состоящую из более чем трех с половиной сотен таблиц примерно следующего вида:
create table ALDEBTP(
ALQYNC numeric(11,0),
ALUZNC numeric(7,0),
ALE5CD numeric(11,0),
ALADCD char(6),
ALAWCE char(6),
ALA0CE numeric(11,0),
ALNRSU char(1),
ALU5NC numeric(3,0),
ALFFCU numeric(8,0),
ALLSSU char(1),
ALLTSU char(1),
ALLUSU char(1),
ALAAVN char(10),
ALUEDT numeric(7,0),
ALACTM numeric(4,0),
ALUDCT char(10),
ALUECT numeric(7,0))
4 янв 19, 16:52    [21778458]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3085
2 alex55555:

Так научил или оптимально всё же будет, если кто-то другой научит?

Это как спросить моего тезку в 1961 году начиная с 13 апреля - слетал в космос, или найдем другого космонавта? ;)
Я уже многому ИСИНа научил, вполне логично что планирую продолжать процесс обучения. Если найдется специалист с широким кругозором в DWH, BI и смежных областях, с опытом метапрограммирования, то либо он своего ИСИНа обучит, либо мы с ним сможем объединить усилия.

2 L_argo:

Куета на АИ-хайпе. Для "поиграцца и выкинуть".
Не взлетит.
Качество ее работы будет низким.


Уже есть результаты. Хранилища, созданные силами ИСИНа, сложно отличить от работы профессионалов-разработчиков. Другой вопрос, корректно ли называть ИСИНа искусственным интеллектом - я не закладывал в него самосознание, иначе он откажется работать за еду ;) В свое время я легко обыгрывал шахматные программы на старых компьютерах. Сейчас они непобедимы человеком. То же самое будет и с ИСИНом - по скорости он работает на 2-3 порядка быстрее ИТ специалистов и аналитиков, работа над оцифровкой человеческого опыта в области DWH и BI и загрузка этого опыта в ИСИНа будет еще долго продолжаться, нет предела совершенствованию.

2 bga83:

писали бы по честному - "в обмен ничего не дам."

Даже виртуальные Хракойны сейчас можно конвертировать в другие валюты и активы, поскольку ими можно оплатить работу ИСИНа по созданию хранилищ данных, а у этой работы есть немалый мировой рынок и рыночная стоимость.
Кроме этого, если специалист по интересной учетной системе предоставит скрипт для создания ее базы данных и этой системе будет обучен ИСИН, то ценность этого специалиста на рынке возрастет.

2 .Евгений:

Усилием воли сдерживаю соблазн послать структуру FairIsaak Debt Manager 7, состоящую из более чем трех с половиной сотен таблиц примерно следующего вида:

Есть ли у Вас описание структуры базы данных, что означает каждая таблица и поля в плане бизнес-терминов?
4 янв 19, 17:54    [21778484]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Полковник.
Member

Откуда:
Сообщений: 1817
Jurii,

основные таблицы sap r3

Успехов ахахаааа

Без Z таблиц, эти у каждого свои.
4 янв 19, 18:36    [21778502]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
.Евгений
Member

Откуда:
Сообщений: 445
Jurii
Есть ли у Вас описание структуры базы данных, что означает каждая таблица и поля в плане бизнес-терминов?
Есть, но так будет не интересно: я хочу увидеть мощь искусственного интеллекта, который распознает истинный формат поля и его бизнес-смысл. При наличии документации все это сможет и естественный конкурент.
2 Полковник,
Ага, та же самая школа создания приложений под любую БД.
4 янв 19, 20:05    [21778529]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3085
2 Полковник.:

основные таблицы sap r3
Успехов ахахаааа
Без Z таблиц, эти у каждого свои.


А скрипта для создания 100 тысяч таблиц SAP R3 у Вас под рукой случайно нет? ;) Z-таблицы тоже интересны, ИСИН в целом умеет разбираться в кастомизациях.

2 .Евгений:

Есть, но так будет не интересно: я хочу увидеть мощь искусственного интеллекта, который распознает истинный формат поля и его бизнес-смысл. При наличии документации все это сможет и естественный конкурент.

Естественные интеллекты работают крайне медленно и стоят недешево, да и не всегда трудятся на благо повышения ВВП...
Мощь искусственного интеллекта проявляется в распознавании кастомизаций, и в ответе на вопрос, "что стоит из учетной системы загружать в хранилище - какие таблицы и какие их поля". Но какое-то множество стандартных таблиц по каждой учетной системе полезно заложить в его базу знаний, чтобы корректно делался UNION ALL таблиц из разных баз для соответствующих таблиц фактов и справочников.
4 янв 19, 21:01    [21778553]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Критик
Member

Откуда: Москва / Калуга
Сообщений: 31118
Блог
Jurii,

Устоявшийся термин - ИскИн )
4 янв 19, 22:11    [21778576]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3085
2 Критик:

Устоявшийся термин - ИскИн )

Мне больше нравится ИСИН, почитайте серию книг Этногенез
4 янв 19, 22:20    [21778580]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
alex55555
Member

Откуда:
Сообщений: 1738
Jurii
Мощь искусственного интеллекта проявляется в распознавании кастомизаций, и в ответе на вопрос, "что стоит из учетной системы загружать в хранилище - какие таблицы и какие их поля".

То есть ваш алгоритм отрезает операции? В смысле тупо грузит одну бухгалтерию? А если я хочу в олапе операции анализировать?

ЗЫ. Просто написать некую прослойку, которая отобразит произвольные поля на некий OLAP куб, не сложно. Это обычный маппинг. А вот с фильтрацией уже нужны критерии, и критерии должен задавать пользователь, а не вы. Но вы вот уже их задали (явно указали - беру не все данные). Значит вы уже испортили возможности для анализа.
5 янв 19, 16:30    [21778776]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Полковник.
Member

Откуда:
Сообщений: 1817
Jurii,

Научи интеллект генерить таблицы по описанию. ER диаграмму для sap mm , например тоже можно найти, но там будут не все таблицы. Но все равно будет манкиджоб - не все поля в sap используются, это зависит от .... Исторически в таблицах сап вносили изменения добавляя поля, остальные оставались для совместимости но в них пусто. Без аналитика, который знает процессы и как они лежат в базе, построить ХД по SAP невозможно, если читаешь описание поля например - ссылка на документ закупки, не верь глазам своим, это не всегда так. Еще много таблиц в которой в зависимости от типа лежат об'екты разных сущностей. Ещё иногда что бы связать эти сущности между собой нужно линковать через другую таблицу. Такие дела.
5 янв 19, 17:08    [21778793]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3085
2 alex55555:

То есть ваш алгоритм отрезает операции? В смысле тупо грузит одну бухгалтерию? А если я хочу в олапе операции анализировать?
ЗЫ. Просто написать некую прослойку, которая отобразит произвольные поля на некий OLAP куб, не сложно. Это обычный маппинг. А вот с фильтрацией уже нужны критерии, и критерии должен задавать пользователь, а не вы. Но вы вот уже их задали (явно указали - беру не все данные). Значит вы уже испортили возможности для анализа.


Алгоритм не отрезает операции, отрезаются неиспользуемые или малоиспользуемые поля таблиц, или документы, в которых недостаточно много данных или старые данные, то есть переставшие быть актуальными. Маппинг - это когда известны таблицы-поля источника данных. А например у вас в базе данных есть кастомизированная таблица - избранные посты на форуме... ИСИН поймет, что это кастомизация, определит ссылки на справочники, сформирует таблицу фактов и денормализованное виртуальное представление IBM Cognos. Пользователь за несколько минут из этого представления сформирует OLAP-куб, перетащив мышкой его поля в измерения и показатели. А для более типовых наборов данных есть готовые десятки OLAP-кубов.

2 Полковник.:

Научи интеллект генерить таблицы по описанию. ER диаграмму для sap mm , например тоже можно найти, но там будут не все таблицы. Но все равно будет манкиджоб - не все поля в sap используются, это зависит от .... Исторически в таблицах сап вносили изменения добавляя поля, остальные оставались для совместимости но в них пусто. Без аналитика, который знает процессы и как они лежат в базе, построить ХД по SAP невозможно, если читаешь описание поля например - ссылка на документ закупки, не верь глазам своим, это не всегда так. Еще много таблиц в которой в зависимости от типа лежат об'екты разных сущностей. Ещё иногда что бы связать эти сущности между собой нужно линковать через другую таблицу. Такие дела.

SAP ERP это не очень распространенная система в России, ей не пользуются сотни тысяч компаний. Но как второй приоритет - стоит ИСИНа ей обучить. Лет 10 назад я без проблем вручную определял и связывал таблицы SAP, это можно автоматизировать. Также помню были коннекторы к SAP и думаю до сих пор есть - по типовым объектам. А как распознавать кастомизации - это нужно будет подумать, когда получу пример базы SAP. Не спорю, что для SAP аналитик полезен, но 90% хранилища можно сформировать ИСИНом, если не больше.
5 янв 19, 20:45    [21778927]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Полковник.
Member

Откуда:
Сообщений: 1817
[quot Jurii
SAP ERP это не очень распространенная система в России, ей не пользуются сотни тысяч компаний. Но как второй приоритет - стоит ИСИНа ей обучить. Лет 10 назад я без проблем вручную определял и связывал таблицы SAP, это можно автоматизировать. Также помню были коннекторы к SAP и думаю до сих пор есть - по типовым объектам. А как распознавать кастомизации - это нужно будет подумать, когда получу пример базы SAP. Не спорю, что для SAP аналитик полезен, но 90% хранилища можно сформировать ИСИНом, если не больше.[/quot]
SAP есть там, где есть нефть, а пока есть нефть в Милане есть я. Ахахааа. Какие сотни тысяч компаний, ты о чем вообще? Ты где был, чем занимался последние 10 лет, после когноса? Нет никаких соней тысяч компаний. Есть суровый русский провинциальный бизнес аля 90-е прошлого века, так там все и осталось безовсякой автоматизации даже 1С не могут осилить.
5 янв 19, 22:06    [21778972]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3085
2 Полковник.:

Какие сотни тысяч компаний, ты о чем вообще? Ты где был, чем занимался последние 10 лет, после когноса? Нет никаких соней тысяч компаний. Есть суровый русский провинциальный бизнес аля 90-е прошлого века, так там все и осталось безовсякой автоматизации даже 1С не могут осилить.

Поскольку пока альтернативу Когносу найти сложно, а нишевые решения с узким функционалом применимы нечасто, я им не прекращаю заниматься до сих пор. Для Когноса, по науке, делаю хранилища.
Если у тебя есть доступ к базе клиентов 1С, то ты там сможешь увидеть как раз сотни тысяч проектов на самых популярных конфигурациях, и меньше проектов на менее распространенных конфигурациях. В регионах есть группы компаний, у которых в сумме десятки баз 1С, их разумно загружать в единые ХД.
5 янв 19, 22:49    [21778987]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Бумбараш
Member

Откуда: никем не победимая, самая любимая
Сообщений: 2190
То что у Юрии пророс говорящий стебелёк, конечно настораживает. Видимо, многолетний когнос побочные эффекты имеет.
5 янв 19, 23:43    [21779004]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3085
2 Семен Бумбараш:

То что у Юрии пророс говорящий стебелёк, конечно настораживает. Видимо, многолетний когнос побочные эффекты имеет.

Раз в несколько лет полезно проверять, изменилось ли что-то в мире, и полезно пополнять информацию на нашем форуме, которая сохраняется и индексируется на американских серверах ;)
Многолетняя работа с Когнос - это 10 тысяч часов опыта, гарантия профессионализма. И мои оценки совпадают с оценками аналитиков из уважаемой компании BARC, рекомендую посмотреть их отчеты по системам бюджетирования и BI.
6 янв 19, 15:28    [21779129]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
alex55555
Member

Откуда:
Сообщений: 1738
Jurii
отрезаются неиспользуемые или малоиспользуемые поля таблиц, или документы, в которых недостаточно много данных или старые данные, то есть переставшие быть актуальными.

Вот эти правила нужно задокументировать и выложить. Иначе как заказчик поймёт, что такое "малоиспользуемые"?

В общем поигрушки в оналитегу весьма любопытны, но суть в том, что нужен выход на толстого клиента, иначе - нафиг никому такой искуственный интеллект не нужен. Хотя для души - побалуйтесь. Может в своей работе монотонную часть сможете переложить на своё чудо, и то польза.
6 янв 19, 17:41    [21779178]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
SIMPLicity_
Member

Откуда: (((@)))
Сообщений: 8502
L_argo
На данный момент я обучил своего ИСИНа (искусственный интеллект) разбираться в структуре баз данных наиболее популярных в России и СНГ учетных систем и выстраивать из них хранилища данных для целей создания аналитической отчетности (BI), трансформации факта из БУ в УУ, загрузки факта в системы бюджетирования, прогнозирования и оптимизации.
Куета на АИ-хайпе. Для "поиграцца и выкинуть".
Не взлетит.
Качество ее работы будет низким.

Стопудово невзлетит. Но почему бы бабок не срубить ;-)
6 янв 19, 17:52    [21779181]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
cuvashi
Member

Откуда:
Сообщений: 21
Jurii,
Многое мне не понятно, но что может показать ваша система
на примере базы AdwenureWorks например.
Скрипты и демо данные все есть в интернет. И как увидеть результат
6 янв 19, 21:36    [21779250]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Jurii
Member

Откуда: Moscow http://cognos.narod.ru
Сообщений: 3085
2 alex55555:

отрезаются неиспользуемые или малоиспользуемые поля таблиц, или документы, в которых недостаточно много данных или старые данные, то есть переставшие быть актуальными.
Вот эти правила нужно задокументировать и выложить. Иначе как заказчик поймёт, что такое "малоиспользуемые"?


Правила есть в руководстве пользователя ИСИНом. Но можно их оттуда и убрать. Ведь аналитики и ИТ специалисты не согласуют каждый шаг с бизнес-заказчиками, сами определяют структуру ХД, что брать а что не брать. ИСИН должен быть похож на человека, и при этом быстрее печатать ;)

В общем поигрушки в оналитегу весьма любопытны, но суть в том, что нужен выход на толстого клиента, иначе - нафиг никому такой искуственный интеллект не нужен.

Это не тема данной дискуссии. Тут идет поиск партнеров, или специалистов по ХД, которые понимают, что с ИСИНом они конкурировать не могут и пора переквалифицироваться в ассистентов ИСИНа ;)

Хотя для души - побалуйтесь. Может в своей работе монотонную часть сможете переложить на своё чудо, и то польза.

Последние полтора года я своими руками ХД не делаю, наблюдаю как это быстро делает ИСИН ;)

2 SIMPLicity_:

Стопудово невзлетит. Но почему бы бабок не срубить ;-)

Искусственный интеллект уже давно заменяет специалистов разных профессий. Чем специалисты по ХД уникальны?

2 cuvashi:

Многое мне не понятно, но что может показать ваша система
на примере базы AdwenureWorks например.
Скрипты и демо данные все есть в интернет. И как увидеть результат


База AdwenureWorks хороша для тестирования решений класса BI. ИСИНа можно обучить брать из этой базы данные, но ценности от этого не будет никакой, поскольку ни на одном предприятии ИСИН эту базу больше не встретит
7 янв 19, 18:41    [21779544]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
cuvashi
Member

Откуда:
Сообщений: 21
Jurii,

Я думаю что вы дурак. Прошу модерев удалить если это без основательно.
7 янв 19, 19:11    [21779560]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
PinkCat
Member

Откуда:
Сообщений: 2320
Jurii,

но ценности от этого не будет никакой, поскольку ни на одном предприятии ИСИН эту базу больше не встретит
-----
??? - вообще-то, по условиям, для ИИ ожидается, что после обучения он будет корректно работать с неизвестной ему базой.
7 янв 19, 19:38    [21779575]     Ответить | Цитировать Сообщить модератору
 Re: Ищу скрипты создания баз данных учетных систем для дальнейшего обучения ИСИНа  [new]
Alibek B.
Member

Откуда:
Сообщений: 2994
Я думаю, что ИИ на самом деле уже создан в сети лет 30 назад.
Он пока не очень умный и занимается тем, что создает примитивные креатуры, которые штампуют на разных форумах однотипный флуд на тему создания ИИ, автоматической разработки программ и прочих идей 30-летней давности.
К сожалению с саморазвитием у этого ИИ не очень, потому что его креатуры не прогрессируют.
7 янв 19, 20:31    [21779601]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Работа Ответить