Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
 Cравнение таблиц и исключение одинаковых значений с учетом синтаксиса  [new]
a1ekc87
Member

Откуда:
Сообщений: 18
Подскажите какой инсртумент\механизм задействовать, для решения следующей задачи: есть 2 таблицы, нужно сравнить значения с учетом синтаксиса, и записать в 3 таблицу исключая повторения.
Пример:
Таблица1
Фуфломицын 10 таб.
Лохотен 20 т.
Гомеоноль 5 капс.
Бездействин 30
Фуфловит №5 в.в.

Таблица2
Витаминоль 60табл
Лохотен №20 амп.
Фуфломицын 10 таблеток
Фуфловит №5 апул в\в
Безвитин 25к.

Таблица3
Фуфломицын 10 таб.
Лохотен 20 т.
Гомеоноль 5 капс.
Бездействин 30
Фуфловит №5 в.в.
Витаминоль 60табл
Лохотен №20 амп.
Безвитин 25к.
24 дек 18, 09:17    [21771754]     Ответить | Цитировать Сообщить модератору
 Re: Cравнение таблиц и исключение одинаковых значений с учетом синтаксиса  [new]
Akina
Member

Откуда: Зеленоград, Москва, Россия
Сообщений: 20538
Пишите парсер-нормализатор, который разберёт каждую запись на наименование-лекформа-дозировка-номер, и по распарсенному набору объединяйте.
24 дек 18, 09:47    [21771776]     Ответить | Цитировать Сообщить модератору
 Re: Cравнение таблиц и исключение одинаковых значений с учетом синтаксиса  [new]
iap
Member

Откуда: Москва
Сообщений: 46983
Akina
Пишите парсер-нормализатор, который разберёт каждую запись на наименование-лекформа-дозировка-номер, и по распарсенному набору объединяйте.
Этот парсер легко сделать.
Надо посадить юзера, чтобы он вручную сделал это.
Написать для него простенького клиента, разумеется.
24 дек 18, 10:29    [21771807]     Ответить | Цитировать Сообщить модератору
 Re: Cравнение таблиц и исключение одинаковых значений с учетом синтаксиса  [new]
a1ekc87
Member

Откуда:
Сообщений: 18
iap
Akina
Пишите парсер-нормализатор, который разберёт каждую запись на наименование-лекформа-дозировка-номер, и по распарсенному набору объединяйте.
Этот парсер легко сделать.
Надо посадить юзера, чтобы он вручную сделал это.
Написать для него простенького клиента, разумеется.

Хотелось бы автоматизации конечно))
24 дек 18, 13:52    [21772037]     Ответить | Цитировать Сообщить модератору
 Re: Cравнение таблиц и исключение одинаковых значений с учетом синтаксиса  [new]
a1ekc87
Member

Откуда:
Сообщений: 18
Просто объемы большие, и таблиц больше чем 2, это я для примера 2 обозначил)
24 дек 18, 13:53    [21772038]     Ответить | Цитировать Сообщить модератору
 Re: Cравнение таблиц и исключение одинаковых значений с учетом синтаксиса  [new]
Руслан Дамирович
Member

Откуда: Резиновая нерезиновая
Сообщений: 940
a1ekc87
Хотелось бы автоматизации конечно))...
Просто объемы большие, и таблиц больше чем 2, это я для примера 2 обозначил)

Вам нужно больше рабовобезьянок.
24 дек 18, 14:35    [21772129]     Ответить | Цитировать Сообщить модератору
 Re: Cравнение таблиц и исключение одинаковых значений с учетом синтаксиса  [new]
Larr`
Member

Откуда: у парня сирийская грусть?
Сообщений: 745
a1ekc87
Хотелось бы автоматизации конечно))...
Просто объемы большие, и таблиц больше чем 2, это я для примера 2 обозначил)

Как-то делал что-то похожее. Если есть эталонный список - то проще, если нет - гораздо сложнее
Сейчас для такого вижу три варианта
1. Попытаться воспользоваться SSIS-компонентами или MDS-функциями c вычислением мер похожести.
2. Написать на основе алгоритмов из шага 1 что-то своё с разбором на значащие слова, синонимами и CLR-функциями
3. Найти питониста-бигдатиста-нейросетчика и попросить его всякими пакетами сделать это.

И всё равно может понадобиться обезьянка-проверянка
24 дек 18, 17:22    [21772316]     Ответить | Цитировать Сообщить модератору
 Re: Cравнение таблиц и исключение одинаковых значений с учетом синтаксиса  [new]
Владислав Колосов
Member

Откуда:
Сообщений: 7780
a1ekc87,

разбирайте итерациями. Отсеяли, проверили остаток, переопределили значения, например, в.в. - это тоже, что и в\в и так далее до полного удовлетворения. Без ручного труда никак, к тому же надо быть "в теме".
24 дек 18, 18:31    [21772368]     Ответить | Цитировать Сообщить модератору
 Re: Cравнение таблиц и исключение одинаковых значений с учетом синтаксиса  [new]
a1ekc87
Member

Откуда:
Сообщений: 18
Larr`
Как-то делал что-то похожее. Если есть эталонный список - то проще, если нет - гораздо сложнее
Сейчас для такого вижу три варианта
1. Попытаться воспользоваться SSIS-компонентами или MDS-функциями c вычислением мер похожести.
2. Написать на основе алгоритмов из шага 1 что-то своё с разбором на значащие слова, синонимами и CLR-функциями
3. Найти питониста-бигдатиста-нейросетчика и попросить его всякими пакетами сделать это.

Спасибо! А есть более подробная инфа об этих вариантах, может быть ссылки на статьи или материалы по теме.
Гуглю пока, но не особо успешно)
25 дек 18, 07:31    [21772643]     Ответить | Цитировать Сообщить модератору
 Re: Cравнение таблиц и исключение одинаковых значений с учетом синтаксиса  [new]
a1ekc87
Member

Откуда:
Сообщений: 18
Владислав Колосов
разбирайте итерациями. Отсеяли, проверили остаток, переопределили значения, например, в.в. - это тоже, что и в\в и так далее до полного удовлетворения. Без ручного труда никак, к тому же надо быть "в теме".

Спасибо за вариант!
25 дек 18, 07:32    [21772644]     Ответить | Цитировать Сообщить модератору
Все форумы / Microsoft SQL Server Ответить