Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Microsoft SQL Server Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
 Re: Нечёткий поиск  [new]
Pulsar_p
Member

Откуда: Потому, что я с севера, что ли...
Сообщений: 1908
Да и с не китайскими именами-фамилиями...
Стефанович Абрамович Валерий, вот где у него фамилия, а где отчество?
А если имя(фамилия) двойная(тройная)?
14 сен 15, 16:09    [18147441]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
чуток не понял
Guest
Konst_One,

для чего "для этого"? для исправления опечаток?
у него уже есть база мусора, как ему ее вылечит установка "мдм решения"? как она вылечит кривой ввод?
утрированно они нужны для хранения в одном правильном месте всего правильного.
одно место у него есть. оно всё неправильное.
14 сен 15, 16:14    [18147463]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Konst_One
Member

Откуда:
Сообщений: 11677
чуток не понял,

развернуть MDM и начать делать правильно, исправляя старый бардак в НСИ
14 сен 15, 16:16    [18147476]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Minamoto
Member

Откуда: Москва
Сообщений: 1162
o-o
Minamoto
Я лишь предложил способ поиска дублей. В этом способе совершенно неважно, что - имя, а что - фамилия.

а я про эту самую ситуацию.
если один Микеле с фамилией Симоне,
а второй Симоне с фамилией Микеле,
то это совсем не дубль.
только пойди разбери, у нас 2 разных человека или один и тот же,
занесенный в виде ФИ и ИФ.
т.е. это все равно, что номер дома и квартиры переставить.
когда порядок произвольный, докопаться до истины с ходу не получится

Вы думаете за автора, вместо того, чтобы ответить на его вопрос. Автор всего лишь попросил посоветовать ему различные алгоритмы поиска.
Что он будет делать с найденными записями - его личное дело.
Такая задача у нас тоже регулярно встает, и мне совершенно очевидно, что разобрать дубли и делать слияния и пометки в базе можно исключительно вручную.
А вот задачу поиска совпадений, чтобы уменьшить объем данных для анализа, вполне можно автоматизировать.
14 сен 15, 16:22    [18147493]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
чуток не понял
Guest
Konst_One
чуток не понял,

развернуть MDM и начать делать правильно, исправляя старый бардак в НСИ

а так?
чем рукоисправления в одном варианте от абсолютно такого же рукоисправления без разворачивания чего-то ни зачем не нужного отличается?
14 сен 15, 16:28    [18147517]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Konst_One
Member

Откуда:
Сообщений: 11677
чуток не понял
Konst_One
чуток не понял,

развернуть MDM и начать делать правильно, исправляя старый бардак в НСИ

а так?
чем рукоисправления в одном варианте от абсолютно такого же рукоисправления без разворачивания чего-то ни зачем не нужного отличается?


отличается унификацией рабочего процесса и последующего грамотного ведения всей НСИ в системе
14 сен 15, 16:29    [18147525]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Pulsar_p
Member

Откуда: Потому, что я с севера, что ли...
Сообщений: 1908
Minamoto
o-o
пропущено...

а я про эту самую ситуацию.
если один Микеле с фамилией Симоне,
а второй Симоне с фамилией Микеле,
то это совсем не дубль.
только пойди разбери, у нас 2 разных человека или один и тот же,
занесенный в виде ФИ и ИФ.
т.е. это все равно, что номер дома и квартиры переставить.
когда порядок произвольный, докопаться до истины с ходу не получится

Вы думаете за автора, вместо того, чтобы ответить на его вопрос. Автор всего лишь попросил посоветовать ему различные алгоритмы поиска.
Что он будет делать с найденными записями - его личное дело.
Такая задача у нас тоже регулярно встает, и мне совершенно очевидно, что разобрать дубли и делать слияния и пометки в базе можно исключительно вручную.
А вот задачу поиска совпадений, чтобы уменьшить объем данных для анализа, вполне можно автоматизировать.

Так автору и говорят, что нужно первым делом бардак в базе прекратить. Самое интересное, что если он наведет порядок в базе, обозначенная проблема потеряет смысл, т.е. решится как бы сама собой
14 сен 15, 16:34    [18147550]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Pulsar_p
Member

Откуда: Потому, что я с севера, что ли...
Сообщений: 1908
Konst_One,
Если я правильно вас понял, вы предлагаете бардак не систематизированный превратить в бардак систематизированный? ИМХО: то же самое, только бюрократии прибавится.
14 сен 15, 16:38    [18147565]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
o-o
Guest
Minamoto,

я двумя руками за "посадить-разгребать-того-кто-напроектировал"
если нет уже того, кто, пусть начальство разгребает.
или ищет того, кому бы поручить.
когда мне постоянно жалуются на то и это,
но менять ничего не желают, я про себя говорю им "так вам и надо",
старательно изображаю свое им сочувствие,
а на деле иду форум читать или книгу.
но сперва письменно отправляю свое предложение по ПЕРЕДЕЛЫВАНИЮ.
не по разгребанию, а по переделыванию.
когда достают основательно, переотправляю написанное.
не знаю, как у ТС, а у нас давно уже стало ясно:
то, что упорно не переделывают, служит как раз для того, чтобы на это постоянно жаловаться.
изображать бурную деятельность и создавать "чем бы нам заняться".

если же именно ТС-а выбрали жертвой для разгребания,
могу только посоветовать выбить себе побольше времени на весь этот бардак,
изображать велико старание и постоянно жаловаться на жутко необрабатываемые случаи.
на самом же деле читать себе полезное/интересное
14 сен 15, 16:39    [18147568]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Konst_One
Member

Откуда:
Сообщений: 11677
Pulsar_p
Konst_One,
Если я правильно вас понял, вы предлагаете бардак не систематизированный превратить в бардак систематизированный? ИМХО: то же самое, только бюрократии прибавится.


нет,я предлагаю наконец то вам начать разгребать бардак. без административно-бюрократического ресурса вам не обойтись в этой задаче, а если затронуты разные департаменты компании, то тем более. удачи вам, в любом случае
14 сен 15, 16:42    [18147581]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Pulsar_p
Member

Откуда: Потому, что я с севера, что ли...
Сообщений: 1908
Konst_One,
Спасибо конечно, но мне повезло, я избежал подобного бардака на этапе проектирования.
14 сен 15, 16:45    [18147593]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Konst_One
Member

Откуда:
Сообщений: 11677
Pulsar_p
Konst_One,
Спасибо конечно, но мне повезло, я избежал подобного бардака на этапе проектирования.


да, конечно , я обращался к ТС.
14 сен 15, 16:52    [18147636]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Lepsik
Member

Откуда: glubinka
Сообщений: 4257
o-o
Minamoto
для поиска дублей вида ФИО и ИОФ нужно разбить все строки с разделителем - пробел, соединить их в одну строку в порядке возрастания и сравнить (либо напрямую, либо через те же Ngram).

у нас одного товарища зовут Michele Simone.
угадайте, что тут И, а что Ф.
вот попадет этот товарищ в вашу базу, и всей автоматизации по расчленению ФИО крышка


у нас в компании было 2 мужика - одного звали Poul Martin, a другог Martin Poul
14 сен 15, 18:09    [18147993]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Pulsar_p
Member

Откуда: Потому, что я с севера, что ли...
Сообщений: 1908
Lepsik
пропущено...

у нас в компании было 2 мужика - одного звали Poul Martin, a другог Martin Poul

Что же тут удивительного. Отец и сын.
14 сен 15, 18:26    [18148068]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Roman Mejtes
Member

Откуда: г. Пермь
Сообщений: 4279
SoundEx (поддерживается MSSQL)
14 сен 15, 18:38    [18148103]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
o-o
Guest
Pulsar_p
Lepsik
пропущено...

у нас в компании было 2 мужика - одного звали Poul Martin, a другог Martin Poul

Что же тут удивительного. Отец и сын.

Это где вдруг имя папашки становится фамилией?
Я вот знаю мужское имя Gian Maria, это в честь дедушки и бабушки. А если еще такую же фамилию заиметь? Пишется раздельно и даже без тире.
"ваш сын Дядя Шарик", простите.
Господи, да я знаю еще и семейство, назвавшее сына Дядя Федор. Вменяемые люди, а вот, назвали же...
14 сен 15, 18:59    [18148187]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
churupaha
Member

Откуда: Краснодар
Сообщений: 1015
все это системные шаблоны. понавыдумывали фамилия, имя и отчество. а если человеку жмут эти рамки (как тапки меньшего размера)? если он все дерево хочет перечислить? я за отмену сложившегося порядка вещей и пусть люди называют себя, как хотят.
14 сен 15, 19:17    [18148235]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Pulsar_p
Member

Откуда: Потому, что я с севера, что ли...
Сообщений: 1908
o-o
... пропущено
Это где вдруг имя папашки становится фамилией?
... пропущено

В Исландии, например. Если отец Эрик, сын будет Эриксон. Свен - Свенсон. Очень даже логично и правильно.
14 сен 15, 19:27    [18148249]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
o-o
Guest
Pulsar_p
o-o
... пропущено
Это где вдруг имя папашки становится фамилией?
... пропущено

В Исландии, например. Если отец Эрик, сын будет Эриксон. Свен - Свенсон. Очень даже логично и правильно.

Здрасьте.
Одно дело происхождение фамилии, будто у нас мало Петровых и Васечкиных, другое дело, когда имя становится фамилией. В вашем примере сын не стал Свен Эрик, а Эриксон, ну так у нас отчество то же самое отражает. Зато какое разнообоазие фамилий :)
А вообще прав churupaha: захотят наши потомки общаться тут, намекая на родителей, назовутся о-ошка и churupahinson, а не захотят, шиш их по никам вычислят. Свободу именованию на форумах!
14 сен 15, 19:54    [18148332]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Pulsar_p
Member

Откуда: Потому, что я с севера, что ли...
Сообщений: 1908
o-o
Pulsar_p
пропущено...

В Исландии, например. Если отец Эрик, сын будет Эриксон. Свен - Свенсон. Очень даже логично и правильно.

Здрасьте.
Одно дело происхождение фамилии, будто у нас мало Петровых и Васечкиных, другое дело, когда имя становится фамилией. В вашем примере сын не стал Свен Эрик, а Эриксон, ну так у нас отчество то же самое отражает. Зато какое разнообоазие фамилий :)
... пропущено

Вот Фома неверующий.
тынц
В отличие от общепринятых мировых правил, большинство исландцев не имеет фамилии. Для обращения к тому или иному жителю Исландии принято использовать только имя и отчество. Отчество у исландцев произносится, как «имя отца» + «сын» (son) или «дочь» (dottir). Если у человека по имени Йон Эйнарссон есть сын, которого зовут Олафур, то «фамилия» Олафура будет не Эйнарссон, а Йонссон.
14 сен 15, 20:51    [18148553]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Balbidon
Member

Откуда: Donetsk->Emerald City
Сообщений: 358
Pulsar_p
o-o
пропущено...

Здрасьте.
Одно дело происхождение фамилии, будто у нас мало Петровых и Васечкиных, другое дело, когда имя становится фамилией. В вашем примере сын не стал Свен Эрик, а Эриксон, ну так у нас отчество то же самое отражает. Зато какое разнообоазие фамилий :)
... пропущено

Вот Фома неверующий.
тынц
В отличие от общепринятых мировых правил, большинство исландцев не имеет фамилии. Для обращения к тому или иному жителю Исландии принято использовать только имя и отчество. Отчество у исландцев произносится, как «имя отца» + «сын» (son) или «дочь» (dottir). Если у человека по имени Йон Эйнарссон есть сын, которого зовут Олафур, то «фамилия» Олафура будет не Эйнарссон, а Йонссон.


Подобная традиция с именами имеет место, например, и в Южной Индии - в частности, путаница с именем Вишванатана Ананда описана в русском разделе Википедии.

А по теме - все, что можно, необходимо править автоматически, остальной список отдавать на разбор человеку. И этому человеку, вполне возможно, придется работать с источником информации напрямую для решения некоторых сложных ситуаций.
14 сен 15, 21:34    [18148664]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
o-o
Guest
Pulsar_p,

ну где же это я не верю???
я говорю, вы разницу видите между именем и отчеством/фамилией?
вы на Пола Мартина с Мартином Полом говорите, что отец и сын, все типа ок,
я и спрашиваю, где же это имя *как есть* становится вдруг фамилией?
ну т.e. может где-то и становится, но не в вашем примере.
по приведенному вами описанию сын Мартина Пол станет Полом (внимание!) Мартинсoном, а не Мартином,
а сын Пола станет Полсоном (Поллаком, Полакяном, кто там еще был?)
и никакого чередования Poul Martin -- Martin Poul в документах династии не будет.

а чередовать Михаил Сергеевич -- Сергей Михайлович и у нас можно.
лучше бы от мамашки оставляли чего для разнообразия,
а то отчество есть, мамчества нет
14 сен 15, 21:49    [18148726]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Balbidon
Member

Откуда: Donetsk->Emerald City
Сообщений: 358
o-o,

Я Вам привел пример. Отца Вишванатана Ананда зовут Кришнамурти Вишванатан. А сына, соответственно, Ананд Ахилл.
Причем в некоторых регионах или даже семьях получается, что собственное имя идет первым, потом имя отца. А тут наоборот - сначала имя отца, потом собственное.
14 сен 15, 22:00    [18148761]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
Pulsar_p
Member

Откуда: Потому, что я с севера, что ли...
Сообщений: 1908
o-o,
Ну разумеется пост про Poul Martin и Martin Poul (типа отец и сын) - это шутка. :))
А вот про исландцев - уже нет.
14 сен 15, 22:58    [18149017]     Ответить | Цитировать Сообщить модератору
 Re: Нечёткий поиск  [new]
o-o
Guest
Pulsar_p
o-o,
Ну разумеется пост про Poul Martin и Martin Poul (типа отец и сын) - это шутка. :))

Ну слава богу, первая мысль была верная :)
А потом думаю, вдруг и правда такое бывает, а мне интересно, честно.
Про Ахилла только никак не осилю, слишком по-гречески для Индии звучит.
Ааа, у нас прямо сейчас у верхних соседей боулинг с собакой, как спать, так у них что-то катают и гавкают. А собака-то не собака, мышь тонконогая, таким еще пальто с капюшоном покупают, иначе околеет, зато зовут ее гордо - - Range Rover
14 сен 15, 23:29    [18149094]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3   вперед  Ctrl      все
Все форумы / Microsoft SQL Server Ответить