Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Firebird, InterBase Новый топик    Ответить
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
 Similar to с цифрами  [new]
Atanas
Member

Откуда:
Сообщений: 73
Обнаружили сегодня удивительное поведение similar to.

select _utf8 x'c2b9' similar to '[1-2]' from rdb$database;
true

select _utf8 x'c2b9' similar to '[1]' from rdb$database;
false

select _utf8 x'c2b9' similar to '[2]' from rdb$database;
false

_utf8 x'c2b9' это '¹', единица в верхнем индексе (SUPERSCRIPT ONE)


Т.е. для similar это не единица и не двойка, а что-то между :) Стоит ли писать в трекер?
29 авг 19, 10:16    [21959589]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Atanas
Member

Откуда:
Сообщений: 73
Т.к. нужна была проверка, цифра ли это, выкрутились через через [:DIGIT:]
29 авг 19, 10:33    [21959605]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Arioch
Member

Откуда:
Сообщений: 10967
Atanas,

вроде влад недавно делал экспериментальную сборку с другой регеэкcп-библиотекой

если она в мейнстрим пойдёт - то на ней бы перепроверить

иначе наверное стоит написать в трекер
17 сен 19, 11:13    [21972280]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
hvlad
Member

Откуда:
Сообщений: 10531
Делал не Влад, Влад лишь показал где взять.
Оно уже в master, т.е. можно брать снапшоты и проверять.

По теме - я сильно сомневаюсь, что "единица в верхнем индексе (SUPERSCRIPT ONE)" и подобные символы должны сравниваться как цифры.
По крайней мере в обычных (не специальных) collate.
17 сен 19, 11:18    [21972291]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9831
hvlad,

снапшоты под windows не собираются с 6 числа. Если только автосборки брать из appveyor
17 сен 19, 11:30    [21972313]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
hvlad
Member

Откуда:
Сообщений: 10531
Симонов Денис,

да, уже видел. Разберёмся.
17 сен 19, 11:35    [21972323]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Arioch
Member

Откуда:
Сообщений: 10967
hvlad> Оно уже в master

в четвёрке. а в тройке?
17 сен 19, 13:07    [21972475]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 48163

Arioch
а в тройке?

А в тройке опаньки. Ибо эта новая библиотека даже четвёрку поломала напрочь, а уж в
стабильную ветку её и подавно никто не пустит.

Posted via ActualForum NNTP Server 1.5

17 сен 19, 13:13    [21972482]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Arioch
Member

Откуда:
Сообщений: 10967
> По теме - я сильно сомневаюсь

тогда точно в трекер - пусть в трекере и договариваются, что считать цифрой.

я, кстати, тоже не вполне уверен, что индексы со всех 4-х углов нужно считать цифрами. Склоняюсь к "нужно", но не уверен.

а ещё есть цифры строчные, а не только прописные(заглавные)
17 сен 19, 13:14    [21972483]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Arioch
Member

Откуда:
Сообщений: 10967
Dimitry Sibiryakov,

насколько понимаю, первая задача в таких патчах - перевести синтаксис регэкспа с SQL на обычный PCRE ?

можно ли этот кусок отдельно из патча выбрать, а в качестве движка использовать библиотеку ICU, которая в какой-то мере в FB используется уже много лет.

P.S. а ещё лучше, какое-нибудь расширение SQL, чтоб использовать сразу PCRE-синтаксис в запросах и забыть про SQL-regexp вообще
17 сен 19, 13:17    [21972486]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9831
Arioch,

дружок, а не пойти ли тебе в fb-devel и почитать обсуждение почему именно re2 выбрана, а не ICU.

Arioch
P.S. а ещё лучше, какое-нибудь расширение SQL, чтоб использовать сразу PCRE-синтаксис в запросах и забыть про SQL-regexp вообще


напиши свою UDR с данным функционалом
17 сен 19, 13:22    [21972490]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
hvlad
Member

Откуда:
Сообщений: 10531
Dimitry Sibiryakov
новая библиотека даже четвёрку поломала напрочь
Какой пафос. Какая чушь.

Когда ты уже научишься перестать свои локальные проблемы выдавать за мировое зло...
17 сен 19, 13:41    [21972511]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Arioch
Member

Откуда:
Сообщений: 10967
Симонов Денис,

дай ссылку, почитаю
17 сен 19, 13:49    [21972520]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9831
Arioch,

вот всё за вас найди

https://www.mail-archive.com/firebird-devel@lists.sourceforge.net/msg17384.html

З.Ы. Я читаю через Opera-mail по news://news.gmane.org:119/gmane.comp.db.firebird.devel
17 сен 19, 13:55    [21972527]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Arioch
Member

Откуда:
Сообщений: 10967
gmane по NNTP работает?
потому что gmane-WWW лежит уже третий, кажется, год

у тебя эта переписка уже есть, ты её читал, а мне реально надо будет с самого начала искать где когда кто по каким ключевым словам и т.д.
17 сен 19, 14:02    [21972530]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 48163

hvlad
Какой пафос. Какая чушь.

Ты уже починил сборку снэпшотов чтобы уверенно об этом заявлять?

Posted via ActualForum NNTP Server 1.5

17 сен 19, 14:05    [21972534]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
hvlad
Member

Откуда:
Сообщений: 10531
Dimitry Sibiryakov
hvlad
Какой пафос. Какая чушь.

Ты уже починил сборку снэпшотов чтобы уверенно об этом заявлять?
Да. И ?
17 сен 19, 14:06    [21972537]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Arioch
Member

Откуда:
Сообщений: 10967
Адриано
Because ICU, boost (regex and xpressive), PCRE and almost every other
regex engine are susceptible to the same problems we had on my own coded
version: some expressions produces exponential time complexity that
kills engine even with small texts being matched.

On the other hand, RE2 is based on different theory. Complexity is
linear based on text length.


"пойти в девел", "поискать обсуждение", сколько пафоса

можно было просто своими словами пересказать в две строки и две минуты
17 сен 19, 14:07    [21972540]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9831
Arioch,

ну я по NTTP читаю и даже пишу
17 сен 19, 14:09    [21972543]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Dimitry Sibiryakov
Member

Откуда:
Сообщений: 48163

hvlad
Да. И ?

И теперь Таблоид сможет прогнать тесты для обнаружения утечек памяти.

Posted via ActualForum NNTP Server 1.5

17 сен 19, 14:09    [21972544]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
Симонов Денис
Member

Откуда: Рязань
Сообщений: 9831
Arioch,

ну так это маленький кусок из обсуждения. Там этот вопрос не только Влад задавал.
А если пересказывать, то могу что то забыть или исказить. Заметь это обсуждение было почти месяц назад
17 сен 19, 14:13    [21972550]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
hvlad
Member

Откуда:
Сообщений: 10531
Arioch, 14:02
у тебя эта переписка уже есть, ты её читал, а мне реально надо будет с самого начала
искать где когда кто по каким ключевым словам и т.д.
...
Arioch, 14:07
"пойти в девел", "поискать обсуждение", сколько пафоса
Сильно утомился, бедняжка ?
17 сен 19, 14:16    [21972553]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2929
Мужики, заканчивайте шашками махать!
Рекомендую подробно изучить Unicode Collation Algorithm (UCA) и обратите внимание на пункт "Numbers" раздела "1.4 Customization", который гласит:
"Numbers. A customization may be desired to allow sorting numbers in numeric order. If strings including numbers are merely sorted alphabetically, the string “A-10” comes before the string “A-2”, which is often not desired. This behavior can be customized, but it is complicated by ambiguities in recognizing numbers within strings (because they may be formatted according to different language conventions). Once each number is recognized, it can be preprocessed to convert it into a format that allows for correct numeric sorting, such as a textual version of the IEEE numeric format."

Что уж говорить о надстрочном и подстрочном начертании?... В FirebirdSQL предусмотрено управление всеми возможностями кастомизации упорядочений?
17 сен 19, 14:44    [21972592]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
rdb_dev
Member

Откуда: с болот
Сообщений: 2929
По поводу superscript и subscript: "10.2 Tertiary Weight Table"
"The <compat> weight 0x0004 is given to characters that do not have more specific decomposition types. It includes superscripted and subscripted combining letters, for example U+0365 COMBINING LATIN SMALL LETTER I and U+1DCA COMBINING LATIN SMALL LETTER R BELOW. These combining letters occur in abbreviations in Medieval manuscript traditions."
17 сен 19, 14:54    [21972603]     Ответить | Цитировать Сообщить модератору
 Re: Similar to с цифрами  [new]
hvlad
Member

Откуда:
Сообщений: 10531
rdb_dev,

создаёшь коллейт с NUMERIC-SORT и проверяешь, в чём проблемы ?
17 сен 19, 15:03    [21972607]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: [1] 2   вперед  Ctrl      все
Все форумы / Firebird, InterBase Ответить