Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2 3 4 5      [все]
 Расширенный Поиск подстроки  [new]
Zafar Z
Member

Откуда:
Сообщений: 71
Вечер добрый.

Как расширить значение поиска подстроки в строке
К примеру "поиск машины тоета" находит именно эту строку. Но если пользователь набрал: "оиск ашины тоет" (заметьте я специально пропустил некоторые буквы с начала и конца слов) то результат будет нулевым. Использую следующее:

If(subject.toString().toLowerCase().contained(charSequence))

Конечно можно использовать внутри условия некий условный цикл с перебором и придумывать алгоритм , но если есть "скоростное" решение. зачем заново велосипед придумывать.
8 окт 19, 17:01    [21989677]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
Zafar Z,

http://qaru.site/questions/152979/how-to-implement-a-sql-like-like-operator-in-java
8 окт 19, 17:17    [21989693]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
сладкий бубалех
Member

Откуда:
Сообщений: 39
soundex не поможет?
8 окт 19, 17:18    [21989694]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
Zafar Z
К примеру "поиск машины тоета" находит именно эту строку. Но если пользователь набрал: "оиск ашины тоет" (заметьте я специально пропустил некоторые буквы с начала и конца слов) то результат будет нулевым. Использую следующее:
вообще это поиск - в базе, там всё решено.
8 окт 19, 17:34    [21989712]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
Zafar Z
Member

Откуда:
Сообщений: 71
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?
8 окт 19, 21:29    [21989869]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
Zafar Z
Member

Откуда:
Сообщений: 71
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?
8 окт 19, 21:30    [21989871]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
Zafar Z
Member

Откуда:
Сообщений: 71
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?
8 окт 19, 21:30    [21989872]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
Zafar Z
Member

Откуда:
Сообщений: 71
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?
8 окт 19, 21:31    [21989873]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
Zafar Z
Member

Откуда:
Сообщений: 71
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?
8 окт 19, 21:31    [21989874]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
Zafar Z
Member

Откуда:
Сообщений: 71
Пришлось написать маленький алгоритм используя разбивку текста на слова (split) или же можно было сделать по другому?

К сообщению приложен файл. Размер - 142Kb
8 окт 19, 21:32    [21989877]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
Zafar Z
Member

Откуда:
Сообщений: 71
Мои извинения отправлял с телефона. Надеюсь админы удалят повторные сообщения .
8 окт 19, 21:39    [21989881]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Zafar Z,

Твоя задача звучит как нечеткий текстовый поиск.

Ключевые слова: soundex, metaphone, bigram analyze, text index.

Гугли. Находи.

То что ты накодил - это туфта. Не обижайся за правду.
8 окт 19, 21:41    [21989883]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
vas0
Member

Откуда: Таможенный союз (Россия, Казахстан)
Сообщений: 1279
mayton
Zafar Z,

Твоя задача звучит как нечеткий текстовый поиск.

Ключевые слова: soundex, metaphone, bigram analyze, text index.

Гугли. Находи.

То что ты накодил - это туфта. Не обижайся за правду.
fuzzy search
8 окт 19, 21:51    [21989889]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
chpasha
Member

Откуда:
Сообщений: 8446
Вы конечно все правы, но есть ненулевая вероятность того, что ему достаточно like
8 окт 19, 22:04    [21989896]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
chpasha
но есть ненулевая вероятность того, что ему достаточно like
вероятность близка к 1,
такой
Zafar Z
"оиск ашины тоет"

возможен с like, но это в базе.
странно искать так в java, это очень долго..., да и количество записей ограничено
9 окт 19, 00:07    [21989950]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
вадя,

Like не является аналогом fuzzy - поиска.
9 окт 19, 07:16    [21989987]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
1) Soundex в java (это совсем жлобский вариант)

http://commons.apache.org/proper/commons-codec/apidocs/org/apache/commons/codec/language/Soundex.html

но это поиски заточенные на английский. Как будет с кириллицей ХЗ надо тестить.

+Metaphone
http://commons.apache.org/proper/commons-codec/apidocs/org/apache/commons/codec/language/DoubleMetaphone.html

2) Apache Lucene (надо самому всё кодить)

https://lucene.apache.org/

(здесь я буду Кеп очевидность потому что в Джава реально ЛЮБЫЕ текстовые поиски в конечном счете
приходят к Апач Люсин)

3) ELK (коробочное решение но надо быть намного архитектором чтобы правильно всё собрать) и главное
поменьше платить провайдеру.

https://www.elastic.co/what-is/elk-stack
9 окт 19, 09:00    [21990046]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
вот у меня есть данные по времени поиск в mysql при помощи like & like &...
в 28 000 и 10 000 000 записях. а есть ли у кого подобный данные для java?
9 окт 19, 09:02    [21990049]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
вадя
вот у меня есть данные по времени поиск в mysql при помощи like & like &...
в 28 000 и 10 000 000 записях. а есть ли у кого подобный данные для java?

Типо ты сам не из java))
9 окт 19, 09:35    [21990078]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Ну like это просто аналог substr, по 99% использований.

Поэтому если юзер тайпает "мос гор бол" имея в виду Московская Гордская Больница то чтобы
такой поиск работал нужна предобработка исходных данных для того чтоб они были подходящими
для индекса. Опять-же разбить на лексемы и проиндексировать каждую отдельно. Как - миллион
технологий есть но все они являются просто подмножеством fuzzy поиска.
9 окт 19, 09:57    [21990099]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
PetroNotC Sharp
Типо ты сам не из java))
типо есть спецы и круче
mayton
Поэтому если юзер тайпает "мос гор бол" имея в виду Московская Гордская Больница то чтобы
такой поиск работал нужна предобработка исходных данных для того чтоб они были подходящими
для индекса.
вот тут есть интересное сравнение (опять таки на mysql)
если 5.7+ поиск в 10 000 000 длился 30 сек, то в 8.+ 4 сек (это когда вводится заведомо не существующее, т.е. поиск по все таблице)
mayton
Ну like это просто аналог substr, по 99% использований.

действительно, тогда такое "оиск ашины тоет" надо разбить на 3 substr и объединить по &
9 окт 19, 10:36    [21990136]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
вадя, при чем тут MySQL ?

Афтор пишет в форум Java. Логичным будет предлагать ему решение в контексте.
9 окт 19, 10:40    [21990144]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
mayton
вадя, при чем тут MySQL ?

Афтор пишет в форум Java. Логичным будет предлагать ему решение в контексте.
мне интересна причина постановки такой задачи на java и поэтому как вариант для сравнения - mysql.
судя по примеру поиска число записей у тс не маленькое. насколько оправдан такой поиск?
9 окт 19, 10:50    [21990155]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
вадя,
Например в фирме только java разработчики
9 окт 19, 10:56    [21990161]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Неохота обсуждать MySQL пока автор не подтвердит что его такое решение тоже устроит.
9 окт 19, 10:59    [21990166]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
PetroNotC Sharp
Например в фирме только java разработчики
ну тогда нет смысла говорить о качестве конечного продукта.
9 окт 19, 10:59    [21990167]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
mayton
Неохота обсуждать MySQL пока автор не подтвердит что его такое решение тоже устроит.
дак вот что-то ТС затих.
9 окт 19, 11:00    [21990168]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
вадя
PetroNotC Sharp
Например в фирме только java разработчики
ну тогда нет смысла говорить о качестве конечного продукта.
т.е. опять цветочный магазин ....
9 окт 19, 11:01    [21990169]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
вадя,
У тебя тоже цветочный)
9 окт 19, 11:11    [21990183]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
PetroNotC Sharp
У тебя тоже цветочный)
ну нет, я делаю всё для юзера...
9 окт 19, 11:12    [21990186]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
Zafar Z
Member

Откуда:
Сообщений: 71
Искренне благодарю всех участвующих. Знаю что мой алгоритм абсолютная туфта так этот тип поиска срабатывает только в 20% из 100. Честно говоря пока не было времени но обязательно рассмотрю все ваши советы не исключая ни кого. Ещё раз искренне человеческое спасибо всем за ответы. Постараюсь ещё раз попытаться правильно поставить не вопрос а проблему поиска в базе. Одна запись состоит из целого текста , если скопировать этот текст то получается стандартный формат страницы ms word В 200 страниц. К примеру если все слова оиск ашины тоет находится в ОДНОМ ПРЕДЛОЖЕНИИ или хотя бы в том же АБЗАЦЕ то результат поиска идеально подходит для пользователя. Но если ОЕТА найдена в первой странице а АШИНА в 120 странице то поиск опять найдет ту запись так это ОДНА ЗАПИСЬ, хотя эти два слова не будут связанны друг с другом со значением и не будет иметь смысла для 'ищущего' пользователя, их объединяет только одна запись в базе данных.
10 окт 19, 05:01    [21990977]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
Zafar Z
Member

Откуда:
Сообщений: 71
Кстати на скорость поиска не жалуюсь даже на старых андроид устройствах поиск продолжается не долго. Использую SQLite.
10 окт 19, 05:11    [21990978]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mad_nazgul
Member

Откуда:
Сообщений: 4839
Zafar Z,

Если что есть lucene. ;-)
10 окт 19, 05:58    [21990980]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
Zafar Z
Member

Откуда:
Сообщений: 71
Дорогие участвующие всем всем огромное спасибо, начал тестирование с Lucene и о да чудо! Классная штука! Другим тоже буду советовать, то что надо, в будущем другие тоже постараюсь протестировать как время свободное найдется, но пока остановлюсь на чудо люценке!
Всем удачи.
17 окт 19, 08:38    [21996034]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2543
ты со своей люценкой по шапке получишь от тимлида
в твоем случае используют оператор LIKE
поиск по заданным параметрам осущестляется на стороне базы
ты же хочешь вытащить из базы все и прогнать через эту шляпу?ты в своем уме дядя?
17 окт 19, 10:07    [21996119]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
asv79
ты со своей люценкой по шапке получишь от тимлида
в твоем случае используют оператор LIKE
поиск по заданным параметрам осущестляется на стороне базы
ты же хочешь вытащить из базы все и прогнать через эту шляпу?ты в своем уме дядя?

Это нормальный юзкейс для толстых текстовых поисков. Так работает Google.
Индексирует асинхронно и обновляет специализированные струкуры данных
которые работают для поисков токенизацией и лемматизацией текстов.

Обычно LIKE в БД не дает возможности делать сложные поиски быстро. Пример с "%МОС%ГОР%БОЛ%"
выключает индекс БД и будет работать full-scan операция. А она убивает производительность.

Вот и бизнес выбирая между быстрым асинхронныим и текстовым поиском и медленным синхронным
поиском по БД, решает использовать Lucene(Elastic Stack), Sphinx, e.t.c.

Время отклика - решает. Будет ли клиент сёрчить миллиард записей в таблице через LIKE или какой-то
умный поиск по деревьям текстового поиска с шардингом.

Есть еще вариант - использовать модули текстового поиска БД но они обычно ограниченные в функционале
и плохо поддерживают локаль. Грубо говоря там все хорошо когда английский текст. Кириллица обычно не работает.
Или надо что-то крутить и вертеть на уровне глубокого знания этого модуля.
17 окт 19, 10:22    [21996141]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
asv79,
Если у него обучение, это одно. Если боевой проект, то конечно нужно профит смотреть.
17 окт 19, 10:43    [21996178]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
смотря в каком объёме искать.
17 окт 19, 11:04    [21996232]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Это должно исходить от заказчика. Сколько секунд или минут он согласен искать "Московскую Городскую Больницу"
в справочнике?

Этот вопрос должен стоять во главе топика. Всё остальное - не имеет значения. Заказчик должен быть happy.
Если он - не happy то все ваши архитектуры и умные технологии не имеют никакого значения. Выкинуть на свалку.
17 окт 19, 11:15    [21996259]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2543
PetroNotC Sharp,
если таблица до млн записей как мне скзаали никаких проблем использвать LIKE
а далее уже нужно индексы использовать
в любом случае это лучше отдать на откуп БД,как бы там есть инструменты для этого
17 окт 19, 12:27    [21996395]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2543
[quot mayton][
я сомневаюсь что автор пишет второй гугол.
а как работает этот люцен-он же не в базе ищет?тоесть сначала нужно достать все из базы -и куда то засунуть-потом это дело передать в люцене?
17 окт 19, 12:31    [21996405]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
asv79,
Ну вот пример.
Мне нужны из логов все АБЗАЦЫ с WARNING.
Что тогда?
17 окт 19, 12:34    [21996410]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
asv79,
У меня админка с выводом лога сервера. В логе 10 000 строк.
Поэтому на андроиде в планшете виснет.))))
17 окт 19, 12:36    [21996415]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
asv79
Member

Откуда: Тверь
Сообщений: 2543
PetroNotC Sharp
asv79,
Ну вот пример.
Мне нужны из логов все АБЗАЦЫ с WARNING.
Что тогда?

а ты логи в базу пишешь?весьма странное решение
17 окт 19, 12:44    [21996425]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
PetroNotC Sharp
asv79,
Ну вот пример.
Мне нужны из логов все АБЗАЦЫ с WARNING.
Что тогда?

Почитай про ELK в части LogStash. Там есть коробочное решение для быстрого поиска по логам.

https://www.elastic.co/products/logstash
17 окт 19, 12:45    [21996427]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
asv79
а ты логи в базу пишешь?весьма странное решение
ох. Все возможно в нашем мире)).
Oracle в своём APEX все в базу пишет. Даже js.
17 окт 19, 12:52    [21996447]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton,
OK
Я же ленивый))
Пока ротацию поправил с 2 гигов по умолчанию на ежедневную)).
В рыбе сервере 2 гига текста это же сколько строчек в логе!!!
А мой планшет наверно всего 100 мегов свободно))
17 окт 19, 12:56    [21996453]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Зачем тебе тянуть логи на планшет?
17 окт 19, 12:59    [21996455]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton
Зачем тебе тянуть логи на планшет?
админка. Смотреть надо)).
Счас посмотрел. 10 000 строк 800 кБт.
На компе открывает моментом в эксплорере. На планшете виснет. Там миниОпера.
17 окт 19, 13:02    [21996464]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton,
На компе я делаю Сохранить как... и на диск из оперы.
Потом в notepad++
Там есть крутой поиск с "Пометить всё".
Теперь все warning красным.
17 окт 19, 13:07    [21996469]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Тяжко тебе. А если лог перевалит за терабайт?
17 окт 19, 13:39    [21996504]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton
Тяжко тебе. А если лог перевалит за терабайт?
я же н админ. Это хобби с удочкой. Если ротация есть как он перевалит?
17 окт 19, 13:58    [21996528]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton,
Я кстати пример привел как раз для люцене и против LIKE
17 окт 19, 13:59    [21996530]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
PetroNotC Sharp
mayton
Тяжко тебе. А если лог перевалит за терабайт?
я же н админ. Это хобби с удочкой. Если ротация есть как он перевалит?

Ну дай бох.

Я кстати специально поднимал отдельные Log4j appenders которые пишут только ошибки. Так грепать легче. И размер стократ меньше.
И если что-то срочное анализировать то всегда быстрее. А потом кому не хватит шлака - идёт спокойно в полный
лог. С инфо. С дебагом и трейсом.
17 окт 19, 14:14    [21996551]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton,
Да. Конечно файл с ошибками должен быть отдельно.
17 окт 19, 14:41    [21996591]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Вообще если говорить о мониторинге здоровья системы в целом. То логи неудобны.
Есть много решений которые паблишат статус приложения. С графиками. С цветными лампочками.
Вобщем… логи это такое дело. Ну почитал ты с телефона. Стектрейс длинный. Все равно разбираться
с телефона неудобно. Надо ехать к ноутбуку.
17 окт 19, 14:44    [21996595]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton
Все равно разбираться
с телефона неудобно. Надо ехать к ноутбуку.
вот спорно это.
Планшет 10 дюймов это неплохо. Туть суть что в дороге.
А лампочки я могу и в планшет присобачить.
На работе то 20 дюймов. Поэтому зачем ноут?
Отмирает?
17 окт 19, 14:53    [21996606]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton, пример
[2019-10-17T11:46:00.466+0000] [glassfish 5.0] [WARNING] [AS-WEB-GLUE-00277] [javax.enterprise.web] [tid: _ThreadID=17 _ThreadName=RunLevelControllerThread-1571312756218] [timeMillis: 1571312760466] [levelValue: 900] [[
  An authentication method was not defined in the web.xml descriptor. Using default BASIC for login configuration.]]
17 окт 19, 15:01    [21996614]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Ну и о чем это? Ранжировано как WARN. Некритично.
17 окт 19, 15:06    [21996620]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton
Ну и о чем это? Ранжировано как WARN. Некритично.
это сервер решил не критично. На самом деле очень критично - аутентификация.
Наверно сервер тупой.
17 окт 19, 15:11    [21996629]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Оберни в ERROR. И сможешь ее видеть в логе ошибок который в 100 раз меньше. Как я советовал.

Жисть себе упростишь.

Вообще - несоотвествие левлов - это большая проблема для анализа здоровья системы.
17 окт 19, 15:14    [21996633]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton
Оберни в ERROR
а как это делается?
Ты о постобработке логов уже их читая потом утилитами?
17 окт 19, 15:25    [21996644]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Надо подумать. Я не знаком с Glassfish, но я знаю что система логгирования + современный веб-сервак
это чортов Lego конструктор. Можно собрать что надо.

Не бох весть какая ракетная наука.
17 окт 19, 15:27    [21996648]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton,
Ладно. Я ошибку поправил. По логам отследил. Не буду в дела админов лезть.
17 окт 19, 15:33    [21996661]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
По поводу Basic Authentication. Что это по сути? Это изменённый хедер запроса.
Если его зарубить на уровне nginx к примеру то никто этот метод использовать не сможет.
Следовательно проблемы такой не будет никогда.

Да и вообще кому он нужен? Современные приложения ходят по другим методам.
17 окт 19, 15:37    [21996665]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton
Basic Authentication
это для защиты достаточно в web.xml поставить одно слово и всё. Приложение защищено. Выше ошибка была что слово не верно было прогером написано.
...
Уровень защиты в зависимости от паранойи каждый решает сам.
Меня за 5 лет никто не ломал)).
Ну и на работе где нет сниффинга в сетке тоже можно.
17 окт 19, 16:08    [21996703]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
PetroNotC Sharp
mayton, пример
[2019-10-17T11:46:00.466+0000] [glassfish 5.0] [WARNING] [AS-WEB-GLUE-00277] [javax.enterprise.web] [tid: _ThreadID=17 _ThreadName=RunLevelControllerThread-1571312756218] [timeMillis: 1571312760466] [levelValue: 900] [[
  An authentication method was not defined in the web.xml descriptor. Using default BASIC for login configuration.]]
ошибочно было написано в веб.xml
auth-method>BASE Вместо BASIC.
И приложение было публично открыто всем.
17 окт 19, 16:17    [21996720]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
PetroNotC Sharp
Меня за 5 лет никто не ломал)).
Ну и на работе где нет сниффинга в сетке тоже можно.

Помнишь анекдот про Неуловимого Джо?
17 окт 19, 16:27    [21996729]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton,
Да конечно))
Но нет проблем.
Ставим вместо слова другое слово FORM.
И тоже все работает.
17 окт 19, 17:14    [21996778]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Забавно. Но нельзя написать модульный тест подтвердающий что твоя система надёжна.
17 окт 19, 17:17    [21996784]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton
Забавно. Но нельзя написать модульный тест подтвердающий что твоя система надёжна.
ну дак это еще от java EE6 пошло. А сервера обязаны реализовать.
17 окт 19, 17:36    [21996801]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Это пошло от инфо-безопасности. Чтоб доказать что твоя система надёжна - заказывают внешнюю проверку.
Penetration test. Звучит как порнуха. Пенетрейшен бл..ть.

Так вот. Тебя просто еще никто не пенетрировал.
17 окт 19, 17:51    [21996814]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton
Так вот. Тебя просто еще никто не пенетрировал. Картинка с другого сайта.
))))
LOL
Я жду не дождусь этого момента. Ну пенетрируйте меняяяя))
17 окт 19, 18:08    [21996831]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Заплати нефтедолларов сначала. Иш какой хитрый.
17 окт 19, 18:15    [21996840]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
я сделал оповещение по по телеге когда кто-то тыкается на сайт.
есть интересная статистика - ломятся перебирая адреса страниц из известны цмсок на пхп.
17 окт 19, 18:23    [21996848]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
Basil A. Sidorov
Member

Откуда:
Сообщений: 9418
вадя
я сделал оповещение по по телеге когда кто-то тыкается на сайт.
есть интересная статистика - ломятся перебирая адреса страниц из известны цмсок на пхп.
Зачем оповещение в телеграм, если эта (боянистая) информация элементарно извлекается из логов веб-сервера???
вчера, 06:31    [21997017]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
Basil A. Sidorov
Зачем оповещение в телеграм, если эта (боянистая) информация элементарно извлекается из логов веб-сервера???
для этого надо подключаться к серверу, открывать эти логи, искать в них., тем или иным способом
а так оперативно поступает сообщение - такой-то ip, к такую-то страницу хочет посмотреть.
сообщения можно отключить, можно поуправлять сервером.
просто удобно
вчера, 09:30    [21997091]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
вадя,
Почему не в ватсапп? У тебя разве телеграмм?
вчера, 09:38    [21997099]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Basil A. Sidorov
вадя
я сделал оповещение по по телеге когда кто-то тыкается на сайт.
есть интересная статистика - ломятся перебирая адреса страниц из известны цмсок на пхп.
Зачем оповещение в телеграм, если эта (боянистая) информация элементарно извлекается из логов веб-сервера???

Наверное смысл в системе мониторинга с alerts. Но здесь вообще нет программирования.
Софт для мониторинга написан 100 раз и админы и девопсы его давно используют.

Telegram, Whatsup - просто различные виды юайчиков которые у кого-то установлены. У кого-то нет.
Вкусовщина вобщем. И тоже вопрос не программерский. Скорее вопрос принятия решения. У кого
из отвественных админов стоит какой апликух и проголосовать.
вчера, 09:58    [21997116]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
PetroNotC Sharp
вадя,
Почему не в ватсапп? У тебя разве телеграмм?
для ватсапп боты как-то не встречал.

mayton
Telegram, Whatsup - просто различные виды юайчиков которые у кого-то установлены. У кого-то нет.
Вкусовщина вобщем. И тоже вопрос не программерский. Скорее вопрос принятия решения. У кого
из отвественных админов стоит какой апликух и проголосовать.

да тут поле деятельности широкая, можно использовать готовое, можно написать своё. приложение для андроид и ws как какал (как пример варианта)
вчера, 10:22    [21997146]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Я никогда не кодил телеграм-приложения. Но я вижу что их повсеместно дают как тестовые задания для джунов.
Делаю вывод что API - простой. И скорость интеграции Telegram из этого становится привлекательной.

Скажите нахера делать своё приложение если есть браузер и мессенжеры с открытым API. Телеграм конечно
может йо..нуться когда будет зобанен этим вашими надзорами везде и всегда. Но вероятность этого мала.
вчера, 10:43    [21997177]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
mayton
Я никогда не кодил телеграм-приложения. Но я вижу что их повсеместно дают как тестовые задания для джунов.
Делаю вывод что API - простой. И скорость интеграции Telegram из этого становится привлекательной.
да достаточно просто и куча информации.
mayton
Скажите нахера делать своё приложение
тут есть одно преимущество - ни от чего не зависишь.
mayton
Но вероятность этого мала.
но не равна нулю.....
вчера, 10:49    [21997183]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
вадя, ты кодил под Андроид?
вчера, 10:50    [21997186]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
mayton,
Знаю что вадя не любит прокладки и деления ИС на слои. Боюсь он в телеграмм пишет прямо из сервлета на Get.
вчера, 10:52    [21997190]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
mayton
вадя, ты кодил под Андроид?
да , делал приложение андроид - сервер - браузер (если грубо так описать)
PetroNotC Sharp
Боюсь он в телеграмм пишет прямо из сервлета на Get.
можно слать сообщения из любого места, тут нет ограничения , так же как и для ws.
вчера, 11:00    [21997201]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Нет смысла решать проблему любой ценой. Когда я учился (конец 90х) мы писали дипломные проекты.
И там была экономическая часть. Я не знаю пишут щас ее или нет. Вобщем суть такова. Программист - это
не просто кодер сферических лошадей. Это - хозяйственник. Он - считает сколько стоит его решение.
Джоули. Ватты. Рубли и доллары. Польза для народного хозяйства вобщем-то.

А современные программисты любят нагревать атмосферу планеты земля. В частности майнингом крипты.
А фиг-ли. Работает значит можно.

Еще пример. Мы с другом как-то хотели кодить веб-приложение типа гугл-мап. В те времена когда мап еще не существовало.
ГИС-ы были но были платные. Но суть в том что мы решили кодить Под Microsoft.ISS на С++. Подкидывая библиотечки
как CGI скриптики. Мы думали что так быстрее. Разумеется про обратный прокси мы не слыхали. Про трёхзвенки - слабо понимали.
Вобщем все это медным тазом накрылось. Силы свои не расчитали. Надо было брать PHP. Максималисты что поделать.
вчера, 11:01    [21997203]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
вадя
можно слать сообщения из любого места,
то есть я угадал. Из сервлета.
А что будет если включат цикл запросов for 1000 на твой урл?
вчера, 11:02    [21997206]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
mayton
вадя, ты кодил под Андроид?
могу сказать даже больше не только под андроид, даже для ардуинки. и связь через ws управление силовым железом даже очень увлекательно. и отображение состояния в реальном времени в браузере вообще в кайф
вчера, 11:04    [21997210]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
вадя
mayton
вадя, ты кодил под Андроид?
могу сказать даже больше не только под андроид, даже для ардуинки. и связь через ws управление силовым железом даже очень увлекательно. и отображение состояния в реальном времени в браузере вообще в кайф

Я имею в виду .. ты ставил Android SDK? Брал Kotlin и кодил апликухи с графикой?
вчера, 11:06    [21997212]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
PetroNotC Sharp
А что будет если включат цикл запросов for 1000 на твой урл?
всё зависит от твоей продуманности, связь ведь не односторонняя, можно и отключить сообщения, можно вообще отключить сервер... часть его..
ну а реально - счас когда начинают долбить - идет пересылка на страницу с командой sleep и эта бомбёжка растягивается на длительное время, а то и отваливаются по таймауту..
mayton
Вобщем все это медным тазом накрылось. Силы свои не расчитали.
но зато есть опыт
вчера, 11:11    [21997216]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
mayton
Я имею в виду .. ты ставил Android SDK? Брал Kotlin и кодил апликухи с графикой?
котлином не пользовался, да Android SDK, андроид студио...
было приложение меню для ресторанов.
вчера, 11:14    [21997219]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
вадя
mayton
Я имею в виду .. ты ставил Android SDK? Брал Kotlin и кодил апликухи с графикой?
котлином не пользовался, да Android SDK, андроид студио...
было приложение меню для ресторанов.

А оно есть в Market?
вчера, 11:15    [21997220]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
mayton
А оно есть в Market?
это было не для маркет, это была система для "замены" официантов, формирование заказа, оповещения официанта о готовности заказа, отсылки заказа на кухню, вызова официанта... но это было до кризиса 8-9гг.
вчера, 11:22    [21997230]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Тоесть скачать нельзя?
вчера, 11:24    [21997239]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
вадя
счас когда начинают долбить - идет пересылка на страницу с командой sleep
не понял. Распиши как узнать начало, если хороший клиент и тот кто долбит вперемежку.
вчера, 11:25    [21997240]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
вадя
PetroNotC Sharp
А что будет если включат цикл запросов for 1000 на твой урл?
всё зависит от твоей продуманности, связь ведь не односторонняя, можно и отключить сообщения, можно вообще отключить сервер... часть его..
ну а реально - счас когда начинают долбить - идет пересылка на страницу с командой sleep и эта бомбёжка растягивается на длительное время, а то и отваливаются по таймауту..

Есть технологические решения. RateLimiter (Guava). Не использовал но должно работать.
Cirquit Breaker (Jetix). Там есть развитый мониторинг здоровья системы. Если было исключение
например по базе SQLException то можно лавочку прикрыть на некоторое время. Клиент
будет получать соотв. плейсхолдер с сообщением о перегрузке и т.п.

И можно покупать Amazon API Gateway, там есть много настроек по ограничениям и по спасению
приложения от атак.
вчера, 11:30    [21997248]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
mayton
Тоесть скачать нельзя?
да, одно оно само по себе не работало, только в системе. привязка к столу, официанту, обслуживающего этот стол.
PetroNotC Sharp
не понял. Распиши как узнать начало, если хороший клиент и тот кто долбит вперемежку.
есть портал ( ). на нем есть общедоступная часть, есть приватная часть
т.к. это сделано на кошаке - то адреса portal.ru/xxx
начинают бомбить подбирая страницы из перечня цмс-ок. ну а xxx - там явно нет.
ну а первая зона обороны - apache2, разбирает строки подключения и куда надо пересылает.
хороший клиент - идёт по публичным страницам. хитрожопые отсылаются на страницу со sleep,
апач добавляет QUERY_STRING с адресом и прочими параметрами эта страница и отправляет в бот сообщения
как-то так если очень коротко
вчера, 11:42    [21997262]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
PetroNotC Sharp
Member

Откуда:
Сообщений: 2144
вадя,
Так бы и сказал что апач впереди.
А портал это просто большой сайт))
вчера, 11:45    [21997269]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
mayton
Клиент
будет получать соотв. плейсхолдер с сообщением о перегрузке и т.п.
ну у меня нечто и есть, для любопытны отсылал на порнхаб, но это роботы и к порнухе они холодны.
да можно купить , а можно и самому придумать, просто из интереса.
конечно всё будет реально оценено при реальных нагрузках/атаках....
но .... это отдельная статья расходов.
вчера, 11:47    [21997270]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
mayton
Member

Откуда: loopback
Сообщений: 42452
Эта статья расходов появляется как "ложка к обеду" и когда "петух клюнул".

Если вы и ваш бизнес никому не нужны то и никто не будет вас теребить. А если у вас завтра
стартует маркетинг-акция то цена защиты от конкурентов может очень даже резко вырастию.
вчера, 11:50    [21997273]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
PetroNotC Sharp
Так бы и сказал что апач впереди.
А портал это просто большой сайт))
если без апача нужно кучу всего самому городить.
это интересно, но это отдельная тема. сделать можно, но где гарантии?
вчера, 11:50    [21997275]     Ответить | Цитировать Сообщить модератору
 Re: Расширенный Поиск подстроки  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16729
mayton
Если вы и ваш бизнес никому не нужны то и никто не будет вас теребить. А если у вас завтра
стартует маркетинг-акция то цена защиты от конкурентов может очень даже резко вырастию.
это так, пока я оцениваю что называется цена/качество.
как говорится на любую ж.. с поворотом найдётся х.. с крючком.
а от терморектального анализа защиты нет...
но могу сказать, что ни за что не буду реальную систему делать на cms на php.
вчера, 11:55    [21997280]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2 3 4 5      [все]
Все форумы / Java Ответить