Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4] 5   вперед  Ctrl      все
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38460
rabiter,
Про кеш не ко мне.
Я его не могу оценивать до Модели.
Если модель кривая, то кеш только продлит агонию.
Про модель я выше писал.
15 мар 19, 19:42    [21834283]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Герой дня
Member

Откуда: obmanula.ru
Сообщений: 30527
у нас используется hazelcast - поддерживается в Spring Data
15 мар 19, 19:43    [21834286]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 40422
Герой дня
у нас используется hazelcast - поддерживается в Spring Data

Да. Кстати. Можете рассказать по лицензиям? Вроде как платная версия Hazelcast
должна включать в себя off-heap доступ к памяти. Верно?
15 мар 19, 19:49    [21834289]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
mayton
rabiter
пропущено...


Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно).
Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге.
Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше.

В бытность когда учился. Любил тырить из лабораторных классов различные pdf на дискетке.
Тогда по сетям раннего интернета и FIDO гуляли приличные книги по программированию.
Были отсканированы картинками в 300dpi с black&white цветом (это вырвиглазно!) и сконверчены
в pdf. Я из соображений экономии ресурсов написал прогу на сях которая выкусывала из pdf
картинки по сигнатурам. Это было несложно. В основном зависело от формата.

Чуть позже я догадался их переводить в многостраничные tiff-документы (было такое) и далее
уже хранил у себя. Жлобские проги открывали pdf на слабых четвёрках и Пеньтиумах до 5 минут.
А мой формат открывался почти мгновенно.

Это было время чудовищной экономии. Но это point автору, что не стоит вовлекать без смысла
в стек технологии которые не нужны или превышают потребности кастомера в 1000 раз.
Реально. Формат картинки jpeg/png уже лет 20 не менялся. А сколько патчей было накатано
на pdf? И сколько инцедентов безопасности? Сколько дыр? Сколько проблем с простой печатью
на принтере если контент защищён?


Ах, студенческие годы... У нас копирование с дискет было возможно только через лаборантов и в часы копирования. По поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить. Ну и да, дыры в безопасности.
15 мар 19, 19:51    [21834292]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
Petro123
rabiter
пропущено...


Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить)
не.
Если меговые файлы, то 2 решения:
- превью в базе
- кеш хоть на клиенте


согласен!
15 мар 19, 19:52    [21834294]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
Герой дня
у нас используется hazelcast - поддерживается в Spring Data


Это интересно! Я бы поработал с hazelcast! Но по сути, я из всей мощи этих продуктов (ehcache, hazelcast), использую только локальное кеширование (не распределенное), так что особо без разницы)
15 мар 19, 19:53    [21834296]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
Petro123
rabiter,
Про кеш не ко мне.
Я его не могу оценивать до Модели.
Если модель кривая, то кеш только продлит агонию.
Про модель я выше писал.


Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).
15 мар 19, 20:02    [21834300]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Герой дня
Member

Откуда: obmanula.ru
Сообщений: 30527
mayton
Герой дня
у нас используется hazelcast - поддерживается в Spring Data

Да. Кстати. Можете рассказать по лицензиям? Вроде как платная версия Hazelcast
должна включать в себя off-heap доступ к памяти. Верно?


лицензия бесплатная, там платный Monitor - но он не нужен, достаточно в лог писать состояние кешей и потом разбирать

Плюс, там удобство в том, что имеется мастер-слейв + локальные синхронизируемые кеши, и все это бесплатно
15 мар 19, 20:02    [21834302]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Герой дня
Member

Откуда: obmanula.ru
Сообщений: 30527
rabiter
Petro123
rabiter,
Про кеш не ко мне.
Я его не могу оценивать до Модели.
Если модель кривая, то кеш только продлит агонию.
Про модель я выше писал.


Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).


это же неправильно, кэш не должен что-то искать
15 мар 19, 20:03    [21834303]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 40422
Герой дня
rabiter
пропущено...


Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).


это же неправильно, кэш не должен что-то искать

Да это неправильно. У кешей есть темпоральные эвристики.
И они основаны на различных стратегиях и формулах со временем. И если подсунуть кешу
фейковое существование всех данных то эта формула будет нарушена.

Или эта стратегия должна в себя включать формулу. Вобщем я-бы попросил
эту стратегию в студию.
15 мар 19, 20:18    [21834309]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3204
rabiter
По поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить.
Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.
15 мар 19, 20:45    [21834322]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 40422
Постранично вроде стримится.
15 мар 19, 20:54    [21834326]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
Герой дня
rabiter
пропущено...


Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).


это же неправильно, кэш не должен что-то искать


Ну вот у вас написано откуда, obmanula.ru, я туда зашел, а там ничего нет, это же тоже неправильно, но однако!
Касательно кеша - это один из шаблонов работы с кешем, иногда очень удобно (read-through).
15 мар 19, 21:02    [21834332]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 40422
Talk is cheap. Show me code.
15 мар 19, 21:04    [21834334]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
mayton
Герой дня
пропущено...


это же неправильно, кэш не должен что-то искать

Да это неправильно. У кешей есть темпоральные эвристики.
И они основаны на различных стратегиях и формулах со временем. И если подсунуть кешу
фейковое существование всех данных то эта формула будет нарушена.

Или эта стратегия должна в себя включать формулу. Вобщем я-бы попросил
эту стратегию в студию.


Да, а это уже аргумент! Спасибо за информацию. Но в моем случае, какая там формула, какая эвристика, кеш с размером в 5-10 кешируемых элементов. Но на больших данных - согласен, недопустимо!
15 мар 19, 21:04    [21834335]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
Андрей Панфилов
rabiter
По поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить.
Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.


Вы думаете мне не хватает спецификаций или чего "почитать"? Хотя спасибо, конечно, и за ссылку :-)
pdf.js, кстати, это то, что в firefox используется как внутренний viewer.
15 мар 19, 21:06    [21834336]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
mayton
Постранично вроде стримится.


Как я понял из нескольких источников, там таблица с тем, что где находится внутри pdf, находится в самом конце этого Pdf. Т.е. надо весь качать. Хотя, есть сервак поддерживает ranged request, можно сам этот хвост pdf и скачать с сервака. Pdf.js, кстати, так умеет делать. Но с ranged request мне как-то не хотелось разбираться.
15 мар 19, 21:08    [21834338]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
[quot Андрей Панфилов]
rabiter
попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.


в хроме в итоге заргузилось, мозилы под рукой нет (рабочий ноут уже выключил), а что там? Может кто проверить?
15 мар 19, 21:11    [21834340]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 15524
Андрей Панфилов
Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.
я так понял - трафик отдачи очень слабый....
15 мар 19, 21:15    [21834341]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
вадя
Андрей Панфилов
Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.
я так понял - трафик отдачи очень слабый....


Не, дело не в трафике, pdf весит 350 мегабайт. Это демонстрация, pdf viewer из хрома ничего не показывает, пока всю ее не скачает.
А вот PDF.js использует ranged header (т.е. может запросить сначала хвост pdf файла, с reference таблицей, а потом уже все остальное). В итоге получается, что firefox (который использует pdf.js) начинает уже показывать первые страницы pdf до его полной загрузки. @Андрей Панфилов, спасибо за демонстрацию! Но камень в огород формата pdf, что им стоило это reference таблицу вначале файла разместить?
15 мар 19, 22:55    [21834393]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
хмм, а это мысль, можно заморочиться и проверить, как включить (и возможно ли вообще, и что это такое) ranged headers на Wildfly, Glassfish и Websphere - это сервера, что мы поддерживаем. По крайней мере, таску на будущее можно создать.
15 мар 19, 22:58    [21834395]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3204
rabiter
Но камень в огород формата pdf, что им стоило это reference таблицу вначале файла разместить?


PDF Linearization
16 мар 19, 06:07    [21834475]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38460
rabiter
Концепт прост, мы снабжаем кеш стратегией,

хм..
Я вам три раза сказал:
Превью_в_БД <---> Конвертация <---> Кеш
Вы уперлись 10 страниц в кеш, а это выше 3 ВЗАИМОИСКЛЮЧАЮЩИХ и ВЛИЯЮЩИХ параметра.
- поставь превью и кеш не нужен
- убери PDF и кеш не нужен
Сейчас ты кешем делаешь костыль для не оптимизированных других двух параметров.
...
Как вариант, делай заказчику ВСЕ 3 ПАРАМЕТРА:
- вкл\выкл превью
- вкл\выкл конвертаци. в PDF
- вкл\выкл кеш сервере
- вкл\выкл кеш в базе клиента localStorage IE11
.......
Я понимаю, что счас вы просто обучаетесь работе с кешем за счет фирмы. Т.к. на конечный юз кейс это мало повлияет.
16 мар 19, 11:47    [21834522]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38460
rabiter
pdf весит 350 мегабайт.
сколько страниц? Одна? 350?
16 мар 19, 11:50    [21834524]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38460
mayton
Постранично вроде стримится.

где?
http://files.stroyinf.ru/Data/46/4669.pdf
У него наиважнейшая цель шрифты правильно показать и верстку.
А не стримится постранично.
16 мар 19, 11:55    [21834532]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 3 [4] 5   вперед  Ctrl      все
Все форумы / Java Ответить