Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5   вперед  Ctrl      все
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
Озверин
Petro123
Делайте для всех доков превью в jpeg 60 DPI.
Это статика, и загрузится сразу и мгновенно.


Андрей Панфилов
храниться не в каком-то кеше, а в вместе с остальными файлами/метаданными, и генерироваться (и сохраняться) либо по запросу, либо после сохранения основного документа.


если нагрузка вас уже беспокоить, то вам следует прислушаться к господам.


Нагрузка не то, чтобы беспокоит сейчас уже, я просто предвижу эту проблему. Хранить pdf в основном хранилище рядом с оригинальными аттачами - да, мы так делаем для некоторых кастомеров. Но не для всех подходит, потому что либо из-за user specific watermarks (каждому пользователю отдается модифицированный аттач), либо кастомеры не хотят платить за место в storage за прекеш данные. Вообщем идея в таком light weight кеше в памяти "здесь и сейчас" для маленьких аттачей (настраивается размер).
14 мар 19, 13:43    [21832506]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 37071
rabiter
Редактировать нет, но вот листать колесиком мышки страницы, зумить, копировать текст - look and feel намного приятнее чем если тебе дают картинку понюхать.
согласен.
Тогда давайте юз кейс с цифрами.
Зашел на страничку и все ссылки страницы начали на сервере конверт в pdf?
Или как?
14 мар 19, 13:44    [21832508]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
Petro123
rabiter
Редактировать нет, но вот листать колесиком мышки страницы, зумить, копировать текст - look and feel намного приятнее чем если тебе дают картинку понюхать.
согласен.
Тогда давайте юз кейс с цифрами.
Зашел на страничку и все ссылки страницы начали на сервере конверт в pdf?
Или как?


Да зависит от кастомера... Ну вообще вот перед тобой табличка, в табличке документы, у каждого документа несколько аттачей. Пользователь кликает на документ, появляется окошко с метаданными документа и список его аттачей, первый аттач выбирается автоматически и показывается его превью. Пользователь выбирает второй аттач - опять конвертация, опять превью. Это как работает пока. Надо чтобы определенное число аттачей (настраиваемая велечина), конвертировалось сразу при открытии документа. Так что пока пользователь работает с первым аттачем, остальные уже на подходе. Это реальзый use case от одного из кастомеров. Причем если осталось место для прикеша, то начинаем автоматом конвертировать и кешировать уже аттачи из следующего документа в списке.
Вообще я думаю тут должна быть настраиваемся предсказательная стратегия того, какой аттач пользователь откроет следующим, но это все пока не приоритет.

Вообщем я в принципе определился. Для кеша - ehcache (только heap tier). С offheap и disk я думаю потом можем проблемы огрести, потому что там уже надо будет более индивидуально подходить к каждому кастомеру в плане настроек offheap и disk tiers.
Ну и будет один поток на пользователя, который будет последовательно аттачи конвертировать и добавлять в кеш. И да, пока для каждого пользователя будет свой экземпляр кеша. Пусть пока так, дальше посмотрим.
14 мар 19, 13:56    [21832538]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 39264
rabiter, nginx используете?
14 мар 19, 14:00    [21832546]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 37071
rabiter,
И эта вся бодяга т.к. кастомер не имеет памяти в хранилище для превью?
14 мар 19, 14:18    [21832588]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 37071
rabiter
Пользователь выбирает второй аттач - опять конвертация, опять превью.
то есть либо купить терабайт для превью, либо писать код.
Так?
14 мар 19, 14:19    [21832591]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
mayton
rabiter, nginx используете?


Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?
14 мар 19, 14:20    [21832593]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 37071
rabiter,
Размер обычных аттачей и время что ждет юзверь?
14 мар 19, 14:21    [21832595]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 37071
rabiter
либо кастомеры не хотят платить за место в storage
пусть ждут раз не платят. Нефиг)))
Ну, или сделайте отдельный rest http сервис с превью.
Как платная опция.
Заплатил, будет летать. Нет - терпи генерацию превью.
14 мар 19, 14:27    [21832618]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 37071
rabiter
mayton
rabiter, nginx используете?


Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?
кешировать можно готовое.
А у вас нет готовых превью.
14 мар 19, 14:28    [21832620]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
Petro123
rabiter,
И эта вся бодяга т.к. кастомер не имеет памяти в хранилище для превью?


Petro123
rabiter
Пользователь выбирает второй аттач - опять конвертация, опять превью.
то есть либо купить терабайт для превью, либо писать код.
Так?


Вообще я согласен с Вами. Первое о чем я подумал, какого черта, какой-то непонятный кеш на уровне приложения, мелко мыслим! Предложил начальству хранить сконвертированный pdf рядом в том же архиве с оригинальным аттачем. Выяснилось, что для некоторых кастомеров это уже реализовано на уровне rendition. Ну, короче, не буду вдаваться в детали, все же нужен такой легковесный настраиваемый кеш / прикеш. Относимся к нему как к этакому light подспорью.
14 мар 19, 14:30    [21832623]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
Petro123
rabiter
пропущено...


Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?
кешировать можно готовое.
А у вас нет готовых превью.


Вот, в том-то и дело
14 мар 19, 14:31    [21832625]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
Petro123
rabiter,
Размер обычных аттачей и время что ждет юзверь?


Нет у меня данных, слава богу, я далеко от суппорта и кастомеров.

Petro123
rabiter
либо кастомеры не хотят платить за место в storage
пусть ждут раз не платят. Нефиг)))
Ну, или сделайте отдельный rest http сервис с превью.
Как платная опция.
Заплатил, будет летать. Нет - терпи генерацию превью.


это тема, кстати. Я возьму это на заметку, спасибо! Я имею ввиду вообще выделить эту опцию прикеша в отдельный модуль. Хочешь - на, не хочешь - убираем модуль из сборки, отключается прикеш.
14 мар 19, 14:35    [21832635]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 37071
rabiter
выделить эту опцию прикеша в отдельный модуль.
да.
Даже не модуль, а сервис с другой машины.
Как пример сервиса WMS.
Но имейте ввиду, что возможно на вас просто ездят за дешево.
Нужны цифры.
14 мар 19, 14:40    [21832642]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 39264
rabiter
mayton
rabiter, nginx используете?


Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?

Да. На сайте nginx есть шаблоны готовых конфигураций кешей. Наиболее правильно - вынести
вест статик-контент от аппликейшена. И для картинок задать там время жизни в 1h - уже хоршо
снизит нагрузку.
14 мар 19, 14:40    [21832643]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 37071
Petro123
WMS

https://ru.m.wikipedia.org/wiki/Web_Map_Service
14 мар 19, 14:42    [21832647]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 37071
Вообще, не понимаю.
Оригинал ворд документа весит 100мегов
Превью 60 DPI наверно будет 10 килобайт.
Нет места?
14 мар 19, 14:48    [21832652]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 39264
До кучи

https://nginx.org/ru/
https://docs.nginx.com/nginx/admin-guide/web-server/serving-static-content/
14 мар 19, 14:54    [21832663]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3052
rabiter
И опять же, действительно, у некоторых кастомеров бывают user specific watermarks, так что получается user specific кеш должен быть.
Смысла нет в таком кеше. Здесь дорогая операция - это перевести документ какого-либо формата в pdf, а вот навестить на pdf водяные знаки - относительно дешево.
14 мар 19, 16:42    [21832819]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 39264
Андрей Панфилов
rabiter
И опять же, действительно, у некоторых кастомеров бывают user specific watermarks, так что получается user specific кеш должен быть.
Смысла нет в таком кеше. Здесь дорогая операция - это перевести документ какого-либо формата в pdf, а вот навестить на pdf водяные знаки - относительно дешево.

Я-бы не стал спешить пока у нас не будет цифр.
14 мар 19, 16:47    [21832833]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
mayton,

Все, я сделяль, осталось причесать. А цифр не будет. Я вообще-то в целом с вами согласен, нелепая таска. Я бы кешировал так кешировал по взрослому, в архиве, отдельной джобой. Но я не могу драйвить такие решения.
Кстати, ehcache клевый, особенно его read through пригодилась.
15 мар 19, 04:04    [21833194]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 39264
Покажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.
15 мар 19, 17:05    [21834104]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Kachalov
Member

Откуда: Москва
Сообщений: 5565
mayton
Покажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.

- наверняка там еще показывать нечего, прикинули хрен к носу и решили что надо в память файлы кэшировать, а когда память кончится тогда начнут считать
15 мар 19, 17:42    [21834145]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
mayton
Покажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.


кеш только в хипе, по количеству entries - настраивается индивидуально через админку для каждого документного типа - админ кастомера может вообще поставить 0 и отключить, если надо. Вообще ходовое значения, я думаю, будет что-то в районе 5 сущностей на пользователя. Кеш не глобальный, SessionScoped, т.е. для каждого пользователя. Пользователей много одновременных не бывает (до 1000 одновременных). Размер аттачей, для которых превью отключается, тоже настраивается через админку индивидуально для каждого документного типа.
15 мар 19, 17:56    [21834166]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 594
Kachalov
mayton
Покажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.

- наверняка там еще показывать нечего, прикинули хрен к носу и решили что надо в память файлы кэшировать, а когда память кончится тогда начнут считать


Да, именно так как вы сказали, и даже хуже
15 мар 19, 17:56    [21834168]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 [2] 3 4 5   вперед  Ctrl      все
Все форумы / Java Ответить