Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: 1 2 3 4 5      [все]
 Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Ребята, доброго времени дня/ночи суток!

Посоветуйте, что взять бы такое для реализации следующей задачки.

Есть проект "Система хранения документов" (ECM) - довольно большая и монструозная. Появилась такая задача:
пользователь открывает документ, в документе может быть несколько аттачей (png, doc, jpeg, что угодно). И пользователь может навигировать по этим аттачам в веб интерфейсе: выбирает аттач, мы его конвертируем в pdf (используем aspose) и показываем в pdf.js viewer. Все шикарно работает. Пользователь выбирает следующий аттач - мы конвертируем - показываем.
Так вот нужно улучшить. Когда пользователь открывает очередной документ, мы хотим заранее конвертнуть и закешировать все аттачи этого документа (такой precache получается). Так вот для конвертации всех аттачей надо запустить несколько потоков параллельно, по потоку на аттач, и результат конвертации сохранить где-то в кеше.
В принципе, проблемы никакой нет в реализации. Но хочется ведь взять что-нибудь готовое уже.
Для кеширования в приложении я давно хочу взять ehcache. Думаю тут самое время (сейчас используем свои механизмы кеширования всего что есть, кешируем в памяти). Собственно вопрос: может кто что посоветует для решения такой задачи? Чтобы можно было запускать сбор данных в несколько потоков и кешировать результат, и при этом не выходить из рамок ресурсов (ограничить число потоков и памяти для кеша). Я имею ввиду что-нибудь готовое, чтобы не городить огород.
14 мар 19, 02:47    [21831975]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Relic Hunter
Member

Откуда: AB
Сообщений: 7063
rabiter,

А как можно конвертировать "png, doc, jpeg, что угодно" в pdf.js? Этоже пдф-ная технология.
14 мар 19, 02:55    [21831976]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Relic Hunter,

Ну смотрите, мы с помощью aspose конвертируем то, что можно, в pdf сперва (png -> pdf, doc -> pdf и т.д.), а потом, уже имея pdf, показываем его в pdf.js
14 мар 19, 02:57    [21831977]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Собственно конвертация может занять какое-то время, поэтому и хочется конвертнуть заранее в pdf и закешировать этот pdf. Чтобы когда ползователь нажмет на этот аттач, ему меньше ждать.
14 мар 19, 02:59    [21831978]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Relic Hunter
Member

Откуда: AB
Сообщений: 7063
rabiter,

pdf.js это клиентская технология, а не серверная. Сохраняйте сразу в pdf и пусть "клеент" конвертирует.
14 мар 19, 04:37    [21831985]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter,
Палка о двух концах.
Есть такое в эксплорере - загружать заранее все ссылки что есть на странице.
Я это всегда выключаю. Нафига загружать всё подряд?
14 мар 19, 07:15    [21831996]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Делайте для всех доков превью в jpeg 60 DPI.
Это статика, и загрузится сразу и мгновенно.
14 мар 19, 07:17    [21831997]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3292
rabiter
Есть проект "Система хранения документов" (ECM) - довольно большая и монструозная.
...
В принципе, проблемы никакой нет в реализации. Но хочется ведь взять что-нибудь готовое уже.
Для кеширования в приложении я давно хочу взять ehcache. Думаю тут самое время
Мде, ECM у вас, скажем прямо, так себе. То что вы хотите в ECM называется rendition и имеет тенденцию храниться не в каком-то кеше, а в вместе с остальными файлами/метаданными, и генерироваться (и сохраняться) либо по запросу, либо после сохранения основного документа.

rabiter
png, doc, jpeg, что угодно ... и при этом не выходить из рамок ресурсов
Удачи, у aspose генерация "толстых" документов тупит так, что какой-нить ворд на 600 страниц конвертируется по 10 минут и выжирает весь процессор, так что вы описываете - это потенциальный DoS.
14 мар 19, 07:22    [21831998]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Lyaka
Member

Откуда:
Сообщений: 1
спасибо!
14 мар 19, 07:24    [21831999]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Не совсем понятен юзкейс. Будет ли пользователь редактировать документы.
А так - можно плюсануть к кешированию картинок.
14 мар 19, 08:24    [21832023]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3292
mayton
Не совсем понятен юзкейс. Будет ли пользователь редактировать документы.
ТС хочет все документы которые есть в системе отображать в режиме просмотра через iframe с pdf.js - типа так универсально получается (в целом можно все в pdf не конвертировать, а к примеру pdf крутить через pdf.js, картинки как есть, офис через onlyoffice какой-нить, но мороки какбы больше)
14 мар 19, 08:33    [21832024]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
qasta
Member

Откуда:
Сообщений: 74
rabiter
Ребята, доброго времени дня/ночи суток!

Посоветуйте, что взять бы такое для реализации следующей задачки.

Так вот для конвертации всех аттачей надо запустить несколько потоков параллельно, по потоку на аттач, и результат конвертации сохранить где-то в кеше.

Лучше запустить один поток на пользователя (а не на аттач), который последовательно подготовит все аттачи
rabiter
В принципе, проблемы никакой нет в реализации. Но хочется ведь взять что-нибудь готовое уже.
Для кеширования в приложении я давно хочу взять ehcache.


С точки зрения "прямващевсёужереализованоиготово" думаю, что нет смысла искать, т.к. черновой вариант напишется максимум за день (с перекурами и перерывами на кофе/сон) :)

Берите ehcache - штука очень гибкая и мощная: в том числе и на диск из памяти сможет сбрасывать при определенных условиях, различные варианты "устаревания" кеша, работает уже давно в промышленных средах. Интегрируется в проекты ну очень легко.
14 мар 19, 09:21    [21832042]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Озверин
Member

Откуда: Ростов-на-Дону
Сообщений: 5183
Petro123
Делайте для всех доков превью в jpeg 60 DPI.
Это статика, и загрузится сразу и мгновенно.


Андрей Панфилов
храниться не в каком-то кеше, а в вместе с остальными файлами/метаданными, и генерироваться (и сохраняться) либо по запросу, либо после сохранения основного документа.


если нагрузка вас уже беспокоить, то вам следует прислушаться к господам.
14 мар 19, 09:38    [21832063]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Я не пойму вообще смысла тут кеша.
Если не преобразовывать все в pdf, то и кеш не нужен.
14 мар 19, 09:43    [21832069]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Андрей Панфилов
типа так универсально получается (
зато понадобился кеш. Обратная сторона.
14 мар 19, 09:45    [21832072]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3292
Petro123
зато понадобился кеш. Обратная сторона.
там кейсов довольно много можно накидать, к примеру у документа гриф ДСП стоит и пользаку нужно его отдавать модифицированным (от банальных водяных знаков, до игры со шрифтами, кириллицой/латинцией и пр.) чтобы понять кто документ слил.
14 мар 19, 09:59    [21832081]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Автор что-то over-проектировал. Тут определённо нужно обсуждать саму задачу.
Причем не на уровне "я хочу" а на уровне чего на самом деле нужно бизнес-пользователю.

Преобразование картинок в pdf выглядит уж-точно какой-то гипертрофированной задачей.
14 мар 19, 10:00    [21832082]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Андрей Панфилов
чтобы понять кто документ слил.
прикольно))
14 мар 19, 10:04    [21832089]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
alex55555
Member

Откуда:
Сообщений: 2129
mayton
Автор что-то over-проектировал.

И теперь хочет по быстрому всё наладить. Прикрутит кэш, какое-то время даже наверно работать будет, а потом ему опять по быстрому захочется. В общем здесь всё безнадёжно.
14 мар 19, 11:51    [21832276]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Да. А если цель стоит - ставить watermark на все документы - тогда кеш будет поделен
по горизонтали на количество пользователей. Вобщем как всегда или скорость или секюрность.
Надо выбирать. Мдя.
14 мар 19, 11:57    [21832290]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Relic Hunter
rabiter,

pdf.js это клиентская технология, а не серверная. Сохраняйте сразу в pdf и пусть "клеент" конвертирует.


Конвертация происходит на сервере, браузеру отдаем уже сконвертированный pdf
14 мар 19, 13:10    [21832430]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
Палка о двух концах.
Есть такое в эксплорере - загружать заранее все ссылки что есть на странице.
Я это всегда выключаю. Нафига загружать всё подряд?


У нас есть ТЗ от одного из кастомеров на precache. Надо делать)

Petro123
Делайте для всех доков превью в jpeg 60 DPI.
Это статика, и загрузится сразу и мгновенно.


Удобнее работать через pdf.js - можно листать страницы мышкой, зумить, копировать текст и т.д.
Мы от картинок ушли из-за этого.
14 мар 19, 13:15    [21832440]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Андрей Панфилов
rabiter
Есть проект "Система хранения документов" (ECM) - довольно большая и монструозная.
...
В принципе, проблемы никакой нет в реализации. Но хочется ведь взять что-нибудь готовое уже.
Для кеширования в приложении я давно хочу взять ehcache. Думаю тут самое время
Мде, ECM у вас, скажем прямо, так себе. То что вы хотите в ECM называется rendition и имеет тенденцию храниться не в каком-то кеше, а в вместе с остальными файлами/метаданными, и генерироваться (и сохраняться) либо по запросу, либо после сохранения основного документа.

Есть у нас rendition, есть кастомеры, у которых мы все аттачи конвертируем в pdf и храним эти pdf вместе с оригинальными аттачами в хранилище. Но кастомеров много, не все могут позволить себе большие хранилища, чтобы в них хранить экстра данные, вот для них нужен небольшой прекеш в памяти, о котором я написал.
И опять же, действительно, у некоторых кастомеров бывают user specific watermarks, так что получается user specific кеш должен быть.

Андрей Панфилов
rabiter
png, doc, jpeg, что угодно ... и при этом не выходить из рамок ресурсов
Удачи, у aspose генерация "толстых" документов тупит так, что какой-нить ворд на 600 страниц конвертируется по 10 минут и выжирает весь процессор, так что вы описываете - это потенциальный DoS.

Ну в реальности редко бывают аттачи картинки, это я для примера скинул. Вообще aspose не я выбирал, и корвертацию всего и вся в pdf, Я когда узнал об этом, удивился немного, ну да ладно. Но, кстати, doc Война и Мир (4 мегабайта на 1700 страниц) конвертируется в PDF на моем ноуте за 7 секунд. Но у нас для каждого документного типа можно выставить трешхолд на превью. Часто бывают аттачи маленькие совсем.

Андрей Панфилов
mayton
Не совсем понятен юзкейс. Будет ли пользователь редактировать документы.
ТС хочет все документы которые есть в системе отображать в режиме просмотра через iframe с pdf.js - типа так универсально получается (в целом можно все в pdf не конвертировать, а к примеру pdf крутить через pdf.js, картинки как есть, офис через onlyoffice какой-нить, но мороки какбы больше)

верно, универсальность. Кастомеров много, у всех свои use cases, у кого много маленьких аттачей, у кого-то мало, но большие. Все у нас настраивается, какие типы файлов конвертировать в pdf, какие нет, у какиз будет preview, у каких нет, по типам, по размерам.
pdf.js у нас как плагин вообще дефолтный, отдельные кастомеры используют свой вьювер.
Главное, в будущем если будет необходимость мы можем для разных типов аттачей использовать разные вьюверы. Но пока вот pdf.js

Андрей Панфилов
Petro123
зато понадобился кеш. Обратная сторона.
там кейсов довольно много можно накидать, к примеру у документа гриф ДСП стоит и пользаку нужно его отдавать модифицированным (от банальных водяных знаков, до игры со шрифтами, кириллицой/латинцией и пр.) чтобы понять кто документ слил.

Да, так и есть, каждому пользователю может отдаваться аттач со специфичным watermark.
14 мар 19, 13:29    [21832463]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
mayton
Не совсем понятен юзкейс. Будет ли пользователь редактировать документы.
А так - можно плюсануть к кешированию картинок.


Редактировать нет, но вот листать колесиком мышки страницы, зумить, копировать текст - look and feel намного приятнее чем если тебе дают картинку понюхать.

mayton
Автор что-то over-проектировал. Тут определённо нужно обсуждать саму задачу.
Причем не на уровне "я хочу" а на уровне чего на самом деле нужно бизнес-пользователю.

Преобразование картинок в pdf выглядит уж-точно какой-то гипертрофированной задачей.


Да, преобразование картинок в pdf это огонь, согласен :D

mayton
Да. А если цель стоит - ставить watermark на все документы - тогда кеш будет поделен
по горизонтали на количество пользователей. Вобщем как всегда или скорость или секюрность.
Надо выбирать. Мдя.


Вооот, все верно подметили, получается кеш user specific. Ну тут нужна золотая середина. Я хочу как можно более safe решение, такой маленький кеш, для кеширования маленьких аттачей и не больше N штук на пользователя (на большие аттачи сделаем настраиваемый threshold). Кастомеров много, у всех своя специфика данных.
14 мар 19, 13:36    [21832479]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
qasta
rabiter
Ребята, доброго времени дня/ночи суток!

Посоветуйте, что взять бы такое для реализации следующей задачки.

Так вот для конвертации всех аттачей надо запустить несколько потоков параллельно, по потоку на аттач, и результат конвертации сохранить где-то в кеше.

Лучше запустить один поток на пользователя (а не на аттач), который последовательно подготовит все аттачи


Точно! Я вчера уже засыпал, подумал, зачем по потоку на аттач, в реальности может получится медленнее. Пусть будет один поток на пользователя, который последовательно будет конвертировать. К тому же можно будет прервать процесс между аттачами, если пользователь другой документ выбрал. Да и мороки меньше с многопоточкой - один поток легче захендлить.


qasta
rabiter
В принципе, проблемы никакой нет в реализации. Но хочется ведь взять что-нибудь готовое уже.
Для кеширования в приложении я давно хочу взять ehcache.


С точки зрения "прямващевсёужереализованоиготово" думаю, что нет смысла искать, т.к. черновой вариант напишется максимум за день (с перекурами и перерывами на кофе/сон) :)

Берите ehcache - штука очень гибкая и мощная: в том числе и на диск из памяти сможет сбрасывать при определенных условиях, различные варианты "устаревания" кеша, работает уже давно в промышленных средах. Интегрируется в проекты ну очень легко.


Да, я ehcache уже оценил!
14 мар 19, 13:39    [21832489]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Озверин
Petro123
Делайте для всех доков превью в jpeg 60 DPI.
Это статика, и загрузится сразу и мгновенно.


Андрей Панфилов
храниться не в каком-то кеше, а в вместе с остальными файлами/метаданными, и генерироваться (и сохраняться) либо по запросу, либо после сохранения основного документа.


если нагрузка вас уже беспокоить, то вам следует прислушаться к господам.


Нагрузка не то, чтобы беспокоит сейчас уже, я просто предвижу эту проблему. Хранить pdf в основном хранилище рядом с оригинальными аттачами - да, мы так делаем для некоторых кастомеров. Но не для всех подходит, потому что либо из-за user specific watermarks (каждому пользователю отдается модифицированный аттач), либо кастомеры не хотят платить за место в storage за прекеш данные. Вообщем идея в таком light weight кеше в памяти "здесь и сейчас" для маленьких аттачей (настраивается размер).
14 мар 19, 13:43    [21832506]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Редактировать нет, но вот листать колесиком мышки страницы, зумить, копировать текст - look and feel намного приятнее чем если тебе дают картинку понюхать.
согласен.
Тогда давайте юз кейс с цифрами.
Зашел на страничку и все ссылки страницы начали на сервере конверт в pdf?
Или как?
14 мар 19, 13:44    [21832508]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter
Редактировать нет, но вот листать колесиком мышки страницы, зумить, копировать текст - look and feel намного приятнее чем если тебе дают картинку понюхать.
согласен.
Тогда давайте юз кейс с цифрами.
Зашел на страничку и все ссылки страницы начали на сервере конверт в pdf?
Или как?


Да зависит от кастомера... Ну вообще вот перед тобой табличка, в табличке документы, у каждого документа несколько аттачей. Пользователь кликает на документ, появляется окошко с метаданными документа и список его аттачей, первый аттач выбирается автоматически и показывается его превью. Пользователь выбирает второй аттач - опять конвертация, опять превью. Это как работает пока. Надо чтобы определенное число аттачей (настраиваемая велечина), конвертировалось сразу при открытии документа. Так что пока пользователь работает с первым аттачем, остальные уже на подходе. Это реальзый use case от одного из кастомеров. Причем если осталось место для прикеша, то начинаем автоматом конвертировать и кешировать уже аттачи из следующего документа в списке.
Вообще я думаю тут должна быть настраиваемся предсказательная стратегия того, какой аттач пользователь откроет следующим, но это все пока не приоритет.

Вообщем я в принципе определился. Для кеша - ehcache (только heap tier). С offheap и disk я думаю потом можем проблемы огрести, потому что там уже надо будет более индивидуально подходить к каждому кастомеру в плане настроек offheap и disk tiers.
Ну и будет один поток на пользователя, который будет последовательно аттачи конвертировать и добавлять в кеш. И да, пока для каждого пользователя будет свой экземпляр кеша. Пусть пока так, дальше посмотрим.
14 мар 19, 13:56    [21832538]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
rabiter, nginx используете?
14 мар 19, 14:00    [21832546]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter,
И эта вся бодяга т.к. кастомер не имеет памяти в хранилище для превью?
14 мар 19, 14:18    [21832588]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Пользователь выбирает второй аттач - опять конвертация, опять превью.
то есть либо купить терабайт для превью, либо писать код.
Так?
14 мар 19, 14:19    [21832591]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
mayton
rabiter, nginx используете?


Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?
14 мар 19, 14:20    [21832593]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter,
Размер обычных аттачей и время что ждет юзверь?
14 мар 19, 14:21    [21832595]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
либо кастомеры не хотят платить за место в storage
пусть ждут раз не платят. Нефиг)))
Ну, или сделайте отдельный rest http сервис с превью.
Как платная опция.
Заплатил, будет летать. Нет - терпи генерацию превью.
14 мар 19, 14:27    [21832618]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
mayton
rabiter, nginx используете?


Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?
кешировать можно готовое.
А у вас нет готовых превью.
14 мар 19, 14:28    [21832620]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter,
И эта вся бодяга т.к. кастомер не имеет памяти в хранилище для превью?


Petro123
rabiter
Пользователь выбирает второй аттач - опять конвертация, опять превью.
то есть либо купить терабайт для превью, либо писать код.
Так?


Вообще я согласен с Вами. Первое о чем я подумал, какого черта, какой-то непонятный кеш на уровне приложения, мелко мыслим! Предложил начальству хранить сконвертированный pdf рядом в том же архиве с оригинальным аттачем. Выяснилось, что для некоторых кастомеров это уже реализовано на уровне rendition. Ну, короче, не буду вдаваться в детали, все же нужен такой легковесный настраиваемый кеш / прикеш. Относимся к нему как к этакому light подспорью.
14 мар 19, 14:30    [21832623]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter
пропущено...


Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?
кешировать можно готовое.
А у вас нет готовых превью.


Вот, в том-то и дело
14 мар 19, 14:31    [21832625]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter,
Размер обычных аттачей и время что ждет юзверь?


Нет у меня данных, слава богу, я далеко от суппорта и кастомеров.

Petro123
rabiter
либо кастомеры не хотят платить за место в storage
пусть ждут раз не платят. Нефиг)))
Ну, или сделайте отдельный rest http сервис с превью.
Как платная опция.
Заплатил, будет летать. Нет - терпи генерацию превью.


это тема, кстати. Я возьму это на заметку, спасибо! Я имею ввиду вообще выделить эту опцию прикеша в отдельный модуль. Хочешь - на, не хочешь - убираем модуль из сборки, отключается прикеш.
14 мар 19, 14:35    [21832635]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
выделить эту опцию прикеша в отдельный модуль.
да.
Даже не модуль, а сервис с другой машины.
Как пример сервиса WMS.
Но имейте ввиду, что возможно на вас просто ездят за дешево.
Нужны цифры.
14 мар 19, 14:40    [21832642]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
rabiter
mayton
rabiter, nginx используете?


Не уверен, может быть на каких-нибудь инсталляциях и используем... Я, если честно, не в курсе. Вы намекаете на то, что можно кешировать nginx-ом?

Да. На сайте nginx есть шаблоны готовых конфигураций кешей. Наиболее правильно - вынести
вест статик-контент от аппликейшена. И для картинок задать там время жизни в 1h - уже хоршо
снизит нагрузку.
14 мар 19, 14:40    [21832643]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Petro123
WMS

https://ru.m.wikipedia.org/wiki/Web_Map_Service
14 мар 19, 14:42    [21832647]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Вообще, не понимаю.
Оригинал ворд документа весит 100мегов
Превью 60 DPI наверно будет 10 килобайт.
Нет места?
14 мар 19, 14:48    [21832652]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
До кучи

https://nginx.org/ru/
https://docs.nginx.com/nginx/admin-guide/web-server/serving-static-content/
14 мар 19, 14:54    [21832663]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3292
rabiter
И опять же, действительно, у некоторых кастомеров бывают user specific watermarks, так что получается user specific кеш должен быть.
Смысла нет в таком кеше. Здесь дорогая операция - это перевести документ какого-либо формата в pdf, а вот навестить на pdf водяные знаки - относительно дешево.
14 мар 19, 16:42    [21832819]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Андрей Панфилов
rabiter
И опять же, действительно, у некоторых кастомеров бывают user specific watermarks, так что получается user specific кеш должен быть.
Смысла нет в таком кеше. Здесь дорогая операция - это перевести документ какого-либо формата в pdf, а вот навестить на pdf водяные знаки - относительно дешево.

Я-бы не стал спешить пока у нас не будет цифр.
14 мар 19, 16:47    [21832833]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
mayton,

Все, я сделяль, осталось причесать. А цифр не будет. Я вообще-то в целом с вами согласен, нелепая таска. Я бы кешировал так кешировал по взрослому, в архиве, отдельной джобой. Но я не могу драйвить такие решения.
Кстати, ehcache клевый, особенно его read through пригодилась.
15 мар 19, 04:04    [21833194]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Покажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.
15 мар 19, 17:05    [21834104]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Kachalov
Member

Откуда: Москва
Сообщений: 5649
mayton
Покажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.

- наверняка там еще показывать нечего, прикинули хрен к носу и решили что надо в память файлы кэшировать, а когда память кончится тогда начнут считать
15 мар 19, 17:42    [21834145]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
mayton
Покажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.


кеш только в хипе, по количеству entries - настраивается индивидуально через админку для каждого документного типа - админ кастомера может вообще поставить 0 и отключить, если надо. Вообще ходовое значения, я думаю, будет что-то в районе 5 сущностей на пользователя. Кеш не глобальный, SessionScoped, т.е. для каждого пользователя. Пользователей много одновременных не бывает (до 1000 одновременных). Размер аттачей, для которых превью отключается, тоже настраивается через админку индивидуально для каждого документного типа.
15 мар 19, 17:56    [21834166]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Kachalov
mayton
Покажи свою конфигурацию ehcache. Без бизнес-названий разумеется... Только цифры.

- наверняка там еще показывать нечего, прикинули хрен к носу и решили что надо в память файлы кэшировать, а когда память кончится тогда начнут считать


Да, именно так как вы сказали, и даже хуже
15 мар 19, 17:56    [21834168]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
На мой взгляд проблема еще вот какая, так как это pdf.js, ему нужно загрузить всю pdf с сервера, прежде чем он сможет ее отобразить.
Толку, что у нас на сервевере лежит готовая pdf в кеше. В смысле это, конечно, хорошо, но эту pdf надо еще до браузера донести всю целиком. Вообще помимо pdf.js есть другие решения, которые парсят pdf на сервере, а клиенту отдают части pdf по мере необходимости (например, при пролистывании документа), но эти решения платные, да и сложнее их было интегрировать. Но так как это плагин у нас, всегда можно pdf.js заменить вообще на что угодно.
15 мар 19, 18:02    [21834171]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
А вообще логика у руководства такая по этому кешированию - кешируем в памяти, кастомер про это знает, если хочет - включает и настраивает для документных типов необходимые ему значения кеша, соотносит с размером оперативной памяти, колличеству пользователей. Т.е. мы как бы не занимаемся настройками кеша, все вынесено в конфигурацию.
15 мар 19, 18:07    [21834179]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Ржавый гвоздь
Member

Откуда:
Сообщений: 31
Ахахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать.
Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же.
Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе.
15 мар 19, 18:21    [21834191]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
эту pdf надо еще до браузера донести всю целиком.
сколько объем? Я выше писал про килобайты.
15 мар 19, 18:40    [21834218]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Ржавый гвоздь
Ахахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать.
Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же.
Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе.


Хоспаде, сколько раз зарекался тут что спрашивать. Одним словом, русский форм. Одни ясновидцы и гадалки.
15 мар 19, 18:42    [21834220]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Ржавый гвоздь,
)))
Аффтар! Держи удар. Это тоже уметь надо).
15 мар 19, 18:42    [21834221]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Kachalov
Member

Откуда: Москва
Сообщений: 5649
Ржавый гвоздь
можно было бы все по нормальному сделать

- интересно, "по нормальному" это как? Я участвовал в разработке нескольких ECM систем, так что проблемы ТС мне отчасти понятны. Какой вариант будет "нормальным" в описанной бизнес задаче?
15 мар 19, 18:43    [21834222]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
тут что спрашивать
это не тут. Это мужской форум.
15 мар 19, 18:43    [21834223]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter
эту pdf надо еще до браузера донести всю целиком.
сколько объем? Я выше писал про килобайты.


Объем - по разному. Вы знаете что такое коробочный продукт? Это значит что у тебя кастомеров 200 штук и у всех своя специфика, поэтому все - настраивается, и размер кеша и прочее.
15 мар 19, 18:44    [21834224]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter
тут что спрашивать
это не тут. Это мужской форум.


Ладно, понял, беру свои слова назад про гадалок)) Все норм
15 мар 19, 18:45    [21834226]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Kachalov
по нормальному" это как?
ТЭО делают и ТЗ с цифрами.
15 мар 19, 18:46    [21834227]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
Kachalov
по нормальному" это как?
ТЭО делают и ТЗ с цифрами.


Кастомеров много, отсюда попытки сделать что-то универсально, и вынести все в настройки (тоже беда, кстати, softcoding)
15 мар 19, 18:48    [21834229]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter,
Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно.
Вы сказали про время передачи клиента.....
15 мар 19, 18:50    [21834232]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
универсально
это у всех проблема. Не бывает универсального. Увы.
Один качает Войну и мир, другой работает с фото 3 на 4.
15 мар 19, 18:51    [21834233]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Ржавый гвоздь
Ахахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать.
Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же.
Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе.

Ты зря набросился на автора. Он-же пишет дескыть "не могу драйвить" решения.
Значит он - человек подневольный. Кодит как сказали.
15 мар 19, 18:52    [21834234]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter,
Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно.
Вы сказали про время передачи клиента.....


Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно).
Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге.
Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше.
15 мар 19, 18:55    [21834235]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter
универсально
это у всех проблема. Не бывает универсального. Увы.
Один качает Войну и мир, другой работает с фото 3 на 4.


Воот, все верно. Некоторые вообще чертежи хранят в нашей системе, и им этот pdf.js вообще не нужен, мы им API, они по нему свой вьювер заимплементили и во фрейме встроили на страницу.
15 мар 19, 18:57    [21834238]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Но реально какие use cases у разных кастомеров будут, я не знаю.
рассказываю наш на одной работе.
Юзвери сканили договора на МФУ и заливали систему. Так как там по умолчанию 600 или 1200 DPI параметр скана по умолчанию, то pdf были огромные.
И место быстро кончилось.
Они просто не тыкали сканер на меньшее разрешение.
...
Как костыль, я делал утилиту, которая в цикле проходила и уменьшала разрешение сканов внутри pdf.
Можно и на входе было это делать.
Это просто юз кейс недоработок постановки.
15 мар 19, 19:16    [21834259]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так.
может наоборот? Включить?
15 мар 19, 19:19    [21834262]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
им этот pdf.js вообще не нужен
тебе Ржавый гвоздь про это и намекнул)
15 мар 19, 19:21    [21834264]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
И не путай процесс конвертации и процесс кеширования.
Удачи!
15 мар 19, 19:22    [21834266]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter
Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так.
может наоборот? Включить?


Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить)
15 мар 19, 19:30    [21834270]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
И не путай процесс конвертации и процесс кеширования.
Удачи!


Ну да, это два разных процесса, НО! Чтобы самому не заморачиваться с многопоточкой, я делегировал это Ehcache. Короче настроил read through. И когда вызываем cache.get(attachmentKey) - то кеш проверяет, есть ли entry с таким ключем, если нет, то он загружает аттач и конвертирует его в pdf, добавляет в кеш, и возвращает. И все это thread safe, всмысле не будет несколько конвертаций одного и того же аттача бестолку (thundering-herd). Только вот я хотел асинхронные сервлет сделать, чтобы поток не простаивал во время конвертации. А так получается он будет заблокирован во время вызова cache.get. Да ну и фиг с ним! Зато прозрачно. Короче вся сложность - внутри ehcache. А этим ребятам я доверяю.
15 мар 19, 19:37    [21834277]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Petro123
пропущено...
может наоборот? Включить?


Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить)
не.
Если меговые файлы, то 2 решения:
- превью в базе
- кеш хоть на клиенте
15 мар 19, 19:40    [21834279]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
rabiter
Petro123
rabiter,
Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно.
Вы сказали про время передачи клиента.....


Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно).
Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге.
Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше.

В бытность когда учился. Любил тырить из лабораторных классов различные pdf на дискетке.
Тогда по сетям раннего интернета и FIDO гуляли приличные книги по программированию.
Были отсканированы картинками в 300dpi с black&white цветом (это вырвиглазно!) и сконверчены
в pdf. Я из соображений экономии ресурсов написал прогу на сях которая выкусывала из pdf
картинки по сигнатурам. Это было несложно. В основном зависело от формата.

Чуть позже я догадался их переводить в многостраничные tiff-документы (было такое) и далее
уже хранил у себя. Жлобские проги открывали pdf на слабых четвёрках и Пеньтиумах до 5 минут.
А мой формат открывался почти мгновенно.

Это было время чудовищной экономии. Но это point автору, что не стоит вовлекать без смысла
в стек технологии которые не нужны или превышают потребности кастомера в 1000 раз.
Реально. Формат картинки jpeg/png уже лет 20 не менялся. А сколько патчей было накатано
на pdf? И сколько инцедентов безопасности? Сколько дыр? Сколько проблем с простой печатью
на принтере если контент защищён?
15 мар 19, 19:41    [21834282]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter,
Про кеш не ко мне.
Я его не могу оценивать до Модели.
Если модель кривая, то кеш только продлит агонию.
Про модель я выше писал.
15 мар 19, 19:42    [21834283]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Герой дня
Member

Откуда: obmanula.ru
Сообщений: 30537
у нас используется hazelcast - поддерживается в Spring Data
15 мар 19, 19:43    [21834286]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Герой дня
у нас используется hazelcast - поддерживается в Spring Data

Да. Кстати. Можете рассказать по лицензиям? Вроде как платная версия Hazelcast
должна включать в себя off-heap доступ к памяти. Верно?
15 мар 19, 19:49    [21834289]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
mayton
rabiter
пропущено...


Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно).
Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге.
Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше.

В бытность когда учился. Любил тырить из лабораторных классов различные pdf на дискетке.
Тогда по сетям раннего интернета и FIDO гуляли приличные книги по программированию.
Были отсканированы картинками в 300dpi с black&white цветом (это вырвиглазно!) и сконверчены
в pdf. Я из соображений экономии ресурсов написал прогу на сях которая выкусывала из pdf
картинки по сигнатурам. Это было несложно. В основном зависело от формата.

Чуть позже я догадался их переводить в многостраничные tiff-документы (было такое) и далее
уже хранил у себя. Жлобские проги открывали pdf на слабых четвёрках и Пеньтиумах до 5 минут.
А мой формат открывался почти мгновенно.

Это было время чудовищной экономии. Но это point автору, что не стоит вовлекать без смысла
в стек технологии которые не нужны или превышают потребности кастомера в 1000 раз.
Реально. Формат картинки jpeg/png уже лет 20 не менялся. А сколько патчей было накатано
на pdf? И сколько инцедентов безопасности? Сколько дыр? Сколько проблем с простой печатью
на принтере если контент защищён?


Ах, студенческие годы... У нас копирование с дискет было возможно только через лаборантов и в часы копирования. По поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить. Ну и да, дыры в безопасности.
15 мар 19, 19:51    [21834292]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter
пропущено...


Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить)
не.
Если меговые файлы, то 2 решения:
- превью в базе
- кеш хоть на клиенте


согласен!
15 мар 19, 19:52    [21834294]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Герой дня
у нас используется hazelcast - поддерживается в Spring Data


Это интересно! Я бы поработал с hazelcast! Но по сути, я из всей мощи этих продуктов (ehcache, hazelcast), использую только локальное кеширование (не распределенное), так что особо без разницы)
15 мар 19, 19:53    [21834296]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter,
Про кеш не ко мне.
Я его не могу оценивать до Модели.
Если модель кривая, то кеш только продлит агонию.
Про модель я выше писал.


Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).
15 мар 19, 20:02    [21834300]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Герой дня
Member

Откуда: obmanula.ru
Сообщений: 30537
mayton
Герой дня
у нас используется hazelcast - поддерживается в Spring Data

Да. Кстати. Можете рассказать по лицензиям? Вроде как платная версия Hazelcast
должна включать в себя off-heap доступ к памяти. Верно?


лицензия бесплатная, там платный Monitor - но он не нужен, достаточно в лог писать состояние кешей и потом разбирать

Плюс, там удобство в том, что имеется мастер-слейв + локальные синхронизируемые кеши, и все это бесплатно
15 мар 19, 20:02    [21834302]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Герой дня
Member

Откуда: obmanula.ru
Сообщений: 30537
rabiter
Petro123
rabiter,
Про кеш не ко мне.
Я его не могу оценивать до Модели.
Если модель кривая, то кеш только продлит агонию.
Про модель я выше писал.


Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).


это же неправильно, кэш не должен что-то искать
15 мар 19, 20:03    [21834303]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Герой дня
rabiter
пропущено...


Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).


это же неправильно, кэш не должен что-то искать

Да это неправильно. У кешей есть темпоральные эвристики.
И они основаны на различных стратегиях и формулах со временем. И если подсунуть кешу
фейковое существование всех данных то эта формула будет нарушена.

Или эта стратегия должна в себя включать формулу. Вобщем я-бы попросил
эту стратегию в студию.
15 мар 19, 20:18    [21834309]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3292
rabiter
По поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить.
Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.
15 мар 19, 20:45    [21834322]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Постранично вроде стримится.
15 мар 19, 20:54    [21834326]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Герой дня
rabiter
пропущено...


Концепт прост, мы снабжаем кеш стратегией, как ему себя вести, если к нему обращаются за данными, которых в нем нет. Так вот, пусть он знает где лежат данные и как их взять (для меня это включает еще и конвертацию).
Т.е. получается все очень упрощается. Мы работаем с кешем так, словно в нем всегда уже есть данные, которые нам нужны, вот и все (а он там догружает сам, чего нет).


это же неправильно, кэш не должен что-то искать


Ну вот у вас написано откуда, obmanula.ru, я туда зашел, а там ничего нет, это же тоже неправильно, но однако!
Касательно кеша - это один из шаблонов работы с кешем, иногда очень удобно (read-through).
15 мар 19, 21:02    [21834332]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Talk is cheap. Show me code.
15 мар 19, 21:04    [21834334]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
mayton
Герой дня
пропущено...


это же неправильно, кэш не должен что-то искать

Да это неправильно. У кешей есть темпоральные эвристики.
И они основаны на различных стратегиях и формулах со временем. И если подсунуть кешу
фейковое существование всех данных то эта формула будет нарушена.

Или эта стратегия должна в себя включать формулу. Вобщем я-бы попросил
эту стратегию в студию.


Да, а это уже аргумент! Спасибо за информацию. Но в моем случае, какая там формула, какая эвристика, кеш с размером в 5-10 кешируемых элементов. Но на больших данных - согласен, недопустимо!
15 мар 19, 21:04    [21834335]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Андрей Панфилов
rabiter
По поводу pdf - мне тоже не нравится формат, если честно, какой-то он перегруженый. И к тому же, его нельзя стримить, т.е. нужен весь файл, чтобы отобразить.
Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.


Вы думаете мне не хватает спецификаций или чего "почитать"? Хотя спасибо, конечно, и за ссылку :-)
pdf.js, кстати, это то, что в firefox используется как внутренний viewer.
15 мар 19, 21:06    [21834336]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
mayton
Постранично вроде стримится.


Как я понял из нескольких источников, там таблица с тем, что где находится внутри pdf, находится в самом конце этого Pdf. Т.е. надо весь качать. Хотя, есть сервак поддерживает ranged request, можно сам этот хвост pdf и скачать с сервака. Pdf.js, кстати, так умеет делать. Но с ranged request мне как-то не хотелось разбираться.
15 мар 19, 21:08    [21834338]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
[quot Андрей Панфилов]
rabiter
попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.


в хроме в итоге заргузилось, мозилы под рукой нет (рабочий ноут уже выключил), а что там? Может кто проверить?
15 мар 19, 21:11    [21834340]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
вадя
Member

Откуда: Екатеринбург
Сообщений: 16265
Андрей Панфилов
Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.
я так понял - трафик отдачи очень слабый....
15 мар 19, 21:15    [21834341]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
вадя
Андрей Панфилов
Почитайте спецификацию чтоли для начала, ну или если лень читать, то попробуйте открыть вот это в хроме и мозилле, а потом расскажите о наблюдениях.
я так понял - трафик отдачи очень слабый....


Не, дело не в трафике, pdf весит 350 мегабайт. Это демонстрация, pdf viewer из хрома ничего не показывает, пока всю ее не скачает.
А вот PDF.js использует ranged header (т.е. может запросить сначала хвост pdf файла, с reference таблицей, а потом уже все остальное). В итоге получается, что firefox (который использует pdf.js) начинает уже показывать первые страницы pdf до его полной загрузки. @Андрей Панфилов, спасибо за демонстрацию! Но камень в огород формата pdf, что им стоило это reference таблицу вначале файла разместить?
15 мар 19, 22:55    [21834393]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
хмм, а это мысль, можно заморочиться и проверить, как включить (и возможно ли вообще, и что это такое) ranged headers на Wildfly, Glassfish и Websphere - это сервера, что мы поддерживаем. По крайней мере, таску на будущее можно создать.
15 мар 19, 22:58    [21834395]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Андрей Панфилов
Member

Откуда: Москва > Melbourne
Сообщений: 3292
rabiter
Но камень в огород формата pdf, что им стоило это reference таблицу вначале файла разместить?


PDF Linearization
16 мар 19, 06:07    [21834475]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Концепт прост, мы снабжаем кеш стратегией,

хм..
Я вам три раза сказал:
Превью_в_БД <---> Конвертация <---> Кеш
Вы уперлись 10 страниц в кеш, а это выше 3 ВЗАИМОИСКЛЮЧАЮЩИХ и ВЛИЯЮЩИХ параметра.
- поставь превью и кеш не нужен
- убери PDF и кеш не нужен
Сейчас ты кешем делаешь костыль для не оптимизированных других двух параметров.
...
Как вариант, делай заказчику ВСЕ 3 ПАРАМЕТРА:
- вкл\выкл превью
- вкл\выкл конвертаци. в PDF
- вкл\выкл кеш сервере
- вкл\выкл кеш в базе клиента localStorage IE11
.......
Я понимаю, что счас вы просто обучаетесь работе с кешем за счет фирмы. Т.к. на конечный юз кейс это мало повлияет.
16 мар 19, 11:47    [21834522]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
pdf весит 350 мегабайт.
сколько страниц? Одна? 350?
16 мар 19, 11:50    [21834524]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
mayton
Постранично вроде стримится.

где?
http://files.stroyinf.ru/Data/46/4669.pdf
У него наиважнейшая цель шрифты правильно показать и верстку.
А не стримится постранично.
16 мар 19, 11:55    [21834532]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter,
выше моя ссылка - 4 мегабайт PDF - 40 страниц.
На какой странице топика мы от вас цифр дождёмся - фиг знает.
Вы наверно топик не читаете. Кешем заняты.
16 мар 19, 11:57    [21834536]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Petro123
mayton
Постранично вроде стримится.

где?
http://files.stroyinf.ru/Data/46/4669.pdf
У него наиважнейшая цель шрифты правильно показать и верстку.
А не стримится постранично.

Ну ОК. Согласен.
17 мар 19, 00:37    [21835002]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter
pdf весит 350 мегабайт.
сколько страниц? Одна? 350?


Нет, там несколько, возможно это была демонстрация линеризации pdf (постобработка, см. ссылку от Андрея Панфилова). А может range headers, еще не рахзобрался, в понедельник на работе поэкспериментирую и с тем и с тем. Хромовский вьювер, кстати, отображает эту 350 pdf только после того, как уеликом загрузит. А вот PDF.js (firefox), почти сразу начинает от отображать первые страницы.
17 мар 19, 18:09    [21835302]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter
Концепт прост, мы снабжаем кеш стратегией,

хм..
Я вам три раза сказал:
Превью_в_БД <---> Конвертация <---> Кеш
Вы уперлись 10 страниц в кеш, а это выше 3 ВЗАИМОИСКЛЮЧАЮЩИХ и ВЛИЯЮЩИХ параметра.
- поставь превью и кеш не нужен
- убери PDF и кеш не нужен
Сейчас ты кешем делаешь костыль для не оптимизированных других двух параметров.
...
Как вариант, делай заказчику ВСЕ 3 ПАРАМЕТРА:
- вкл\выкл превью
- вкл\выкл конвертаци. в PDF
- вкл\выкл кеш сервере
- вкл\выкл кеш в базе клиента localStorage IE11
.......
Я понимаю, что счас вы просто обучаетесь работе с кешем за счет фирмы. Т.к. на конечный юз кейс это мало повлияет.


Честно говоря не понял что вы имеете ввиду) Какой превью? Унас нет превью. Точнее наше "превью", это конвертация в pdf и отображение его в pdf.js.
Кеш в localStorage не вариант... слишком маленький размер для кеша. Сколько там, всего мегабайт 5? Еще и browser specific.
Кеш в хранилище - самый адекватный вариант, но это другая история.
Вы поймите, вариант с кешированием файлов в памяти я не одобряю, эта таска мне пришла сверху. И не потому что реальные проблемы где-то, а потому что архитект так решил (преждевременная оптимизация короче). Эта версия с pdf.js вообще еще не в продакшене даже. Я архитекта предупредил, что могут быть проблемы, и что на деле это короче бред а не оптимизация, но решили все равно сделать. А я конечно рад с ehcahce поработать, давно приглядываюсь.
17 мар 19, 18:28    [21835310]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter,
выше моя ссылка - 4 мегабайт PDF - 40 страниц.
На какой странице топика мы от вас цифр дождёмся - фиг знает.
Вы наверно топик не читаете. Кешем заняты.


Читаю, но выходной же) Завтра гляну погоняю этот pdf тоже.
По поводу цифр - какие цифры? Ну хорошо, примерно так, размер аттачей я не знаю, может быть разный, от десятков килобайт до десятков мегабайт. Но в реальности, думаю, будет стоять трешхолд на отключение превью (отображение в pdf.js) для всех аттачей с размером больше 100кб. Но это настраивается! Для каждого пользователя будет кешироваться максимум 5-10 аттачей в сессии (тоже настраивается). Вот какие-то такие цифры. Одновременных пользователей больше 100-150 не предвидится. Тут все очень зависит от кастомера. У некоторых может быть и 1000 пользователей, но это отдельные случаи.
17 мар 19, 18:38    [21835312]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Андрей Панфилов
rabiter
Но камень в огород формата pdf, что им стоило это reference таблицу вначале файла разместить?


PDF Linearization


Спасибо за ссылку! Не знал про линеризацию.
17 мар 19, 18:39    [21835313]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Petro123
пропущено...
сколько страниц? Одна? 350?


Нет, там несколько, возможно это была демонстрация линеризации pdf (постобработка, см. ссылку от Андрея Панфилова). А может range headers, еще не рахзобрался, в понедельник на работе поэкспериментирую и с тем и с тем. Хромовский вьювер, кстати, отображает эту 350 pdf только после того, как уеликом загрузит. А вот PDF.js (firefox), почти сразу начинает от отображать первые страницы.
вот понедельник экспериментируй и расскажешь.
17 мар 19, 18:42    [21835315]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Я спросил что находится в файле 350 мегов.
Ты вывалил кучу букв и все не по делу.
2)
Превью, это в бд рядом с документом доп.поле в 100 раз меньше.
17 мар 19, 18:48    [21835321]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Честно говоря не понял что вы имеете ввиду) Какой превью? Унас нет превью.
нда..
Я предложил метод превью, тогда твой метод с кешем выкинуть на помойку.
Так понятно?
17 мар 19, 18:53    [21835323]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
Я спросил что находится в файле 350 мегов.
Ты вывалил кучу букв и все не по делу.
2)
Превью, это в бд рядом с документом доп.поле в 100 раз меньше.


В файле 350 мегабайт - картинки на каждой странице.

Ок, такого превью у нас нет. Мы конвертим файлы целиком в pdf и показываем в pdf.js (вы превратить способны в попугая).
Эти pdf по размеру могут быть такого же размера в основном, как и оригинал. Но их я бы сохранял в хранилище вместе с оригиналами.
И делал бы это не по требованию, а заранее какой-нибудь асинхронной джобой (например, ночью).
17 мар 19, 18:58    [21835327]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter
Честно говоря не понял что вы имеете ввиду) Какой превью? Унас нет превью.
нда..
Я предложил метод превью, тогда твой метод с кешем выкинуть на помойку.
Так понятно?


Превью не нужен. Это только первая страница? Не нужен. Нужна вся pdf.
17 мар 19, 18:59    [21835328]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
rabiter
Petro123
пропущено...
нда..
Я предложил метод превью, тогда твой метод с кешем выкинуть на помойку.
Так понятно?


Превью не нужен. Это только первая страница? Не нужен. Нужна вся pdf.


Короче, норм решение было бы асинхронно конвертить файлы в pdf и сохранять в хранилище вместе с оригиналами, постобрабатывать их (линеризация), и все. Согласны?
17 мар 19, 19:00    [21835329]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
rabiter
rabiter
пропущено...


Превью не нужен. Это только первая страница? Не нужен. Нужна вся pdf.


Короче, норм решение было бы асинхронно конвертить файлы в pdf и сохранять в хранилище вместе с оригиналами, постобрабатывать их (линеризация), и все. Согласны?


Асинхронно я сказал, я имел ввиду какой-нибудь джобой ночью, например. Но это получается, что размер хранилища вырастит в два раза. Тот превью первой страницы, который вы предложили - никому тут не нужен, по крайней мере пока (но я понял, конечно, о чем вы).
17 мар 19, 19:02    [21835332]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Дисковые ресурсы щас - копеечные. Купили себе S3?
17 мар 19, 19:07    [21835334]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter,
Нет. Превью все страницы. Формат разный.
17 мар 19, 19:48    [21835357]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
mayton
Дисковые ресурсы щас - копеечные. Купили себе S3?


Amazon вроде не поддерживаем. Но список различных поддерживаемых хранилищ весьма длинный. Т.е. зависит от того, что есть у кастомера, что он хочет. И тут уже возможны варианты по стоимости)
17 мар 19, 19:50    [21835359]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
И делал бы это не по требованию, а заранее какой-нибудь асинхронной джобой (например, ночью).
да. Разумеется. И что мешает?
17 мар 19, 19:51    [21835360]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Тот превью первой страницы, который вы предложили
ты как всегда все перепутал
17 мар 19, 19:52    [21835363]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
конвертить файлы в pdf
нет.
Превью это часто тот же формат, но низкого разрешения.
Можно сменить формат... По настройкам и желанию.
Не надо все в pdf. Только текстовые.
17 мар 19, 19:55    [21835364]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter,
Скоро 7 страниц, а ты никак не поймешь что такое превью.
17 мар 19, 19:57    [21835366]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 41870
Подобно тому как все дороги ведут в Рим. Все технологии оптимизации preview
приведут нас к дисковому хранилищу картинок. +Разные там eTag, expired e.t.c.
джобы которые обновляют кеши. Но это уже детали реализации.

И нет на свете другого способа сделать кастомера happy...
17 мар 19, 20:34    [21835391]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter
конвертить файлы в pdf
нет.
Превью это часто тот же формат, но низкого разрешения.
Можно сменить формат... По настройкам и желанию.
Не надо все в pdf. Только текстовые.


как ты уменьшишь формат-то? вот у тебя doc с текстом, конвертируем в pdf, тот же размер, то же количество слов. только картинки если есть в документе, их да, можно уменьшить.
18 мар 19, 11:50    [21835737]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 599
Petro123
rabiter,
Скоро 7 страниц, а ты никак не поймешь что такое превью.


у меня ещё две недели до отпуска, так что время общаться есть. и опять же, люблю поговорить с приятными людьми!
18 мар 19, 11:51    [21835738]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Petro123
пропущено...
нет.
Превью это часто тот же формат, но низкого разрешения.
Можно сменить формат... По настройкам и желанию.
Не надо все в pdf. Только текстовые.


как ты уменьшишь формат-то? вот у тебя doc с текстом, конвертируем в pdf, тот же размер, то же количество слов. только картинки если есть в документе, их да, можно уменьшить.
выше ссылку дал на pdf.
Жду от тебя ссылку что нельзя уменьшить размер.
И как я уменьшал картинки тоже говорил выше.
18 мар 19, 12:00    [21835747]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: 1 2 3 4 5      [все]
Все форумы / Java Ответить