Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / Java Новый топик    Ответить
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4 5   вперед  Ctrl      все
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 632
На мой взгляд проблема еще вот какая, так как это pdf.js, ему нужно загрузить всю pdf с сервера, прежде чем он сможет ее отобразить.
Толку, что у нас на сервевере лежит готовая pdf в кеше. В смысле это, конечно, хорошо, но эту pdf надо еще до браузера донести всю целиком. Вообще помимо pdf.js есть другие решения, которые парсят pdf на сервере, а клиенту отдают части pdf по мере необходимости (например, при пролистывании документа), но эти решения платные, да и сложнее их было интегрировать. Но так как это плагин у нас, всегда можно pdf.js заменить вообще на что угодно.
15 мар 19, 18:02    [21834171]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 632
А вообще логика у руководства такая по этому кешированию - кешируем в памяти, кастомер про это знает, если хочет - включает и настраивает для документных типов необходимые ему значения кеша, соотносит с размером оперативной памяти, колличеству пользователей. Т.е. мы как бы не занимаемся настройками кеша, все вынесено в конфигурацию.
15 мар 19, 18:07    [21834179]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Ржавый гвоздь
Member

Откуда:
Сообщений: 31
Ахахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать.
Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же.
Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе.
15 мар 19, 18:21    [21834191]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
эту pdf надо еще до браузера донести всю целиком.
сколько объем? Я выше писал про килобайты.
15 мар 19, 18:40    [21834218]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 632
Ржавый гвоздь
Ахахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать.
Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же.
Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе.


Хоспаде, сколько раз зарекался тут что спрашивать. Одним словом, русский форм. Одни ясновидцы и гадалки.
15 мар 19, 18:42    [21834220]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Ржавый гвоздь,
)))
Аффтар! Держи удар. Это тоже уметь надо).
15 мар 19, 18:42    [21834221]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Kachalov
Member

Откуда: Москва
Сообщений: 5676
Ржавый гвоздь
можно было бы все по нормальному сделать

- интересно, "по нормальному" это как? Я участвовал в разработке нескольких ECM систем, так что проблемы ТС мне отчасти понятны. Какой вариант будет "нормальным" в описанной бизнес задаче?
15 мар 19, 18:43    [21834222]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
тут что спрашивать
это не тут. Это мужской форум.
15 мар 19, 18:43    [21834223]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 632
Petro123
rabiter
эту pdf надо еще до браузера донести всю целиком.
сколько объем? Я выше писал про килобайты.


Объем - по разному. Вы знаете что такое коробочный продукт? Это значит что у тебя кастомеров 200 штук и у всех своя специфика, поэтому все - настраивается, и размер кеша и прочее.
15 мар 19, 18:44    [21834224]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 632
Petro123
rabiter
тут что спрашивать
это не тут. Это мужской форум.


Ладно, понял, беру свои слова назад про гадалок)) Все норм
15 мар 19, 18:45    [21834226]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
Kachalov
по нормальному" это как?
ТЭО делают и ТЗ с цифрами.
15 мар 19, 18:46    [21834227]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 632
Petro123
Kachalov
по нормальному" это как?
ТЭО делают и ТЗ с цифрами.


Кастомеров много, отсюда попытки сделать что-то универсально, и вынести все в настройки (тоже беда, кстати, softcoding)
15 мар 19, 18:48    [21834229]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter,
Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно.
Вы сказали про время передачи клиента.....
15 мар 19, 18:50    [21834232]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
универсально
это у всех проблема. Не бывает универсального. Увы.
Один качает Войну и мир, другой работает с фото 3 на 4.
15 мар 19, 18:51    [21834233]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 42851
Ржавый гвоздь
Ахахах, просто эталоннейший пример говнозадачи из современной IT-помойки))) Нет, вы только вдумайтесь - сначала придумать показывать пользователю картинки через pdf.js, предварительно конвертируя в pdf (как такая мысль в голову только прийти могла???), потом увидеть, что все это дико тормозит (а вы чего-то другого ожидали?). А теперь, вместо того, чтобы признать, что это решение было, мягко говоря не совсем удачным и сделать по нормальному, начинать городить на говнокоде новый слой говнокода, чтобы заставить старый говнокод хоть как то работать.
Нет, оно понятно, если цель - изображать бурную деятельность - вариант беспроигрышный. Наверняка ведь, перед тем как придумать это "гениальное" архитектурное решение c пдфами, было проведено не одно совещание, с рисованиями умных диаграмм на доске и бурными обсуждениями. Хотя за это время можно было бы все по нормальному сделать, но это же работать надо, а не языком чесать. Теперь вот опять активные дебаты на тему, какой кэш приделать, как, куда и зачем. Опять будет проведено несколько совещаний с рассмотрением различных технологий кэширвания, поиском плюсов и минусов, оценками... Главное, что заказчик видит - работа кипит! И денежки несет, конечно же.
Я не знаю как долго еще это будет прокатывать, но рано или поздно тренд обязан смениться с вливания бесконечных финансовых ресурсов в эту черную дыру, по какому-то недоразумению называемую "разработкой ПО" на реальную разработку профессионалами в области, собственно, разработки ПО, а не мастеров просиживания штанов в офисе.

Ты зря набросился на автора. Он-же пишет дескыть "не могу драйвить" решения.
Значит он - человек подневольный. Кодит как сказали.
15 мар 19, 18:52    [21834234]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 632
Petro123
rabiter,
Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно.
Вы сказали про время передачи клиента.....


Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно).
Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге.
Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше.
15 мар 19, 18:55    [21834235]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 632
Petro123
rabiter
универсально
это у всех проблема. Не бывает универсального. Увы.
Один качает Войну и мир, другой работает с фото 3 на 4.


Воот, все верно. Некоторые вообще чертежи хранят в нашей системе, и им этот pdf.js вообще не нужен, мы им API, они по нему свой вьювер заимплементили и во фрейме встроили на страницу.
15 мар 19, 18:57    [21834238]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Но реально какие use cases у разных кастомеров будут, я не знаю.
рассказываю наш на одной работе.
Юзвери сканили договора на МФУ и заливали систему. Так как там по умолчанию 600 или 1200 DPI параметр скана по умолчанию, то pdf были огромные.
И место быстро кончилось.
Они просто не тыкали сканер на меньшее разрешение.
...
Как костыль, я делал утилиту, которая в цикле проходила и уменьшала разрешение сканов внутри pdf.
Можно и на входе было это делать.
Это просто юз кейс недоработок постановки.
15 мар 19, 19:16    [21834259]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так.
может наоборот? Включить?
15 мар 19, 19:19    [21834262]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
им этот pdf.js вообще не нужен
тебе Ржавый гвоздь про это и намекнул)
15 мар 19, 19:21    [21834264]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
И не путай процесс конвертации и процесс кеширования.
Удачи!
15 мар 19, 19:22    [21834266]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 632
Petro123
rabiter
Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так.
может наоборот? Включить?


Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить)
15 мар 19, 19:30    [21834270]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
rabiter
Member

Откуда: SPb
Сообщений: 632
Petro123
И не путай процесс конвертации и процесс кеширования.
Удачи!


Ну да, это два разных процесса, НО! Чтобы самому не заморачиваться с многопоточкой, я делегировал это Ehcache. Короче настроил read through. И когда вызываем cache.get(attachmentKey) - то кеш проверяет, есть ли entry с таким ключем, если нет, то он загружает аттач и конвертирует его в pdf, добавляет в кеш, и возвращает. И все это thread safe, всмысле не будет несколько конвертаций одного и того же аттача бестолку (thundering-herd). Только вот я хотел асинхронные сервлет сделать, чтобы поток не простаивал во время конвертации. А так получается он будет заблокирован во время вызова cache.get. Да ну и фиг с ним! Зато прозрачно. Короче вся сложность - внутри ehcache. А этим ребятам я доверяю.
15 мар 19, 19:37    [21834277]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
Petro123
Member

Откуда: Загрузочный сектор Москвы (AutoPOI.ru)
Сообщений: 38643
rabiter
Petro123
пропущено...
может наоборот? Включить?


Да, есть такая тема, если какая-то проблема никак не решается, надо ее усугубить)
не.
Если меговые файлы, то 2 решения:
- превью в базе
- кеш хоть на клиенте
15 мар 19, 19:40    [21834279]     Ответить | Цитировать Сообщить модератору
 Re: Выбор технологии кеширования  [new]
mayton
Member

Откуда: loopback
Сообщений: 42851
rabiter
Petro123
rabiter,
Превью сжимается в сотни раз. Вы же можете дать цифры. Это же не ДСП и не сов. Секретно.
Вы сказали про время передачи клиента.....


Да с чего оно сожмется-то?) Ну был doc 50kb, стал pdf 50kb (ну примерно).
Но реально какие use cases у разных кастомеров будут, я не знаю. Может у них файлы по 50 мегабайт? Тогда просто отключим для них превью и все, как-то так. Т.е. мы кастомер решает в итоге.
Ну вот например, Java Concurrency In Practice.pdf, сейчас приаттачил, весит 6.3 мегабайта - от сервера до моего браузера идет 3 секунды. Но эти цифры ничего не значат, это же зависит от сети, от инфраструктуры. Понятно - чем больше, тем дольше.

В бытность когда учился. Любил тырить из лабораторных классов различные pdf на дискетке.
Тогда по сетям раннего интернета и FIDO гуляли приличные книги по программированию.
Были отсканированы картинками в 300dpi с black&white цветом (это вырвиглазно!) и сконверчены
в pdf. Я из соображений экономии ресурсов написал прогу на сях которая выкусывала из pdf
картинки по сигнатурам. Это было несложно. В основном зависело от формата.

Чуть позже я догадался их переводить в многостраничные tiff-документы (было такое) и далее
уже хранил у себя. Жлобские проги открывали pdf на слабых четвёрках и Пеньтиумах до 5 минут.
А мой формат открывался почти мгновенно.

Это было время чудовищной экономии. Но это point автору, что не стоит вовлекать без смысла
в стек технологии которые не нужны или превышают потребности кастомера в 1000 раз.
Реально. Формат картинки jpeg/png уже лет 20 не менялся. А сколько патчей было накатано
на pdf? И сколько инцедентов безопасности? Сколько дыр? Сколько проблем с простой печатью
на принтере если контент защищён?
15 мар 19, 19:41    [21834282]     Ответить | Цитировать Сообщить модератору
Топик располагается на нескольких страницах: Ctrl  назад   1 2 [3] 4 5   вперед  Ctrl      все
Все форумы / Java Ответить