Memory Leak? / Java / Sql.ru

JAVA_OPTS="-Xms1536m -Xmx4096m -XX:MetaspaceSize=96M -XX:MaxMetaspaceSize=1512m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/heapoom.hprof"

Class Name                                            | Shallow Heap | Retained Heap | Percentage
--------------------------------------------------------------------------------------------------
java.lang.Thread @ 0x6d9632fd8  default task-4 Thread |          120 | 1,170,908,752 |     33.08%
java.lang.Thread @ 0x6d8604ce0  default task-2 Thread |          120 |   788,671,152 |     22.28%
java.lang.Thread @ 0x6e0ae8390  default task-10 Thread|          120 |   620,186,896 |     17.52%
--------------------------------------------------------------------------------------------------

Class Name                                                           | Shallow Heap | Retained Heap
----------------------------------------------------------------------------------------------------
java.lang.Thread @ 0x6d9632fd8  default task-4 Thread                |          120 | 1,170,908,752
............................
|  |  |  |  |  |  |  |  |  |  |  |  |  |  |- <Java Local> java.lang.Thread @ 0x6d9632fd8  default task-4 Thread|          120 | 1,170,908,752
----------------------------------------------------------------------------------------------------

The thread java.lang.Thread @ 0x6d9632fd8 default task-4 keeps local variables with total size 1,170,908,752 (33.08%) bytes.

The memory is accumulated in one instance of "java.lang.Object[]" loaded by "<system class loader>".
The stacktrace of this Thread is available. See stacktrace.

Keywords
java.lang.Object[]
Details »
Accumulated Objects in Dominator Tree

Class Name                            | Shallow Heap | Retained Heap | Percentage
----------------------------------------------------------------------------------
java.lang.Object[240097] @ 0x76607fd50|      960,408 | 1,170,884,208 |     33.08%
|- byte[461][] @ 0x71321bd60          |        1,864 |         5,800 |      0.00%
|- byte[461][] @ 0x6fe760148          |        1,864 |         5,800 |      0.00%
|- byte[461][] @ 0x70c33b5b0          |        1,864 |         5,800 |      0.00%
----------------------------------------------------------------------------------

java.lang.Object[240097] @ 0x76607fd50
java.lang.Object[240097] @ 0x76607fd50
Class Name                                                           | Shallow Heap | Retained Heap
----------------------------------------------------------------------------------------------------
java.util.ArrayList @ 0x6f40dd208                                    |           24 | 1,170,884,232
'- <Java Local> java.lang.Thread @ 0x6d9632fd8  default task-4 Thread|          120 | 1,170,908,752
----------------------------------------------------------------------------------------------------

Class Name                                                     | Shallow Heap | Retained Heap
----------------------------------------------------------------------------------------------
java.util.ArrayList @ 0x6f40dd208                              |           24 | 1,170,884,232
|- <class> class java.util.ArrayList @ 0x6c2c06b90 System Class|           24 |            24
|- elementData java.lang.Object[240097] @ 0x76607fd50          |      960,408 | 1,170,884,208
|  |- <class> class java.lang.Object[] @ 0x6c2b11e18           |            0 |             0
|  |- [4467] byte[461][] @ 0x6f3690178                         |        1,864 |         5,800
|  |- [4466] byte[461][] @ 0x6f44dd248                         |        1,864 |         5,800
|  |- [4417] byte[461][] @ 0x6f44e5e10                         |        1,864 |         5,800
|  |- [4418] byte[461][] @ 0x6f44fb1d0                         |        1,864 |         5,800
|  |- [3768] byte[461][] @ 0x6f45212f0                         |        1,864 |         5,800
----------------------------------------------------------------------------------------------
Class Name                                                                 | Shallow Heap | Retained Heap
----------------------------------------------------------------------------------------------------------
java.util.ArrayList @ 0x6f40dd208                                          |           24 | 1,170,884,232
|- <class> class java.util.ArrayList @ 0x6c2c06b90 System Class            |           24 |            24
|- elementData java.lang.Object[240097] @ 0x76607fd50                      |      960,408 | 1,170,884,208
|  |- <class> class java.lang.Object[] @ 0x6c2b11e18                       |            0 |             0
....................................................................................................................... (пропущены строки)
|  |- [4460] byte[461][] @ 0x6f4530fd8                                     |        1,864 |         5,800
|  |  |- <class> class byte[][] @ 0x6c05e7188                              |            0 |             0
|  |  |- [450] byte[3] @ 0x6f4531720  ...                                  |           24 |            24
|  |  |- [449] byte[3] @ 0x6f4531738  643                                  |           24 |            24
|  |  |- [448] byte[10] @ 0x6f4531750  ..........                          |           32 |            32
|  |  |- [447] byte[9] @ 0x6f4531770  MASCULINE                            |           32 |            32
|  |  |- [446] byte[10] @ 0x6f4531790  ..........                          |           32 |            32
|  |  |- [445] byte[10] @ 0x6f45317b0  ..........                          |           32 |            32
|  |  |- [444] byte[12] @ 0x6f45317d0  ............                        |           32 |            32
|  |  |- [443] byte[6] @ 0x6f45317f0  ......                               |           24 |            24
|  |  |- [442] byte[8] @ 0x6f4531808  FEMININE                             |           24 |            24
|  |  |- [441] byte[14] @ 0x6f4531820  ..............                      |           32 |            32
|  |  |- [440] byte[14] @ 0x6f4531840  ..............                      |           32 |            32
|  |  |- [439] byte[12] @ 0x6f4531860  ............                        |           32 |            32
|  |  |- [438] byte[6] @ 0x6f4531880  ......                               |           24 |            24
|  |  |- [437] byte[3] @ 0x6f4531898  RUB                                  |           24 |            24
|  |  |- [436] byte[26] @ 0x6f45318b0  2018-05-28 11:07:02.658117          |           48 |            48
|  |  |- [435] byte[26] @ 0x6f45318e0  2018-05-28 11:07:02.658117          |           48 |            48
|  |  |- [434] byte[1] @ 0x6f4531910  0                                    |           24 |            24
|  |  |- [433] byte[36] @ 0x6f4531928  1ffb6a1f-d7b4-4014-99c3-9023029c3aec|           56 |            56
|  |  |- [365] byte[12] @ 0x6f4531960  LEGAL_ENTITY                        |           32 |            32
|  |  |- [360] byte[1] @ 0x6f4531980  f                                    |           24 |            24
|  |  |- [354] byte[36] @ 0x6f4531998  dfe8f44a-3bb9-451e-80d9-8be2cce0d2ee|           56 |            56
|  |  |- [352] byte[36] @ 0x6f45319d0  53bafd08-959e-42f5-b67e-b1125df665e7|           56 |            56
|  |  |- [351] byte[23] @ 0x6f4531a08  2019-02-07 21:36:54.122             |           40 |            40
----------------------------------------------------------------------------------------------------------

default task-4
  at org.postgresql.core.PGStream.receiveTupleV3()[[B (PGStream.java:435)
  at org.postgresql.core.v3.QueryExecutorImpl.processResults(Lorg/postgresql/core/ResultHandler;I)V (QueryExecutorImpl.java:2174)
  at org.postgresql.core.v3.QueryExecutorImpl.execute(Lorg/postgresql/core/Query;Lorg/postgresql/core/ParameterList;Lorg/postgresql/core/ResultHandler;III)V (QueryExecutorImpl.java:309)
  at org.postgresql.jdbc.PgStatement.executeInternal(Lorg/postgresql/core/CachedQuery;Lorg/postgresql/core/ParameterList;I)V (PgStatement.java:446)
  at org.postgresql.jdbc.PgStatement.execute(Lorg/postgresql/core/CachedQuery;Lorg/postgresql/core/ParameterList;I)V (PgStatement.java:370)
  at org.postgresql.jdbc.PgPreparedStatement.executeWithFlags(I)Z (PgPreparedStatement.java:149)
  at org.postgresql.jdbc.PgPreparedStatement.executeQuery()Ljava/sql/ResultSet; (PgPreparedStatement.java:108)
  at org.jboss.jca.adapters.jdbc.WrappedPreparedStatement.executeQuery()Ljava/sql/ResultSet; (WrappedPreparedStatement.java:504)
  at org.hibernate.engine.jdbc.internal.ResultSetReturnImpl.extract(Ljava/sql/PreparedStatement;)Ljava/sql/ResultSet; (ResultSetReturnImpl.java:70)
  at org.hibernate.loader.plan.exec.internal.AbstractLoadPlanBasedLoader.getResultSet(Ljava/sql/PreparedStatement;Lorg/hibernate/engine/spi/RowSelection;Lorg/hibernate/dialect/pagination/LimitHandler;ZLorg/hibernate/engine/spi/SessionImplementor;)Ljava/sql/ResultSet; (AbstractLoadPlanBasedLoader.java:434)
  at org.hibernate.loader.plan.exec.internal.AbstractLoadPlanBasedLoader.executeQueryStatement(Ljava/lang/String;Lorg/hibernate/engine/spi/QueryParameters;ZLjava/util/List;Lorg/hibernate/engine/spi/SessionImplementor;)Lorg/hibernate/loader/plan/exec/internal/AbstractLoadPlanBasedLoader$SqlStatementWrapper; (AbstractLoadPlanBasedLoader.java:186)
  at org.hibernate.loader.plan.exec.internal.AbstractLoadPlanBasedLoader.executeLoad(Lorg/hibernate/engine/spi/SessionImplementor;Lorg/hibernate/engine/spi/QueryParameters;Lorg/hibernate/loader/plan/exec/spi/LoadQueryDetails;ZLorg/hibernate/transform/ResultTransformer;Ljava/util/List;)Ljava/util/List; (AbstractLoadPlanBasedLoader.java:121)
  at org.hibernate.loader.plan.exec.internal.AbstractLoadPlanBasedLoader.executeLoad(Lorg/hibernate/engine/spi/SessionImplementor;Lorg/hibernate/engine/spi/QueryParameters;Lorg/hibernate/loader/plan/exec/spi/LoadQueryDetails;ZLorg/hibernate/transform/ResultTransformer;)Ljava/util/List; (AbstractLoadPlanBasedLoader.java:86)
  at org.hibernate.loader.collection.plan.AbstractLoadPlanBasedCollectionInitializer.initialize(Ljava/io/Serializable;Lorg/hibernate/engine/spi/SessionImplementor;)V (AbstractLoadPlanBasedCollectionInitializer.java:88)
  at org.hibernate.persister.collection.AbstractCollectionPersister.initialize(Ljava/io/Serializable;Lorg/hibernate/engine/spi/SessionImplementor;)V (AbstractCollectionPersister.java:688)
  at org.hibernate.event.internal.DefaultInitializeCollectionEventListener.onInitializeCollection(Lorg/hibernate/event/spi/InitializeCollectionEvent;)V (DefaultInitializeCollectionEventListener.java:75)
  at org.hibernate.internal.SessionImpl.initializeCollection(Lorg/hibernate/collection/spi/PersistentCollection;Z)V (SessionImpl.java:2004)
  at org.hibernate.collection.internal.AbstractPersistentCollection$4.doWork()Ljava/lang/Object; (AbstractPersistentCollection.java:567)
  at org.hibernate.collection.internal.AbstractPersistentCollection.withTemporarySessionIfNeeded(Lorg/hibernate/collection/internal/AbstractPersistentCollection$LazyInitializationWork;)Ljava/lang/Object; (AbstractPersistentCollection.java:249)
  at org.hibernate.collection.internal.AbstractPersistentCollection.initialize(Z)V (AbstractPersistentCollection.java:563)
  at org.hibernate.collection.internal.AbstractPersistentCollection.read()V (AbstractPersistentCollection.java:132)
  at org.hibernate.collection.internal.PersistentBag.iterator()Ljava/util/Iterator; (PersistentBag.java:277)
  at java.util.Spliterators$IteratorSpliterator.estimateSize()J (Spliterators.java:1821)
  at java.util.Spliterator.getExactSizeIfKnown()J (Spliterator.java:408)
  at java.util.stream.AbstractPipeline.copyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)V (AbstractPipeline.java:480)
  at java.util.stream.AbstractPipeline.wrapAndCopyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)Ljava/util/stream/Sink; (AbstractPipeline.java:471)
  at java.util.stream.ReduceOps$ReduceOp.evaluateSequential(Ljava/util/stream/PipelineHelper;Ljava/util/Spliterator;)Ljava/lang/Object; (ReduceOps.java:708)
  at java.util.stream.AbstractPipeline.evaluate(Ljava/util/stream/TerminalOp;)Ljava/lang/Object; (AbstractPipeline.java:234)
  at java.util.stream.ReferencePipeline.collect(Ljava/util/stream/Collector;)Ljava/lang/Object; (ReferencePipeline.java:499)
  at ru.septagon.recs.rs.view.CompanyFullView$InnerCashRegisterView.of(Lru/septagon/recs/domain/organization/CashRegister;)Lru/septagon/recs/rs/view/CompanyFullView$InnerCashRegisterView; (CompanyFullView.java:199)
  at ru.septagon.recs.rs.view.DivisionDetail$$Lambda$1899.apply(Ljava/lang/Object;)Ljava/lang/Object; (Unknown Source)
  at java.util.stream.ReferencePipeline$3$1.accept(Ljava/lang/Object;)V (ReferencePipeline.java:193)
  at java.util.Iterator.forEachRemaining(Ljava/util/function/Consumer;)V (Iterator.java:116)
  at java.util.Spliterators$IteratorSpliterator.forEachRemaining(Ljava/util/function/Consumer;)V (Spliterators.java:1801)
  at java.util.stream.AbstractPipeline.copyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)V (AbstractPipeline.java:481)
  at java.util.stream.AbstractPipeline.wrapAndCopyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)Ljava/util/stream/Sink; (AbstractPipeline.java:471)
  at java.util.stream.ReduceOps$ReduceOp.evaluateSequential(Ljava/util/stream/PipelineHelper;Ljava/util/Spliterator;)Ljava/lang/Object; (ReduceOps.java:708)
  at java.util.stream.AbstractPipeline.evaluate(Ljava/util/stream/TerminalOp;)Ljava/lang/Object; (AbstractPipeline.java:234)
  at java.util.stream.ReferencePipeline.collect(Ljava/util/stream/Collector;)Ljava/lang/Object; (ReferencePipeline.java:499)
  at ru.septagon.recs.rs.view.DivisionDetail.fill(Lru/septagon/recs/domain/organization/Division;)V (DivisionDetail.java:92)
  at ru.septagon.recs.rs.view.DivisionDetail.of(Lru/septagon/recs/domain/organization/Division;)Lru/septagon/recs/rs/view/DivisionDetail; (DivisionDetail.java:51)
  at ru.septagon.recs.rs.view.CompanyFullView$$Lambda$1898.apply(Ljava/lang/Object;)Ljava/lang/Object; (Unknown Source)
  at java.util.stream.ReferencePipeline$3$1.accept(Ljava/lang/Object;)V (ReferencePipeline.java:193)
  at java.util.Iterator.forEachRemaining(Ljava/util/function/Consumer;)V (Iterator.java:116)
  at java.util.Spliterators$IteratorSpliterator.forEachRemaining(Ljava/util/function/Consumer;)V (Spliterators.java:1801)
  at java.util.stream.AbstractPipeline.copyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)V (AbstractPipeline.java:481)
  at java.util.stream.AbstractPipeline.wrapAndCopyInto(Ljava/util/stream/Sink;Ljava/util/Spliterator;)Ljava/util/stream/Sink; (AbstractPipeline.java:471)
  at java.util.stream.ReduceOps$ReduceOp.evaluateSequential(Ljava/util/stream/PipelineHelper;Ljava/util/Spliterator;)Ljava/lang/Object; (ReduceOps.java:708)
  at java.util.stream.AbstractPipeline.evaluate(Ljava/util/stream/TerminalOp;)Ljava/lang/Object; (AbstractPipeline.java:234)
  at java.util.stream.ReferencePipeline.collect(Ljava/util/stream/Collector;)Ljava/lang/Object; (ReferencePipeline.java:499)
  at ru.septagon.recs.rs.view.CompanyFullView.fill(Lru/septagon/recs/domain/organization/Company;)V (CompanyFullView.java:58)
  at ru.septagon.recs.rs.view.CompanyFullView.of(Lru/septagon/recs/domain/organization/Company;)Lru/septagon/recs/rs/view/CompanyFullView; (CompanyFullView.java:49)
  at ru.septagon.recs.rs.CompaniesResource$$Lambda$1895.apply(Ljava/lang/Object;)Ljava/lang/Object; (Unknown Source)
  at ru.septagon.recs.service.CompanyService.getCompany(Ljava/util/UUID;Ljava/util/function/Function;)Ljava/lang/Object; (CompanyService.java:188)
...............................................................

Class Name                                                                                           | Shallow Heap | Retained Heap
------------------------------------------------------------------------------------------------------------------------------------
java.lang.Thread @ 0x6d9632fd8  default task-4 Thread                                                |          120 | 1,170,908,752
|- <Java Local> java.lang.Thread @ 0x6d9632fd8  default task-4 Thread                                |          120 | 1,170,908,752
|- <Java Local> java.util.ArrayList @ 0x6f40dd208                                                    |           24 | 1,170,884,232
|- <Java Local> org.postgresql.core.v3.QueryExecutorImpl @ 0x6e27c97b8                               |          200 |     1,154,864
|- contextClassLoader org.jboss.modules.ModuleClassLoader @ 0x6e56718d8                              |           88 |       141,432
|- <Java Local> org.hibernate.loader.plan.exec.internal.BasicCollectionLoadQueryDetails @ 0x6ef8b9180|           48 |       117,224
|- <Java Local> org.hibernate.engine.internal.StatefulPersistenceContext @ 0x6f38e2680               |          104 |        69,072
|- <Java Local> org.postgresql.core.PGStream @ 0x6e27c9880                                           |           64 |        35,360
|- <Java Local> org.jboss.modules.ModuleClassLoader @ 0x6c2c19dd0                                    |           88 |        33,368
|- threadLocals java.lang.ThreadLocal$ThreadLocalMap @ 0x6d96331d8                                   |           24 |         9,488
|- <Java Local> io.undertow.servlet.spec.HttpServletRequestImpl @ 0x6f391dd00                        |           72 |         4,920
|- <Java Local> org.jboss.resteasy.spi.ResteasyUriInfo @ 0x6f40dd670                                 |           96 |         4,904
|- <Java Local> byte[461][] @ 0x76aaf9a98                                                            |        1,864 |         4,000
------------------------------------------------------------------------------------------------------------------------------------

|- [436] byte[26] @ 0x6f45318b0  2018-05-28 11:07:02.658117

|- [436] byte[26] @ 0x6f45318b0  2018-05-28 11:07:02.658117

Re: Memory Leak? [new]
WGA Member Откуда: Сообщений: 408	С группировкой по классам К сообщению приложен файл. Размер - 20Kb
26 сен 19, 13:20 [21979731] Ответить \| Цитировать Сообщить модератору

Re: Memory Leak? [new]
ivanra Member Откуда: Сообщений: 889	Осталось посмотреть кто держит этот массив java.lang.Object[240097] @ 0x76607fd50 Скорее всего какой-нибудь ArrayList. Ну и дальше вверх надо смотреть кто хозяин
26 сен 19, 14:11 [21979851] Ответить \| Цитировать Сообщить модератору

Re: Memory Leak? [new]
WGA Member Откуда: Сообщений: 408	Очень похоже на сериализованные объекты доменных классов. И похоже, что они остаются в памяти только при редеплое, иначе бы прод бы падал с завидной регулярностью, чего нет в действительности. И у нас не используется кэш 2-го уровня. Откуда же эта зараза берется?..
26 сен 19, 14:37 [21979896] Ответить \| Цитировать Сообщить модератору

Re: Memory Leak? [new]
mayton Member Откуда: loopback Сообщений: 50489	WGA, вы можете по отчоту где лежат 1,170,884,208 объектов кликнуть мышкой и посмотреть какой бизнесовый экзепляр там лежит?
26 сен 19, 14:41 [21979904] Ответить \| Цитировать Сообщить модератору

Re: Memory Leak? [new]
mayton Member Откуда: loopback Сообщений: 50489	Мне кажется этот зубчатый (jagged) массив порождает не код программиста а какой-то фреймворк. Что за фреймворки у вас используются?
26 сен 19, 15:00 [21979936] Ответить \| Цитировать Сообщить модератору

Добро пожаловать в форум, Guest >> Войти \| Регистрация \| Поиск \| Правила \|			В избранное \| Подписаться
Все форумы / Java

Re: Memory Leak? [new]
mayton Member Откуда: loopback Сообщений: 50489	\|- [436] byte[26] @ 0x6f45318b0 2018-05-28 11:07:02.658117 Интересно. Строки сериализованы в байты для экономии. В ASCIIZ.
26 сен 19, 15:12 [21979954] Ответить \| Цитировать Сообщить модератору

Re: Memory Leak? [new]
mayton Member Откуда: loopback Сообщений: 50489	EhCache сбоку где-то прикручен? По eviction-policy еще не успел кеши зачистить и засрал весь хип.
26 сен 19, 15:17 [21979963] Ответить \| Цитировать Сообщить модератору

Re: Memory Leak? [new]
Leonid Kudryavtsev Member Откуда: Сообщений: 9316	у нас дамп памяти вообще был замусорен byte[] массивами от Java JDBC был. Долго и нудно техподдерка Oracle предлагала JDBC проапгрейдить, потом выяснилось, что косяк в нашем коде. Не всегда statement.close вызывали, вот JDBC буфера в памяти и оставались. Самое веселое, что просмоторшики дампов данную память относили к категории "может быть очищена", в результате по версии просмоторшиков дампов вообще был бред 2 Gb heap, из них 1.8 Gb "может быть очищена", но упали с out of memory.
26 сен 19, 15:20 [21979967] Ответить \| Цитировать Сообщить модератору

Re: Memory Leak? [new]
ivanra Member Откуда: Сообщений: 889	Leonid Kudryavtsev, да, тут скорее всего ошибка в бизнес коде. Судя по названию метода CompanyFullView можно предположить, что происходил обход дерева подразделений, и что-то пошло не так. Например, цикл. Или проблема n+1
26 сен 19, 15:26 [21979976] Ответить \| Цитировать Сообщить модератору

Re: Memory Leak? [new]
Leonid Kudryavtsev Member Откуда: Сообщений: 9316	+ где-то в коде не закрываются сессии/стайтменты одно наслоилось на другое, получилось 2 Gb мусора. Если бы открытых "жрущих" сессии/стайтментов не было бы, то рано или поздно уплали бы по классической out of perm gen (или метаспейс). А так, JDBC heap засисрает быстрее, чем классы perm gen IMHO
26 сен 19, 15:33 [21979989] Ответить \| Цитировать Сообщить модератору

Re: Memory Leak? [new]
ivanra Member Откуда: Сообщений: 889	Leonid Kudryavtsev, кеш это обычно различные варианты HashMap-а, а тут ArrayList. Целый гиг данных, прочитанный из базы каким-то одним методом. Не так давно мы фильмы такого объема смотрели, для БД это многовато
26 сен 19, 15:42 [21980007] Ответить \| Цитировать Сообщить модератору