Добро пожаловать в форум, Guest  >>   Войти | Регистрация | Поиск | Правила | В избранное | Подписаться
Все форумы / WinForms, .Net Framework Новый топик    Ответить
 c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
Пытаюсь писать логи из нет приложения в FluentD.
Среда:

Запустил FluentD докер через Docker-compose
https://docs.fluentd.org/container-deployment

Запустил приложение типа этого:
https://github.com/zoetrope/fluent-logger-csharp

Как ни пишу - не вижу через броузер логи. Что не так?
3 май 21, 14:44    [22317824]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Roman Mejtes
Member

Откуда: г. Пермь
Сообщений: 4207
покажи лог и настройки td-agent'а, тогда и видно будет.
3 май 21, 15:17    [22317843]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
Roman Mejtes
покажи лог и настройки td-agent'а, тогда и видно будет.


Где их взять?
Windows
Docker's
3 май 21, 15:20    [22317845]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Roman Mejtes
Member

Откуда: г. Пермь
Сообщений: 4207
/etc/td-agent/td-agent.conf
как то так, или типа того
3 май 21, 15:32    [22317856]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
Roman Mejtes
/etc/td-agent/td-agent.conf
как то так, или типа того


а из броузера - никак? у меня докер, внутрь не залезу
Конфиг есть, он на волюме:

автор
# fluentd/conf/fluent.conf

<source>
@type forward
port 24224
bind 0.0.0.0
</source>

<match *.**>
@type copy

<store>
@type elasticsearch
host elasticsearch
port 9200
logstash_format true
logstash_prefix fluentd
logstash_dateformat %Y%m%d
include_tag_key true
type_name access_log
tag_key @log_name
flush_interval 1s
</store>

<store>
@type stdout
</store>
</match>
3 май 21, 15:34    [22317860]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Roman Mejtes
Member

Откуда: г. Пермь
Сообщений: 4207
логи то где должны оказаться? в кибана?
3 май 21, 16:04    [22317874]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
Roman Mejtes
логи то где должны оказаться? в кибана?


Докер состоит из 4 частей
-elasticsearch
-kibana
-fluentd
-web

Vне хотелось бы, чтобы я мог смотреть логи в броузере, где они - трудно сказать, наверное в еластике
У них есть в докере семпл данные, я добавил, захожу в
Kibana->Discover и вижу этот семпл лог.
А те, которые пишутся извне из приложения не вижу.
3 май 21, 16:31    [22317883]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
Все-таки, чего не хватает в настройках FluentD? или в другом месте EFK?
5 май 21, 10:03    [22318636]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
fkthat
Member

Откуда:
Сообщений: 4880
Ролг Хупин
Vне хотелось бы, чтобы я мог смотреть логи в броузере, где они - трудно сказать, наверное в еластике

Эластик - сервис для хранения и индексирования данных. Кибана - для их просмотра.
5 май 21, 10:12    [22318638]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
fkthat
Ролг Хупин
Vне хотелось бы, чтобы я мог смотреть логи в броузере, где они - трудно сказать, наверное в еластике

Эластик - сервис для хранения и индексирования данных. Кибана - для их просмотра.


У меня еще и FluentD там, т.е. EFK.В него и пишу из приложения.
Но из приложения не долетают логи, не вижу в EFK
5 май 21, 10:48    [22318651]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
fkthat
Member

Откуда:
Сообщений: 4880
Ролг Хупин
У меня еще и FluentD там, т.е. EFK.В него и пишу из приложения.

У тебя приложение дотнетовское - из него проще писать прямо в эластик через Serilog.
5 май 21, 11:13    [22318661]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
fkthat
Ролг Хупин
У меня еще и FluentD там, т.е. EFK.В него и пишу из приложения.

У тебя приложение дотнетовское - из него проще писать прямо в эластик через Serilog.


А на фига тогда там Fluentd? Я думал тода писать надо, как написано на гитхабе ю

Это да, но я использую log4net, по идее туда хотел прикрутить аппендер для записи логов в EFK
5 май 21, 11:21    [22318663]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
fkthat
Member

Откуда:
Сообщений: 4880
Ролг Хупин
Это да, но я использую log4net, по идее туда хотел прикрутить аппендер для записи логов в EFK

Не выйдет. У log4net нет структурированного логирования. Тебе придется писать отдельно логи в log4net и отдельно чем-нибудь в эластик. Костыли. Замени его лучше на Serilog + Microsoft log и не страдай. Вот такая схема правильная:

MS ILogger -> Serilog -> Serilog Elastic sink
-> Serilog sink
-> ...
-> Serilog sink
5 май 21, 12:00    [22318690]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
fkthat,

есть же типа Log4net аппендеры для FluentD

автор
https://github.com/MCKanpolat/Log4net.Appenders.Fluentd
5 май 21, 16:16    [22318885]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
fkthat
Member

Откуда:
Сообщений: 4880
Ролг Хупин
есть же типа Log4net аппендеры для FluentD

Я не знаю, что это за шляпа, но суть в том, чтобы от эластика была реально польза надо, чтобы данные в него попадали не строкой, как в текстовый лог а в виде структурированного json. Если из заднего прохода log4net выходит строка, то ты её через что ни пропускай, она строкой так и останется. В отличии от Serilog, который в свой адаптер (по его терминологии "sink") отправляет объект с полностью задаваемой тобой структурой.
5 май 21, 16:29    [22318890]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
fkthat
Ролг Хупин
есть же типа Log4net аппендеры для FluentD

Я не знаю, что это за шляпа, но суть в том, чтобы от эластика была реально польза надо, чтобы данные в него попадали не строкой, как в текстовый лог а в виде структурированного json. Если из заднего прохода log4net выходит строка, то ты её через что ни пропускай, она строкой так и останется. В отличии от Serilog, который в свой адаптер (по его терминологии "sink") отправляет объект с полностью задаваемой тобой структурой.


1. Ок, понял, просто у меня существующее приложение с log4net, думалось проще обойтись можно. Но можно , конечно, переделать его на Serilog и потом добавить запись в Elastic.

2. Вот, все-таки, мучают меня сомнения, на фига в EFK - вот это F ? Я туда и писал. Аесли писать сразу в E, тогда вопрос остается: зачем там нужен F?
6 май 21, 11:22    [22319141]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Roman Mejtes
Member

Откуда: г. Пермь
Сообщений: 4207
Ролг Хупин,

затем, что не все системы однородны, есть куча подсистем которые уже работают и существует и ни кто не будет там переделывать логирование. требуется такой инструмент, который сможет охватить не только вашу писульку. + fluent это не только "собиратель" логов, это пайплайн с трансформациями, маршрутизацией и кучей другой фигни
6 май 21, 12:17    [22319169]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
Roman Mejtes
Ролг Хупин,

затем, что не все системы однородны, есть куча подсистем которые уже работают и существует и ни кто не будет там переделывать логирование. требуется такой инструмент, который сможет охватить не только вашу писульку. + fluent это не только "собиратель" логов, это пайплайн с трансформациями, маршрутизацией и кучей другой фигни


Т.е. в EFK это задачи компоненты F ?
9 май 21, 12:49    [22319863]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Roman Mejtes
Member

Откуда: г. Пермь
Сообщений: 4207
Ролг Хупин,

ну да, в elastic тоже есть пайплайн
9 май 21, 18:35    [22319929]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
Roman Mejtes
Ролг Хупин,

ну да, в elastic тоже есть пайплайн


извечная тяга к знаниям, в общем-то, почем тогда вместо EFK не взять EK?
10 май 21, 15:36    [22320117]     Ответить | Цитировать Сообщить модератору
 Re: c# app->FluentD: не вижу логи  [new]
Ролг Хупин
Member

Откуда: Чебаркуль
Сообщений: 4155
Ролг Хупин
Roman Mejtes
Ролг Хупин,

ну да, в elastic тоже есть пайплайн


извечная тяга к знаниям, в общем-то, почем тогда вместо EFK не взять EK?


вопрос решен, спасибо
19 май 21, 11:35    [22324069]     Ответить | Цитировать Сообщить модератору
Все форумы / WinForms, .Net Framework Ответить