Услуги сисадмина

[Glueon]

Сегодня мы хотим кратко рассказать о решении, которое мы используем для сбора и анализа логов. Речь пойдет о софте Fluentd.

Как показывает практика, в проектах существует различное число сервисов, генерирующих логи в том или ином виде. К примеру, apache, nginx, syslog и прочие. Со временем и с ростом числа сервисов встает проблема анализа логов. Это необходимо чтобы считать суммарно число ваших пользователей, нагрузку на сервисы, анализ запросов и прочее.

Основная проблема - как сделать это удобно, так как ручная обработка с помощью различных консольных утилит является слишком неудобной. К примеру, у вас много фрондентов и вам необходимо анализировать приходящие http-запросы или же ошибки, чтобы делать какие-то выводы.

Для таких задач мы предлагаем настройку сервиса Fluentd, с помощью которого можно собирать логи из различных источников, к примеру тех же log-файлов, фильтровать, преобразовывать и складывать в какое-либо единдое хранилище: elasticsearch, mongodb, postgresql, просто в файлы и т.д. После того как данные прошли через Fluentd и попали в хранилище, их достаточно просто анализировать.

Мы можем написать панель для аналитики ваших данных, можем использовать уже готовое решение - панель Kibana, которая работает в паре с Elasticsearch и позволяет строить различные графики, используя специальный запрос. Мы сами используем Fluentd для анализа серверных логов, для того чтобы вычленять различные аномалии и анализировать их связь с введением какого-либо функционала, изменениями настроек серверного ПО.

Свяжитесь с нами:
jabber: [email protected]
skype: contactroot
icq: 657324100