Что можно узнать из логов

Лог — журнал событий, записанных системой. У сайта есть несколько разных журналов: обращения к веб-серверу, ошибки приложения, события базы данных и другие. Анализатор помогает разобрать строки, отфильтровать события и представить их в отчёте.

Access log обычно позволяет узнать, к какому адресу обращались, когда это произошло и какой код ответа вернул сервер. Дополнительные поля могут содержать User-Agent, источник перехода, объём ответа и время обработки. Набор полей зависит от настроенного формата: анализатор не восстановит показатель, который сервер не записывал.

Логи и веб-аналитика решают разные задачи. Запрос к изображению, визит человека и обращение поискового робота — не одно и то же. Если сервер видит больше событий, чем счётчик посещений, это не обязательно ошибка. На разницу влияют боты, кеширование, блокировка клиентских скриптов и правила подсчёта.

Как выбрать подходящий формат

Локальный инструмент удобен для выгрузки за ограниченный период. Постоянный сбор нужен, если события приходится искать регулярно или связывать между несколькими компонентами. Второй вариант требует обслуживания: хранения, ограничения доступа, контроля объёма и проверки доставки записей.

Не сравнивайте программы только по числу графиков. Важнее, сможете ли вы повторить нужный анализ на своих данных, сохранить фильтры и объяснить, как получилась итоговая цифра.

Два инструмента для веб-логов

GoAccess: быстрый обзор обращений

GoAccess обрабатывает журналы веб-сервера и показывает сводки в терминале или HTML-отчёте. В описании разработчика указаны поддержка распространённых и пользовательских форматов, отчёты по виртуальным хостам и анализ времени ответа при наличии соответствующих данных.

Это удобный вариант, когда нужен понятный обзор активности: популярные адреса, ответы сервера, объём переданных данных. Перед импортом проверьте формат и часовой пояс. Красивый отчёт, собранный с ошибочно распознанными полями, не поможет найти причину проблемы.

Screaming Frog SEO Log File Analyser: обход поисковыми роботами

Инструмент ориентирован на SEO-анализ: посещённые роботами URL, частоту обхода, ошибки и редиректы. Он позволяет сопоставлять журналы со списком страниц. Функции и действующие ограничения лицензий описаны на странице продукта; фиксированную цену здесь не приводим.

Сравнение с картой сайта помогает заметить важные страницы, которых нет в исследованной выборке. Но отсутствие записи за неделю не доказывает, что робот никогда не посещал URL. Всегда указывайте период и полноту исходных файлов.

Что подготовить перед импортом

Попросите администратора или хостинг предоставить журналы нужного домена за период до и после события. Уточните, нет ли отдельного журнала на CDN или прокси: часть запросов может не доходить до основного сервера. Проверьте, что выгружены также архивы ротации, если они нужны для выбранного периода.

Работайте с копией, сохраняя исходные файлы неизменными. Запишите часовой пояс, формат строки, источник данных и фильтры. При объединении нескольких файлов убедитесь, что один и тот же интервал не попал в отчёт дважды.

В журналах могут оказаться IP-адреса, параметры URL и другие чувствительные сведения. Не загружайте сырой архив в случайный онлайн-сервис. Для передачи подрядчику согласуйте минимальный состав данных и способ доступа; секреты и ненужные параметры следует исключить из рабочей копии.

Как провести первый анализ

Сначала проверьте, что инструмент прочитал ожидаемое количество строк и не пропустил значительную часть как ошибки формата. Затем посмотрите распределение событий по времени: резкий разрыв может означать как сбой, так и отсутствие файла за нужный день.

Для технического разбора выделите ответы 4xx и 5xx, сгруппируйте их по URL и времени. Различайте единичный запрос к несуществующему адресу и массовую ошибку важной страницы. Для SEO отдельно изучите обход основных разделов, редиректов и адресов с параметрами.

Не доверяйте имени робота только по строке User-Agent: её можно подставить. Используйте механизм проверки ботов в инструменте и официальные способы подтверждения соответствующей поисковой системы. После обнаружения проблемы сопоставьте журнал с конфигурацией и изменениями сайта, а не блокируйте весь трафик по одному подозрительному признаку.

Какие выводы делать нельзя

Логи сами по себе не показывают удовлетворённость пользователя и не заменяют данные о продажах. Длительное время ответа сервера не равно полному времени загрузки страницы в браузере. А успешный код 200 не гарантирует правильного содержания: сервер может вернуть заглушку или пустой шаблон.

Итог анализа оформите как проверяемую цепочку: наблюдение, период, затронутые URL, гипотеза, способ подтверждения и действие. Например: «После обновления выросло число 500 на форме; проверяем журнал приложения и повторяем отправку на тестовом окружении». Такой вывод полезнее общего утверждения, что сайт работает плохо.