Рейтинг партнерских программ
Мы собрали свой рейтинг партнерских программ и делимся с вами лучшими партнерками для заработка.
Арбитраж трафика

Тестировщики сайтов: что делать без Ahrefs и подобных сервисов

ZorbasMedia Лендинг Инструменты
Проверка и тестирование создаваемых сайтов — неотъемлемая часть работы любого SEO-специалиста. Разумеется, можно использовать популярные сервисы по типу Ahrefs, SemRush и Netpeak Spider/Checker. Но все они — платные. И могут оказаться недоступными в некоторых странах.


Существуют ли бесплатные сервисы? Да, разумеется. Но, как всегда, никто не готов работать бесплатно, обеспечивая максимум собираемых данных. Можно пользоваться несколькими сервисами, чтобы иметь доступ к разным функциям. Более того, практически каждый может написать автотестер, который будет проверять страницы на наличие заголовков, описаний картинок, работоспособность ссылок и т.д.

Frog и ему подобные


Для начала посмотрим, какие сервисы можно использовать сейчас без необходимости платить.

  • Screaming Frog SEO Spider. Популярный у SEO-специалистов инструмент. Это десктопное ПО для сканирования сайтов. Показывает битые страницы, редиректы, длинные и дублирующиеся title, ошибки в H1-заголовках, дубли страниц по хеш-сумме исходного кода и т.д. Очень удобно, но бесплатная версия подходит только для небольших проектов (а ещё ограничен функционал).
  • BeamUsUp. Продукт, разрабатываемый одним человеком. Это сканер сайтов (самостоятельное ПО для ПК). Последнее обновление новостей от создателя — 8 сентября 2020 года. Тем не менее сервис может собирать битые ссылки, редиректы и ошибки на сайте. Но парсит только HTML.



  • Webbee. Бесплатный сканер сайтов и списка URL. Из плюсов — есть интеграция с Google Analytics и возможность получить статистику в виде инфографики, ПО работает и на Windows, и на Mac OS (в версии 10.7.3 и выше). Блог сайта периодически обновляется, однако последняя версия инструмента — только 3.0 (в 2015 году).
  • LinkChecker. Небольшой инструмент для проверки битых ссылок. Работает медленно, но результат даёт. Установка и запуск — через репозиторий GitHub.
  • IIS SEO Toolkit. Неожиданно, но это краулер от Microsoft. Хороший выбор функций, сканирование проходит довольно быстро. Минусы — не работает на Windows 10 (только 7 и 8). Судя по всему, Microsoft прекратила поддержку.
  • SiteAnalyzer. Хороший краулер для сайтов с достаточным набором функций. Можно проверять сайты на предмет ошибок, анализировать SEO-параметры и т.д. Есть расчёт PageRank, проверка индексации страниц и многое другое. Обновляется регулярно — свежая версия вышла 28 марта 2022 года. Доступ бесплатный (можно сделать добровольное пожертвование разработчикам). Не поддерживается Mac OS.


Путь самурая — Python


Есть ещё одна возможность получить условно-бесплатный тестировщик. Условно — потому что предстоит вложить время и силы (если есть навыки программирования) или деньги (если будете нанимать стороннего разработчика). Это Python — мультипарадигмальный язык программирования… А если просто, то на нём с помощью готовых модулей вы можете получить тестировщик (или даже парсер чужих сайтов), который далее можно будет дорабатывать под собственные нужды, сколько угодно.


В чём выгода? В подходе «потратился один раз на разработку и пользуйся, сколько хочешь». Плюс — всегда можно прикрутить новые модули, чтобы расширить возможности.

Посмотрим, что нужно для того, чтобы написать небольшой SEO-тестировщик для сайтов (по сути, создаётся небольшой парсер, который собирает нужные данные и выгружает их в единый документ).

Что понадобится для разработки? Разумеется, сам Python и редактор кода к нему, чтобы упростить работу, выделить синтаксис и т.д. Например, можно использовать PyCharm, Spyder, Atom и другие (их много, проще посмотреть и выбрать тот, который больше нравится внешне и не требует установки дополнительных плагинов).

Далее будут нужны модули. По сути, это готовые библиотеки с набором функций под определённые задачи. Их можно установить с помощью команды «pip instal + имя модуля» (то есть команда будет выглядеть так — pip instal requests). После этого они будут готовы к использованию.

  • Requests. Этот модуль позволяет отправлять HTTP-запросы на нужный сайт. С его помощью вы можете получить ответ от сервера (аналогичный тому, что видите в браузере после клика по определённой ссылке). В итоге получаем полный код нужной страницы. Однако читать его неудобно. Для дальнейшей работы полученные данные надо передать следующему модулю — например, Beautefulsoup.
  • Beautifulsoup. Эта библиотека позволяет обрабатывать полученный с помощью Requests код, а также задавать параметры сбора информации. С её помощью можно задать получение данных по заголовкам, наличию Title, Description, alt-текстов у изображений, исходящим ссылкам и т.д. По сути, модуль использует встроенный в Python парсер html.parser. Однако начиная с 4-й версии, Beautifulsoup поддерживает и сторонние — lxml, html5lib и xml.
  • Pandas. Ещё один простой модуль, который позволит выгрузить собранные нами данные в .csv-файл. В название колонок можно задать переменные (главное — не забудьте их заключить в ’одинарные кавычки’), а далее экспортировать через команду df.to_csv.

Общий алгоритм действий простой: откройте код страницы вашего сайта, выберите необходимые данные, которые нужно собирать (заголовки, title и т.д.). Далее теги и классы задайте в команду find. Не забудьте придумать сообщение, которое тестировщик будет писать, если каких-либо данных нет — это можно сделать через команды try и except.

После этого в полученном коде используйте цикл с запросом от модуля Requests (при этом рекомендуется использовать библиотеку time, чтобы задать паузу между запросами). Далее — выгружайте данные с помощью Pandas в .csv-файл и исправляйте найденные ошибки.

Вывод


Тестирование сайтов — обязательная работа каждого SEO-специалиста. Это поможет не только найти ошибки на созданных страницах, но и посмотреть, как оптимизируют свои ресурсы ваши конкуренты. С одной стороны, есть много готовых платных сервисов, вполне успешно решающих эту задачу. А с другой — вы всегда можете воспользоваться бесплатными инструментами или создать собственные, которые в будущем можно не только развивать, но и монетизировать, предлагая свои услуги другим.