Open SEO Crawler

Open SEO Crawler — MCP-сервер сообщества (автор — puneetindersingh). Самостоятельно размещаемый SEO-краулер: аудит сайта и проверки ИИ-краулеров. Ставится через pip. Лицензия MIT.

Опубликовано 13.11.2026 · Обновлено 14.11.2026 · Проверено 13.11.2026

Кратко о сервере

Разработчик
puneetindersingh
Лицензия
MIT
Транспорт
stdio
Авторизация
none
ОС
Не указана
Языки
python

Уровень риска: high

Обходит указанные сайты и сохраняет отчёты xlsx на диск; результаты уходят в ИИ-приложение.

Настройка клиентов

claude-code
{
    "code": "claude mcp add --scope user open-seo-crawler -- ~/open-seo-crawler/venv/bin/python3 ~/open-seo-crawler/mcp_server.py",
    "lang": "bash",
    "notes": "Краулер должен быть запущен",
    "verified": "docs"
}

Что умеет

Open SEO Crawler — бесплатный открытый SEO-краулер, который работает локально. Он проводит технический SEO-аудит любого сайта без аккаунтов, ключей API, облака и ограничений на число адресов. Автор позиционирует его как замену Screaming Frog, Sitebulb и Ahrefs Site Audit. В репозитории есть MCP-сервер и утилита командной строки: ассистент запускает обходы, читает найденные проблемы и открывает любую страницу, не заходя в браузер. Сам краулер ИИ не вызывает — это ассистент вызывает краулер.

Обход сайта: по умолчанию 5 параллельных потоков (настраивается от 1 до 20) с вежливой задержкой для каждого хоста. Краулер распознаёт CMS (Shopify, WordPress с Yoast или Rank Math, Webflow, Wix, Squarespace, Ghost, Drupal, HubSpot, Joomla и другие) и сам предлагает подходящие настройки. Есть повторы с нарастающей задержкой, анализ sitemap, поиск почти одинаковых страниц, учёт robots.txt, шаблоны включения и исключения, необязательный рендеринг JavaScript через Playwright и защита от ловушек с бесконечными адресами.

Что проверяется на странице: заголовки, мета-описания, H1, канонические ссылки, разметка Schema.org, Open Graph, тонкий контент (меньше 200 слов), медленный ответ (больше 3 секунд), редиректы и их цепочки, ошибки HTTP, индексируемость, hreflang, viewport, смешанный контент, гигиена адресов, изображения без alt, заголовки безопасности и глубоко вложенные страницы.

Проверка ИИ-краулеров. После обхода часть страниц запрашивается от имени Googlebot, Bingbot, Applebot и ИИ-краулеров с опубликованным user agent (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, CCBot). Так видно, где краулер заблокирован, получает проверку CDN, перенаправлен или видит другой контент.

Инструменты MCP: start_crawl, crawl_status, stop_crawl, list_crawls (сохранённые обходы за 30 дней), crawl_summary, get_pages, get_page, get_brief, compare_crawls, bot_check, check_robots, detect_cms и export_xlsx. Есть также промпт seo_audit.

Кому подойдёт

  • SEO-специалистам — регулярный аудит сайтов клиентов.
  • Веб-разработчикам и владельцам сайтов, которым нужен аудит без облачных сервисов.

Похожие серверы — в категории маркетинг и соцсети.

Установка

Нужен Python 3.10+. Склонируйте репозиторий, создайте виртуальное окружение, установите зависимости и запустите python3 app.py — интерфейс откроется на http://localhost:5002/. Есть однострочные установщики для Linux, macOS и Windows с автозапуском и ежедневным обновлением. MCP-сервер работает с уже запущенным краулером. Команда osc.py setup выводит точную команду и конфиг для вашей машины.

Подключение к клиентам

Конфиги приведены дословно из README; подставьте пути, которые вывела команда osc.py setup. Подробнее — в инструкции как подключить MCP.

claude mcp add --scope user open-seo-crawler -- ~/open-seo-crawler/venv/bin/python3 ~/open-seo-crawler/mcp_server.py

В Claude Code после добавления выполните /mcp. В Claude Desktop откройте Settings → Developer → Edit Config, добавьте блок в claude_desktop_config.json и перезапустите приложение; есть и расширение .mcpb для установки в один клик. Если краулер работает на другом порту или компьютере, задайте OSC_URL.

Проверка

Попросите ассистента обойти example.com на 100 страниц и назвать десять самых важных исправлений.

Примеры задач

Сравни два последних обхода моего сайта и покажи, что изменилось.
Проверь, могут ли GPTBot и PerplexityBot прочитать мою главную страницу.

Риски

  • Нагрузка на чужие сайты. README напоминает: соблюдайте robots.txt, лимиты частоты и условия использования сайтов.
  • Данные уходят к модели. Всё, что возвращают инструменты (адреса, заголовки, часть текста страниц), попадает в ваше ИИ-приложение и к провайдеру его модели.
  • Запись файлов. export_xlsx сохраняет отчёт по выбранному пути.

Частые вопросы

Отправляет ли краулер данные куда-то?

Нет: телеметрии нет, запросы идут только к сайту, который вы обходите, и к GitHub для проверки обновлений.

Нужен ли запущенный краулер?

Да, MCP-сервер работает с краулером на порту 5002.

Какая лицензия?

MIT.

Основы протокола — на странице что такое MCP-сервер.

Похожие MCP-серверы

browser-use

Браузерные агенты и облачные браузеры для ИИ: выполнение задач на сайтах, заполнение форм и извлечение данных.

Риск: medium Лицензия: MIT ★ 121 451

Fetch

Эталонный сервер для загрузки веб-страниц и их преобразования в удобный для модели текст.

Риск: medium Лицензия: NOASSERTION ★ 92 089

Chrome DevTools MCP

Chrome DevTools для агентов: управление Chrome, отладка, сеть, консоль и замеры производительности.

Риск: medium Лицензия: Apache-2.0 ★ 55 015

browser

Безголовый браузер для ИИ и веб-автоматизации со встроенным MCP-сервером.

Риск: medium Лицензия: AGPL-3.0 ★ 41 461

Источники