Open SEO Crawler
Open SEO Crawler — MCP-сервер сообщества (автор — puneetindersingh). Самостоятельно размещаемый SEO-краулер: аудит сайта и проверки ИИ-краулеров. Ставится через pip. Лицензия MIT.
Опубликовано 13.11.2026 · Обновлено 14.11.2026 · Проверено 13.11.2026
Кратко о сервере
- Разработчик
- puneetindersingh
- Лицензия
- MIT
- Транспорт
- stdio
- Авторизация
- none
- ОС
- Не указана
- Языки
- python
Уровень риска: high
Обходит указанные сайты и сохраняет отчёты xlsx на диск; результаты уходят в ИИ-приложение.
Настройка клиентов
{
"code": "claude mcp add --scope user open-seo-crawler -- ~/open-seo-crawler/venv/bin/python3 ~/open-seo-crawler/mcp_server.py",
"lang": "bash",
"notes": "Краулер должен быть запущен",
"verified": "docs"
}
Что умеет
Open SEO Crawler — бесплатный открытый SEO-краулер, который работает локально. Он проводит технический SEO-аудит любого сайта без аккаунтов, ключей API, облака и ограничений на число адресов. Автор позиционирует его как замену Screaming Frog, Sitebulb и Ahrefs Site Audit. В репозитории есть MCP-сервер и утилита командной строки: ассистент запускает обходы, читает найденные проблемы и открывает любую страницу, не заходя в браузер. Сам краулер ИИ не вызывает — это ассистент вызывает краулер.
Обход сайта: по умолчанию 5 параллельных потоков (настраивается от 1 до 20) с вежливой задержкой для каждого хоста. Краулер распознаёт CMS (Shopify, WordPress с Yoast или Rank Math, Webflow, Wix, Squarespace, Ghost, Drupal, HubSpot, Joomla и другие) и сам предлагает подходящие настройки. Есть повторы с нарастающей задержкой, анализ sitemap, поиск почти одинаковых страниц, учёт robots.txt, шаблоны включения и исключения, необязательный рендеринг JavaScript через Playwright и защита от ловушек с бесконечными адресами.
Что проверяется на странице: заголовки, мета-описания, H1, канонические ссылки, разметка Schema.org, Open Graph, тонкий контент (меньше 200 слов), медленный ответ (больше 3 секунд), редиректы и их цепочки, ошибки HTTP, индексируемость, hreflang, viewport, смешанный контент, гигиена адресов, изображения без alt, заголовки безопасности и глубоко вложенные страницы.
Проверка ИИ-краулеров. После обхода часть страниц запрашивается от имени Googlebot, Bingbot, Applebot и ИИ-краулеров с опубликованным user agent (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, CCBot). Так видно, где краулер заблокирован, получает проверку CDN, перенаправлен или видит другой контент.
Инструменты MCP: start_crawl, crawl_status, stop_crawl, list_crawls (сохранённые обходы за 30 дней), crawl_summary, get_pages, get_page, get_brief, compare_crawls, bot_check, check_robots, detect_cms и export_xlsx. Есть также промпт seo_audit.
Кому подойдёт
- SEO-специалистам — регулярный аудит сайтов клиентов.
- Веб-разработчикам и владельцам сайтов, которым нужен аудит без облачных сервисов.
Похожие серверы — в категории маркетинг и соцсети.
Установка
Нужен Python 3.10+. Склонируйте репозиторий, создайте виртуальное окружение, установите зависимости и запустите python3 app.py — интерфейс откроется на http://localhost:5002/. Есть однострочные установщики для Linux, macOS и Windows с автозапуском и ежедневным обновлением. MCP-сервер работает с уже запущенным краулером. Команда osc.py setup выводит точную команду и конфиг для вашей машины.
Подключение к клиентам
Конфиги приведены дословно из README; подставьте пути, которые вывела команда osc.py setup. Подробнее — в инструкции как подключить MCP.
claude mcp add --scope user open-seo-crawler -- ~/open-seo-crawler/venv/bin/python3 ~/open-seo-crawler/mcp_server.pyВ Claude Code после добавления выполните /mcp. В Claude Desktop откройте Settings → Developer → Edit Config, добавьте блок в claude_desktop_config.json и перезапустите приложение; есть и расширение .mcpb для установки в один клик. Если краулер работает на другом порту или компьютере, задайте OSC_URL.
Проверка
Попросите ассистента обойти example.com на 100 страниц и назвать десять самых важных исправлений.
Примеры задач
Сравни два последних обхода моего сайта и покажи, что изменилось.Проверь, могут ли GPTBot и PerplexityBot прочитать мою главную страницу.Риски
- Нагрузка на чужие сайты. README напоминает: соблюдайте robots.txt, лимиты частоты и условия использования сайтов.
- Данные уходят к модели. Всё, что возвращают инструменты (адреса, заголовки, часть текста страниц), попадает в ваше ИИ-приложение и к провайдеру его модели.
- Запись файлов.
export_xlsxсохраняет отчёт по выбранному пути.
Частые вопросы
Отправляет ли краулер данные куда-то?
Нет: телеметрии нет, запросы идут только к сайту, который вы обходите, и к GitHub для проверки обновлений.
Нужен ли запущенный краулер?
Да, MCP-сервер работает с краулером на порту 5002.
Какая лицензия?
MIT.
Основы протокола — на странице что такое MCP-сервер.
Похожие MCP-серверы
browser-use
Браузерные агенты и облачные браузеры для ИИ: выполнение задач на сайтах, заполнение форм и извлечение данных.
Fetch
Эталонный сервер для загрузки веб-страниц и их преобразования в удобный для модели текст.
Chrome DevTools MCP
Chrome DevTools для агентов: управление Chrome, отладка, сеть, консоль и замеры производительности.
browser
Безголовый браузер для ИИ и веб-автоматизации со встроенным MCP-сервером.