searxNcrawl

searxNcrawl — MCP-сервер сообщества (автор — DasDigitaleMomentum). Поиск через SearXNG или You.com и чистый Markdown через Crawl4AI. Ставится через uvx. Лицензия MIT.

Опубликовано 13.11.2026 · Обновлено 14.11.2026 · Проверено 13.11.2026

Кратко о сервере

Разработчик
DasDigitaleMomentum
Лицензия
MIT
Транспорт
stdio
Авторизация
none
ОС
linux, macos, windows
Языки
python

Уровень риска: medium

Обходит сайты и обращается к поисковым сервисам; файлы сессий входа содержат cookie.

Настройка клиентов

codex
{
    "code": "codex mcp add searxncrawl --env SEARXNG_URL=http://localhost:8888 -- uvx searxncrawl",
    "lang": "bash",
    "notes": "SEARXNG_URL — адрес вашего SearXNG",
    "verified": "docs"
}

Что умеет

searxNcrawl — открытый MCP-сервер и набор консольных утилит, которые дают ИИ-агентам веб-поиск и чистое извлечение страниц в Markdown. Сервер построен на Crawl4AI: поиск идёт через ваш экземпляр SearXNG и/или API You.com, а страницы отрисовываются в Chromium через Playwright, поэтому контент на JavaScript тоже попадает в результат.

Три MCP-инструмента:

  • search — параллельно опрашивает настроенные поисковые сервисы и возвращает один объединённый список без дублей с указанием источника каждого результата. Фильтры: язык, период, безопасный поиск, страницы, а для SearXNG ещё категории и движки. С параметром include_content возвращает и текст найденных страниц.
  • crawl — отрисовывает один или несколько адресов и возвращает Markdown или JSON с метаданными и ссылками.
  • crawl_site — обходит сайт от начального адреса с ограничениями по глубине, числу страниц и времени; настроен под сайты документации.

Оба инструмента обхода убирают повторяющиеся блоки страницы (dedup_mode="exact"), умеют вырезать ссылки ради экономии контекста (remove_links) и принимают файл storage_state Playwright для страниц за логином. Сессию входа один раз захватывает утилита crawl-capture.

Поиск и обход доступны также из командной строки (crawl, search, crawl-capture) и как Python API.

Кому подойдёт

  • Разработчикам, которым агент должен находить и читать документацию в чистом Markdown.
  • Тем, кто не хочет платить за каждый запрос: с собственным SearXNG вызовы бесплатны и идут через ваше оборудование.
  • Командам с закрытыми экземплярами SearXNG и сайтами за авторизацией.

Похожие серверы — в категории браузер и парсинг.

Установка

Нужен uv. Для инструмента search нужен хотя бы один поисковый сервис: экземпляр SearXNG с включённым JSON-выводом (search.formats в settings.yml) и/или ключ You.com в YDC_API_KEY. Инструменты обхода работают без поисковых сервисов. Первый обход скачивает Chromium для Playwright — около 550 МБ на диске.

Проще всего выполнить uvx searxncrawl setup: команда находит Claude Code, Codex, Gemini CLI, Cursor, VS Code и Claude Desktop, спрашивает адрес SearXNG и при желании ключ You.com (ввод скрыт), показывает каждое изменение конфигов и применяет его только после подтверждения, предварительно сделав резервную копию. Для Claude Desktop есть пакет .mcpb в релизах.

Для закрытого SearXNG переменная SEARXNG_EXTRA_HEADERS добавляет заголовки к запросам; значения вида @~/.config/searxncrawl/cf_secret читают секреты из файлов.

Подключение к клиентам

Команды и конфиг приведены дословно из README. Подробнее — в инструкции как подключить MCP.

claude mcp add searxncrawl --env SEARXNG_URL=http://localhost:8888 -- uvx searxncrawl

Примеры предполагают SearXNG на http://localhost:8888; поменяйте SEARXNG_URL, если он работает в другом месте. Для Cursor JSON кладут в ~/.cursor/mcp.json; тот же формат подходит для Claude Desktop и других клиентов с mcpServers.

Проверка

Попросите агента найти краткое руководство Crawl4AI, открыть официальную страницу и пересказать, как запустить первый обход. Он вызовет search, затем crawl.

Примеры задач

Найди документацию по настройке SearXNG и собери из неё короткую инструкцию.
Обойди раздел документации этой библиотеки на глубину 2 и составь оглавление.

Риски

  • Сеть. Сервер ходит на произвольные сайты и в поисковые сервисы; запросы к You.com уходят в You.com.
  • Сессии входа. Файл storage_state содержит cookie авторизованной сессии — храните его как пароль.
  • Чтение файлов. Секреты для заголовков могут читаться из файлов по указанным путям.
  • HTTP-режим. Для общего доступа по HTTP используйте прокси с TLS и аутентификацией и включите проверку Host и Origin через FASTMCP_HTTP_HOST_ORIGIN_PROTECTION=true; списки разрешённых адресов сами по себе не проверяют вызывающих.

Частые вопросы

Обязательно ли нужен SearXNG?

Только для поиска и только если вы не используете You.com; обход страниц работает без него.

Почему первый обход такой медленный?

Скачивается Chromium для Playwright, около 550 МБ; дальше он используется повторно.

Можно ли запустить сервер для команды?

Да, с --transport http или через Docker Compose, но за прокси с аутентификацией.

Основы протокола — на странице что такое MCP-сервер.

Похожие MCP-серверы

browser-use

Браузерные агенты и облачные браузеры для ИИ: выполнение задач на сайтах, заполнение форм и извлечение данных.

Риск: medium Лицензия: MIT ★ 121 451

Fetch

Эталонный сервер для загрузки веб-страниц и их преобразования в удобный для модели текст.

Риск: medium Лицензия: NOASSERTION ★ 92 089

Chrome DevTools MCP

Chrome DevTools для агентов: управление Chrome, отладка, сеть, консоль и замеры производительности.

Риск: medium Лицензия: Apache-2.0 ★ 55 015

browser

Безголовый браузер для ИИ и веб-автоматизации со встроенным MCP-сервером.

Риск: medium Лицензия: AGPL-3.0 ★ 41 461

Источники