WebScraping.AI

WebScraping.AI — официальный MCP-сервер от webscraping-ai. Скрапинг с рендерингом JavaScript в Chromium, ротацией прокси и ответами на вопросы по странице. Лицензия NOASSERTION.

Опубликовано 13.11.2026 · Обновлено 14.11.2026 · Проверено 13.11.2026

Кратко о сервере

Разработчик
webscraping-ai
Лицензия
NOASSERTION
Транспорт
stdio
Авторизация
api_key
ОС
Не указана
Языки
javascript

Уровень риска: medium

Парсинг страниц через платный API WebScraping.AI с кредитами; облачная версия с OAuth.

Настройка клиентов

cursor
{
    "code": "{\n  \"servers\": {\n    \"webscraping-ai\": {\n      \"type\": \"command\",\n      \"command\": \"npx -y webscraping-ai-mcp\",\n      \"env\": {\n        \"WEBSCRAPING_AI_API_KEY\": \"your-api-key\",\n        \"WEBSCRAPING_AI_CONCURRENCY_LIMIT\": \"5\",\n        \"WEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXING\": \"true\"\n      }\n    }\n  }\n}",
    "file": ".cursor/mcp.json",
    "lang": "json",
    "verified": "docs"
}

Что умеет

WebScraping.AI MCP Server — открытая stdio-версия MCP-сервера для сервиса WebScraping.AI. Он извлекает данные с веб-страниц: рендерит JavaScript в Chromium, работает через ротируемые прокси (дата-центр, резидентные и «скрытные») и с помощью ИИ отвечает на вопросы о странице и извлекает структурированные поля. Есть и облачный вариант https://mcp.webscraping.ai/mcp с входом через OAuth, без ключа и локальной установки.

Инструменты (10):

  • webscraping_ai_question — ответ на вопрос о содержимом страницы;
  • webscraping_ai_fields — извлечение структурированных полей по описанию;
  • webscraping_ai_html — HTML с выполненным JavaScript;
  • webscraping_ai_text — чистый текст страницы;
  • webscraping_ai_selected и webscraping_ai_selected_multiple — содержимое по одному или нескольким CSS-селекторам;
  • webscraping_ai_serp — результаты поиска Google в виде JSON из выбранного местоположения, до 5 страниц за вызов, и webscraping_ai_serp_locations — список местоположений;
  • webscraping_ai_data — структурированный JSON для любой публичной страницы по её обычному адресу;
  • webscraping_ai_account — остаток вызовов и кредитов, дата сброса, доступная параллельность.

Общие параметры парсинга: таймаут (по умолчанию 15 секунд, максимум 30), включение JavaScript и время его рендеринга, ожидание CSS-селектора, тип прокси и страна (us, gb, de, it, fr, ca, es, ru, jp, kr, in), собственный прокси, эмуляция устройства (компьютер, телефон, планшет), ошибка при 404 или перенаправлении и выполнение собственного JavaScript на странице.

Надёжность: автоматические повторы при временных ошибках, обработка лимитов с паузами и подробные сообщения об ошибках.

Кому подойдёт

Разработчикам и аналитикам, которым нужно собирать данные с сайтов с защитой от ботов и динамической загрузкой. Похожие серверы — в категории браузер и парсинг.

Установка

Зарегистрируйтесь на webscraping.ai и получите API-ключ: есть пробный период без банковской карты. Запуск: env WEBSCRAPING_AI_API_KEY=your_api_key npx -y webscraping-ai-mcp или из исходников через npm install и npm start.

Необязательные переменные: WEBSCRAPING_AI_CONCURRENCY_LIMIT (параллельные запросы, по умолчанию 5), WEBSCRAPING_AI_DEFAULT_PROXY_TYPE (по умолчанию residential), WEBSCRAPING_AI_DEFAULT_JS_RENDERING, WEBSCRAPING_AI_DEFAULT_TIMEOUT и WEBSCRAPING_AI_DEFAULT_JS_TIMEOUT.

Подключение к клиентам

Конфиги приведены дословно из README. Подробнее — в инструкции как подключить MCP.

{
  "servers": {
    "webscraping-ai": {
      "type": "command",
      "command": "npx -y webscraping-ai-mcp",
      "env": {
        "WEBSCRAPING_AI_API_KEY": "your-api-key",
        "WEBSCRAPING_AI_CONCURRENCY_LIMIT": "5",
        "WEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXING": "true"
      }
    }
  }
}

Для Cursor (версия 0.45.6+) конфиг кладут в .cursor/mcp.json проекта или в ~/.cursor/mcp.json для всех проектов. Для Claude Desktop — в claude_desktop_config.json.

Проверка

Спросите: «Сколько кредитов осталось на моём аккаунте WebScraping.AI?»

Примеры задач

Какая цена указана на этой странице товара?
Покажи первые две страницы выдачи Google по запросу «кофемашины» из Германии.

Риски

  • Внедрение инструкций. Содержимое чужих страниц попадает к модели; переменная WEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXING=true оборачивает его пометкой внешнего контента (по умолчанию выключена, в примерах конфигов включена).
  • Расход кредитов. Каждый запрос тратит кредиты тарифа; резидентные и «скрытные» прокси дороже прокси дата-центров.
  • API-ключ хранится в конфиге клиента.

Частые вопросы

Можно ли обойтись без ключа?

Да, облачный сервер работает через вход в аккаунт по OAuth.

Выполняется ли JavaScript на страницах?

Да, по умолчанию в headless Chromium.

Как узнать остаток кредитов?

Через инструмент webscraping_ai_account.

Основы протокола — на странице что такое MCP-сервер.

Похожие MCP-серверы

browser-use

Браузерные агенты и облачные браузеры для ИИ: выполнение задач на сайтах, заполнение форм и извлечение данных.

Риск: medium Лицензия: MIT ★ 121 451

Fetch

Эталонный сервер для загрузки веб-страниц и их преобразования в удобный для модели текст.

Риск: medium Лицензия: NOASSERTION ★ 92 089

Chrome DevTools MCP

Chrome DevTools для агентов: управление Chrome, отладка, сеть, консоль и замеры производительности.

Риск: medium Лицензия: Apache-2.0 ★ 55 015

browser

Безголовый браузер для ИИ и веб-автоматизации со встроенным MCP-сервером.

Риск: medium Лицензия: AGPL-3.0 ★ 41 461

Источники