WebScraping.AI
WebScraping.AI — официальный MCP-сервер от webscraping-ai. Скрапинг с рендерингом JavaScript в Chromium, ротацией прокси и ответами на вопросы по странице. Лицензия NOASSERTION.
Опубликовано 13.11.2026 · Обновлено 14.11.2026 · Проверено 13.11.2026
Кратко о сервере
- Разработчик
- webscraping-ai
- Лицензия
- NOASSERTION
- Транспорт
- stdio
- Авторизация
- api_key
- ОС
- Не указана
- Языки
- javascript
Уровень риска: medium
Парсинг страниц через платный API WebScraping.AI с кредитами; облачная версия с OAuth.
Настройка клиентов
{
"code": "{\n \"servers\": {\n \"webscraping-ai\": {\n \"type\": \"command\",\n \"command\": \"npx -y webscraping-ai-mcp\",\n \"env\": {\n \"WEBSCRAPING_AI_API_KEY\": \"your-api-key\",\n \"WEBSCRAPING_AI_CONCURRENCY_LIMIT\": \"5\",\n \"WEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXING\": \"true\"\n }\n }\n }\n}",
"file": ".cursor/mcp.json",
"lang": "json",
"verified": "docs"
}
Что умеет
WebScraping.AI MCP Server — открытая stdio-версия MCP-сервера для сервиса WebScraping.AI. Он извлекает данные с веб-страниц: рендерит JavaScript в Chromium, работает через ротируемые прокси (дата-центр, резидентные и «скрытные») и с помощью ИИ отвечает на вопросы о странице и извлекает структурированные поля. Есть и облачный вариант https://mcp.webscraping.ai/mcp с входом через OAuth, без ключа и локальной установки.
Инструменты (10):
webscraping_ai_question— ответ на вопрос о содержимом страницы;webscraping_ai_fields— извлечение структурированных полей по описанию;webscraping_ai_html— HTML с выполненным JavaScript;webscraping_ai_text— чистый текст страницы;webscraping_ai_selectedиwebscraping_ai_selected_multiple— содержимое по одному или нескольким CSS-селекторам;webscraping_ai_serp— результаты поиска Google в виде JSON из выбранного местоположения, до 5 страниц за вызов, иwebscraping_ai_serp_locations— список местоположений;webscraping_ai_data— структурированный JSON для любой публичной страницы по её обычному адресу;webscraping_ai_account— остаток вызовов и кредитов, дата сброса, доступная параллельность.
Общие параметры парсинга: таймаут (по умолчанию 15 секунд, максимум 30), включение JavaScript и время его рендеринга, ожидание CSS-селектора, тип прокси и страна (us, gb, de, it, fr, ca, es, ru, jp, kr, in), собственный прокси, эмуляция устройства (компьютер, телефон, планшет), ошибка при 404 или перенаправлении и выполнение собственного JavaScript на странице.
Надёжность: автоматические повторы при временных ошибках, обработка лимитов с паузами и подробные сообщения об ошибках.
Кому подойдёт
Разработчикам и аналитикам, которым нужно собирать данные с сайтов с защитой от ботов и динамической загрузкой. Похожие серверы — в категории браузер и парсинг.
Установка
Зарегистрируйтесь на webscraping.ai и получите API-ключ: есть пробный период без банковской карты. Запуск: env WEBSCRAPING_AI_API_KEY=your_api_key npx -y webscraping-ai-mcp или из исходников через npm install и npm start.
Необязательные переменные: WEBSCRAPING_AI_CONCURRENCY_LIMIT (параллельные запросы, по умолчанию 5), WEBSCRAPING_AI_DEFAULT_PROXY_TYPE (по умолчанию residential), WEBSCRAPING_AI_DEFAULT_JS_RENDERING, WEBSCRAPING_AI_DEFAULT_TIMEOUT и WEBSCRAPING_AI_DEFAULT_JS_TIMEOUT.
Подключение к клиентам
Конфиги приведены дословно из README. Подробнее — в инструкции как подключить MCP.
{
"servers": {
"webscraping-ai": {
"type": "command",
"command": "npx -y webscraping-ai-mcp",
"env": {
"WEBSCRAPING_AI_API_KEY": "your-api-key",
"WEBSCRAPING_AI_CONCURRENCY_LIMIT": "5",
"WEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXING": "true"
}
}
}
}Для Cursor (версия 0.45.6+) конфиг кладут в .cursor/mcp.json проекта или в ~/.cursor/mcp.json для всех проектов. Для Claude Desktop — в claude_desktop_config.json.
Проверка
Спросите: «Сколько кредитов осталось на моём аккаунте WebScraping.AI?»
Примеры задач
Какая цена указана на этой странице товара?Покажи первые две страницы выдачи Google по запросу «кофемашины» из Германии.Риски
- Внедрение инструкций. Содержимое чужих страниц попадает к модели; переменная
WEBSCRAPING_AI_ENABLE_CONTENT_SANDBOXING=trueоборачивает его пометкой внешнего контента (по умолчанию выключена, в примерах конфигов включена). - Расход кредитов. Каждый запрос тратит кредиты тарифа; резидентные и «скрытные» прокси дороже прокси дата-центров.
- API-ключ хранится в конфиге клиента.
Частые вопросы
Можно ли обойтись без ключа?
Да, облачный сервер работает через вход в аккаунт по OAuth.
Выполняется ли JavaScript на страницах?
Да, по умолчанию в headless Chromium.
Как узнать остаток кредитов?
Через инструмент webscraping_ai_account.
Основы протокола — на странице что такое MCP-сервер.
Похожие MCP-серверы
browser-use
Браузерные агенты и облачные браузеры для ИИ: выполнение задач на сайтах, заполнение форм и извлечение данных.
Fetch
Эталонный сервер для загрузки веб-страниц и их преобразования в удобный для модели текст.
Chrome DevTools MCP
Chrome DevTools для агентов: управление Chrome, отладка, сеть, консоль и замеры производительности.
browser
Безголовый браузер для ИИ и веб-автоматизации со встроенным MCP-сервером.