PyScrappy

PyScrappy — MCP-сервер сообщества (автор — mldsveda). Набор для веб-скрапинга: 22 инструмента с выводом в JSON. Ставится через pip. Лицензия MIT.

Опубликовано 13.11.2026 · Обновлено 14.11.2026 · Проверено 13.11.2026

Кратко о сервере

Разработчик
mldsveda
Лицензия
MIT
Транспорт
stdio
Авторизация
none
ОС
Не указана
Языки
python

Уровень риска: medium

Обращается к любым сайтам по запросу агента, умеет обходить антибот-фильтры; опциональные ключи OMDb и сервисов скрапинга.

Настройка клиентов

claude-code
{
    "code": "claude mcp add pyscrappy pyscrappy-mcp",
    "lang": "bash",
    "notes": "Дословно из README",
    "verified": "docs"
}

Что умеет

PyScrappy — набор инструментов для веб-скрапинга на Python, который превращает сайты в структурированные данные, готовые для языковых моделей. Его можно использовать как библиотеку или запустить как MCP-сервер, чтобы ИИ-агент (Claude, Cursor, локальные модели) забирал данные с любого адреса и сразу передавал их модели.

Возможности по README:

  • универсальный скрапер: по любому адресу возвращает текст, ссылки, изображения, таблицы и метаданные, а результат переводится в чистый Markdown, JSON или таблицу;
  • отрисовка JavaScript через Playwright для сайтов, которые строят страницу в браузере;
  • свои селекторы CSS и XPath, а также «самовосстанавливающиеся» селекторы, которые находят элемент по сходству, когда сайт меняет разметку;
  • параллельный скрапинг, обход сайта по sitemap.xml, повторы с экспоненциальной задержкой и ограничение частоты запросов к домену;
  • прокси и сервисы скрапинга (ScraperAPI, ScrapeOps), а также имитация отпечатка TLS браузера Chrome для обхода антибот-фильтров;
  • 24 встроенных скрапера: Википедия, котировки акций Yahoo Finance, новости из RSS, GitHub, Hacker News, погода, криптовалюты, курсы валют, словарь, YouTube, Amazon, IKEA и другие.

MCP-сервер даёт более 20 инструментов. Самые востребованные — scrape_url, scrape_wikipedia, scrape_stock, scrape_news и search_github; полный актуальный список возвращает list_available_scrapers. Каждый встроенный скрапер, которому не нужен прокси, доступен как инструмент MCP.

Кому подойдёт

  • Аналитикам и исследователям, которым нужны данные с сайтов прямо в диалоге с агентом.
  • Разработчикам, которые собирают данные для моделей и хотят получать их сразу в Markdown.

Похожие серверы — в категории браузер и парсинг.

Установка

MCP-сервер ставится отдельным дополнением и требует Python 3.10 или новее:

pip install 'pyscrappy[mcp]'

Появится команда pyscrappy-mcp. По умолчанию она работает через stdio, флаг --http включает потоковый HTTP, а --sse — устаревший SSE. Для сайтов на JavaScript поставьте дополнение pyscrappy[browser] и выполните playwright install chromium; для имитации TLS — pyscrappy[stealth]. Инструменту lookup_movie нужен бесплатный ключ OMDb в переменной OMDB_API_KEY.

Подключение к клиентам

Конфиги приведены дословно из README. Подробнее — в инструкции как подключить MCP.

claude mcp add pyscrappy pyscrappy-mcp

Для Claude Desktop конфиг добавляют в claude_desktop_config.json и перезапускают приложение. Claude Desktop не наследует PATH из оболочки, поэтому, если команда не находится, укажите абсолютный путь — его покажет which pyscrappy-mcp.

Проверка

Попросите агента вызвать list_available_scrapers, а затем, например, получить свежие заголовки с новостного сайта и котировку акции.

Примеры задач

Используй pyscrappy, чтобы кратко пересказать главные заголовки с bbc.com.
Собери таблицу со страницы Википедии о крупнейших городах Европы и выведи её в Markdown.

Риски

  • Сетевые запросы. Сервер обращается к любым сайтам, которые укажет агент. Соблюдайте условия использования сайтов и законы о сборе данных, особенно для персональных данных.
  • Обход защиты. Имитация отпечатка TLS и прокси предназначены для обхода антибот-фильтров; их применение может нарушать правила сайтов. Используйте их только там, где это разрешено.
  • Ключи и платные сервисы. Ключ OMDb и учётные данные ScraperAPI или ScrapeOps храните в переменных окружения; платные сервисы скрапинга тарифицируются по их условиям.
  • Недоверенный контент. Текст страниц попадает в контекст агента и может содержать попытки повлиять на его поведение.

Частые вопросы

Работает ли MCP-сервер на Python 3.9?

Нет. Сама библиотека на Python 3.9 работает, но MCP-серверу нужен Python 3.10 или новее.

Можно ли скрапить Instagram или Twitter?

Скраперы для них есть, но эти сайты блокируют запросы и требуют прокси, поэтому как инструменты MCP они не доступны.

Основы протокола — на странице что такое MCP-сервер.

Похожие MCP-серверы

browser-use

Браузерные агенты и облачные браузеры для ИИ: выполнение задач на сайтах, заполнение форм и извлечение данных.

Риск: medium Лицензия: MIT ★ 121 451

Fetch

Эталонный сервер для загрузки веб-страниц и их преобразования в удобный для модели текст.

Риск: medium Лицензия: NOASSERTION ★ 92 089

Chrome DevTools MCP

Chrome DevTools для агентов: управление Chrome, отладка, сеть, консоль и замеры производительности.

Риск: medium Лицензия: Apache-2.0 ★ 55 015

browser

Безголовый браузер для ИИ и веб-автоматизации со встроенным MCP-сервером.

Риск: medium Лицензия: AGPL-3.0 ★ 41 461

Источники