Handsy AI

Handsy AI — MCP-сервер сообщества (автор — onehumanbeing). Управление настоящим iPhone через USB HID на ESP32-S3 и AirPlay без джейлбрейка. Лицензия MIT.

Опубликовано 13.11.2026 · Обновлено 13.11.2026 · Проверено 13.11.2026

Кратко о сервере

Разработчик
onehumanbeing
Лицензия
MIT
Транспорт
stdio
Авторизация
api_key
ОС
Не указана
Языки
swift

Уровень риска: high

Управляет настоящим iPhone от имени пользователя; скриншоты экрана уходят в выбранную модель.

Настройка клиентов

cursor
{
    "code": "{\n  \"mcpServers\": {\n    \"esp32agent\": {\n      \"command\": \"npx\",\n      \"args\": [\"-y\", \"esp32agent\", \"mcp\"]\n    }\n  }\n}",
    "lang": "json",
    "notes": "Дословно из README (общий конфиг для Cursor и Cline)",
    "verified": "docs"
}

Что умеет

ESP32 iPhone Agent позволяет ИИ управлять настоящим iPhone через недорогую плату ESP32, подключённую к телефону. Агент смотрит на экран, а затем нажимает, листает и вводит текст. Компьютер для этого не нужен, iOS не модифицируется. Утилита esp32agent работает как MCP-сервер: агент для программирования на компьютере видит экран iPhone и управляет им через плату.

Как это устроено:

  • Зрение — AirPlay на плату. Плата поднимает свою точку доступа Wi-Fi и появляется в списке «Повтор экрана» на телефоне. Экран транслируется в разрешении 480×1040, до 5 кадров в секунду.
  • Руки — USB HID. Плата работает как обычные мышь и клавиатура. При включённом AssistiveTouch мышь двигает указатель, а приложение само калибрует его и уточняет положение перед точными нажатиями.
  • Мозг — приложение. Приложение на iPhone отправляет скриншоты в любую визуальную модель с OpenAI-совместимым API (vLLM, SGLang, llama.cpp, Ollama или облачные API) и выполняет цикл агента.
  • Звук. Плата передаёт звук AirPlay, а iPhone переводит его в текст, так что работают упражнения на слух и голосовые подсказки.
  • Длинные задачи и просмотр. Ограничения в 40 шагов нет, остановленный запуск можно продолжить, а каждый запуск — пошагово просмотреть с отрисованными нажатиями.

Кому подойдёт

  • Разработчикам и тестировщикам iOS-приложений: агент проходит сценарии на реальном устройстве без Xcode и режима разработчика.
  • Энтузиастам автоматизации: рутинные действия на телефоне по текстовой команде, в том числе через Siri и «Быстрые команды».
  • Исследователям агентов: открытые промпты и журнал вызовов модели.

Похожие серверы — в категории автоматизация и IoT.

Установка

  1. Прошейте плату ESP32: через arduino-cli и скрипт hardware/flash.sh или прямо из браузера Chrome или Edge по USB.
  2. Установите приложение ESP32 Agent из бета-версии TestFlight или соберите его сами в Xcode.
  3. Подключите плату к iPhone и пройдите настройку в приложении: Bluetooth, Wi-Fi платы и «Повтор экрана», AssistiveTouch, адрес и ключ модели (ключ хранится в Связке ключей).

Для работы из агента на компьютере нужна прошивка платы v0.2.2 или новее. Сервер запускается через npx -y esp32agent mcp. В Claude Code проект можно поставить и как плагин с MCP-сервером и навыком.

Подключение к клиентам

Команда и конфиг приведены дословно из README. Тот же блок mcpServers подходит для Cline и других клиентов. Общий порядок — в инструкции как подключить MCP.

claude mcp add esp32agent -- npx -y esp32agent mcp

Проверка

Дайте простое задание, например «Открой Настройки и перейди в Wi-Fi», и проследите, как указатель двигается по экрану iPhone.

Примеры задач

Открой Настройки на iPhone и перейди в раздел Wi-Fi.
Запусти моё тестовое приложение на iPhone и пройди сценарий регистрации.

Риски

Агент получает управление настоящим телефоном: может открывать приложения, нажимать кнопки и вводить текст от вашего имени. Скриншоты экрана отправляются в выбранную модель — если она облачная, они уходят на её сервер. Пока агент работает, Wi-Fi телефона подключён к точке доступа платы без интернета. iOS не транслирует некоторые экраны, например ввод кода-пароля и защищённое видео, — агент их не видит.

Как снизить риски: для приватных данных используйте локальную модель, следите за выполнением и останавливайте задачу из Dynamic Island. Авторы предупреждают: выполняйте только шаги установки из README и никогда не запускайте команды из issues и комментариев. Лицензия — MIT.

Частые вопросы

Нужен ли компьютер?

Для работы самого агента — нет: всё делают плата и приложение на iPhone. Компьютер нужен только для прошивки платы и для управления из агента для программирования через MCP.

Работает ли трансляция экрана с Mac?

Нет. Источником AirPlay должен быть iPhone. Повтор экрана из macOS не поддерживается.

Основы протокола — на странице что такое MCP-сервер.

Похожие MCP-серверы

markitdown-mcp

Конвертация файлов разных форматов, локальных и по ссылке, в Markdown для моделей с помощью MarkItDown.

Риск: medium Лицензия: MIT ★ 196 722

puter

Работа с Puter: управление файлами, сайтами, воркерами и другими ресурсами.

Риск: medium Лицензия: AGPL-3.0 ★ 44 148

filesystem

Сервер из UI-TARS-desktop для доступа к файловой системе.

Риск: high Лицензия: Apache-2.0 ★ 39 555

claude-real-video

Локальный просмотр видео моделью и поиск по просмотренному.

Риск: high Лицензия: MIT ★ 2 295

Источники