Codemann — когда автоматизация Windows становится программированием
Когда-то довольно популярной была программа Clickermann — небольшой и удобный инструмент для автоматизации действий на компьютере. Я и сам периодически им пользовался: открыл программу, написал несколько команд — и готово.
Но время шло, автор перестал поддерживать Clickermann, а некоторые возможности устарели. Например, поддержка HTTPS со временем полностью «отвалилась». Да и в целом мне всё чаще не хватало каких-то мелочей, которые постепенно перестали быть мелочами. Плагины в виде DLL помогали не во всех ситуациях, а хотелось, чтобы многое было доступно прямо из сценария.
Так появилась идея написать собственный аналог — со своими возможностями, инструментами и, конечно, «хотелками». Но с оглядкой на интерфейс старого, лампового Clickermann.
В основе программы — собственный интерпретируемый язык. Я старался сделать его достаточно простым для чтения и написания, но при этом не ограничивать пользователя несколькими десятками команд. На момент написания статьи в программе доступно 493 команды, 305 функций, 132 значения и системные переменные, а также 8 директив. Если же и этого окажется мало, можно написать собственную DLL и вызвать её из сценария.
У программы есть графическая версия (GUI) и консольная (CLI), обе — для x86 и x64.
За работу с HTTP(S) отвечает компонент ICS (Internet Component Suite 9.7)
Редактор построен на компоненте SynEdit.
Программа распространяется как Freeware.
Томить не буду, перечисляю, что есть и что помню =)
Главное окно
Да, оно маленькое. =) Концепция простая, мне понравился минимализм и не перегруженность главного интерфейса. Здесь достаточно Запуска/Паузы/Останова скрипта, управление Планировщиком, ну и Рекордер, чтобы быстро записать свои движения, клики, нажатия и ввод текста. После записи можно посмотреть траекторию мыши, отредактировать карту перемещений и действий, изменить паузы. Получается заготовка, которую при желании можно превратить в более умный сценарий.
Окно лога
Небольшое окно, запоминающее размеры и положение. Сюда попадают сообщения PRINT и LOG, а также ошибки выполнения.
Для короткого сценария достаточно последней строки, но в большом проекте сообщения «произошла ошибка» мало. Поэтому по отдельной кнопке можно открыть подробности: место ошибки, стек вызовов и значения переменных.
Редактор
Это почти центр “управлениями полётов”, здесь сосредоточено всё. При создании, было максимально всё проработано для удобства написания, отладки и взаимодействия с отладчиком.
Начну с простого примера. Представим, что сценарий должен нажимать кнопку в программе, но обычные координаты не подходят: окно можно переместить, а сама кнопка иногда оказывается в другом месте. В редакторе есть инструмент Снимок области: выделяем нужный фрагмент экрана, сохраняем его как BMP, PNG или JPG и сразу вставляем в код команду для поиска этого изображения. Не нужно отдельно делать снимок, обрезать его в графическом редакторе и вручную набирать все параметры.
Можно быстро вставить в код координаты X и Y, узнать цвет пикселя в форматах DEC, RGB или HEX, воспользоваться «Лупой» с увеличением. Экономия несколько секунд, но в целом работы набегает прилично.
Встроенный конвертер позволяет перенести скрипты от Clickermann в формат Codemann. Правда, сложные сценарии после преобразования лучше проверять: языки написания похожи, но не идентичны.
В остальном здесь есть привычные инструменты редактора кода: поиск и замена, Undo/Redo, комментирование выделенного блока, автоматическая расстановка отступов для всего файла или выделенной части, перенос длинных строк, подсветка текущей строки, номера строк и настройка шрифта. Команды и функции вставляются из каталога, а часто используемые последовательности можно оформить в собственные шаблоны.
Отдельно отмечу сохранение сеанса. Допустим, открыт главный сценарий, несколько include файлов и текстовые или INI вкладки. Сохраняем сеанс — и в следующий раз возвращаемся к тому же набору файлов, активной вкладке и положению курсора. Информация хранится в файле-спутнике, который можно ассоциировать с программой.
Еще возможности:
-
Мощная система подсказок, автодополнений — о чем будет отдельный блок.
-
Быстрый переход на SUB или точку останова или LABEL метку.
-
Многовкладочность, но с некоторыми правилами: Главный скрипт — первая вкладка, include и текстовый формат — остальные
Справка
В справке более 1000 страниц справочного материала.
Справку можно вызывать в качестве контекстной помощи через F1 на команде/функции. В комплекте с программой есть папка examples — в которой есть более сотни обучающих примеров.
Теперь самое интересное, что же Codemann поддерживает:
В Codemann я собирал то, что самому требовалось при автоматизации Windows.
Поддержка переменных Int64 и Double, строки, константы, выражения, условия и циклы, подпрограммы SUB, локальные переменные и потоки (THREAD). Для хранения данных предусмотрены одномерные, двумерные и трёхмерные массивы (двумерные и трёхмерные — прямоугольные), а также карты MAP. Массивы можно передавать в подпрограммы. Есть конкатенация как принудительная через STRCONCAT так и через “+”
Явно объявлять переменную как строковую или числовую не требуется. При этом TYPEOF позволяет узнать тип (NUMBER, STRING, ARRAY, MAP), и есть INT и STR для приведения к определенному типу.
Codemann умеет работать с экраном и окнами. Можно искать графический шаблон, определить координаты найденного объекта, нажать на него, дождаться появления или исчезновения картинки, найти нужный цвет. Можно искать окна, получать их размеры и координаты, управлять ими и работать с клиентской областью без постоянного пересчёта смещений. Для программ со сложным или нестандартным интерфейсом это порой самый удобный путь.
Есть всё необходимое для обработки данных и файлов: строки, JSON, текстовые и двоичные файлы, INI, CFG, CSV, ZIP, GZIP. При чтении текста учитываются UTF-8, UTF-16 и обычные Windows-кодировки. Общие части сценария можно выносить в подключаемые файлы INCLUDE и файлы констант; предусмотрено в том числе динамическое подключение.
Сценарий может взаимодействовать с другими программами и сетью. Он умеет запускать приложения и команды, ждать завершения процессов, проверять их состояние, выполнять HTTP(S)-запросы (GET, POST, PUT, PATCH, DELETE, HEAD), работать с cookie и ответами серверов. Для специфических задач существуют операции чтения и записи памяти процессов и вызовы DLL.
Например, один сценарий может получить с сервера список заданий в JSON, открыть программу, найти на экране кнопку, выполнить действие и сохранить результат в файл. Для этого не нужны несколько вспомогательных программ на разных языках.
Замечание про HTTP(S): сетевые ошибки лучше перехватывать через TRY/CATCH. При обрыве соединения или ошибке DNS исключение WinSock может возникнуть ещё до получения HTTP-кода ответа.
Также мною были добавлены специализированные команды и функции, например:
-
Есть интеграция с сервисом PUSHBULLET — как текст так и файл/картинку можно себе отправить.
-
Есть IMAGEANNOTATE — аналог команды ImageMagic для добавление текста на изображение.
-
Есть PAUSEWIN — выводит как в баллон так и на часы в трее обратный отсчет паузы.
-
STRCANBUILDARR — найдет все анаграммы из списка в > 100 тысяч слов, за четверть секунды. Не самая обычная задача для автокликера, согласен. Но почему бы и нет? =)
Поиск изображений — одна из ключевых возможностей Codemann
Пожалуй, именно этой части программы я уделил больше всего внимания. Команды для работы с изображениями занимают очень заметную часть каталога команд и функций.
Представим программу, в которой нельзя обратиться к кнопке по имени. Человек узнаёт её по внешнему виду — Codemann тоже может искать такой образец на экране, в выбранной области или окне. Можно получить координаты, выбрать одно из нескольких совпадений, нажать на объект или подождать, пока изображение появится, исчезнет либо станет стабильным.
Для шаблонов используются BMP, PNG, JPG и JPEG. Есть поиск с масками и учётом альфа-канала: например, можно игнорировать фон значка и сравнивать только его значимую часть. Предусмотрена настройка степени сходства, потому что одна и та же кнопка не всегда выглядит пиксель в пиксель одинаково — сказываются сглаживание, особенности отображения и сжатие изображений.
Можно проверять отдельные пиксели, искать цвета и их комбинации, ждать изменения цвета. Иногда достаточно проверить пару точек экрана вместо поиска целого шаблона.
Есть и средства обработки самих картинок: снимки всего экрана, областей, окон и их клиентских частей, чтение и изменение пикселей, заполнение прямоугольников, обрезка, замена цветов, подсчёт уникальных цветов, сравнение изображений и нанесение аннотаций.
Поиск изображений — одна из самых ресурсоёмких операций такой автоматизации. Поэтому его пришлось серьёзно оптимизировать: ускорять получение кадров экрана и обработку PNG, повторно использовать снимки, кешировать шаблоны, улучшать работу с масками и алгоритмы сравнения. Кеши при этом ограничены по объёму, чтобы ускорение не приводило к бесконтрольному расходу памяти.
Один из замеров: BMP-шаблон 20 × 20 пикселей с маской на экране 1920 × 1200 находился примерно за 17 миллисекунд. Это результат конкретного теста, а не гарантия такой скорости на любом ПК.
Отдельная история — диагностика поиска. Картинка не находится — почему? Её нет на экране, изменились цвета или не совпадают отдельные участки? Диагностика показывает процент сходства и позволяет визуально сравнить результат, не меняя параметры наугад.
Система помощи в редакторе
Справка по F1 — лишь часть системы помощи. Есть ещё анализатор кода, который понимает, что находится под курсором, и предлагает подсказки.
Начинаете вводить имя команды, функции или переменной — редактор предлагает варианты. Поставили курсор на параметр — можно посмотреть, что он означает. Для переменной анализатор показывает, глобальная она, локальная или вообще является константой. Если объявление находится в подключаемом файле, редактор умеет указать его происхождение.
Прежде чем удалить старую переменную, можно найти все её использования, включая подключаемые файлы, и перейти к каждому результату. Есть и поиск предположительно неиспользуемых переменных и констант — полезная вещь, хотя результаты стоит проверять.
Перед запуском выполняется синтаксический разбор. Подсвечиваются парные конструкции вроде IF / ELSEIF / ELSE / END_IF, скобки и непарные элементы. Одно забытое закрытие блока бывает непросто найти в длинном сценарии.
Система отладки
Здесь Codemann уже старается играть «во взрослых». =)
Чем больше сценарий, тем труднее искать ошибки по сообщениям лога. Представьте: несколько подключаемых файлов, вызовы подпрограмм, ожидание изображений, массивы. И что-то пошло не так. Хочется остановиться в нужном месте и посмотреть, что происходит.
Для этого есть обычные и условные точки останова. На обычной выполнение останавливается всегда, на условной — только когда выполняется заданное выражение. После остановки можно продолжать сценарий пошагово, заходить внутрь SUB или проходить вызов без захода. Если произошла ошибка, редактор помогает перейти к проблемной строке и открыть подробности.
Есть точки останова для поиска изображений семейства FINDIMAGE… и WAITIMAGE… Они ставятся только через контекстное меню. Можно посмотреть процент совпадения, визуально сравнить картинки, сохранить отчёт и буфер поискового кадра. Это выручает, когда сценарий лишь иногда не находит нужный элемент.
При остановке можно открыть окно переменных, посмотреть значения, массивы и карты. По двумерным и трёхмерным массивам можно перемещаться в табличном представлении. Значение переменной можно изменить прямо во время отладки и проверить дальнейшее поведение сценария.
Есть Watch для наблюдения за выражениями и просмотр стека вызовов SUB и локальных переменных — чтобы видеть, откуда программа пришла в текущую точку.
Если сценарий изменён в редакторе, но не сохранён, диагностика указывает строку из реально выполнявшегося текста, а не из старого файла на диске.
Точки останова и Watch-выражения сохраняются в файле-спутнике, так что их не нужно расставлять заново после перезапуска программы.
Профилировщик показывает, какие участки отнимают больше всего времени и сколько раз выполняются операции. Если сценарий стал медленным, сначала можно увидеть цифры, а потом решать, что оптимизировать.
Планировщик
Совсем недавно, был добавлен планировщик заданий. Что он умеет: Управлять созданными заданиями, задания могут быть однократные, повторяемые, по дате, времени, дню недели и т.п. Но самое главное, это возможность выстроить очередь зависимых заданий: Это когда один сценарий, например, завершается кодом ошибки и только в этом случае срабатывает второй за ним сценарий и тем самым может обработать ошибку и послать сигнал “SOS” или какие-либо другие действия. Планировщик работает с одним НО: задания не могут пересекаться, иначе пропуск такого пересечённого задания.
Вместо заключения
Codemann — это попытка сделать автоматизацию Windows не набором разрозненных команд, а целостной программируемой средой, в которой пользователь сам определяет, что должен делать компьютер, при каких условиях и каким образом проверять результат.
Надеюсь вас она заинтересует и вы будете её использовать на благо и во благо.
Скачать и поддержать проект можно на странице программы: https://vk.ru/club242202892
Теги:
- скрипт
- автоматизация
- windows
Хабы:
- Action Script
- Delphi
- Windows
- Open source