Идеи

Новый программный инструмент превращает рисунки и рукописный текст в код

Фото:

Ученые из США разработали интерфейс, позволяющий пользователям писать от руки или рисовать внутри программного кода. Приложение Notate, основанное на модели глубокого обучения, объединяет традиционный ввод с клавиатуры с рукописным, так что пометки в нарисованных диаграммах могут ссылаться на текстовый код, и наоборот.

К примеру, Notate распознает написанные от руки программные символы и затем соединяет их с эквивалентами, напечатанными на клавиатуре. В ходе испытаний программы пользователи рисовали диаграммы квантовых схем внутри расчетных ядер платформы Jupyter.

Инструмент, созданный разработчиками из Корнелльского университета, был представлен на симпозиуме по программам и технологиям пользовательских интерфейсов ACM, рассказывает Science Daily.

«Подобная система может стать отличным инструментом для специалистов по большим данным, в частности, при работе со схемами и таблицами, которые должны взаимодействовать с текстовым кодом, — сказал Йен Аравджо, ведущий автор статьи. — Наша работа показывает, что современная инфраструктура программирования на самом деле сдерживает нас. Люди готовы для такого функционала, и разработчики интерфейсов для ввода кода должны принять это во внимание и поддержать изображения и графические интерфейсы внутри кода».

По словам авторов, их работа указывает новый путь к программированию на базе искусственного интеллекта, когда использование планшетов для рисования становится все более распространенным явлением. Инструменты вроде Notate важны, потому что дают возможность по-новому взглянуть на программирование и на то, как различные инструменты и практики могли бы изменить устоявшуюся точку зрения.

Стартап из Дрездена обещает избавить коммерческие предприятия от необходимости программировать автономные машины. Для этого Wandelbots разработал облачный сервис «без кода» — платформа предоставляет клиентам стартапа интуитивно-понятные интерфейсы и инструменты для настройки, обучения и интеграции роботов в работу промышленных объектов.