Apple в настоящее время может не являться одним из ведущих игроков в области искусственного интеллекта, но его последний вклад в виде открытой модели искусственного интеллекта для редактирования изображений демонстрирует его потенциал. Модель, известная как MLLM-Guided Image Editing (MGIE), использует мультимодальные большие языковые модели (MLLM) для интерпретации текстовых команд по изменению изображений. В основном, это средство позволяет пользователям редактировать фотографии на основе введенного ими текста. Хотя существуют и другие инструменты с подобными возможностями, проект признает, что человеческие инструкции часто слишком кратки, чтобы текущие методы полностью понимали и выполняли их. Разработанный в сотрудничестве с исследователями из Университета Калифорнии, Санта-Барбара, MGIE использует мощь MLLM, чтобы преобразовывать простые или неоднозначные текстовые указания в ясные и исчерпывающие инструкции, которые фоторедактор может выполнить.

Например, пользователь, желающий сделать пиццу с пепперони "более полезной", может ввести такую инструкцию, и MLLM будет интерпретировать ее как "добавить овощные топпинги", отредактировав фотографию соответственно. Помимо значительных изменений в изображениях, MGIE также может выполнять действия, такие как обрезка, изменение размера, поворот и улучшение яркости, контраста и баланса цвета, все с помощью текстовых указаний. Он даже может выборочно редактировать определенные области на фотографии, изменять элементы, такие как волосы, глаза, одежда или удалять объекты из фона. Apple предоставил модель на GitHub и предлагает демонстрацию на платформе Hugging Face Spaces для заинтересованных. Однако пока неизвестно, планирует ли Apple интегрировать полученные знания из этого проекта в будущий инструмент или функцию для своих продуктов.