Было опубликовано интервью с рядом вице-президентов Apple, занимающихся разработкой системы камер iPhone 13, что доказывает более глубокое понимание решений, лежащих в основе улучшений для выпусков 2021 года.

Опубликовано в понедельник, «iPhone 13: Разговор с камерой Engineers» эпизод из Stalman Podcast особенности трио представителей Apple. Группу возглавляют Кайанн Дранс, вице-президент по мировому маркетингу продуктов для iPhone, вместе с вице-президентом по разработке программного обеспечения для камер Джоном МакКормаком и вице-президентом по разработке оборудования для камер Грэмом Таунсендом.

Для iPhone 13 Apple представила свой Sensor Shift OIS, а также улучшения для фотографии при слабом освещении, фотографических стилей и кинематографического режима. В моделях Pro есть новый режим макросъемки, а также поддержка видео ProRes.

Получасовой подкаст начинается с того, что Таунсенд обсуждает преимущества разработки Apple оборудования для камеры, в том числе то, как команда разработчиков оборудования может тесно сотрудничать со своими коллегами по программному обеспечению, «начиная с раннего этапа проектирования». Объектив, датчик и другое оборудование «специально разработаны для дополнения прошивки и обработки программного обеспечения» устройства.

«Поскольку нам принадлежит весь стек, от фотонов до JPEG, если хотите, мы можем выбрать оптимальное место в конвейере для получения конкретных преимуществ», — добавляет Таунсенд. Например, Sensor Shift достаточно мощный, чтобы стабилизировать одну секунду видео, помогая предоставить необработанные и точные данные изображения, которые команда разработчиков программного обеспечения может расширить.

Новый макрос в iPhone 13 Pro частично активируется системой автофокусировки, которую использует Apple, подтвердил Таунсенд, в противном случае «вы получите специальную макро-камеру» без нее. «Для нас это не так эффективно, как возможность использовать одну и ту же камеру для этих двух отдельных, но так или иначе связанных целей».

По словам Маккормака, машинное обучение значительно продвинулось вперед, особенно с учетом той вычислительной мощности, которую теперь обеспечивает A15. «Это действительно говорит о количестве вычислительной мощности в iPhone, и на самом деле у нас сейчас так много вычислительной мощности, что мы можем использовать те же самые методы вычислительной фотографии и внедрить их в мир видео, чтобы принести вычислительную видеографию. «

«На самом деле, сейчас мы применяем к видео те же самые магические способности машинного обучения, которым научились в кадрах». Маккормак говорит, что теперь iPhone «сегментирует каждый кадр в реальном времени, и мы обрабатываем небо, кожу и листву индивидуально, и это берет наше уже ведущее в отрасли видео и делает его еще лучше, давая нам лучшую четкость и больше деталей в разных части изображения.