Есть большая и интересная тема, которую вчера анонсировала Apple. Вся забота — о детях же, конечно!

Вообще речь идет о трех основных вещах:

1. В мессенджере Messages появится инструмент определения фотографий с сексуальным контентом, и он будет предупреждать детей и их родителей о получении такого рода контента. Анализ фото будет проводиться на устройстве, и по умолчанию такие фотографии будут замазываться. Работать эта функция будет только для детских аккаунтов, у пользователей до 13 лет (к тому же опционально). По-моему, супер-полезно, хотя кого-то от Messages и оттолкнет.

2. В Siri и поиске на устройствах появится дополнительная возможность узнать о том, как оставаться в безопасности в онлайне.

3. И самая главная фича, которая вызвала уже довольно сильное бурление в интернете: теперь на устройстве будет проводиться некий анализ фотографий на предмет наличия в них контента с насилием над детьми — Child Sexual Abuse Material (CSAM). На самом деле это будет не совсем анализ в привычном для нас виде, когда потом можно найти все фотографии котиков или автомобиля в фотобиблиотеке. Для анализа будет использоваться база хешей Национального Центра для пропавших и эксплуатируемых детей и других организаций (National Center for Missing and Exploited Children (NCMEC), и сравниваться будет именно совпадение хешей. Раньше подобный анализ проводился над фотографиями, залитыми в iCloud, а теперь он в каком-то виде будет проводиться на устройстве до заливки в iCloud и затем при заливке будут инициироваться дополнительные проверки.

И дальше вроде бы тоже ничего нового: если система будет находить совпадение хешей, то живые люди будут сравнивать результаты (фотографий, которые, как я понимаю, будут заливаться в iCloud с неким криптографическим ваучером). При реальном обнаружении отчет будет передан в этот национальный центр NCMEC и, как я понимаю, оттуда информация попадет правоохранительным органам. Также учетная запись пользователя будет заблокирована (для восстановления можно инициировать апелляцию). Основное изменение во всей этой истории, как я понимаю, заключается в том, что предварительный анализ будет проводиться на устройстве, еще до того, как эти фотографии будут залиты в облако.
Несколько интересных пунктов для контекста и понимания:

– речь не идет о сканировании всех ваших фотографий, которые хранятся на устройстве. Есть база хешей уже известных фотографий, содержащих противоправный контент, и будут сравниваться именно эти хеши. Повторюсь, речь идет об обнаружении только уже известных CSAM изображений.

– сам момент анализа на устройстве пока что мне не до конца понятен. Вроде как safety voucher создается на устройстве, но анализ вроде как проводится только при аплоаде на iCloud Photos. Соответственно, отключив iCloud Photos, можно избежать анализа контента на предмет Child Sexual Abuse Material (если вам есть что скрывать, конечно). По сути, если я правильно понимаю, фотография все равно была бы просканирована при загрузке в iCloud, но часть этого “сканирования” будет происходить на устройстве.

– Само сравнение живыми ревьюверами происходит тоже не в виде просмотра полного изображения — они видят только некоторые элементы, которые могут позволить им понять совпадение или несовпадение с уже известными CSAM контентом

– Если фото не является известным CSAM, Apple ничего не знает о вашей фотографии.

– Отчет в Apple уйдет только в том случае, если будет достигнут некий предел наличия такого контента на устройстве

– Вся эта схема пока что будет работать только в США, и появится с выходом iOS 15.

Пара ссылок по теме:
1. Полный анонс новой функциональности
2. Детальное описание того, как будет работать определение контента, содержащего сцены насилия над детьми
3. Пост в канале с информацией о сканировании фотографий в iCloud
4. Статья в Forbes о том, как работает система определения подобных фотографий в почте

Пара статей с новостями об этом (раз, два)

Интересные треды в твиттере с обсуждением этих изменений: (например, от специалиста по криптографии и кибербезопасности)
Раз

Еще один тред (тоже от специалиста по криптографии), как подобные неизвестные алгоритмы детекции потенциально несут в себе риски для слежки за людьми:
Два

Думаю, не будет лишним напомнить, что Facebook, Dropbox, Google, Microsoft и прочие сканируют фотографии на предмет CSAM, используя все ту же базу уже известных фотографий. Например, Facebook сообщил о 15 млн совпадений с такими фотографий в 2019 году, Dropbox — о 21 тысяче подобных совпадений в 2020 году. Правда, все это происходит исключительно в облаках, а здесь часть задачи по детекции переносится на устройства пользователей. Скорей всего, под этим всем имеются и какие-то юридические основания — типа “нам не дадут сделать end2end шифрование, если не будет детекции такого контента”. Я не удивлюсь, если окажется, что это важное условие для того, чтобы объявить, что бэкапы iCloud станут e2e-зашифррованными, наконец-то.

Apple утверждает, что таким образом конфиденциальность и приватность повышается, но моих знаний в криптографии недостаточно, чтобы понять этот аргумент. Понятно, что ситуации, где действительно происходит насилие над детьми и их сексуальная эксплуатация, требуют основательных подходов и решений. Хотелось бы, чтобы при этом не возникало ощущения, что теперь следят прямо за тобой, причем сразу с помощью твоего же устройства. Вспоминается реклама Apple о том, что “то, что происходит на вашем iPhone, остается на вашем iPhone”.

Ну так, почти. Почитаю еще специалистов, что они об этом говорят.

https://alexmak.net/2021/08/05/child-safety/

Развивается вчерашняя история, как Apple собирается внедрить в iPhone обязательный сканер детской порнографии. Во-первых пока это будет работать только в США. Во-вторых, сейчас функции предполагается две: обязательный сканер по официальной базе и родительский контроль фото в Семейных аккаунтах.

Первая функция - сканер фото при отправке в iCloud, который будет сравнивать файлы с базой данных Национального центра по делам пропавших без вести и эксплуатируемых детей (NCMEC). Это поиск по известным образцам, и база цифровых отпечатков будет храниться локально на устройствах. "Плохих" совпадающих файлов на iPhone должно быть несколько (не говорят, сколько), тогда iPhone сообщит в Apple.

Вторая функция - это сканер фото, полученных и отправленных детьми до 13 лет через мессенджер iMessage. Это - не поиск по образцам, это нейронка, которая тоже будет работать локально. Опцию смогут включать или выключать родители через настройки Семейного аккаунта, и они же будут получать уведомления.

Если ребенок до 13 лет в Семейном аккаунте хочет отправить фото, которое система считает "откровенным", iMessage покажет уведомление "Хотите ли вы действительно отправить это сообщение? Если да, ваш родитель получит уведомление." Если отказаться, сообщение не отправляется, родитель уведомление не получает. Если согласиться, сообщение сохраняется на устройстве в настройках родительского контроля и удалить его с детского аккаунта невозможно. То же самое со входящими - перед просмотром iMessage будет предупреждать, что отправит родителю уведомление. Можно отказаться и не смотреть. Для пользователей от 13 до 17 лет в семейных аккаунтах система будет предупреждать и сохранять фото, но без уведомления родителя.

Похоже, что в противостоянии технических компаний и государств по поводу шифрования Apple определился с позицией: использовать сквозное шифрование, но локально сканировать содержимое устройств на запрещенный контент.