Цифровое государство всеобщего благосостояния либо уже существует, либо находится в стадии формирования… системы социальной защиты и помощи всё чаще основываются на цифровых данных и технологиях, которые используются для автоматизации, прогнозирования, идентификации, слежки, обнаружения, выявления и наказания. Для правительств существуют непреодолимые соблазны двигаться в этом направлении, которые необходимо уравновешивать с серьёзным риском, подобно зомби, скатиться в цифровую антиутопию в сфере социального обеспечения.
Становится очевидным не единичный случай, а повторяющаяся конфигурация: полномочия по принятию решений делегируются автоматизированной системе, её результаты рассматриваются, как авторитетные, а возможность для человеческого усмотрения либо процедурно маргинализирована, либо оперативно не поощряется. Присутствие человека в процессе является номинальным, а не существенным. Система не устраняет человеческую активность — она реорганизует её. Суждения переносятся на этапы проектирования, калибровки и формирования политики, в то время как участники процесса (например, социальные работники, эксперты, граждане и лица, осуществляющие любую деятельность в данной сфере) воспринимают решения, как свершившийся факт.
Многие современные системы, внедряемые в социум, действуют путём преобразования сложных жизненных ситуаций в стандартизированные входные данные, которые, в свою очередь, генерируют определённые выходные данные, имеющие уже административный вес. Они формируют права и регулируют доступ к услугам. Проблема заключается не просто в том, что система совершает ошибки, а в том, что институциональная структура, окружающая её, делает эти ошибки устойчивыми к вмешательству и оспариванию обычными гражданами.
Последующий за этим вред нельзя свести лишь к технической ошибке — он возникает в результате взаимодействия вычислительной логики, институциональной практики и политических намерений. Ответственность стала рассредоточенной, распределённой между ведомствами, администрирующими эти системы, в то время как те, кто находится под управлением этих ведомств, ощущают на себе бремя последствий. Результатом становится не просто административная неэффективность, непрозрачность, делегирование и распределённая подотчётность, а перестройка отношений между государством и гражданином, отмеченная асимметрией, непрозрачностью и стигматизацией.
Риски, обычно приписываемые ИИ — принятие решений внутри «чёрного ящика», непрозрачность, снижение конкурентоспособности — не связаны с машинным обучением или генеративными моделями. Они уже присутствовали в более ранних формах алгоритмического управления. ИИ не создаёт эти условия из ничего — он их усиливает. Переосмысление этих фактов имеет важные последствия. Оно бросает вызов стремлению рассматривать ИИ, как технологический прорыв, требующий совершенно нового концептуального аппарата. Вместо этого концепция помещает данные цифровые инструменты в более длительный период делегирования вычислительных функций, в котором административные, коммерческие и социальные решения все чаще принимаются нейросетями, работа которых выходит за рамки непосредственного человеческого понимания.
Развитие искусственного интеллекта в данном направлении это не столько отход от прежнего курса, сколько эскалация. Он расширяет масштабы функционирования социальных систем, ускоряет их временную динамику и углубляет их интеграцию в повседневное взаимодействие. Сближение автоматизации и институциональной власти может привести к результатам, которые одновременно трудно оспорить и которые имеют социальные последствия, особенно для тех, кто уже находится в уязвимом положении. При этом динамика приобретает новую интенсивность, поскольку процесс принятия решений становится ещё более непрозрачным для всех, распределённым между серверами дата-центров и сложным для анализа даже специалистов.
Цифровые государственные системы, платформы и сервисы всё чаще воспринимаются, как пожиратель времени и источник мелких, но регулярных неудобств. Невозможность ответить на электронное письмо с информированием от госструктуры, необходимость разбираться в намеренно запутанных процессах отмены вынесенного решения, или чрезмерное время, затрачиваемое на заполнение онлайн-форм, которые, кажется, созданы для замедления, а не для ускорения процесса взаимодействия государства и граждан. Эти раздражающие ситуации часто воспринимаются как незначительные неудобства. Однако, когда они масштабируются в глобальном масштабе и повторяются в таких важных сферах, как государственное управление, банковское дело, здравоохранение, телекоммуникации, они накапливаются, превращаясь в значительную нагрузку на время и внимание.
Получается, что пользователи платят растущий «налог на время», который замедляет общую производительность. Хотя ускорение цифровой трансформации часто связывают с её повышением, но это обещание в значительной мере зависит от того, как оптимизированы системы. Когда разработчики ставят во главу угла институциональные или платформенные интересы, а не потребности пользователей, эти достижения полностью обнуляются, усугубляя недовольство и отторжение обычных граждан.
Последствия не ограничиваются только экономическими. Эти же принципы проектирования могут также причинять значительный социальный вред — они заложены в более широкие вычислительные инфраструктуры, которые формируют процесс принятия решений и структуру взаимодействий субъектов. Если ИИ усиливает риски, уже присущие алгоритмическому управлению, то общественная задача состоит не просто в выявлении и реагировании на отдельные новые формы вреда, а в понимании и устранении системных условий, при которых такой вред возникает, нормализуется и масштабируется.
В этом контексте сами алгоритмы нельзя понимать, как отдельные технические объекты, а необходимо анализировать связи инфраструктурного и институционального применения, в которых они функционируют. Важно отметить, что некоторые разработки, внедряемые в современную жизнь обычного обывателя, не являются плохими проектами — они враждебны ему по своей природе, усиливая существующую асимметрию отношения к власти и системные ограничения. Часть этого сдвига также размывает грань между гражданами и потребителями, поскольку государственные платформы внедряют инфраструктурные и экономические логики, которые направляют гражданское участие в контролируемые интерфейсы.
Эти динамические процессы не ограничиваются каким-либо одним слоем «стека». Скорее, они возникают в результате переплетения его слоёв, где управление осуществляется не только через формальные институты, но и через проектирование самих систем, интерфейсов и взаимодействий. В этом смысле взаимодействие перестаёт быть просто местом использования, а становится местом управления, где решения воплощаются в жизнь, надзор ослабевает, а подотчётность и возможность оспаривания становятся все труднее выявлять и обеспечивать.
Первоначально концептуализированные в контексте взаимодействия человека с компьютером, «тёмные паттерны» описывают методы проектирования, которые намеренно направляют пользователей к результатам, выгодным поставщикам услуг. Такие практики сейчас широко распространены в цифровой среде. «Темные паттерны» можно понимать не просто как манипуляции на уровне интерфейса, но как симптоматические проявления более глубоких инфраструктурных логик, охватывающих множество уровней — от сбора данных на уровне адресации до процессов оптимизации в облаке. То, что кажется незначительным интерактивным воздействием, таким образом, переплетается с общесистемными императивами извлечения и контроля, где взаимодействие становится местом управления, а поведение пользователя формируется таким образом, что это одновременно оперативно эффективно и политически непрозрачно.
В то же время «цифровой мусор», заранее спроектированный в системе, отражает накопление ненужных нагрузок (процедурных, когнитивных и аффективных), которые препятствуют способности пользователя действовать в своих собственных интересах. Вместо того чтобы направлять пользователей к определённым результатам, мусор истощает, задерживает и отпугивает их, часто непропорционально влияя на тех, кто менее способен ориентироваться в сложных компьютерных интерфейсах, разработанных «не для людей».
То есть, многие цифровые инфраструктуры не устраняют бремя психологического стресса граждан, который заранее вплетён во взаимодействие граждан и государства (как альтернативная «упрощённая» форма принятия решений) — они часто его усиливают. Это представляет собой своего рода бюрократический брандмауэр, где слои процедурной «грязи» заключают в себе основную функциональность, которая изолирует корпорации от их клиентов и правительства от их граждан.
Здесь речь идёт не просто о плохом дизайне, неэтичных интерфейсах или действиях нескольких недобросовестных участников разработки. Скорее, эти практики являются симптомом более глубоких структурных механизмов, в которых само взаимодействие между административно-бюрократическим аппаратом и обывателем становится механизмом управления, манипулирования поведением, перераспределения полномочий и консолидации власти. Манипуляции на уровне интерфейса обусловлены бюрократическими или экономическими императивами на уровне платформы, а также политическими и инфраструктурными силами. То, что пользователю кажется плохим дизайном (неудобство, путаница или принуждение), на самом деле является хорошим дизайном для институциональных структур, поскольку эффективно извлекает выгоду, формирует поведение и укрепляет контроль.
Такое преднамеренное моральное истощение пользователей обозначает состояние, при котором взаимодействие больше не ориентировано на защиту их прав, расширение возможностей или участие, а направлено на подчинение и сдерживание. По мере того, как системы переходят под контроль искусственного интеллекта, их возможности становятся адаптивными, генеративными и все более интерактивными — они приобретают способность персонализировать манипуляции, автоматизировать трения и оптимизировать извлечение информации в беспрецедентных масштабах.
