Первая часть закончилась простой мыслью: у криминологического факта есть возраст, и с годами его способность предсказывать будущее меняется. Если с этим согласиться, начинается работа потруднее. Как сравнивать старение разных факторов? Что делать алгоритмам, которые помнят всё? И как проверить, что вся эта конструкция чего-то стоит, а не остаётся красивой теорией?
Период полураспада
У физиков есть удобное понятие: период полураспада, время, за которое распадается половина вещества. В первой части я оговаривался, что криминологический фактор стареет не так послушно, как изотоп. И всё же одно слово у физики стоит позаимствовать.
Назовём периодом полураспада прогностической ценности интервал, за который фактор теряет примерно половину своей первоначальной способности различать будущий риск. Буквальной аналогии здесь нет. Никто не утверждает, что все факторы угасают по одному математическому закону. Как раз различия и представляют интерес.
Один фактор поначалу очень силён, но быстро выдыхается. Другой слабее, зато держится годами. Третий несколько лет почти не меняется, а потом резко теряет вес. Четвёртый стареет только тогда, когда за ним не следует новых событий. Пятый ведёт себя по-разному в зависимости от возраста человека.
Поэтому период полураспада служит инструментом сравнения, а не готовым ответом. С ним появляются вопросы нового типа. Какие факторы стареют быстрее, какие медленнее? От чего зависит скорость? Какие события её ускоряют, а какие тормозят? У фактора появляется ещё одна характеристика. Знать его силу мало, нужно знать скорость, с которой эта сила меняется.
Атлас старения
Если у факторов разные жизненные циклы, их можно нанести на карту. Я предлагаю создать атлас прогностического старения криминологических факторов. Это будет описание поведения факторов во времени, а не очередной их список.
Для каждого фактора в атласе фиксируется исходная прогностическая ценность, характер и скорость её изменения, условный период полураспада и горизонт, за которым фактор практически ничего не сообщает. Отдельно описываются условия, при которых старение ускоряется или замедляется, влияние новых событий и долгих периодов затишья. И наконец, зависимость от возраста человека, от прогнозируемого исхода, от социальной среды, исторического периода и конкретной популяции.
Тогда вместо короткого приговора «этот признак является фактором риска» появится описание совсем другого качества: у признака такая-то исходная ценность, и она меняется так-то при таких-то условиях.
«Фактор перестаёт быть ярлыком и становится процессом.»
У атласа есть и ещё одно достоинство. Он позволит сравнить один и тот же фактор в разных странах, популяциях и эпохах. Вполне может выясниться, что свойство, которое мы приписывали самому фактору, на деле принадлежало определённому обществу в определённый исторический момент.
Прогноз должен уметь забывать
Из всего сказанного вытекает принцип, который звучит непривычно. Хорошая прогностическая система должна уметь не только помнить, но и правильно забывать.
Речь не об уничтожении данных. Факт может и должен храниться в архиве, если для этого есть законные и исследовательские основания. Но хранить факт и использовать его для прогноза значит выполнять две разные операции. Архив отвечает на вопрос «что произошло?». Прогноз отвечает на вопрос «что из этого сегодня помогает предсказать будущее?».
Если данные показывают, что информация со временем хуже различает риск, её вес в прогнозе тоже должен снижаться. Иначе получается парадокс:
СИСТЕМА ПРАВИЛЬНО ПОМНИТ ПРОШЛОЕ И ИМЕННО ПОЭТОМУ МОЖЕТ НЕПРАВИЛЬНО ОЦЕНИВАТЬ БУДУЩЕЕ
Такая система превращается в архив, который выдаёт себя за прогноз. Поэтому забывание здесь означает контролируемое снижение прогностического значения, а вовсе не потерю сведений. Историческая память может быть долгой.
«Прогностический коэффициент не должен быть вечным только потому, что вечной оказалась запись.»
Алгоритм, который помнит всё
Острее всего это касается алгоритмических систем оценки риска. Современный алгоритм обрабатывает огромное число переменных, пользуется изощрённой статистикой и считает быстрее любого эксперта. Только сложность вычислений не спасает от простой концептуальной ошибки: алгоритм легко принимает сохранность записи за сохранность её прогностической ценности.
Событие пятнадцатилетней давности по-прежнему лежит в базе. Из этого никак не следует, что сегодня оно должно весить столько же, сколько через год после случившегося.
Значит, при аудите систем risk assessment нужен отдельный вопрос: как система учитывает старение используемой информации? Проверяющему стоит выяснить, снижается ли вес старых факторов и на каких эмпирических данных это основано. Учитывает ли модель последующую траекторию и долгие периоды без событий? Пересчитываются ли её временные параметры? Замечает ли система, что изменилась сама популяция?
Если ничего этого нет, беда не обязательно в программном коде. Она лежит глубже, в том представлении о человеке и времени, которое заложено в архитектуру прогноза.
Стареет и сам мир
До сих пор речь шла о том, как информация стареет по отношению к конкретному человеку. Но параллельно идёт второй процесс: стареет контекст, в котором эта информация появилась.
За десять, двадцать или тридцать лет меняются законы, полицейская и судебная практика, правила регистрации. Меняются экономика, рынок труда, социальная структура и сама преступность. Появляются новые технологии контроля, меняется доступность оружия, транспорт, способы общения. Значительная часть жизни уходит в цифровую среду, которой ещё недавно просто не было.
Событие двадцатилетней давности принадлежит прошлому человека и одновременно прошлому общества. Отсюда два вида старения. Индивидуальное: старый факт всё хуже описывает нынешнюю траекторию конкретного человека. Контекстуальное: связь, найденная на исторических данных, всё хуже описывает изменившуюся социальную и институциональную среду.
Значит, даже безупречно рассчитанную функцию старения для одной эпохи нельзя автоматически считать постоянной. Стареть способен не только фактор. Стареть способна и сама модель его старения.
Big Data или Big Past
Принято считать, что большой объём данных почти всегда благо. Для прогноза этого мало. Можно располагать сотнями миллионов наблюдений, которые с исключительной подробностью описывают вчерашний мир.
Поэтому рядом с объёмом, полнотой и качеством данных нужна ещё одна мера: временная релевантность. Мало спросить, сколько у нас данных. Нужно спросить, какого они возраста и в каких условиях собраны. Насколько с тех пор изменился объект исследования и само общество? Какая часть массива до сих пор что-то сообщает о сегодняшнем дне?
Без этих вопросов Big Data рискует превратиться в Big Past: огромное, подробнейшее прошлое, которым пытаются предсказать уже другое настоящее. Опасность в том, что размер массива внушает доверие. Миллионы наблюдений психологически выглядят убедительно.
«Количество старой информации само по себе не делает её современной.»
Качество прогностической базы приходится оценивать минимум по двум независимым осям: по объёму информации и по её временной релевантности.
Паспорт фактора
Как перевести всё это в практику? Один из способов прост и бюрократичен в лучшем смысле слова: завести на каждый фактор паспорт прогностического фактора.
Сегодня фактор риска часто существует в виде названия и числа. У коэффициента, однако, есть происхождение, возраст, популяция, историческая среда и условия применимости. И у него должен быть срок, после которого пользоваться им без нового доказательства нельзя. Паспорт делает всё это видимым. Он мог бы выглядеть так:
ПАСПОРТ ПРОГНОСТИЧЕСКОГО ФАКТОРА
- Наименование фактора
- Точное определение того, что считается данным фактором
- Источник информации
- Прогнозируемый исход
- Популяция, на которой установлена связь
- Исторический период получения данных
- Первоначальная прогностическая ценность
- Характер изменения прогностической ценности во времени
- Условный период полураспада
- Горизонт практически значимой прогностической годности
- Последующие события, способные изменить значение фактора
- Значение периода без новых событий
- Контекстуальные ограничения
- Дата последней эмпирической проверки
- Уровень неопределённости
Главная польза паспорта в том, что исследователь перестаёт видеть в коэффициенте вещь в себе. За каждым числом обнаруживается биография.
Решающий эксперимент
Теория, которую нельзя проверить, так и остаётся красивой концепцией. Эту проверить можно. Для этого достаточно построить три конкурирующие модели.
Модель 1. «Память»
Криминальная история используется традиционно. Событие произошло, оно входит в прогноз, его вес задан установленным коэффициентом.
Модель 2. «Стареющая память»
Те же исторические данные, но с учётом возраста каждого фактора. Чем больше прошло времени, тем сильнее вес корректируется по эмпирически установленной кривой старения.
Модель 3. «Траектория»
Учитываются исходное событие и его возраст, последующие события, периоды без новых событий, изменение социальной ситуации и контекста, текущее состояние наблюдаемой траектории.
Все три модели получают одну и ту же выборку и прогнозируют один и тот же исход. Затем сравниваются точность и калибровка, доли ложноположительных и ложноотрицательных результатов. Отдельно проверяется устойчивость на разных временных горизонтах, переносимость на другие популяции и на другой исторический период.
Если стареющая память обыграет статическую, появится эмпирическое основание встроить время прямо в архитектуру оценки риска. Если траектория обыграет обе, вывод будет ещё сильнее:
ГЛАВНОЙ ЕДИНИЦЕЙ КРИМИНОЛОГИЧЕСКОГО ПРОГНОЗА ДОЛЖНА СТАТЬ ТРАЕКТОРИЯ, А НЕ ФАКТ
И это уже вопрос эксперимента, а не вкуса.
Десять вопросов на входе
При таком взгляде исследование Гамильтона и коллег оказывается точкой входа в гораздо более широкую программу. Её вопросы можно перечислить. Отличаются ли скорости старения у разных факторов? Какие последующие события ускоряют потерю прогностической силы, а какие её сохраняют? Может ли новое событие оживить старый фактор, который почти перестал что-либо значить? Как взаимодействуют возраст человека и возраст факта? Одинаково ли стареет фактор, когда прогнозируются разные исходы? Насколько функции старения различаются между странами и правовыми системами? Как на скорость старения влияет смена исторической среды? Как измерить прогностическую ценность долгого периода без нового события?
И десятый вопрос, на мой взгляд центральный: в какой момент последующая траектория становится информативнее исходного события?
В этой точке меняется сам источник знания о будущем. Сначала больше всего сообщает исходное событие. Потом проходит время, копится новая траектория, и однажды лучшим основанием для прогноза становится уже то, что произошло после. Найти этот момент для разных факторов, пожалуй, самая интересная задача всей программы.
Одиннадцать положений
Теперь конструкцию можно собрать в теорию. Я формулирую её в одиннадцати положениях.
ТЕОРИЯ ПРОГНОСТИЧЕСКОГО СТАРЕНИЯ
- У криминологического факта есть как минимум две независимые характеристики: историческая истинность и прогностическая ценность.
- Историческая истинность может сохраняться, пока прогностическая ценность меняется.
- У криминологического фактора есть возраст, и его нужно отличать от возраста человека.
- Разные факторы могут стареть с разной скоростью.
- Время без нового события само по себе является прогностической информацией.
- Значение исходного фактора определяется и временем, и последующей траекторией.
- Стареет не только информация о человеке, но и социальный, институциональный и исторический контекст, в котором она получена.
- Хранение исторического факта и его использование для прогноза представляют собой разные операции.
- Прогностической системе нужен механизм контролируемого снижения веса старой информации.
- Модель прогностического старения сама должна периодически проверяться и перекалибровываться.
- Основной единицей динамической криминологии постепенно должна стать траектория изменения состояния во времени, а не отдельная характеристика.
Эти положения не претендуют на роль догмы. Они образуют исследовательскую программу, и каждое из них можно и нужно проверить на данных.
Сколько будущего осталось в прошлом?
Работа Гамильтона и коллег ценна не тем, что добавила ещё одну цифру в криминологический справочник. Она меняет сам вопрос. Традиционная криминология спрашивает, что прошлое говорит о будущем. После открытия prediction decay, угасания прогностической силы, приходится спрашивать, как долго прошлое продолжает об этом говорить. Затем: что происходит с его ценностью, пока складывается новая траектория? И наконец: в какой момент траектория начинает говорить о будущем больше, чем старое событие?
Здесь проходит граница между статической и динамической криминологией. Статическая видит факт, динамическая видит движение его значения. Статическая хранит прошлое, динамическая постоянно проверяет, насколько прошлое ещё описывает будущее. Статическая спрашивает: «Было ли это?» Динамическая добавляет: «Когда это было? Что произошло после? Насколько это важно сейчас?»
СОБЫТИЕ → ВРЕМЯ → ПОСЛЕДУЮЩАЯ ТРАЕКТОРИЯ → ТЕКУЩАЯ ПРОГНОСТИЧЕСКАЯ ЦЕННОСТЬ
Эта схема и есть центральная модель программы. Она объясняет, почему прогнозу мало знать, что событие было. Нужно установить, каким было его исходное прогностическое значение и сколько времени прошло. Что произошло за это время и чего из ожидаемого так и не произошло? Как изменилась траектория человека, как изменился социальный и институциональный контекст? Какая доля исходной информации дожила до сегодняшнего дня? Только после этого исторический факт может служить современным прогностическим фактором.
Последствия этого принципа выходят далеко за пределы проблемы криминальной истории. Он меняет то, как криминология обращается со временем. Сейчас время присутствует в исследованиях чаще всего как период наблюдения. Ему пора стать самостоятельной характеристикой информации. Нужно знать не только, сколько лет человека наблюдали, но и как за эти годы изменилось значение каждого известного о нём факта.
Отсюда следующий шаг. Бесконечно расширять перечень факторов риска бесполезно, пора изучать жизненные циклы уже известных. Для каждого существенного признака нужно установить три вещи: какова его исходная прогностическая сила, как она меняется со временем и под влиянием траектории, в какой момент он перестаёт давать практически значимую добавочную информацию. За этими тремя вопросами встаёт четвёртый, самый любопытный: что приходит на место старого фактора, когда он слабеет?
Скорее всего, ответ лежит в последующей траектории. Чем дальше настоящее от исходного события, тем больше между ними новой информации, и в какой-то момент она может оказаться важнее самого события. Если это подтвердится, криминологическая оценка сменит направление. Накопительная логика «чем больше известно о прошлом, тем лучше прогноз» уступит место динамической: прогноз тем лучше, чем точнее мы понимаем, как меняется значение прошлого и куда движется траектория. Первый подход стремится собрать как можно больше сведений. Второй стремится понять, чего стоит каждое из них сегодня.
Поэтому будущей криминологии мало одних больших баз данных. Ей нужны временные карты данных и атласы старения факторов, кривые вместо голых коэффициентов, траектории вместо криминальных историй. Ей нужно изучать несобытия так же внимательно, как события.
«Ей нужна способность научно определять момент, когда память перестаёт быть хорошим прогнозом.»
Исследование Гамильтона в этом смысле скорее открывает проблему, чем закрывает её. Оно показывает, что прячется за привычными словами «криминальное прошлое». Это вовсе не единый неизменный массив. Прошлое состоит из сведений разного возраста, разного происхождения и разной остаточной ценности. Поэтому следующим фундаментальным объектом криминологии должен стать жизненный цикл криминологической информации. Он начинается с появления факта и его исходной силы, проходит через накопление новой информации и постепенную перемену смысла и приходит к моменту, когда факт продолжает существовать исторически, но практически перестаёт различать будущее.
В этот момент окончательно расходятся две вещи: прошлое как история и прошлое как инструмент прогноза. Первое не обязано исчезать. Второе обязано постоянно проверяться.
Главный открытый вопрос программы формулируется просто: сколько будущего остаётся в прошлом через год, пять, десять или двадцать лет и как измерить это для каждого класса криминологических факторов? Ответ способен изменить архитектуру криминологического прогноза. Прошлое не нужно забывать, отрицать или переписывать. Его лишь не следует превращать в неизменную характеристику будущего. Задача науки точнее: установить, когда и насколько прошлое ещё способно предсказывать будущее.
Если это удастся, у криминологии появится новая единица знания. Вместо «фактора риска» появится «фактор риска с известным жизненным циклом». И о криминальном прошлом впервые можно будет говорить не как о вечной принадлежности человека к определённой категории, а как об измеримой научной проблеме.
СКОЛЬКО БУДУЩЕГО ЕЩЁ ОСТАЛОСЬ В ПРОШЛОМ?
Источник: Hamilton Z. et al. Criminal History’s Expiration Date: Evidence of Prediction Decay // Criminology.
