Обучение не спуфить

8.5/10

Ключевые слова: multi-agent, market, reinforcement, learning, spoofing, normative, alignment.

Классификация arXiv: cs.LG

Аннотация

По мере распространения интеллектуальных торговых агентов на основе reinforcement learning (RL) всё важнее гарантировать, что RL-агенты соблюдают законы, регуляции и ожидания человеческого поведения. Существует обширная литература об избежании очевидных катастроф вроде крушения вертолёта или банкротства торгового счёта, но мало работ о предотвращении тонкого ненормативного поведения, для которого есть примеры, но нет программируемого определения. Такое поведение может нарушать правовые или регуляторные, а не физические или денежные ограничения.

В статье рассматривается серия экспериментов, в которых интеллектуальный агент торговли акциями максимизирует прибыль, но может непреднамеренно научиться спуфить рынок, на котором участвует. Сначала в мультиагентную симуляцию рынка внедряется захардкоженный спуфер, и на его следах обучается распознаватель последовательностей спуфинга. Затем спуфер заменяется простым RL-агентом, максимизирующим прибыль, — и тот самостоятельно открывает спуфинг как оптимальную стратегию. Наконец, распознаватель подключается как нормативный ориентир: он формирует воспринимаемую агентом награду и меняет выбираемые действия. Агент остаётся прибыльным, но избегает спуфинга, который дал бы ещё большую прибыль. После эмпирических результатов автор формулирует рекомендации. Метод обобщается на подавление любого нежелательного поведения, для которого можно обучить распознаватель.

1. Введение и связанные работы

Сложность современных финансовых RL-агентов такова, что по отдельности безобидные действия могут приводить к неожиданно вредным последствиям, и такие режимы отказа трудно обнаружить или предотвратить. Можно представить практика, желающего зарабатывать на автономном торговом агенте, но осознающего, что неконтролируемые цели (например, «произвести как можно больше скрепок») представляют риск, требующий осмысленного управления, и стремящегося избежать конкретного ненормативного исхода [2]. Цель статьи — исследовать потенциал непреднамеренного спуфинга автономным торговым агентом и представить, по мнению автора, первый метод активного подавления такого поведения в процессе обучения.

1.1. Reinforcement Learning

Markov Decision Problem (MDP) можно представить как конечный автомат, переходы в котором задаются распределением вероятностей, зависящим от действия агента [1]. После каждого действия агент получает числовую награду, которую стремится максимизировать в долгосрочной перспективе.

Reinforcement learning (RL) — совокупность подходов к решению MDP, когда определение задачи должно быть обнаружено через эксперименты со средой [20]. Model-free подходы к RL напрямую учат общую полезность выполнения определённого действия из конкретного состояния. Наиболее распространён — Q-learning: агенту нужна минимальная информация — на каждом шаге уникальный и согласованный идентификатор текущего состояния среды и каждого возможного действия [23]. Агент использует эту информацию, чтобы выучить оптимальное действие \(a\) для каждого состояния \(s\), оптимизируя Q-функцию:

которая представляет сумму немедленных и дисконтированных ожидаемых будущих наград от выполнения \(a\) в \(s\) с последующим следованием политике \(\pi\). \(R_s\) — функция награды для состояния \(s\), \(\gamma\) — пошаговый дисконт будущих наград, \(P_{ss'}[\pi(s)]\) — вероятность перехода из \(s\) в новое состояние \(s'\) при политике \(\pi\), а \(V\) — полезность или value достижения данного состояния.

1.2. Safe Reinforcement Learning

Safe RL стремится гарантировать, что агенты избегают катастрофических результатов, модифицируя награды или ограничивая исследование пространства состояние–действие. Например, функция награды торгового агента может штрафовать дисперсию доходности во времени, чтобы сдерживать чрезмерный риск, или двуногому роботу может быть запрещено исследовать движения конечностей, выводящие центр тяжести за точку опрокидывания. Garcia собрал множество таких подходов в обзоре [7].

Такие техники эффективны для агентов, избегающих немедленно измеримых последствий, но плохо подходят, когда режимы отказа:

• неточно определены, трудно обнаруживаются в процессе обучения или объективно похожи на желаемое поведение;
• возникают из последовательностей по отдельности допустимых действий;
• внешни по отношению к основной задаче.

Пример режима отказа, удовлетворяющего всем критериям, — алгоритмическое нарушение финансового регулирования. Многие регуляции ссылаются на intent, требуют интерпретации и ведут к санкциям спустя годы. Настоящая работа рассматривает именно этот сложный сценарий.

1.3. Normative Reinforcement Learning

Normative RL нацелен на паттерны активности, которые люди сочтут приемлемыми и уместными в ситуации, например соблюдение личного пространства. Значительное пересечение с Safe RL: нормативное поведение часто связано с безопасностью — автономный робот не должен сбивать человека, чтобы быстрее добраться до цели. Soares et al. формализовали проблему value alignment — для интеллектуального агента это обучение и действие согласно предпочтениям операторов [19]. Неформально можно представить, что к каждой цели неявно добавляется «не делая ничего плохого».

Формальный метод reward shaping представлен Ng et al. в 1999 году для ускорения обнаружения оптимальной политики модификацией сигнала награды дополнительной обратной связью [15]. В 2013 году Griffith et al. расширили это до policy shaping: агент пытается напрямую выучить обратную связь как отдельную политику, затем комбинирует две политики для принятия решений [8]. Эти техники широко применимы, но считаются основой normative RL; автор опирается на обе в своём подходе.

Normative RL изучался в навигации роботов: следование потоку пешеходов, долгосрочное прогнозирование путей велосипедистов, замедление на нерегулируемых перекрёстках, выбор члена группы для предложения помощи [16]. В narrative intelligence исследовали извлечение человеческих ценностей из историй и индукцию желаемых смесей goal-oriented и normative поведений в интерактивных игровых мирах [14, 18]. Из этой линии работ автор заимствует подход action reranking к policy shaping.

1.4. Спуфинг на финансовом рынке

Commodity Exchange Act (CEA), изменённый Dodd-Frank Act, запрещает «spoofing» — котирование с намерением отменить заявку до исполнения. В руководстве CFTC перечислены причины спуфинга [6]:

• перегрузка системы котировок;
• задержка исполнения сделок другой стороны;
• создание ложного вида спроса или предложения;
• создание искусственных движений цены вверх или вниз.

CFTC уточняет, что «reckless trading, practices, or conduct» не составляет нарушения «spoofing». Это может означать, что непреднамеренный спуфинг неконтролируемым интеллектуальным торговым агентом сейчас не является нарушением, но поскольку спуфинг классифицируется как «disruptive of fair and equitable trading», автор предлагает кодифицировать best practices для его избежания.

Доказательства широкого спуфинга с мотивом манипуляции ценой найдены в кастомном наборе данных Korea Exchange (KRX) [11]. Опрос CFA Institute 2015 года показал, что мошенничество на рынке и торговые практики — серьёзнейшая этическая проблема локального рынка для многих членов: 49% в Китае, 36% в Японии, 38% в UK и US. Обзор Putniņš (2012) суммирует, что теоретическая и эмпирическая экономическая литература находит спуфинг прибыльным, подразумевая вред другим трейдерам, у которых извлекаются избыточные прибыли [17]. Только в 2020 году CFTC подала и урегулировала 16 дел о спуфинге, включая рекордное соглашение на $920 млн [5].

1.5. Детекция спуфинга

Детекция спуфинга — общий интерес. Cao et al. описали две формы обманной электронной манипуляции ценой [4]. В spoofing trading иллюзия спроса создаётся относительно долгим удержанием крупной заявки на противоположной стороне стакана. В quote stuffing иллюзия торгов «на повышение» — последовательностью заявок внутри bid-ask spread. Авторы преобразуют исторические данные по четырём акциям в относительные ценовые смещения и инжектируют синтетические последовательности спуфинга. K-Nearest Neighbors и SVM детектируют последовательности с положительными результатами. Подход автора схож, но использует agent-based симуляцию всего рынка, чтобы другие трейдеры могли реагировать на спуфинг.

Leangarun et al. показали, что feedforward нейросеть с доступом только к Level 1 данным (исполненные сделки) может детектировать классический «pump and dump», но не спуфинг [10]. Mendonça et al. получили приватные данные бразильского брокера с консистентным (но анонимным) идентификатором каждого трейдера и нашли, что expert-designed decision tree может идентифицировать вероятное спуфинг-поведение на уровне брокерской фирмы [13]. Li et al. детектировали дни со спуфингом различными методами классификации на данных китайских регуляторов после публичных enforcement actions [12]. Wang et al. использовали GAN для обучения спуфинг-агента, избегающего детекции маскировкой активности под market making, и детектора, пытающегося победить это уклонение [22].

1.6. Непреднамеренный спуфинг

Предположим, ответственный практик финансового ML создаёт RL-агента торговли акциями: входное пространство — технические рыночные признаки и достаточное внутреннее состояние для Markov property; выходное — размещение или отмена заявок на покупку/продажу с различными смещениями от лучшей доступной цены. Практик надеется, что агент обнаружит прибыльную стратегию.

Развёртывание ML- и RL-торговых агентов создаёт потенциально новую вселенную регуляторных трудностей. Согласно руководству из раздела 1.4, для человека-трейдера непреднамеренный спуфинг кажется невозможным, но вполне правдоподобно, что интеллектуальный агент практика обнаружит спуфинг как оптимально прибыльную стратегию. Автор стремится помочь практику активно избежать этого исхода. Основные вклады:

• демонстрация, что неконтролируемый агент может непреднамеренно научиться спуфить;
• представление потенциального решения, обобщающегося на другие нежелательные поведения.

2. Подход

Подход к избежанию обучения поведениям без программируемого определения (например, спуфинга) требует распознавателя поведения. Для обучения такого распознавателя нужны последовательности действий с метками «содержит/не содержит поведение». Хотя детекция спуфинга не является основным фокусом, это необходимая отправная точка. Обученный детектор ляжет в основу метода сдерживания непреднамеренного спуфинга RL-агентом.

2.1. Синтез данных о спуфинге

Спуфинг — поведение, опирающееся на последовательность, а не на отдельные действия. Из-за агрегированной и анонимной природы публичных рыночных данных нельзя проследить два ордера до одного актора — последовательности действий не идентифицируются. Чтобы обеспечить идентификацию релевантных последовательностей, все эксперименты выполняются в общей open source симуляции финансового рынка [3].

Сначала создаётся популяция стилизованных торговых агентов с различными жадными, но легальными стратегиями. Затем вводится специально спроектированный спуфинг-агент. Он наблюдает симулированный рынок для понимания текущих цен, затем покупает акции по «справедливой» цене:

где \(\mathbb{E}[p_e]\) — ожидаемая цена входа в желаемую позицию, \(p'_e\) — предыдущая цена входа, \(a^L_w\) и \(a^H_w\) — соответственно наименьшая и наибольшая наблюдаемая лучшая ask-цена в warmup-периоде. У агента настраиваются объём и глубина спуфинг-ордеров; общая стратегия:

1. Купить (или уже владеть) акциями ABC.
2. Разместить limit bid по ABC чуть ниже текущего лучшего bid.
3. Дождаться, пока другие трейдеры поднимут цену после наблюдения видимого спроса.
4. Корректировать спуфинг-bid, оставаясь у лучшего bid, но не допуская исполнения.
5. Продать позицию ABC и отменить спуфинг-ордера.

В каждый симулированный торговый день записывается каждое действие, связанное с ордерами: id агента, тип агента, timestamp, тип действия (order/cancel), направление (buy/sell), limit price относительно best bid/ask, quantity, метка спуфинга. После симуляции для каждого агента за каждый день реконструируется последовательность действий, затем делится на неперекрывающиеся подпоследовательности по 20 действий. В обучающих примерах сохраняются четыре признака: тип действия, направление ордера, относительная limit price, объём ордера. Примеры помечаются True, если они от спуфинг-агента не в «честном» режиме, и False иначе. Каждый обучающий пример имеет размерность (20, 4).

2.2. Детекция спуфинга

Временной элемент спуфинга означает, что перестановка тех же примитивов действий может сделать объяснение спуфингом вероятным или невозможным. Ниже \(M^+\) — market buy, \(L^+\) — limit buy ниже лучшего bid, \(C\) — отмена одного \(L^+\), \(M^-\) — market sell:

Это характеристика задачи распознавания активности (activity recognition) и необходимости метода, приписывающего значение временному порядку данных. Lara et al. представили обзор подходов с decision trees, instance-based learners и нейросетями [9]; Wang et al. — обзор с CNN, autoencoders и RNN [21]. Автор оценивает детекцию различными архитектурами нейросетей; обученный детектор — вещественная функция \(\Theta(a_0 : a_{19}) \to [0, 1]\).

2.3. Торговля с фиксированными политиками

Агент и среда валидируются проверкой возможности прибыли в описанном пространстве состояние–действие (раздел 2.4). Для этого используются две фиксированные политики: \(\pi_s\), пытающаяся заработать спуфингом симулированного рынка, и \(\pi_h\), пытающаяся заработать без спуфинга. Если обе прибыльны, это демонстрирует, что RL-агент с таким пространством мог бы научиться зарабатывать и со спуфингом, и честно.

Честная политика \(\pi_h(s) \to a\):

Спуфинг-политика \(\pi_s(s) \to a\):

2.4. Торговля с нормативным выравниванием

Строится long-only торговый агент, взаимодействующий с симулированным рынком для оптимизации уравнения (1). Агент ограничен фиксированным количеством акций, чтобы не смешивать интеллектуальное поведение с простым leverage. Базовая функция награды включает реализованный gain/loss в долларах при закрытии позиции и небольшую транзакционную стоимость за каждый запрос на биржу.

Исследуются два метода exploration: \(\epsilon\)-greedy, где \(\epsilon \in [0, 1]\) контролирует долю случайных vs ожидаемо оптимальных действий; и Boltzmann (softmax), где действия стохастически выбираются из распределения Boltzmann [24]:

Текущее состояние среды (включая агента) представлено набором булевых условий:

• Holdings (H): агент в long-позиции?
• Holdings Advantage (HA): было ли преимущество входа при открытии текущей позиции?
• Entry Advantage (EA): оценочная стоимость входа ниже наблюдаемой «разумной» цены?
• Exit Advantage (XA): оценочная доходность от выхода превышает profit target?
• Stop Loss (SL): оценочный убыток от выхода превышает максимально допустимый?
• Open Orders (OP): есть неисполненные ордера?
• Depth Orders (DP): рынок сдвинулся с момента размещения неисполненного ордера?

Пространство действий каждого экспериментального агента:

• Aggressive Entry (AG): агрессивный вход в long — покупка фиксированного объёма по любой доступной цене.
• Passive Entry (PS): пассивный вход — предложение купить чуть ниже текущей цены.
• Exit (EX): выход из long — продажа всего объёма.
• Cancel (CN): отмена всех неисполненных ордеров.
• Update Passive Entry (UP): обновление пассивного входа — отмена и повторный PS (эффективно CN + PS).
• Do Nothing (DN): ничего не делать.

Для экспериментов с нормативным руководством через детектор \(\Theta(a_0 : a_{19})\) все ценовые и объёмные входы масштабируются согласно обучающим данным детектора. Последовательности действий продолжаются через торговые дни для одного агента; первые 20 суммарных действий каждого агента считаются нормативными.

Для reward shaping награда за закрытие прибыльной позиции трансформируется активацией детектора спуфинга:

Для action reranking вектор вероятностей действий из уравнения (5) трансформируется перед выбором. К каждому кандидату действия tentatively добавляется недавняя история; активация \(\Theta(a_0 : a_{19})\) «предложенной» истории оценивает контекстную нормативность каждого действия, затем обновляется вероятность выбора:

3. Эксперименты и результаты

Последовательность экспериментов и их результаты представлены вместе для логической согласованности. Результаты ранних экспериментов влияют на дизайн последующих.

3.1. Начальная стратегия спуфинга

Для достижения цели «научиться не спуфить» сначала нужно убедиться, что спуфинг симулированного рынка возможен и прибылен. Создаётся популяция: 500 Zero Intelligence (ZI) агентов, подающих bid/offer из стохастического распределения вокруг частной extrinsic valuation; 500 Value-агентов, арбитражирующих текущую рыночную цену против частной valuation; и 10 Order Book Imbalance (OBI) агентов — HFT liquidity traders, прогнозирующих краткосрочные движения цены по стакану. Value и ZI случайно геолокированы, OBI имеют communication latency [21, 399] μs, экспериментальный агент всегда co-located с биржей с latency 33 ns. На рисунках Exper. — экспериментальный агент, OBI* — HFT-агент ближайший к бирже.

Эффективность спуфера и влияние на других агентов тестируются симуляцией 1160 полных торговых дней с различными конфигурациями гиперпараметров спуфинга. Одна конфигурация, обозначенная \(h\) на графиках, включает спуфинг-агента в «честном» режиме без манипулятивной части стратегии. Каждая спуфинг-конфигурация симулируется 20 дней; не-спуфинг — 200 дней. Влияние размера спуфинг-котировки на распределение прибыли каждого класса агентов — рис. 1. Выводы:

• OBI-агенты страдают от спуфинга; OBI* — меньше всего. Вред растёт с объёмом спуфинг-ордера до предела. Глубина котировки не влияет в диапазоне 3–8 (график опущен из-за лимита страниц).
• Value и ZI косвенно выигрывают от спуфинга — вероятно, потому что OBI эксплуатировали их, а теперь не могут.
• Стратегия спуфинга явно эффективна независимо от точного выбора параметров, но меньшие объёмы котировок вызывают меньший отклик OBI и, следовательно, меньшую прибыль спуфера.

Стратегия прибыльна и даёт ожидаемые результаты — подходит для синтеза данных детектора спуфинга.

3.2. Детектор спуфинга

Синтез данных из раздела 2.1 даёт несбалансированный размеченный набор размера (2 611 707, 20, 4) с 84 666 (≈3,2%) примерами последовательностей спуфинга. Примеры перемешаны и разделены на training (64%), validation (16%) и holdout test (20%) с сохранением баланса классов. Признаки action type и order direction конвертированы из boolean в 0–1 categorical; price и quantity нормализованы к \(\mathcal{N}(0, 1)\). Дисбаланс классов корректируется oversampling positive class.

Задача — activity recognition (раздел 2.2); сравниваются шесть архитектур, способных захватить временные паттерны: bidirectional и standard LSTM (Bi-LSTM, LSTM), bidirectional и standard GRU (Bi-GRU, GRU), CNN, свёртывающий по времени, и простая feed-forward сеть (FFNN). Каждая сеть: вход (20, 4), 64 hidden units, ReLU, dense layer с sigmoid и одним выходным нейроном; batch size 64, Adam, binary crossentropy.

Эмпирически тестируется каждая комбинация признаков (Direction, relative Price, Quantity, action Type) с каждой архитектурой при пятикратной cross-validation. Табл. 1 — ablation study на out-of-sample результатах Bi-LSTM как репрезентативной модели. Комбинации трёх–четырёх признаков не улучшают accuracy и опущены. Отчёт: false positives и negatives, precision, recall, Matthews Correlation Coefficient (MCC) для imbalanced binary classification. Action type и order direction по отдельности очень сильно коррелируют с ground truth. Финальные признаки — их комбинация с \(MCC = 0.997\).

Шесть архитектур из раздела 2.2 оцениваются на выбранной комбинации признаков: order direction и action type. Результаты — табл. 2. Даже простые архитектуры успешно решают задачу детекции в симулированном рынке — вероятно, потому что окно длины 20 включает время в каждый пример поведения. Финальный детектор — temporally-convolved CNN с признаками action type и order direction.

3.3. Агенты с фиксированной политикой

Для осмысленности RL-экспериментов сначала оцениваются фиксированные политики \(\pi_s(s)\) и \(\pi_h(s)\) из раздела 2.3. Если обе прибыльны, RL-агент с аналогичным пространством мог бы зарабатывать со спуфингом или без. \(\pi_s(s)\) или \(\pi_h(s)\) заменяет начального спуфинг-агента; среда идентична разделу 3.1. Рис. 2 суммирует дневную прибыль каждой стратегии за 100 симулированных полных торговых дней. Quote size \(h\) — эксперименты с \(\pi_h(s)\); остальные — \(\pi_s(s)\). \(\pi_h(s)\) превосходит исходную честную стратегию, \(\pi_s(s)\) уступает исходной спуфинг-стратегии, но доходы обеих политик положительны и того же порядка, что у исходных стратегий.

Средняя активация детектора спуфинга: \(\Theta(\pi_h(s), a_0 : a_{19}) = 0.000\) и \(\Theta(\pi_s(s), a_0 : a_{19}) = 0.842\). Детектор «флагает» спуфинг-политику, но не честную — как ожидалось. Обе политики демонстрируют стабильную прибыль; RL-агент с аналогичным пространством мог бы зарабатывать без спуфинга, но спуфинг повысил бы прибыльность.

3.4. Ограниченный RL: неспособность спуфить

Фиксированная политика заменяется ограниченным агентом \(Q_R\) с полным пространством состояний из раздела 2.4, но ограниченным пространством действий \(\{\mathrm{AG}, \mathrm{EX}, \mathrm{DN}\}\). Он использует online Q-Learning (раздел 1.1) для обнаружения торговой политики, максимизирующей прибыль. Агент может совершать сделки, но не может отменять ордера. Гипотеза: \(Q_R\) не сможет выучить ненормативное спуфинг-поведение.

Тестируются вариации \(Q_R\): три с \(\epsilon\)-greedy exploration (все случайные действия, scheduled step decline за торговой день, geometric decay); два с Boltzmann exploration с unscaled или linearly scaled environmental rewards. Для каждой вариации — 10 отдельных random experiments. Каждый агент обучается 10 полных торговых дней, затем оценивается ещё 10 дней. Небольшой начальный bias к действию DN. Learning rate decay per state-action pair: \(\alpha = \max(0.1,\; 1/c(s,a))\), где \(c\) — счётчик.

Табл. 3 и рис. 3 — mean и распределение прибылей за 100 торговых дней для каждой вариации \(Q_R\). Все вариации прибыльны в среднем, кроме unscaled-\(r\) Boltzmann; автор полагает, что ранние крупные награды смещают выбор действий. Влияние на других трейдеров схоже между вариациями. Boltzmann-агент сходится за меньше дней обучения — быстрее отказывается от неприносящих награду действий. Последующие экспериментальные агенты основаны на scaled-\(r\) Boltzmann-вариации \(Q_R\) из-за быстрой сходимости, near-optimal profit и отсутствия значительных нисходящих отклонений прибыли.

Средняя активация детектора спуфинга \(\Theta(a_0 : a_{19}) < 10^{-17}\) для всех вариаций \(Q_R\) — ограниченный агент не способен спуфить симулированный рынок. Без спуфинга \(Q_R\) стабильно учится зарабатывать: в scaled-\(r\) Boltzmann-вариации только 5% торговых дней заканчиваются убытком, средний убыток в эти дни — $195. Правильно сконфигурированный RL-трейдер может зарабатывать на рынке без спуфинга.

3.5. Неограниченный RL: обучение спуфить

Из предыдущих экспериментов видно, что типичная стратегия спуфинга и спуфинг-агент с фиксированной политикой успешно спуфят симулированный рынок; честный агент с фиксированной политикой и action-restricted RL-трейдер могут зарабатывать без спуфинга. Перед введением нормативного руководства исследуется, что происходит без него.

Ограниченный агент \(Q_R\) заменяется неограниченным Q-Learning агентом \(Q_U\) с полным пространством состояние–действие из раздела 2.4, максимизирующим прибыль. Никаких усилий направить агента к спуфингу — только наблюдение поведения. Гипотеза: \(Q_U\) научится максимизировать прибыль спуфингом рынка. Все эксперименты — та же конфигурация рынка, процесс обучения и scaled-\(r\) Boltzmann-вариант из раздела 3.4. Глубина ордера ранее не влияла на исходы спуфинга — все эксперименты с фиксированной глубиной 5 для действия PS.

Табл. 4 — mean profit по классам агентов. Строки init и \(\pi_s(s)\) — начальная и фиксированная спуфинг-стратегии для сравнения. В среднем \(Q_U\) получает большую прибыль, чем референсные спуфинг-стратегии для большинства протестированных объёмов. Распределение доходности \(Q_U\) представлено в разделе 3.6 вместе с normative агентами.

Средняя активация детектора \(\Theta(a_0 : a_{19}) = 0.755\) по всем quote sizes для \(Q_U\). \(Q_U\) зарабатывает на уровне известных спуфинг-стратегий и существенно выше известных честных. Как и известные спуфинг-стратегии, \(Q_U\) в основном profit от HFT OBI-трейдеров. Вывод: \(Q_U\) непреднамеренно научился максимизировать прибыль спуфингом симулированного рынка; нормативное руководство действительно может быть необходимо.

3.6. Normative RL: обучение не спуфить

В разделе 3.5 неограниченный Q-Learning агент с простой максимизацией прибыли научился спуфить финансовый рынок. В финальном наборе экспериментов детектор спуфинга \(\Theta(a_0 : a_{19})\) используется как источник нормативного руководства для предотвращения обнаружения спуфинга как «оптимальной» стратегии.

Неограниченный \(Q_U\) заменяется \(Q_N\) — Q-Learning агентом с полным пространством состояние–действие из раздела 2.4. \(Q_N^{sh}\) получает нормативное руководство через reward shaping; \(Q_N^{rr}\) — через action reranking. Оба метода показаны в разделе 2.4. Параметры идентичны разделу 3.5, кроме оговорённого. Все доступные действия по отдельности нормативны; детектор обучен на последовательностях длины 20, видимых с биржи. Для каждого агента поддерживается история длины 20 exchange-visible order activity — отличная от внутренних выборов из action space (раздел 2.4). Гипотеза: \(Q_N\) использует дополнительную гибкость action space, чтобы зарабатывать больше \(Q_R\), но с меньшей прибылью и активацией \(\Theta(a_0 : a_{19})\), чем \(Q_U\).

Табл. 5 — mean profit по классам агентов. Политики и Q-Learning агенты из предыдущих экспериментов — для сравнения. Колонка \(\Theta(a)\) — средняя активация детектора спуфинга для действий экспериментального агента. \(Q_N\) достигает примерно в 40 раз большей прибыли, чем предыдущие экспериментальные non-spoofing агенты. 30–40% прибыли предыдущих spoofing агентов при на порядок меньшей активации \(\Theta(a_0 : a_{19})\).

Рис. 4 — распределение прибылей каждого класса агентов. \(Q_U\) испытывает редкие, но катастрофические убытки — вероятно, когда спуфинг limit orders случайно исполняются. Обе вариации \(Q_N\) устраняют эти потери. По сравнению с \(Q_N\), \(Q_U\) также создаёт гораздо большую волатильность доходности других трейдеров.

При условии, что в настоящей работе спуфинг отождествляется с высокой активацией \(\Theta(a_0 : a_{19})\), и эффективность детектора критична, для Q-Learning торговых агентов наблюдается:

• Ограниченный \(Q_R\) не способен спуфить и достигает ограниченной прибыли.
• Неограниченный \(Q_U\) учится спуфить и достигает очень высокой mean profit, но создаёт высокую дисперсию прибыльности всех агентов, включая себя.
• Normative агент \(Q_N\) достигает высокой mean profit без обучения спуфингу и менее disruptive для рынка в целом.
• Action reranking даёт более низкую активацию \(\Theta(a_0 : a_{19})\) и чуть более высокую mean profit, чем reward scaling, но с меньшим числом восходящих отклонений прибыли.

Оба изученных вида normative guidance захватывают повышенный profit potential RL-механизма торговли, но с гораздо меньшей активацией детектора спуфинга и гораздо меньшим disruption для других участников рынка. Это может предложить новое направление для регуляторов: поощрение или требование best practices, включающих такое normative guidance, для сдерживания непреднамеренного принятия ненормативных или disruptive практик автономными RL-торговыми агентами.

4. Заключение

Автор исследовал риск того, что ответственный практик финансового machine learning непреднамеренно создаст Q-Learning торгового агента, спуфящего рынок участия. Сначала распознаватель спуфинга обучен на вариациях hand-designed спуфинг-агента в симулированном рынке — симуляция безопасный и эффективный способ синтезировать примеры ненормативного поведения. Спуфинг детектируем на рынке; order-book aware агенты страдают от спуфинга, как ожидалось. Введены и протестированы честные и спуфинг fixed policy торговые агенты, action-restricted и unconstrained Q-trading агенты, гибкие Q-trading агенты с двумя формами normative guidance. Относительные прибыли и уровни активации детектора спуфинга показывают: restricted Q-trader не мог спуфить, unconstrained Q-trader непреднамеренно научился спуфить, Q-traders с normative guidance достигли respectable profits без обучения спуфингу. Оба подхода к normative guidance позволяют прибыльность с меньшим market disruption и избежанием видимого спуфинг-поведения.

Автор признаёт, что normative guidance может подавлять только поведение, которое распознаёт; robustness детектора должна быть высоким приоритетом. В более широком смысле непреднамеренные правовые или регуляторные нарушения интеллектуальными торговыми алгоритмами — серьёзная проблема, требующая немедленного внимания. Рекомендации:

• Практики могут использовать ensemble non-normative behavior detectors для лучшего руководства автономными агентами.
• Регуляторные агентства могут рекомендовать или требовать развёртывания такого ensemble как best faith effort для детекции и снижения accidentally-disruptive поведения автономных интеллектуальных торговых агентов.
• Market simulation для понимания реакции других трейдеров на поведение агента может информировать разработку component models для ensemble normative guides.

Благодарности. Материал основан на исследовании, поддержанном National Science Foundation Grant No. 1741026 и JP Morgan Fellowship.

Литература

• [1] R.E. Bellman. 1957. A markov decision process. Journal of Mathematical Mechanics (1957).
• [2] Nick Bostrom. 2003. Ethical Issues in Advanced Artificial Intelligence. Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence 2 (2003), 12–17.
• [3] David Byrd, Maria Hybinette, and Tucker Hybinette Balch. 2020. ABIDES: Towards High-Fidelity Multi-Agent Market Simulation. In Proceedings of the 2020 ACM SIGSIM Conference on Principles of Advanced Discrete Simulation. 11–22.
• [4] Yi Cao, Yuhua Li, Sonya Coleman, Ammar Belatreche, and Thomas Martin McGinnity. 2014. Detecting price manipulation in the financial market. In 2014 IEEE Conference on Computational Intelligence for Financial Engineering & Economics (CIFEr). IEEE, 77–84.
• [5] Commodity Futures Trading Commission. 2020. CFTC Division of Enforcement Issues Annual Report. URL cftc.gov/PressRoom/PressReleases/8323-20 (2020).
• [6] Commodity Futures Trading Commission. 2021. Fact Sheet: Interpretive Guidance and Policy Statement on Disruptive Practices. cftc.gov (2021).
• [7] J. Garcia and F. Fernandez. 2015. A comprehensive survey on safe reinforcement learning. J. Mach. Learn. Res. 16 (2015), 1437–1480.
• [8] Shane Griffith, Kaushik Subramanian, Jonathan Scholz, Charles L Isbell, and Andrea Thomaz. 2013. Policy shaping: integrating human feedback with reinforcement learning. In Proceedings of the 26th International Conference on Neural Information Processing Systems-Volume 2. 2625–2633.
• [9] Oscar D Lara and Miguel A Labrador. 2012. A survey on human activity recognition using wearable sensors. IEEE communications surveys & tutorials 15, 3 (2012), 1192–1209.
• [10] Teema Leangarun, Poj Tangamchit, and Suttipong Thajchayapong. 2016. Stock price manipulation detection using a computational neural network model. In 2016 Eighth International Conference on Advanced Computational Intelligence (ICACI). IEEE, 337–341.
• [11] Eun Jung Lee, Kyong Shik Eom, and Kyung Suh Park. 2013. Microstructure-based manipulation: Strategic behavior and performance of spoofing traders. Journal of Financial Markets 16, 2 (2013), 227–252.
• [12] Aihua Li, Jiede Wu, and Zhidong Liu. 2017. Market manipulation detection based on classification methods. Procedia Computer Science 122 (2017), 788–795.
• [13] Luisa Mendonça and Alan De Genaro. 2020. Detection and analysis of occurrences of spoofing in the Brazilian capital market. Journal of Financial Regulation and Compliance (2020).
• [14] Md Sultan Al Nahian, Spencer Frazier, Brent Harrison, and Mark Riedl. 2021. Training Value-Aligned Reinforcement Learning Agents Using a Normative Prior. arXiv preprint arXiv:2104.09469 (2021).
• [15] Andrew Y Ng, Daishi Harada, and Stuart J Russell. 1999. Policy Invariance Under Reward Transformations: Theory and Application to Reward Shaping. In Proceedings of the Sixteenth International Conference on Machine Learning. 278–287.
• [16] Billy Okal and Kai O Arras. 2016. Learning socially normative robot navigation behaviors with bayesian inverse reinforcement learning. In 2016 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2889–2895.
• [17] Tālis J Putniņš. 2012. Market manipulation: A survey. Journal of Economic Surveys 26, 5 (2012), 952–967.
• [18] Mark O Riedl and Brent Harrison. 2016. Using Stories to Teach Human Values to Artificial Agents. In AAAI Workshop: AI, Ethics, and Society.
• [19] Nate Soares and Benja Fallenstein. 2014. Aligning superintelligence with human interests: A technical research agenda. Machine Intelligence Research Institute (MIRI) technical report 8 (2014).
• [20] Richard S Sutton and Andrew G Barto. 2018. Reinforcement learning: An introduction. MIT press.
• [21] Jindong Wang, Yiqiang Chen, Shuji Hao, Xiaohui Peng, and Lisha Hu. 2019. Deep learning for sensor-based activity recognition: A survey. Pattern Recognition Letters 119 (2019), 3–11.
• [22] Xintong Wang and Michael P. Wellman. 2020. Market Manipulation: An Adversarial Learning Framework for Detection and Evasion. In Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence, IJCAI-20. 4626–4632.
• [23] Christopher JCH Watkins and Peter Dayan. 1992. Q-learning. Machine learning 8, 3-4 (1992), 279–292.
• [24] Christopher John Cornish Hellaby Watkins. 1989. Learning from delayed rewards. (1989).

Оригинал статьи: Byrd, «Learning Not to Spoof», arXiv:2306.06087 · ACM ICAIF'22