Прогноз длительностей в высокочастотных данных: самовозбуждающийся процесс с гибкими остатками

4.5/10

Кёнсоп Ли · Department of Statistics, Yeungnam University, Gyeongsan, Republic of Korea · 1 апреля 2026

Оригинал: Lee, K. «Forecasting duration in high-frequency financial data using a self-exciting flexible residual point process», 2026 — arxiv.org/abs/2604.00346 (PDF).

Рисунки воспроизведены из оригинальной публикации. Оригинал распространяется по лицензии CC BY 4.0; перевод выполнен на её условиях. Рисунки приведены из оригинальной публикации.

Ключевые слова: прогноз длительностей; самовозбуждающийся процесс; гибкие остатки; интенсивность; цепь Маркова; высокочастотные данные.

Аннотация

Метод прогноза длительностей в лимитном стакане на самовозбуждающемся точечном процессе с гибкими остатками. Межсобытийные времена на современных биржах тяжелохвостые — это ломает простые прогнозы. Модель встраивает эмпирическое распределение интервалов, сохраняя самовозбуждение и затухание. Процесс читается как цепь Маркова на общем пространстве состояний: при подходящих условиях он неприводим, апериодичен, положительно Харрис-рекуррентен и имеет стационарное распределение. На ультравысокочастотных данных прогноз сильнее нескольких альтернатив.

1. Введение

Две цели. Первая — предсказать длительности в LOB самовозбуждающимся экспоненциально затухающим точечным процессом с гибким остатком. LOB — лента заявок, отмен и сделок. На NYSE и NASDAQ миллионы событий в наносекундах; интервалы между ними — durations, типов несколько.

Здесь — длительности смены mid-price: тайминг и интенсивность потока. Вариации частоты сделок (Easley et al., 2008) отражают информационный поток; авторегрессии и точечные процессы (Bauwens and Hautsch, 2009) ловят кластеризацию. Связь с волатильностью: duration-based оценки (Hong et al., 2023), улучшение прогноза волатильности (Fei et al., 2023; Slim et al., 2023), стохастическая duration-модель (Pelletier and Wei, 2024), duration-dependent Markov switching (Turatti et al., 2025).

Прогноз mid-change duration на высокой частоте труден: распределение не экспоненциальное, а тяжелохвостое — смесь крайне коротких и длинных пауз. Два шага: (i) зависимость интервалов как кластеризация (короткое после короткого, длинное после длинного); (ii) распределение инноваций. Получаются reduced-form модели по эмпирике.

Hautsch (2011) делит подходы на интенсивность, hazard, duration и счётчики. Цель одна: вероятность события в данный момент.

Типичная интенсивность — Хоукс (Hawkes, 1971a,b): событие поднимает интенсивность на фиксированную величину, затем она затухает. Структура immigration–descendant, финансы (Embrechts et al., 2011; Bacry et al., 2015; Lee and Seo, 2023; Chen et al., 2024; Jain et al., 2024). Стационарность: интеграл ядра меньше 1. Неэкспоненциальное ядро (Hardiman et al., 2013; Bacry et al., 2016; Kanazawa and Sornette, 2021) ломает конечномерное марковское свойство — симуляция и оценка тяжелеют.

Duration-модели: ACD Engle and Russell (1998) и варианты (Bauwens and Giot, 2000; Fernandes and Grammig, 2006; Meitz and Teräsvirta, 2006). В отличие от Хоукса с постоянным скачком частоты, прирост латентного процесса случаен в момент события: взвешенное среднее прошлых длительностей = ожидание следующего интервала. Поэтому вместо экспоненты легко подставить другие распределения (Hautsch, 2003; Bauwens et al., 2004; De Luca and Zuccolotto, 2006).

Lee (2025): интенсивность тоже может нести широкий класс распределений, не теряя самовозбуждения и затухания. Для LOB: структура Хоукса и марковость за счёт гибких остатков — i.i.d. тяжелохвостых величин, преобразованных обратной функцией. Duration-модели и гибкие остатки — одно семейство.

Вторая цель — стохастическая устойчивость. Lee (2025) задал модель, но вероятностные свойства почти не разобраны. Процесс — интенсивность и одновременно цепь Маркова на общем пространстве. При условиях строится функция Foster–Lyapunov: положительная Харрис-рекуррентность, неприводимость, апериодичность, стационарное распределение.

Раздел 2 — модель и сравнение. Раздел 3 — устойчивость. Раздел 4 — эмпирика LOB. Раздел 5 — заключение.

2. Каркас моделей

2.1. Общая постановка

Точечный процесс на $\mathbb{R}_+$: времена $0\lt T_1\lt T_2\lt\cdots$, интервалы $\tau_i=T_i-T_{i-1}$. Мера — Daley and Vere-Jones (2007); Brémaud (2020). Состояние эволюционирует только от прошлого — самовозбуждение / авторегрессия и марковость.

Определение 1. Пусть $\{\varepsilon_n\}$ — i.i.d. с абсолютно непрерывным распределением на $(0,\infty)$. Есть состояние $\{X_n\}$, согласованное с $F_{n-1}=\sigma(X_0,\varepsilon_1,\ldots,\varepsilon_{n-1})$. Функция $\Phi(t,x)$ строго возрастает по $t$ при каждом $x$. Связь

\[ \varepsilon_n=\Phi(\tau_n,X_{n-1}),\qquad \tau_n=\Phi^{-1}(\varepsilon_n,X_{n-1}), \]

обращение по $t$ при фиксированном $x$. Обновление $X_n=\Psi(\tau_n,X_{n-1})$. Локально конечный процесс $N=\sum_n\delta_{T_n}$, $T_n=\sum_{i=1}^n\tau_i$.

Процесс эволюционный (non-anticipative): условные ожидания только по прошлому; $X_0$ измеримо относительно $F_0$. Это observation-driven модель Cox (1981): латентное $\{X_n\}$ — детерминированная функция прошлого и реализованных длительностей; стохастика только через $\{\varepsilon_n\}$. Нет отдельного шума в латентном состоянии — в отличие от parameter-driven: SCI (Bauwens and Hautsch, 2006), стохастический multiplicative error (Hautsch, 2008), Markov-switching duration/intensity (Chen et al., 2013; Li et al., 2021).

Определение 1 в event time, без календарных эффектов. Дневная сезонность документирована (Hautsch, 2011). Три пути: (i) мультипликативная фильтрация $\tilde\tau_n=\tau_n/s(T_n)$ сплайнами; (ii) $\Phi$ и $\Psi$ зависят от $T_{n-1}$, или baseline — гладкая функция часов; (iii) как в эмпирике — скользящее окно (каждые 5000 наблюдений), параметры подстраиваются локально без жёсткой сезонности.

2.2. Частные модели

Пусть $F_\varepsilon$, $f_\varepsilon$, $h_\varepsilon$ — CDF, PDF и hazard остатка. Условная интенсивность на $t=t'-T_{n-1}$, $t'\in(T_{n-1},T_n]$:

\[ \lambda_{n-1}(t)=h_\varepsilon\bigl(\Phi(t,X_{n-1})\bigr)\,\frac{\partial\Phi}{\partial t}(t,X_{n-1}). \]

CDF и PDF интервала: $F_\tau(t;x)=F_\varepsilon(\Phi(t,x))$, $f_\tau(t;x)=f_\varepsilon(\Phi(t,x))\,\partial\Phi/\partial t$.

Определение 2 (обновление). $\Phi(t,x)=t$ $\Rightarrow$ $\tau_n=\varepsilon_n$ — процесс восстановления (Feller, 1950).

Определение 3 (ACD(1,1)). $X_n=b_0+a\tau_n+b_1 X_{n-1}$, $a,b_0,b_1\gt 0$, $a+b_1\lt 1$. $\Phi(t,x)=t/x$, $\tau_n=X_{n-1}\varepsilon_n$. Это ACD Engle and Russell (1998); $X_n$ — условное ожидаемое duration. Конвенция $\tau_n=X_{n-1}\varepsilon_n$ (а не $X_n\varepsilon_n$) — чисто нотационная: ожидание известно в $T_{n-1}$.

При единичной экспоненте интенсивность на $(T_{n-1},T_n)$ постоянна: $\lambda_{n-1}(t)=1/X_{n-1}$. Иначе

\[ \lambda_{n-1}(t)=h_\varepsilon\Bigl(\frac{t}{X_{n-1}}\Bigr)\frac{1}{X_{n-1}}. \]

Определение 4 (log-ACD(1,1)). $X_n=\exp(b_0+a\log\tau_n+b_1\log X_{n-1})$, $a,b_1\ge 0$, $b_0\in\mathbb{R}$, $a+b_1\lt 1$, то же $\Phi$. Bauwens and Giot (2000).

Определение 5 (log-ACI(1,1)). $\varepsilon_n$ — стандартная экспонента; $\Lambda_n=\exp\bigl(b_0+a(\Lambda_{n-1}\tau_n-1)+b_1\log\Lambda_{n-1}\bigr)$, $|b_1|\lt 1$; $\Phi(t,x)=xt$, $\tau_n=\varepsilon_n/\Lambda_{n-1}$. Russell (1999); $\{\Lambda_n\}$ — условная интенсивность.

Определение 6 (самовозбуждение, экспоненциальное затухание, гибкий остаток).

\[ \Psi(t,x)=\mu+(x-\mu+\alpha)e^{-\beta t},\qquad \mu,\alpha,\beta\gt 0, \] \[ \Lambda_n=\mu+(\Lambda_{n-1}-\mu+\alpha)e^{-\beta\tau_n}, \] \[ \Phi(t,x)=\int_0^t\Psi(s,x)\,ds=\mu t+(x-\mu+\alpha)\frac{1-e^{-\beta t}}{\beta}, \]

$\tau_n=\Phi^{-1}(\varepsilon_n,\Lambda_{n-1})$. Процесс Lee (2025).

Замечание 1. Стационарность латентного $\{\Lambda_n\}$: $\alpha\lt\beta\mu_\varepsilon$, $\mu_\varepsilon:=E[\varepsilon]\lt\infty$. См. раздел 3.

Между событиями $\lambda_{n-1}(t)=h_\varepsilon(\Phi(t,\Lambda_{n-1}))\,\Psi(t,\Lambda_{n-1})$.

Определение 7 (экспоненциальный Хоукс). Если $\varepsilon_n$ единичная экспонента, $h_\varepsilon\equiv 1$ — классический Hawkes (1971a,b).

Самовозбуждение: событие даёт детерминированный скачок вверх; длинная пауза — затухание к baseline; короткие пачки — интенсивность накапливается. ACD: латентное меняется только в событиях, обновление стохастическое; длинный интервал поднимает ожидаемую длительность и тем самым снижает интенсивность. Случайность в SE — через длину затухания между прибытиями; в ACD — через event-driven апдейт при постоянном латентном между событиями.

Определение 1 унифицирует класс через $\Psi$ и $\Phi$. Дальше — определение 6.

2.3. Остаточный процесс

Интеграл интенсивности по $\tau_n$ даёт экспоненциальный остаток (random time change: Meyer, 1971; Brown and Nair, 1988) — не то же, что инновация $\varepsilon_n$:

\[ \int_0^{\tau_n}\lambda_{n-1}(t)\,dt=-\log\bigl(1-F_\varepsilon(\varepsilon_n)\bigr). \]

$F_\varepsilon(\varepsilon_n)$ равномерно на $(0,1)$, остаток — стандартная экспонента. Условное ожидание

\[ E[\tau_n\mid F_{n-1}]=\int_0^\infty\bigl[1-F_\varepsilon(\Phi(s,X_{n-1}))\bigr]\,ds, \]

если среднее инновации конечно. Для ACD: $E[\tau_n\mid F_{n-1}]=X_{n-1}\mu_\varepsilon$. Для SE-FR:

\[ E[\tau_n\mid F_{n-1}]=\int_0^\infty s\,f_\varepsilon(\Phi(s,\Lambda_{n-1}))\,\Psi(s,\Lambda_{n-1})\,ds; \]

при экспоненциальном $\varepsilon$ это $\int_0^\infty e^{-\Phi(s,\Lambda_{n-1})}\,ds$. Замкнутой формы, кроме ACD, нет — в эмпирике одномерное численное интегрирование при оценённом состоянии.

2.4. Правдоподобие

\[ \ell_n(\theta)=\log f_\varepsilon(\Phi(\tau_n,X_{n-1}))+\log\frac{\partial\Phi}{\partial t}(\tau_n,X_{n-1}); \]

для SE-FR, где $\Psi=\partial\Phi/\partial t$: $\ell_n=\log f_\varepsilon(\Phi)+\log\Psi$. MLE — сумма по $n=1,\ldots,N$ (Karr, 1991).

3. Самовозбуждающийся процесс с гибким остатком

3.1. Линейное представление

Из $\Lambda_n=\mu+(\Lambda_{n-1}-\mu+\alpha)e^{-\beta\tau_n}$ и формулы для $\Phi$ следует

\[ \Lambda_n=\Lambda_{n-1}+\alpha-\beta\varepsilon_n+\beta\mu\tau_n, \] \[ \Lambda_n=\Lambda_0+n\alpha-\beta\sum_{i=1}^n\varepsilon_i+\beta\mu\sum_{i=1}^n\tau_i. \]

Необходимое условие ограниченности $E[\Lambda_n]$: $\alpha\le\beta\mu_\varepsilon$ — мотивация замечания 1.

3.2. Цепь Маркова

$\{\Lambda_n\}$ — цепь на общем пространстве (Meyn and Tweedie, 2009). Состояния $\mathcal{X}=[\mu,\infty)$. Даже старт в $\mu$ не возвращает туда: возбуждение $\alpha\gt 0$ и фактор затухания меньше 1. Ядро $P(x,B)=\mathbb{P}(\mu+(x-\mu+\alpha)e^{-\beta\tau}\in B)$, $\tau=\Phi^{-1}(\varepsilon,x)$, плотность $f_\varepsilon\gt 0$ на $(0,\infty)$.

Теорема 2 (эргодичность и стационарность). Пусть $\alpha\lt\beta\mu_\varepsilon$. Тогда $\{\Lambda_n\}$ — Лебег-неприводимая, апериодичная, положительно Харрис-рекуррентная цепь на $[\mu,\infty)$:

  1. единственное стационарное $\pi$; закон $\Lambda_n$ сходится к $\pi$ по полной вариации с любого старта;
  2. эргодичность: выборочные средние $\{\tau_n\}$ сходятся к теоретическим;
  3. в стационарности \[ E[\tau_n]=\frac{\beta\mu_\varepsilon-\alpha}{\beta\mu}. \]

Доказательство — приложение B (Foster–Lyapunov). Эргодичность даёт состоятельность MLE; условие $\alpha\lt\beta\mu_\varepsilon$ запрещает взрыв интенсивности.

3.3. Автокорреляция

Симуляция с гамма-остатками, $\mu_\varepsilon=1$. Персистентность растёт, когда $\alpha/\beta$ ближе к 1 (в стационарной зоне $\alpha\lt\beta\mu_\varepsilon$).

Рисунок 1
Рисунок 1. ACF симулированных $\tau_n$, гамма-остатки. (a) $\alpha=0{,}095$, $\beta=0{,}1$ — медленное затухание, сильная кластеризация. (b) $\alpha=0{,}07$, то же $\beta$ — возбуждение рассеивается быстрее.

4. Эмпирический анализ

4.1. Данные

Длительность — время, за которое mid сдвигается на один тик. Mid = среднее лучших; сдвиг одной стороны на тик двигает mid на полтика. Полный тик mid обычно из двух полутиков в одну сторону. Пример: up–down–up–up даёт нетто +1 тик и новое событие.

СтатистикаЗначение
Наблюдений$1{,}023{,}480$
Среднее, с$0{,}4801$
Ст. откл.$0{,}9937$
Минимум$3{,}08\times 10^{-7}$
Медиана$0{,}1281$
Максимум$38{,}7261$
Асимметрия$5{,}7536$
Эксцесс$61{,}4619$
Over-dispersion (SD/mean)$2{,}0698$
Рисунок 2
Рисунок 2. Гистограмма длительностей AAPL и экспоненциальный фит. Масса у нуля; правый хвост статистикой подтверждён, на гистограмме сжат масштабом.

4.2. Распределения остатков

Три семейства с $E[\varepsilon]=1$.

Гамма. Один параметр формы $\kappa\gt 0$, масштаб $1/\kappa$:

\[ f(x;\kappa)=\frac{\kappa^\kappa}{\Gamma(\kappa)}x^{\kappa-1}e^{-\kappa x},\quad x\gt 0. \]

Экспонента при $\kappa=1$.

Обобщённая гамма. Формы $d,p\gt 0$, масштаб $a=\Gamma(d/p)/\Gamma((d+1)/p)$:

\[ f(x;d,p)=\frac{p}{a^d\Gamma(d/p)}x^{d-1}\exp\bigl(-(x/a)^p\bigr). \]

$d$ — поведение у нуля, $p$ — толщина хвоста.

Burr XII (Burr, 1942). Формы $s_1,s_2\gt 0$, масштаб $c$; среднее существует при $s_1 s_2\gt 1$; $c$ фиксируется из $E[\varepsilon]=1$ через бета-функцию. Степенной хвост, сильная асимметрия.

4.3. Динамики

Три класса × четыре остатка: SE-Exp (Хоукс), SE-Gamma, SE-gGamma, SE-Burr; ACD-Exp/Gamma/gGamma/Burr (Grammig and Maurer, 2000); logACD-Exp/Gamma/gGamma/Burr.

Таблица 2 (AAPL, 16 декабря 2022, все оценки значимы). SE-Exp раздувает $\mu,\alpha,\beta$ ($\mu\approx 1{,}48$, $\alpha\approx 91$, $\beta\approx 286$) — экспонента не тянет over-dispersion. Гибкие SE дают спокойные параметры: SE-Gamma $\mu=0{,}27$, $\alpha=0{,}094$, $\beta=0{,}107$, $\kappa=0{,}35$; SE-Burr $\mu=0{,}033$, $\alpha=0{,}063$, $\beta=0{,}074$, $s_2=0{,}48$. ACD: $a+b_1$ почти 1 (персистентность), $\kappa\approx 0{,}34$.

4.4. Внутридневная оценка

Скользящее окно: 5000 последних mid-событий (~45 мин), затем прогноз следующих 100 OOS через (21)–(22). Латентное ACD рекурсией $\hat b_0,\hat a,\hat b_1$; SE — $\hat\mu,\hat\alpha,\hat\beta$. Окно сдвигается на 100 событий. Весь декабрь 2022, кроме первых 5000 на старте дня.

Бенчмарки вне определения 1: log-ACI(1,1) и полупараметрический FI-logACD(1,$d$,1) Feng and Zhou (2015): $\log\tau_n=\mu+z_n$, $(1-\phi B)(1-B)^d z_n=(1+\theta B)\varepsilon_n$, $d\in(0,1/2)$.

4.5. Результаты прогноза

МодельrRMSE$R^2$KS$W$
SE-Exp (Hawkes)$1{,}8386$$0{,}0782$$0{,}1381$$0{,}0052$
SE-Gamma$1{,}8541$$0{,}1373$$0{,}0507$$0{,}0009$
SE-gGamma$1{,}8739$$0{,}0521$$0{,}0486$$0{,}0008$
SE-Burr$1{,}8033$$0{,}1134$$0{,}0659$$0{,}0016$
ACD-Exp$1{,}8540$$0{,}1371$$0{,}2020$$0{,}0147$
ACD-Gamma$1{,}8513$$0{,}1377$$0{,}0237$$0{,}0002$
ACD-gGamma$1{,}8139$$0{,}1279$$0{,}1989$$0{,}0146$
ACD-Burr$1{,}8620$$0{,}1330$$0{,}0595$$0{,}0012$
logACD-Exp$1{,}8639$$0{,}1284$$0{,}2053$$0{,}0169$
logACD-Gamma$1{,}8312$$0{,}1206$$0{,}0194$$0{,}0001$
logACD-gGamma$1{,}8574$$0{,}1059$$0{,}0248$$0{,}0002$
logACD-Burr$1{,}9226$$0{,}0724$$0{,}0386$$0{,}0005$
logACI$1{,}7814$$0{,}1188$$0{,}1868$$0{,}0126$
FI-logACD$1{,}8815$$0{,}1117$$0{,}1738$$0{,}0147$

SE-Burr лучше SE-Exp по rRMSE и $R^2$. SE-Gamma / gGamma не выигрывают точечный прогноз, но сильно режут KS и $W$. Burr даёт баланс: и точность, и распределение. В ACD смена остатка почти не двигает rRMSE; ACD-Gamma — лучший KS/$W$ в классе. log-ACD похож. logACI — минимальный rRMSE, но плохой distributional fit. FI-logACD (длинная память) OOS не помогает. Гибкость остатка особенно полезна внутри самовозбуждения.

4.6. Качество подгонки

P–P: условная CDF $F_\tau$ из (4) на наблюдённых $\tau$; точки у диагонали 45°. Данные: AAPL 16 декабря 2022, окно 5000.

Рисунок 3
Рисунок 3. P–P интервалов. ACD-Exp далеко от диагонали; SE-Exp лучше, но смещение остаётся; ACD-Burr и особенно SE-Burr почти на 45°. Гамма-семейство похоже, опущено. Идеала нет: запас по остатку или по $\Psi$/$\Phi$.
Рисунок 4
Рисунок 4. Гистограммы экспоненциальных остатков (14). ACD-Exp и SE-Exp далеко от единичной экспоненты; Burr-версии близки. Гамма аналогична Burr.
Рисунок 5
Рисунок 5. Условное ожидаемое межсобытийное время в течение дня. У всех: короткие паузы на открытии и закрытии, длинные между 14:00 и 15:00. SE-Exp — самый рваный профиль; SE-Burr — самый гладкий.

По табл. 3 SE-Burr чуть лучше ACD-Burr в rRMSE и $R^2$; ACD-Burr быстрее гасит ACF экспоненциальных остатков (рис. 6). Ни одна модель не добивается полной независимости остатков — латентная динамика ещё не исчерпана.

Рисунок 6
Рисунок 6. ACF экспоненциальных остатков SE-Burr и ACD-Burr, AAPL 16 декабря 2022. ACD-Burr затухает быстрее, но нуля нет.

5. Заключение

Самовозбуждающийся процесс с гибким остатком для прогноза duration смены mid в LOB. Латентное задаёт интенсивность; остаток несёт эмпирическое распределение. Как цепь Маркова: при конечном среднем остатка — положительная Харрис-рекуррентность (Foster–Lyapunov) и стационарность. Гибкие остатки улучшают прогноз; Burr внутри SE даёт измеримый выигрыш даже против ACD с тем же семейством. Конструкция расширяется за пределы финансов.

Благодарности. National Research Foundation of Korea (MSIT), грант RS-2026-25469087.

Литература

Оригинал статьи: Lee, «Forecasting duration in high-frequency financial data using a self-exciting flexible residual point process», arXiv:2604.00346 · лицензия CC BY 4.0