Пока такое решение придумал, но оно очень долгое (около 1 часа на 1 ран). Мб кто-то знает получше?

def decimate_run(run):
history = run.scan_history(page_size=10000)
for h in history:
if h["_step"] % 1000 == 0 and not h["_step"] % 10000 == 0:
for obj in h.values():
match obj:
case {"_type": "image-file", "path": path}:
try:
file = run.file(path)
file.delete()
except:
print(path)
print(obj)
print(h["_step"])
continue

Выжрал бесплатные лимиты на хранилище (100 Гб) в W&B. Думаете, это были чекпоинты? Нееет, это все картинки. 200-300 раз за один эксперимент я загружаю десятки matplotlib графиков с разными сэмплами. В итоге 1 ран содержит одних картинок на 300-900 Мб. Теперь сижу-чищу это все безобразие.

Доброе утро тем, кто в лонгах, остальным соболезную) Небольшой лайфхак, как относиться к падениям рынка. Рассматривайте инвестиции как покупки. Когда вы покупаете, например, гитару или телефон, вы же не смотрите ежедневно, а сколько там стоят б/у гитары или телефоны. Вы пользуетесь и кайфуете. Так и тут, относитесь к вложенным деньгам, как к потраченным раз и навсегда. А использование в случае с активами - это получение текущей доходности (дивиденды, купоны и прочие выплаты). На сегодня бесплатные советы все, всем хорошего весеннего дня ☃️

Когда задаешь реально важный вопрос

Продаю сигналы. Доллар, российские акции, крипта.

Иногда HR пишут и предлагают пообщаться «на перспективу». Думаю, вам тоже писали. Как думаете, какого размера перспектива у HR? Опрос ниже

#учимпитон

Еще один прикольчик для дебага. Редко, когда код сразу без ошибок работает. Обычно так бывает. Написал какой-то функционал. Запустил. Оно вылелело. После этого обычно идут ставить в коде принты. Чуть более искушенные разрабы идут ставить не принты, а брейкпоинты, чтобы сразу дебаггер запустить. Еще можно скрипт запустить сразу из-под дебаггера вот так:

python -m pdb script.py

Тогда если вылетает необработанное исключение, запускается посмертный дебаггер. Это удобно, но надо перезапускать код. А можно запускать посмертный дебаг сразу при появлении необработанного исключения. За поведение программы в случае, когда исключение нигде не обрабатывается, отвечает переменная sys.excepthook. По умолчанию она содержит функцию, которая просто выводит ошибку, стэк и завершает программу. Но можно сделать так, чтобы она запускала посмертный дебаггер. Для этого надо просто переписать эту переменную, например так:

import sys
import traceback
import pdb

def launch_post_mortem_debug(exc, value, tb):
traceback.print_exception(exc, value, tb)
pdb.pm()

sys.excepthook = launch_post_mortem_debug

Тогда при появлении необработанного исключения будет сразу запускаться посмертный дебаггер, что удобно. Однако некоторые фреймворки (например, hydra) сами переписывают excepthook, так что можно нарваться на конфликт.

Капитально перелопатили статью. Докинули датасетов, переделали выводы. Основная мысль - для классификации транзакций (и вообще любых последовательных данных, похожих на транзакции) не подходят методы для временных рядов. Хотя кажется, и то, и то - примерно одно и то же. Вот не одно и то же

https://arxiv.org/abs/2410.03399

Почему pre-training но preprocessing? Или как вообще правильно?

Rollin et al. A new look at the Heston characteristic function.

Реально шок, 2 раза открывал статью и закрывал, только на 3 раз не побоялся и попробовал все-таки прочитать. Не зря! Тут есть формула для совместной хар. функции для Хестона. А с ней можно посчитать марковскую проекцию процесса Хестона. А это прям ground truth локальная волатильность, если данные по опционам приходят из модели Хестона. Можно бенчмаркать всякие алгоритмы интерполяции и экстраполяции поверхности волатильности и преводу IV в LV.

Воспроизвел Bass Local Volatility (гитхаб)

Как вообще работают модели в финансах. На ликвидном (🚬🗿) рынке мы видим цены европейских опционов с разными экспирациями. Хорошая модель должна быть способна скалиброваться к рынку, то есть выдавать ровно те цены европейских опционов, которые мы видим на рынке.

Базовая модель, которая так умеет — это локальная волатильность. С ней есть пара проблем. Для калибровки нужно как-то интерполировать двумерную функцию цены европейских опционов (в зависимости от страйка и даты экспирации). Это полбеды, а вот чтобы что-то посчитать что-то в этой модели, надо Монте-Карлить. А для Монте-Карлинга, нужно, по-хорошему, честно интегрировать стох-диффур с маленьким шагом по времени, что затратно. Если интересны цены акции в моменты времени 0, 1 и 2, то все равно надо считать цену с шагом, скажем 1/250 и делать 750 шагов вместо 3. Кажется, что оверкилл.

Есть вариант, как обойтись без большого количества мелких шагов. Можно вытащить маргинальные распределения в интересущие нас моменты времени, соединить их какой-нибудь копулой, и потом сэмплировать сразу из совместного распределения. Подход рабочий, в принципе, но непонятно, будет ли такое совместное распределение мартингальным (скорее всего, не будет). А нужно, чтобы было.

И вот пару лет назад вышла статья, в которой описали, как сделать и быструю, и мартингальную локальную волатильность. А вот код не выкатили. Почему-то вот не принято в финансах код выкладывать к статьям, а жаль. Я посидел немного и эту локальную волатильность худо-бедно воспроизвел. В статье еще есть что-то про расчет рисков автоградом и расширение на локал-стох-волу, но я туда даже не лез. Алгоритм там разносит иногда, но в целом штука работает. Пулл-реквесты и замечания приветствуются.

Приложения брокеров be like

😎 Сгонял на Коллоквиум Башелье во Францию 😎

Про конфу

Конференция по самой разной математике, связанной с финансами. Мероприятие очень локальное, число участников ограничено 80 людьми, и среди них как топовые учёные (Christa Cuchiero, Josef Teichmann, Юрий Михайлович Кабанов) так и PhD-студенты.

Конфа организована максимально правильно. Все живут в одном отеле (Azureva, деревня Metabief), проживание и питание входит в регистрационный взнос. Официальные даты (для всяких командировок) - 12-19 января, отель забронирован тоже под эти даты, но содержательная часть только 13-17 января и только с обеда до ужина. До обеда - катание на горных лыжах (я как псих припер с собой из Москвы беговые и гонял на них - отдельная история), после ужина - общение, гитара, настолки. С обеда до ужина доклады с презами. 18 января - полный свободный день, в который я пошёл бегать и почти добежал до Швейцарии.

Вега мне как стипендиату оплатила билеты и визу, причём билеты суперудобные. Съездил с кайфом: себя показал, на людей посмотрел. Познакомился с людьми, которые похожими вещами занимаются, даже потом после конфы ещё раз в Париже встречался. Часто бывает, что из таких знакомств вырастают совместные статьи, проекты и т. д.

Что рассказывал я

Я там рассказывал про мартингальный оптимальный транспорт и как туда можно нейронки прикрутить. Очень хотел успеть дописать код и показать красивые эксперименты, но пока результаты получаются не такими как я ожидал. Я решаю задачу

1) с регулиризацией,
2) в дискретном времени и
3) с неполной информацией о маргинальных распределениях,

а референсное решение, которое я сейчас пытаюсь повторить, получено

1) без регуляризации,
2) в непрерывном времени и
3) с полной информацией о маргинале.

И вот если бы моя нейронка выдавала бы что-то похожее на референс, никаких вопросов бы не было, но она выдаёт что-то другое и пока непонятно, то ли я где-то накосячил, то ли постановки всё-таки сильно разные. Так что на конференции я рассказал только структуру решения, без красивых картинок с экспериментами. В ближайшие 2 недели доделаю аналитическое решение и разберусь.