🎰 Сегодня на LinkedIn увидел пост, который натолкнул меня заглянуть в документацию ClickHouse


💬Как часто в работе приходится использовать оконные функции вроде ROW_NUMBER()?
(Я вот на этом спринте — несколько раз)

И чтобы получить строки, где rn = 1, каждый раз приходится оборачивать результат в подзапрос или CTE. Знакомо?


🟢Так вот, в ClickHouse (а ещё в BigQuery и других базах) есть такая штука, как QUALIFY

Она позволяет фильтровать результат прямо по оконной функции, без всяких вложенных SELECT’ов👀

Синтаксис может правда различаться в разных БД, но не критично


🏳️Пример:
Нужно получить последний заказ каждого пользователя

SELECT
user_id,
order_id,
order_date,
amount,
ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY order_date DESC) AS rn
FROM orders
QUALIFY rn = 1


И всё
На мой взгляд — гораздо чище и читаемее, чем писать подзапрос


P.S. ChatGPT говорит, что QUALIFY стабильно работает в ClickHouse начиная с версии 23+.

Проект VILKY.
Data Quality. Запуска канала


🔵Несколько недель назад присоединился к проекту VILKY (анализ зарплатных вилок)
Теперь, совместно с Сашей Варламовым и Никитой Ивановым, слежу за тем, что происходит с зарплатами


📘Проект набирает обороты — данных становится всё больше, а RoadMap обрастает подробностями

Мы решили использовать YandexGPT для анализа текста вакансий: извлекать из них скиллы, зарплату, описание и другие данные, чтобы потом облегчить себе анализ)

Подробнее о работе с LLM и dbt можно посмотреть у Никиты на канале

Но нужно, чтобы данные после обработки LLM-моделями соответствовали тем, что хранятся в RAW-схемах и вот тут нужно было придумать тесты


🖱Начал с SQL-скриптов, которые проверяют:
· Валюту
· Минимальную ЗП
· Максимальную ЗП
· Кол-во навыков(скиллов)

Проишлось кое-где использовать регулярные выражения, а это оказалась такая боль)


🔔Во время анализа данных нашёл интересные моменты:
Например, некоторые работодатели закрывают вакансию на неделю и потом перевыкладывают её с другой зарплатной вилкой (то есть уже начинаем следить за динамикой рынка ЗП)

Ещё один кейс — зарплаты в белорусских рублях. Похоже, что в некоторых вакансиях они указаны именно так (особенно, где местоположение - Минск), поэтому будем их выцеплять и конвертировать по курсу (а не только доллары и евро)


📩Запуск Канала

Мы запустили канал, где будем публиковать дайджесты и статистику по вакансиям

Для некоторых рубрик нужны были иллюстрации, и я попробовал себя в роли заказчика картинок у дизайнеров 😁

Моими «дизайнерами» выступали:
· ChatGPT
· Midjourney


По итогу:
· ChatGPT понимает запросы точнее, с ним легче находить общий язык, и можно давать менее подробное описание
· Midjourney рисует красиво, но требует очень точных запросов, но результат более вау


🗺Поэтому путь был такой:
1️⃣ Запрашиваю у DeepSeek текстовый промт для Midjourney
2️⃣Загоняю его в Midjourney и смотрю, что получилось
3️⃣Если результат не нравится, пробую ChatGPT


Результаты можно посмотреть у нас на канале (и попробовать угадать, какая картинка откуда))


📊 Посмотреть IT вакансии и зарплаты на дашборде

🖱 Посмотреть канал

🏳️ API Тинькофф Инвестиции 🏳️


Продолжаю заглядывать в АПИ Т-Банка)
Настроил себе скрипт, в котором указываю даты, чтобы выгрузить журнал операций

Потому что стандартная аналитика от т-банка кажется не очень гибкой

Плюс более честно наблюдаю за тем сколько ушло на налоги, а сколько брокеру за торговлю

Расширение для браузера


❔ Какая была проблема?
По работе часто приходится что-то считать в Google Sheets и поэтому часто ввожу в поисковую строку запрос "гугл таблицы",дальше переход по первой ссылке и вот уже можно создавать таблицы.
Но все время не нравилось, что это долго


💬 Какая идея?
Почему бы не сделать расширение для браузера, где можно будет нажать одну кнопку и уже откроется гугл таблица?


🔼Приступаем
Было найдено, что нужно создать папку и в ней несколько файлов, чтобы получилась вот такая структура

google-sheets-extension/
│── manifest.json
│── popup.html
│── popup.js
│── icon.png

manifest.json - тут описыванием проект
остальный файлы это само расширение

добавил разные форматы иконок плюс к этому
и финальная структура получилась вот такой

google-sheets-extension/
│── manifest.json
│── popup.html
│── popup.js
│── popup.css
│── icon-16.png
│── icon-48.png
│── icon-128.png

И далее добавил к себе в гугл хром, теперь есть свое расширение, приятно)
никакой авторизации или чего то такого, никакого сбора данных



Хотел добавить это в магазин расширений гугл хром, но столкнулся с ошибкой оплаты, возможно, потом решу)
а пока можно посмотреть проект на гитхабе

Давно не вел свой гитхаб, наверное со времен устройства на работу, вот решил туда добавить, кому интересно
ссылка

и удалось его пройти спустя пару недель )

Нашел интересный курс по кликхаусу
и начал прохождение