🖥 Задача: Анализ пользовательского поведения с аномалиями в SQL

## Условие задачи:

Дана таблица user_events со следующей структурой:


CREATE TABLE user_events (
user_id INT,
event_time TIMESTAMP,
event_type VARCHAR(50),
platform VARCHAR(50)
);


🎯 Каждая строка описывает событие пользователя:
- user_id — идентификатор пользователя,
- event_time — время события,
- event_type — тип события (`login`, purchase, logout, error и т.д.),
- platform — платформа (`iOS`, Android, `Web`).

Требуется:

1. Найти пользователей, которые:
- Выполнили покупку (`purchase`),
- Но не заходили в систему (`login`) в течение последних 7 дней перед покупкой.

2. Найти пользователей, у которых:
- Более 30% всех событий за последний месяц составляют события типа error.

3. Рассчитать для каждого пользователя:
- Среднее время между входом (`login`) и следующим выходом (`logout`).
- Если logout отсутствует после login — игнорировать такую сессию.

---

## Дополнительные условия:

- Считайте, что данные могут быть объемными: миллионы строк.
- Решение должно быть оптимизировано: избегайте подзапросов в подзапросах без индексов, старайтесь минимизировать количество проходов по данным.
- Можно использовать оконные функции (`WINDOW FUNCTIONS`) и временные таблицы (`CTE`) для упрощения запросов.
- Платформу можно игнорировать в расчетах.

---

## Что оценивается:

- Умение использовать оконные функции и агрегаты.
- Умение правильно интерпретировать условия задачи в SQL-операции.
- Оптимизация запросов под большие объемы данных.
- Чистота, читаемость и структурированность кода SQL-запросов.

---

Примечание:
Эта задача проверяет как технические навыки работы с SQL, так и внимательность к деталям формулировки задачи. Небрежная реализация может дать неверные результаты, особенно на больших данных.

🔥 Подсказки и намёки для решения задачи

## Задание 1: Найти пользователей с покупками без логина за последние 7 дней

**Намёк:**
- Используйте оконную функцию LAG() или MAX() с фильтрацией событий login.
- Для каждой покупки проверяйте, был ли login в пределах 7 дней до события purchase.
- Можно применить LEFT JOIN событий login к событиям purchase.

## Задание 2: Найти пользователей с долей ошибок > 30%

**Намёк:**
- Используйте оконные функции COUNT(*) и SUM(CASE WHEN event_type = 'error' THEN 1 ELSE 0 END).
- Постройте долю ошибок на основе всех событий пользователя за последние 30 дней (`WHERE event_time >= CURRENT_DATE - INTERVAL '30 days'`).

## Задание 3: Рассчитать среднее время между login и следующим logout

**Намёк:**
- Используйте оконную функцию LEAD() для поиска следующего события после login.
- Пара login -> logout должна иметь корректный порядок по времени.
- Отбрасывайте случаи, где следующего logout нет или это событие другого типа.

@sqlhub

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

Python: t.me/pythonl
Linux: t.me/linuxacademiya
Собеседования DS: t.me/machinelearning_interview
Нерйросети t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

✔️ Wal-listener — это инструмент для прослушивания логов транзакций PostgreSQL (WAL) и конвертации их в удобный для обработки формат JSON.

Возможности

- Прослушивание изменений в PostgreSQL в режиме реального времени.
- Поддержка нескольких слотов репликации.
- Удобный вывод в формате JSON.
- Готов к использованию в качестве сервиса.

Пример использования

1. Создаём слот репликации:

SELECT * FROM pg_create_logical_replication_slot('test_slot', 'wal2json');


2. Запускаем wal-listener:

wal-listener --dsn "host=localhost port=5432 user=postgres dbname=test" --slot test_slot


3. Получаем JSON-объекты при изменениях в базе данных.

https://github.com/ihippik/wal-listener

#devops #девопс #PostgreSQL #sql

@sqlhub

Нашел лучший сайт для изучения SQL
Хороший ресурс для освоения SQL — SQL Academy!

Это интерактивная платформа с практическими заданиями от ведущих российских компаний: ВКонтакте, Альфа-Банка, Сбера и других. Здесь найдётся всё, что нужно разработчикам, аналитикам, тестировщикам и студентам, интересующимся базами данных.интересующихся студентов.

Попробовать здесь

@sqlhub

Устал от многоэтапных собеседований и длительных тестовых заданий при приёме на работу? А что, если оффер в IT-компанию можно получить за один день?

🚀 Приходи на One Day Offer в Navio 26 апреля! Мы ищем Дата инженеров уровней middle и senior в команду BigData, которые готовы к профессиональным вызовам! Оставь отклик с резюме на сайте, получи тайм-слот от рекрутера и пройди все этапы собеседований за 1 день на онлайн-мероприятии.

У нас классные нестандартные проекты: end-to-end разработка, один из крупнейших в СНГ дата-лейков автономных машин, мониторинг данных с физическим воплощением на дороге и все преимущества работы в аккредитованной IT-компании.

📈Меняй карьеру прямо сейчас!

✔️ Presto (prestoDB/presto)

Это высокопроизводительный распределённый движок SQL для анализа больших объёмов данных в реальном времени. Основные характеристики:

Распределённая архитектура
Состоит из координатора и множества воркеров, которые параллельно выполняют фрагменты запросов, обеспечивая низкую задержку даже при обработке петабайтовых данных
GitHub

Поддержка ANSI SQL и UDF
Полноценная поддержка стандартного SQL с возможностью расширения набором пользовательских функций (UDF), агрегатов и аналитических функций.

Плагинные коннекторы
Из коробки доступны коннекторы к Hive (HDFS/S3), Cassandra, Kafka, MongoDB, MySQL, PostgreSQL, Elasticsearch и многим другим системам хранения. При желании можно написать собственный плагин
GitHub
.

Масштабируемость и отказоустойчивость
Горизонтальное масштабирование за счёт добавления воркеров, автоматическое перераспределение задач при выходе узлов из строя.

Удобство развёртывания
Можно собрать из исходников через Maven (./mvnw clean install), развернуть через Docker (официальный образ есть в папке docker/), или сразу использовать готовые пакеты на prestodb.io.

Клиенты и интеграции
Имеется CLI (presto-cli), JDBC/ODBC‑драйверы, REST API. Лёгко встраивается в BI‑инструменты и платформы визуализации.

Сферы применения
Ad‑hoc‑аналитика, интерактивные дашборды, federated query (объединение данных из разных источников), подготовка данных для машинного обучения.

https://github.com/prestodb/presto

@sqlhub

Мечтаешь хакнуть свою продуктивность с помощью ИИ? Приходи на AI-митап в Нижнем Новгороде! 👌

📍 Встречаемся 24 апреля в 18:00 по адресу: ул. Октябрьская, 35, пространство «Гараж».

Регистрируйся на митап и готовься к апгрейду своих скиллов!

🖥 Задача: “Невидимая строка”

Дана таблица users:

CREATE TABLE users (
id SERIAL PRIMARY KEY,
name TEXT,
deleted_at TIMESTAMP
);


Вы выполняете:

SELECT COUNT(*) FROM users WHERE deleted_at = NULL;


✔️ И получаете... 0. Хотя вы уверены, что есть пользователи, у которых deleted_at не задано.

Вопрос:
Что не так с запросом? Как правильно получить количество “неудалённых” пользователей?

Вопрос: В чем ошибка? И как надо правильно писать такой фильтр?

✔️ Правильный запрос будет выглядеть так:

Чтобы проверить, является ли значение NULL, нужно использовать специальный оператор IS NULL.

SELECT COUNT(*) FROM users WHERE deleted_at IS NULL;

Этот запрос корректно найдёт все строки, где в столбце deleted_at действительно отсутствует значение (т.е. он равен NULL), и посчитает их количество.

Итог:
Не используйте = или != для сравнения с NULL.
Используйте IS NULL для проверки на NULL.
Используйте IS NOT NULL для проверки на не NULL (если бы вам понадобилось посчитать удалённых пользователей, у которых deleted_at заполнено).

@sqlhub

📕Открытый урок о NoSQL с Cassandra для разработчиков, администраторов, специалистов по базам данных, Data engineers, Backend и FullStack-разработчиков.

На открытом уроке 21 апреля в 20:00 мск мы погрузимся в тонкости работы c NoSQL в Cassandra.

📗В результате вы:
- Узнаете, как работает Cassandra и какие есть особенности про которые никто говорит;
- Разберетесь, как избежать и решать проблемы в работе Сassandra;
- Освоите техники и лайфхаки в Сassandra на практике.

Спикер Дмитрий Гурьянов — Team Lead команды разработки CRM-решений на платформе .NET в Промсвязьбанке, 9+ лет в разработке, работал в Microsoft над продуктом Bing, аспирант кафедры "Системы обработки информации и управления" в МГТУ им. Н.Э. Баумана.

👉Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://otus.pw/6XKr/?erid=2W5zFH7KsWx

📙Все участники открытого урока получат скидку на курс "Базы данных"

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

👣 Оптимизация выделения памяти в Go: как одна строчка замедлила всё на 30%

В базе данных Dolt (аналог Git, но для SQL-таблиц) после рефакторинга один из бенчмарков (types_scan) внезапно стал работать на 30% медленнее. Причина? Казалось бы, невинная строчка кода.

📉 Что произошло
Метод GetBytes() начал вызывать ReadBytes() у интерфейса ValueStore. Всё выглядело логично, пока не включили профилировщик Go и не обнаружили странную активность:
🔍 runtime.newobject вызывался слишком часто → программа делала много лишних аллокаций в куче.

📦 Где зарыта собака

func (vs nodeStore) ReadBytes(...) ...

Этот метод использовал приёмник по значению (vs nodeStore). Это значит, что вся структура копировалась при каждом вызове метода, даже если она большая.

🚑 Как пофиксили
Просто поменяли на приёмник по указателю:

func (vs *nodeStore) ReadBytes(...) ...

Вуаля — аллокейшны исчезли, производительность восстановилась.

🧠 Вывод
❗ Методы с приёмником по значению = риск лишнего копирования и аллокаций
🛠 Даже один маленький метод может резко замедлить ваш код
🔍 Профилировка в Go — мощный инструмент. Используй pprof!

Полный разбор в блоге DoltHub
Подробнее про Dolt

@golang_google

🚀 AWESOME DATA SCIENCE

Репозиторий данных с открытым исходным кодом для изучения, применения и решения реальных проблем в data science.

Это кратчайший путь к началу изучения науки о данных. Опытным специалистам, репозиторий поможет найти необходимые топики, которые удобно систематизированы.

🖥 GitHub

@sqlhub

Тратите много времени на повторяющиеся SQL-запросы, выполняя рутинные задачи вручную? 
На бесплатном вебинаре, который пройдет 22 апреля в 20:00, мы решим эту проблему и научим вас создавать и использовать хранимые процедуры для автоматизации процессов в SQL! https://otus.pw/sYDb/

Представьте, что вы можете автоматизировать эти задачи с помощью хранимых процедур в MS SQL Server и PostgreSQL, увеличив свою эфффективность. Больше не придется тратить на это лишние силы.

Записывайтесь на урок, получайте практические навыки, а также скидку на большое обучение «SQL для разработчиков и аналитиков»: https://otus.pw/sYDb/

erid: 2W5zFGp9d2g

📒 Awesome LangChain — коллекция лучших инструментов для работы с LLM.

В этом репозитории собраны 500+ проектов — порты на другие языки (Go, Java, Ruby), шаблоны для быстрого старта и даже готовые решения вроде DB GPT для приватного общения с данными.

Особенно выделяются:
▪️LangServe — развёртывание цепочек как REST API от создателей LangChain
▪️GPTCache — семантическое кеширование запросов к LLM
▪️SuperAGI — фреймворк для автономных агентов с продвинутым планированием

🤖 GitHub

@sqlhub

⏰Регистрируйся на вебинар

🔋 Миграция приложений с Oracle Apex, Oracle Forms на Postgres.

На вебинаре расскажем как сохранить команду разработчиков и перейти с Oracle Apex, Oracle Forms.

• 10 лет за 5 минут как мы делали клон Oracle Apex/Forms/Reports на PostgreSQL
• Разработка приложений с применением только SQL / plpgSQL
• Oracle Apex на PostgreSQL на стероидах Visual Studio Code 
• Пару слов об xDac for Postgres. Презентация XSQUARE – DAC for ORACLE

📌Обещаем технический вебинар, без слайдов и маркетинга.

#реклама
О рекламодателе
erid: 2W5zFK8o3be

🧩 SQLite Internal — визуализатор структуры .sqlite-файлов

Если ты хочешь понять внутреннюю структуру SQLite, то этот инструмент — находка. SQLite Internal — веб-приложение для интерактивного анализа .sqlite-файлов.

📝 Что умеет:
• Загрузи .sqlite и изучай структуру файла
• Визуализация страниц, заголовков и схем
• Всё работает локально в браузере

💡 Технологии:
• TypeScript, Tailwind CSS, Vite
• GitHub — invisal/sqlite-internal

🧪 Попробуй онлайн: https://sqlite-internal.pages.dev

#SQLite #DevTools #WebApp

@sqlhub

🔥 FireEdit — новая методика редактирования изображений по инструкции

🌟 В основе FireEdit — усовершенствованная Vision Language Model (VLM), способная выполнять тонкое и точное редактирование изображений на основе текстовых промптов.

🌟 Что внутри:
🟢Region Tokens
Позволяют VLM точно определять редактируемые объекты даже в сложных сценах, не затрагивая остальное изображение.
🟢Time-Aware Target Injection
Динамически регулирует степень редактирования на разных этапах шумоподавления, интегрируя информацию о времени с текстовыми эмбеддингами.
🟢Hybrid Visual Cross-Attention
Позволяет сохранить высокочастотные визуальные детали и семантическую согласованность изображения.

✔️Результаты
FireEdit превосходит другие SOTA-методы на датасете Emu Edit — как по точности локализации, так и по качеству результата.

✔️ Визуальные сравнения показывают, что FireEdit:
🟢Лучше локализует редактируемые области
🟢Меньше искажает фон и окружающие детали
🟢Сохраняет высокую семантическую точность

🔜 Статья
🔜Проект

@ai_machinelearning_big_data


#AI #VLM #Diffusion #ImageEditing #FireEdit #ML

Muse Group — the team behind Ultimate Guitar, MuseScore, Audacity and more — invites you to an online meetup on how analytics drives top digital products in the creative industry.


🔵 April 22, 6:00 PM (GMT+3)
🔵 Online
🔵 Free


At the meetup, you’ll:

— Utilizeyears of development on your own A/B testing platform.
— Learn how to measure the impact of changes without running experiments.
— Master tools that let you conduct research using p-values and confidence intervals instead of simple "before and after" comparisons.

We’d love to see you there!

Sign up here: https://www.tickettailor.com/events/musemeetup

🚀 SQLModel — удобное решение для работы с базами данных в Python, объединяющее силу SQLAlchemy и валидацию Pydantic. Проект устраняет главную боль разработчиков: необходимость дублировать модели для БД и API.

Инструмент имеет синтаксис на основе аннотаций типов. Один класс одновременно описывает таблицу в БД и схему для FastAPI, а встроенная поддержка IDE сразу подсказывает поля и выявляет ошибки. Например, модель Hero с полями name и secret_name готова к использованию и в миграциях, и в эндпоинтах без лишнего кода.

🤖 GitHub

@sqlhub

📌 Kor — прототип для извлечения структуры из текста через LLM

Проект имеет интеграцию с LangChain, но предлагает свой подход: вместо JSON-режима или function calling он полагается на шаблонизацию промптов. Это позволяет работать даже с моделями, не поддерживающими новые режимы вроде GPT-4-turbo.

Новая версия 1.0.0 принесла совместимость с Pydantic v2, хотя разработчики предупреждают, что работа может заметно замедлиться

🤖 GitHub

@sqlhub

Присоединяйтесь к дискуссии — задавайте свои вопросы в комментариях к посту

Рекламодатель БАНК ВТБ (ПАО), ИНН 7702070139, Генеральная лицензия банка России №1000. Реклама, erid: 2SDnjcASwTr. 0+
https://t.me/Data_fusion/152

🚀 Релиз: SQL Formatting Preview в T-SQL Analyzer CLI​

В последнем обновлении инструмента T-SQL Analyzer CLI от ErikEJ появилась функция предварительного просмотра форматирования SQL-кода.​

✨ Основные возможности:
Автоматическое форматирование T-SQL скриптов с использованием встроенных правил.​

Интеграция с анализатором кода, позволяющая одновременно проверять и форматировать скрипты.​

Поддержка командной строки, что удобно для автоматизации процессов и интеграции в CI/CD пайплайны.​

🔧 Пример использования:

tsqlanalyze -i "C:\scripts\proc.sql" --format
Эта команда проанализирует и отформатирует указанный SQL-скрипт согласно установленным правилам.​

📌 Подробнее о новых возможностях и инструкциях по установке читайте в официальной документации.​

#sqlserver #tsql #dotnet #cli #devtools

https://github.com/ErikEJ/SqlServer.Rules/tree/master/tools/SqlAnalyzerCli#sql-formatting-preview

@sqlhub

🖥 Блокировка состояния Terraform с использованием S3 (без DynamoDB)

В этом посте мы рассмотрим:

- Зачем нужна блокировка состояния Terraform
- Блокировка состояния с помощью DynamoDB
- Блокировка состояния только с использованием S3, без DynamoDB
- Когда стоит использовать DynamoDB
- Когда можно обойтись только S3
- Лучшие практики хранения state-файлов в S3

🔗 Подробнее

#devops #девопс

@sqlhub

⚡️Как Docker упрощает жизнь аналитиков и инженеров данных

Когда вы работаете с данными, анализируете их или строите модели машинного обучения, Docker позволяет сосредоточиться на самой работе, не отвлекаясь на настройку окружения.

На бесплатном вебинаре вы научитесь упаковывать приложения вместе со всеми зависимостями, избегать проблем с несовместимостью, а значит и повысите эффективность работы и сэкономите время на настройку окружения.

Что будем делать на вебинаре:
🟠Разберём основы Docker и как контейнеры упрощают работу;
🟠Выполним анализ данных, запустив Python прямо внутри контейнера;
🟠Автоматизируем окружение с помощью Docker Compose (Python + PostgreSQL);
🟠Настроим удобный доступ к результатам анализа;
🟠Организуем ускоренную обработку больших данных.

😶Зарегистрироваться на бесплатный вебинар

🌐 openHalo позволяет приложениям, написанным для MySQL, работать с PostgreSQL, предлагая при этом лучшую производительность, чем MySQL!

openHalo поддерживает диалект SQL MySQL и использует тот же протокол соединения, что позволяет легко адаптировать приложения с MySQL к openHalo с минимальными изменениями кода. Это значительно упрощает миграцию с MySQL 5.7 или новее на openHalo, делая процесс быстрее, безопаснее и экономичнее.

С openHalo вы получаете повышенную производительность без дополнительных усилий и затрат, особенно для сложных SQL-запросов. Вы можете продолжать использовать знакомые инструменты, команды и драйверы MySQL для разработки.

🔗 GitHub

#openHalo #MySQL #PostgreSQL #database #migration

@sqlhub

Хотите разбираться в Big Data так, как это делают специалисты Яндекса? Тогда присоединяйтесь к бесплатному интенсиву ШАДа Big DWH Week!

Вас ждёт 8 онлайн-занятий, на которых вы познакомитесь с YTsaurus — платформой для распределённого хранения и обработки данных. Вы разберётесь в её архитектуре и масштабировании, а также научитесь настраивать систему под свои задачи.

Интенсив открытый, поэтому зарегистрироваться может каждый. Однако интереснее всего программа будет тем, кто уже работает с данными: опытным бэкенд-разработчикам и разработчикам баз данных, инженерам и аналитикам данных, а также студентам технических направлений.

Регистрируйтесь до 25 апреля и прокачивайтесь в Big Data вместе с экспертами Яндекса и ШАДа! Все подробности — по ссылке.

⚡️ SQLAdmin — инструмент, превращающий ваши SQLAlchemy или SQLModel-модели в функциональный бэкенд-интерфейс за несколько минут.

Особенно в проекте радует поддержка как синхронных, так и асинхронных движков SQLAlchemy, что делает его универсальным выбором для современных проектов.

Интерфейс построен на Tabler — чистом и современном CSS-фреймворке, который не требует тонн JavaScript.

🤖 GitHub

@sqlhub

Последний шанс попасть на топовое событие по DS и AI 🚀

Остались считанные дни до закрытия регистрации на конференцию по AI и данным — Data Fusion 2025! Не упустите возможность присоединиться к большому DS-сообществу и узнать о новейших исследованиях и рабочих решениях.
💡 Более 250 экспертов расскажут, как они решают реальные задачи в DS. Вас ждут кейсы, дебаты и дискуссии на актуальные темы:

✔️ Как проектировать ML-инфраструктуру, которая не сломается на проде?
✔️ RAG и LLM в аналитике — как генеративные модели меняют Data Science?
✔️ Практики CDO, DataOps и новые подходы к обработке и хранению данных.

Это только часть запланированных сессий. Если хотите быть в центре ключевых изменений в индустрии Data Science, тогда Data Fusion 2025 — это must-have!

📌 Бесплатно. 16–17 апреля, Москва, технопарк «Ломоносов».

Поторопитесь, регистрация скоро закроется — https://data-fusion.ru/

Не сможете приехать? Подключайтесь к онлайн-трансляции в VK Видео🙌


—
*AI — искусственный интеллект
*ML — машинное обучение
*LLM — Large language model — большая языковая модель
*DataOps — методология разработки и предоставления данных
*DS — Data Science — наука о методах анализа данных
*RAG — генерация с расширенным поиском

💻 Выбираем базу данных правильно

В мире разработки выбор БД — ключ к производительности, масштабируемости и эффективности. Это не просто SQL vs NoSQL, а поиск инструмента под данные, нагрузку и цели бизнеса. От IoT до ИИ — тип не важен, важна задача. Разбираем:

➡️ SQL
💬 Структурированность, ACID, надёжность.
📦 Для: финансы, CRM, ERP.
📌 Примеры: MySQL, PostgreSQL.

➡️ NoSQL
💬 Document DB: JSON/XML (MongoDB, Couchbase).
🔑 Key-Value: быстрый доступ (Redis, DynamoDB).
📊 Columnar: аналитика (Cassandra, Redshift).
🔗 Graph DB: связи (Neo4j, Cosmos DB).

➡️ Специализированные
📍 Time-Series: метрики, IoT (InfluxDB, TimescaleDB).
📍 Vector DB: ИИ, поиск (Milvus, Pinecone).
📍 Spatial DB: карты (PostGIS, Oracle Spatial).

➡️ Высокая производительность
⚡️ In-Memory: скорость (SAP HANA, MemSQL).
🧱 NewSQL: масштаб + SQL (Spanner, CockroachDB).

➡️ Нишевые
🧬 Blockchain DB: доверие (BigchainDB).
📦 Object-Oriented: кодовая структура (ObjectDB).

🎯 БД — это про масштабируемость, интеллект и гибкость. Выбирайте под задачу, а не по привычке.

#sql #nosql #db

@sqlhub

💫 DB-GPT-Hub — проект, предлагающий преобразование обычных человеческих вопросов в точные SQL-запросы с помощью больших языковых моделей. Этот исследовательский проект фокусируется на тонкой настройке LLM для задач Text-to-SQL, позволяя пользователям взаимодействовать с базами данных на естественном языке.

Проект охватывает весь цикл: от сбора и обработки данных до тонкой настройки моделей и оценки их точности. Уже сейчас система демонстрирует впечатляющие 76-82% точности выполнения запросов для 13B-модели, что открывает большие перспективы для автоматизации работы с базами данных.

🤖 GitHub

@sqlhub

PostgreSQL 17: архитектура и тюнинг SQL-запросов

Погрузись в архитектуру и прокачай оптимизацию запросов одной из самых популярных open source СУБД – PostgreSQL.

🌐 В программе курса:

🤩 Разберем, как работают СУБД вообще и PostgreSQL в частности: что такое MVCC, ACID, WAL, LRU, PPC/TPC и другие фундаментальные понятия архитектуры баз данных
🤩 Получите свой собственный выделенный облачный PostgreSQL-сервер (8 vCPU, 12G RAM, 100G NVMe) – БЕСПЛАТНО на время обучения предоставляется
🤩 Получите теорию и практику EXPLAIN и EXPLAIN ANALYZE на разных типа запросов
🤩 Изучите архитектуру хранения данных в PostgreSQL, типы и особенности индексов, а также получите полезные советы и трюки оптимизации БД

🗓 Старт курса: 24 апреля. Продолжительность: 5 недель обучения (четверг, 18:00 МСК).

Изучить программу и записаться можно здесь.

🤩Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак.
Автор курса — Николай Ихалайнен, эксперт по СУБД (ex-Percona), со-основатель MyDB, энтузиаст открытого ПО.

Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzquiQ76e

🔥 Awesome на GitHub

Это курируемые подборки ресурсов (книг, статей, инструментов, библиотек и многое другое) по конкретным темам, созданные сообществом разработчиков и энтузиастов.

Собрали подборку лучших из них. Сохраняйте, чтобы не потерять

• Информационная безопасность: awesome-security
• Базы данных: awesome-database-learning
• JavaScript: awesome-javascript
• React: awesome-react
• Vue: awesome-vue
• Angular: awesome-angular
• Node.js: awesome-nodejs
• Typescript: awesome-typescript
• Java: awesome-java
• Go: awesome-go
• Ruby: awesome-ruby
• PHP: awesome-php
• Kotlin: awesome-kotlin
• Rust: awesome-rust
• Swift: awesome-swift
• iOS-разработка: awesome-ios
• Android-разработка: awesome-android
• C: awesome-c
• C++: awesome-cpp
• C#: awesome-dotnet
• Unreal Engine: awesome-unreal
• Unity: awesome-unity3d
• Python: awesome-python
• Django: awesome-django
• Data Science: awesome-datascience
• TensorFlow: awesome-tensorflow
• Linux: Awesome-Linux-Software
• DevOps: awesome-devops
• SysAdmins: awesome-sysadmin
• Nginx: awesome-nginx
• Kubernetes: awesome-kubernetes
• Docker: awesome-docker
• Автоматизация сетевой инфраструктуры: awesome-network-automation
• QA: awesome-testing

@sqlhub

💻 ChatGPT для вашей базы данных

Загрузите любой файл — ваш чат-бот обучится на нём. После этого можно тестировать нейронку и задавать любые вопросы по документу. Работает лучше аналогов.

🔗 Ссылка

@sqlhub

Авито активно инвестирует в технологии генеративного искусственного интеллекта (GenAI). Новая стратегия компании предусматривает инвестиции в размере 12 млрд рублей до 2028 года — к тому же сроку в планах заработать на новой технологии 21 млрд. Кроме того, в 2025 году Авито планирует внедрить 20 новых сценариев использования GenAI, что обещает принести более 1 млрд рублей.

Компания уже разработала свои новые генеративные модели — A-Vibe и A-Vision, обученные на базе нейросети Qwen2.5 с 7 миллиардами параметров. Они способны анализировать текст и изображения, что поможет улучшить качества контента и автоматизировать процессы на платформе.

✔️A-Vibe поможет продавцам создавать привлекательные описания товаров, отвечать на вопросы покупателей, анализировать многочисленные отзывы.
✔️A-Vision может анализовать фотографии, распознавать текст на изображениях и помогать в модерации.

Авито также наращивает сотрудничество с ведущими вузами, создавая образовательные программы для подготовки специалистов в области искусственного интеллекта. В 2024 году компания запустила магистратуру по Data Science в МФТИ, а в 2025 стартуют программы по разработке в ИТМО, Data Science и продуктовому менеджменту в НИУ ВШЭ.

@sqlhub

🔥 ​Hugging Face выпустила версию 0.30.0 библиотеки huggingface_hub - это самое крупное обновление за два года!

Представлены значительные улучшения, особенно в области хранения и обработки больших моделей и датасетов.​

✔️ Основные нововведения:

Интеграция с Xet: Внедрена поддержка Xet — передового протокола для хранения крупных объектов в Git-репозиториях, призванного заменить Git LFS.

В отличие от LFS, который выполняет дедупликацию на уровне файлов, Xet работает на уровне фрагментов данных, что особенно полезно для специалистов, работающих с массивными моделями и датасетами.

Для интеграции с Python используется пакет xet-core, написанный на Rust, который обрабатывает все низкоуровневые детали.​

Чтобы начать использовать Xet, установите дополнительную зависимость:​
pip install -U huggingface_hub[hf_xet]

После установки вы сможете загружать файлы из репозиториев, поддерживающих Xet.​

Доплнительно:
😶 Расширен InferenceClient:
😶 Добавлена поддержка новых провайдеров для инференса: Cerebras и Cohere.
😶 Внедрены асинхронные вызовы для задач инференса (например, text-to-video), что повышает стабильность и удобство работы.
😶 Улучшен CLI
😶 Команда huggingface-cli upload теперь поддерживает wildcards (шаблоны) прямо в пути к файлам (например, huggingface-cli upload my-model *.safetensors вместо опции --include).
😶 Команда huggingface-cli delete-cache получила опцию --sort для сортировки кэшированных репозиториев (например, по размеру: --sort=size).

✔️ Полный список обновлений
✔️Блог
✔️Документация по Xet

@ai_machinelearning_big_data


#huggingface #release #xet

Не знаешь на кого пойти учиться ?💡

1️⃣Пройди бесплатные онлайн-курсы

2️⃣Узнай о самых востребованных профессиях

3️⃣Получи уникальную возможность поступить в «Алабуга Политех» после 9 или 11 класса

ПРОЙДИ КУРС ПРЯМО СЕЙЧАС!

Реклама: ООО "ЭрТоп Диджитал", ИНН:5263112923
erid:2Vtzqub2dz8

🖥 Огромный обучающий плейлист для специалиста по аналитике данных!

🔗 Ссылка: *клик*

@sqlhub

IT Hero — интерактивная платформа для тренировки навыков SQL и подготовки к собеседованиям в игровом формате.

Решайте задачи на скорость, соревнуясь с соперником — побеждает быстрейший.

Выбирайте уровень сложности, тип задач и приглашайте друга на поединок, чтобы выяснить, кто лучше знает SQL.

🔗 Ссылка на тренажёр

@sqlhub

Ваши SQL-запросы работают медленно, а базы данных грузятся дольше, чем хотелось бы? Исправим это на нашем бесплатном уроке 31 марта в 20:00 мск: https://otus.pw/38hM/

Индексы — один из ключевых инструментов ускорения работы с БД. Но как выбрать нужный тип, правильно его создать и избежать ошибок?

После занятия вы сможете уверенно работать с индексами в PostgreSQL и MS SQL Server, оптимизировать запросы и делать базы данных быстрее. 

Регистрируйтесь прямо сейчас и получите скидку на большое обучение «SQL для разработчиков и аналитиков»: https://otus.pw/38hM/

erid: 2W5zFHQJ1ua

💫 LLM AutoEval — это проект, предлагающий простой способ бенчмаркинга LLM через Colab-блокнот, избавляя разработчиков от рутинной настройки тестовых сред. Достаточно указать название модели, выбрать benchmark и GPU — система сама развернёт инфраструктуру через RunPod и запустит оценку.

🌐 Система автоматически публикует результаты в формате GitHub Gist с возможностью сравнения с популярными моделями через интеграцию с YALL — альтернативным рейтингом языковых моделей. Для работы потребуются только API-токены RunPod и GitHub.

🔗 GitHub

@sqlhub

Ваши SQL-запросы работают медленно, а базы данных грузятся дольше, чем хотелось бы? Исправим это на нашем бесплатном уроке 31 марта в 20:00 мск: https://otus.pw/38hM/

Индексы — один из ключевых инструментов ускорения работы с БД. Но как выбрать нужный тип, правильно его создать и избежать ошибок?

После занятия вы сможете уверенно работать с индексами в PostgreSQL и MS SQL Server, оптимизировать запросы и делать базы данных быстрее. 

Регистрируйтесь прямо сейчас и получите скидку на большое обучение «SQL для разработчиков и аналитиков»: https://otus.pw/38hM/

erid: 2W5zFHQJ1ua

Как ИИ помогает компаниям принимать умные решения и развивать разные индустрии?

15-16 апреля пройдет Весенний онлайн-лекторий, посвященный влиянию ИИ на индустрии. Разберемся в технологиях вместе с ФКН НИУ ВШЭ, Яндекс, Сбер, Авито, МТС и другими лидерами рынка.

Программа Лектория обширна:
— Вебинары про ИИ и ML в банках, бигтехе и e-com
— Мастер-классы и кейсы по Data Science, Data Analytics и Data Engineering
— Круглый стол по разработке и применению ИИ-агентов
— Прожарка резюме и карьерная лекция

Вы сможете разобраться в ключевых трендах и возможностях в IT, а также погрузиться в Data Science, Data Analytics и Data Engineering, изучение инструментов и реальных задач каждого направления.

Лекторий организуют эксперты факультета компьютерных наук НИУ ВШЭ, онлайн-магистратур ФКН и Центра непрерывного образования, а также ведущие компании индустрии. Поэтому вас ждут глубокие инсайты из мира IT.

Когда:15-16 апреля в 16:00
Где:онлайн

🔗 Зарегистрироваться

Реклама: НИУ ВШЭ
ИНН: 7714030726
Erid: 2SDnjeZbJvp

Пять GitHub проектов, которые помогут вам стать лучшим инженером DevOps

1. How they SRE

Подборка общедоступных ресурсов о том, как технологические и технически подкованные организации по всему миру практикуют Site Reliability Engineering (SRE).

https://github.com/upgundecha/howtheysre

2. Awesome Scalability

Паттерны масштабируемых, надежных и производительных крупномасштабных систем

https://github.com/binhnguyennus/awesome-scalability

3. DevOps Exercises

Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization. Вопросы для интервью по DevOps

https://github.com/bregman-arie/devops-exercises

4. Test your sysadmin skills

Сборник тестовых вопросов и ответов по Linux Sysadmin. Проверьте свои знания и навыки в различных областях с помощью этих вопросов и ответов.

https://github.com/trimstray/test-your-sysadmin-skills

5. Awesome Site Reliability Engineering

Составленный список ресурсов по надежности сайта и производственному инжинирингу.

https://github.com/dastergon/awesome-sre

@sqlhub

Найти: решение на базе ИИ, которое автоматизирует процесс создания JSON-схем для описания бизнес-логики и интеграций.

Если знаешь, как выполнить эту задачу, значит, этот пост для тебя. Приглашаем на хакатон МТС True Tech Hack 2025. Участникам в команде из 2–5 человек нужно выбрать один из пяти представленных треков и создать новое решение на базе DataOps Platform, Integration Platform, True Tabs, Product Factory или MWS GPT.

Если хочешь внести вклад в продукты, которые приносят пользу разработчикам по всей России, и побороться за призовой фонд в 1 500 000 рублей — регистрируйся до 16 апреля.

Подробная информация и регистрация — по ссылке.

@sqlhub

📂 PlantUML - это утилита для создания диаграмм с помощью минималистичного синтаксиса. Поддерживает классы, последовательности, потоки данных и многое другое.

Полезна для архитектурного проектирования, документирования и визуализации процессов без графических редакторов.

Посмотреть на GitHub

🖥 GitHub

@sqlhub

Данные и облака — наше все 🧠

На конференции GoCloud ты найдешь новые знания об инструментах обработки данных.

Обсудим интеграцию AI в аналитические процессы и тренды облачных технологий. А еще:
😶‍🌫️покажем инструменты для упрощения процесса обработки данных
😶‍🌫️поговорим с компаниями, которые уже работают с данными в облаке
😶‍🌫️возможные риски потери данных и способы их предотвращения
😶‍🌫️покажем архитектуру DBaaS поверх K8s

30+ докладов, нетворкинг, live-демо сервисов и afterparty ждут тебя 10 апреля.
Регистрация по ссылке 👈

🖥 WrenAI — это open-source AI-ассистент для анализа данных и генерации SQL-запросов (Text-to-SQL)!

🌟 Он позволяет пользователям взаимодействовать с данными с помощью естественного языка и автоматически формировать SQL-запросы, строить диаграммы, отчеты и таблицы.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

🔥 Self-Hosted AI Starter Kit — это готовый набор инструментов для развертывания собственных AI-решений с использованием n8n, платформы для автоматизации рабочих процессов!

🌟 Он включает преднастроенные потоки для интеграции моделей ИИ, таких как OpenAI, Ollama и другие, позволяя управлять данными и автоматизировать процессы без необходимости использования облачных сервисов. Решение идеально подходит для бизнеса и индивидуальных разработчиков.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

@sqlhub

🖥 Эта статья объясняет различия между использованием операторов IN и EXISTS в SQL-запросах, включая их применение в зависимых и независимых подзапросах!

🌟 Автор демонстрирует, как они влияют на производительность запросов, и предлагает сценарии, когда переход от одного подхода к другому может улучшить производительность.

🔗 Ссылка: *клик*

@sqlhub

🖥 Starskey — это высокоскоростная встраиваемая база данных с парой "ключ-значение" для Go, вдохновленная LevelDB и WiscKey!

🌟 Она использует многоуровневое слияние данных, поддерживает атомарные транзакции, журналирование (WAL) для восстановления и фильтры Bloom для оптимизации чтения. Starskey предлагает простое API с операциями Put, Get, Delete и обеспечивает высокую производительность до 400k+ операций в секунду.

🔐 Лицензия: MPL-2.0

🖥 Github

@sqlhub

💪 Качаем скиллы PostgreSQL!

10 апреля 2025 года пройдет бесплатное комьюнити-мероприятие из серии PG BootCamp Russia — конференция, направленная на приобретение практических навыков при работе с СУБД PostgreSQL.

🔵Программа рассчитана как на начинающих специалистов, так и на более опытных разработчиков, желающих углубить знания в части ядра и экосистемы продукта
🔵 Ведущие эксперты в области СУБД проведут мастер-классы и лекции по наиболее востребованным и интересным темам
🔵Для тех, кто не сможет присутствовать очно, предусмотрена онлайн-трансляция

🧑‍🎓 Все участники получат электронные сертификаты, подтверждающие приобретение новых знаний и навыков.

📌 Дата и время: 10 апреля, в 10:00 (по ЕКБ)
Формат: офлайн/онлайн
Место проведения: конгресс-отель «Екатеринбург»

✅ Зарегистрируйтесь сейчас и приготовьтесь к захватывающему путешествию в мир СУБД!

Реклама. ООО "ТАНТОР ЛАБС" ИНН 9701183207 Erid: 2W5zFJHvTwv

📖 Эта статья объясняет, как интерпретировать значения NULL в операциях OUTER JOIN в SQL!

🌟 Она рассматривает разницу между отсутствующими записями (когда строки не существуют) и NULL-значениями (когда данные существуют, но неизвестны). Автор объясняет, как правильное нормализованное моделирование данных помогает различать эти ситуации.

🔗 Ссылка: *клик*

@sqlhub

Хотите получить много практики на реальных задачах, собрать портфолио и узнать как выглядит рабочий день аналитика?

CEO Simulative и эксперт с большим опытом в аналитике, Андрон Алексанян организовал бесплатный интенсив, где вы будете решать реальные задачи, с которыми аналитики сталкиваются на работе

На прямых эфирах вы сделаете:
🟠Анализ активности пользователей с помощью SQL
🟠Анализ маркетинговых активностей с помощью Python
🟠ABC анализ ассортиментной матрицы в Excel (уже прошел, но вам будет доступна запись)

Во время эфиров вы узнаете много лайфхаков, а также будете получать полезные материалы для развития в аналитике на протяжении всего интенсива

❗️Знать Python и SQL не обязательно — все будем разбирать с нуля

🕗 Встречаемся на новом эфире уже сегодня, 20 марта в 19:00 по мск

😶Участвовать в бесплатном интенсиве

🔥 PrunaAI — это инструмент для оптимизации и сжатия нейросетевых моделей, ориентированный на уменьшение их размера и ускорение работы без значительной потери точности.

Название связано с техникой «pruning» (обрезка нейронных сетей), которая удаляет избыточные параметры модели.

Проект предназначен для разработчиков, стремящихся развертывать эффективные AI-модели на устройствах с ограниченными ресурсами (телефоны, IoT, edge-устройства).

🔍 Основные функции (предположительно)
▪ Автоматическая обрезка моделей — удаление менее значимых нейронов/слоев.
▪ Квантование — сокращение битности весов (например, с 32-бит до 8-бит).
▪ Сравнение производительности — метрики скорости и точности до/после оптимизации.
▪ Поддержка фреймворков — интеграция с PyTorch, TensorFlow, ONNX.

🔥 Чем полезен?
▪ Для инженеров ML:
— Уменьшает размер модели в 2–4 раза, упрощая её развертывание.
— Сохраняет >90% исходной точности после оптимизации.
▪ Для бизнеса:
— Снижает затраты на инфраструктуру для обработки AI-запросов.
— Ускоряет инференс на edge-устройствах.

🎯 Преимущества перед аналогами
▪ Простота: API для быстрого применения pruning без глубоких знаний в оптимизации.
▪ Гибкость: Настройка степени сжатия под конкретные задачи.
▪ Совместимость: Работает с популярными форматами моделей (TFLite, CoreML).

pip install pruna

📌 Github

@sqlhub

Как эффективно управлять доступом пользователей к базе данных, используя роли?

Разберем основные механизмы безопасности PostgreSQL на практике: шифрование соединений (SSL/TLS), контроль доступа (pg_hba.conf, роли, RLS), аудит (pg_audit).

Приглашаем на открытый практический урок «Безопасность в PostgreSQL: защита данных, управление доступом и аудит» в рамках курса PostgreSQL для администраторов баз данных и разработчиков

✅ Практика: настройка SSL/TLS шифрование для защиты данных при передаче, обеспечивая конфиденциальность обмена информацией между клиентом и сервером PostgreSQL.

Покажем, как защититься от распространенных угроз:SQL-инъекции, DDoS-атаки.

👉  Регистрация и подробности: 
https://otus.pw/DAoa/?erid=2W5zFGdBSKz

#реклама
О рекламодателе

🖥 tbls

Мощный инструмент для документирования баз данных. Он анализирует структуру базы данных и автоматически генерирует красивую документацию в формате Markdown, HTML, JSON и других.

🔹 Основные возможности:
- Автоматический разбор схемы базы данных.
- Поддержка множества СУБД (PostgreSQL, MySQL, SQLite, MSSQL и др.).
- Генерация наглядных диаграмм и связей между таблицами.
- Возможность кастомизации документации.
- Интеграция с CI/CD для автоматического обновления документации.

📌 Github

Большие данные — для большого будущего. Navio расширяется и приглашает в команду сильных Дата инженеров, а также Data
Science: ML, CV, NLP специалистов.

Вы будете участвовать в разработке уникальных решений, которые меняют транспортную отрасль. Мы создаём:
· универсальную технологию автономного вождения, совместимую с разными видами транспорта;
· платформу для управления беспилотным флотом автомобилей;
· проекты новой городской мобильности.

Navio объединяет культуру автопроизводителей и IT-компаний. Более 700 специалистов работают над тем, чтобы доставка грузов стала быстрее и эффективнее, а городской транспорт — безопаснее и комфортнее.

Найдите интересную вакансию и отправьте отклик.

🔥 SQL за полтора часа в одном видео! Полный базовый курс по SQL. Базы данных курс для начинающих!

00:00:00 Введение
00:02:43 Платные курсы и что изучать дальше
00:04:55 Коротко об онлайн редакторе
00:07:11 Что такое база данных
00:08:10 Что такое CRUD
00:10:05 Запрос на создание первой таблицы
00:11:57 Типы данных у атрибутов(колонок) (DATA TYPES)
00:17:26 Прописываем атрибуты(колонки) первой таблицы
00:21:07 Создаем первую таблицу (CREATE TABLE)
00:21:38 Проверка на наличие таблицы при создании (IF NOT EXISTS)
00:22:18 Запрос на удаление таблицы(DROP TABLE)
00:22:33 Проверка на наличие таблицы при удалении(IF EXISTS)
00:22:57 Запрос на добавление объекта в таблицу (INSER INTO table)
00:23:35 Запрос на чтение(получение) объектов из таблицы(SELECT * FROM table)
00:24:18 Модификаторы для атрибутов(колонок) таблицы(NOT NULL, DEFAULT, UNIQUE)
00:29:26 Изменение уже существующей таблицы(ALTER TABLE, ADD, DROP, RENAME, MODIFY COLUMN)
00:36:08 Удаление объектов из таблицы(DELETE FROM table)
00:37:06 Редактирование объекта в таблице(UPDATE table)
00:39:03 Первичный ключ(PRIMARY KEY)
00:45:37 Композиция в бд
00:50:38 "Иностранный" ключ(FOREIGN KEY)
00:57:26 Индексы в бд(INDEX)
00:59:24 Готовим данные для темы алиас, юнион и слияние таблиц
01:03:30 Слияние таблиц(INNER JOIN)
01:06:02 Слияние таблиц(LEFT JOIN)
01:06:53 Слияние таблиц(RIGHT JOIN)
01:07:26 Слияние таблиц(FULL JOIN/OUTER JOIN) и Union
01:09:04 Алиас(table AS alias)
01:12:18 Select Distinct в SQL
01:13:42 AND OR NOT в SQL
01:16:18 ORDER BY и LIMIT в SQL
01:17:35 MIN и MAX в SQL
01:18:25 COUNT SUM AVG в SQL
01:19:29 LIKE в SQL
01:21:31 IN и BETWEEN в SQL
01:22:50 GROUP BY в SQL
01:25:17 EXISTS в SQL
01:27:37 ANY и SOME в SQL
01:29:00 INSERT INTO в SQL
01:30:40 Отношения в базе данных
01:32:11 Отношения один к одному
01:33:09 Отношения один ко многим
01:34:09 Отношения многие ко многим
01:37:10 Отношения один к одному и один ко многим "через"
01:39:10 SQL инъекции

📌 источник

#sql #lectures #junior

@sqlhub

🌟 YOLOE — это усовершенствованная версия алгоритма обнаружения объектов, вдохновлённая классической архитектурой YOLO и разработанная командой THU-MIG.

Архитектура YOLO (You Only Look Once) получила своё название благодаря подходу, при котором нейронная сеть анализирует всё изображение целиком за один проход, чтобы определить присутствие и расположение объектов. Это отличается от других методов, которые сначала выделяют потенциальные области с объектами, а затем отдельно классифицируют их, что требует нескольких обработок одного изображения

YOLOE сохраняет принцип однократного взгляда на изображение для детекции объектов, но вносит архитектурные улучшения, направленные на повышение точности и эффективности модели.

▪ Ключевые отличия от классического YOLO:

- Оптимизированная архитектура: В YOLOE внедрены новые подходы для более эффективной обработки признаков, что позволяет улучшить качество детекции без значительного увеличения вычислительных затрат.
- Повышенная точность: Улучшенные модули и методы, такие как ре-параметризация отдельных блоков, способствуют более точному обнаружению объектов, включая мелкие и сложно различимые элементы.
- Скорость и эффективность: YOLOE сохраняет высокую скорость инференса, делая его пригодным для задач в реальном времени, при этом обеспечивая конкурентоспособное соотношение производительности и точности.

▶️YOLOE требует в 3 раза меньших затрат на обучение по сравнению с YOLO-Worldv2, что делает процесс обучения более экономичным

YOLOE представляет собой современное и улучшенное решение для задач детекции объектов, совмещающее лучшие стороны классического YOLO с новыми архитектурными подходами.

🖥Github
🟡Статья
🟡HF
🟡Colab

#yoloe #opensource #ml #ai #yolo #objectdetection

Бесплатный онлайн-вебинар от karpov courses — «Погружаемся в мир А/В-тестирования: от гипотез до принятия решений»

В бизнесе каждая ошибка может стоить не только нервов, но и денег. Однако многие из этих ошибок можно избежать, если грамотно использовать A/B-тестирование. Именно поэтому специалисты в этой области востребованы, а их зарплаты продолжают расти.

Если вы хотите освоить A/B-тестирование с нуля или прокачать уже имеющиеся навыки, присоединяйтесь к бесплатному онлайн-вебинару «Погружаемся в мир А/В-тестирования: от гипотез до принятия решений». Спикер — Вера Багрова, продуктовый аналитик онлайн-кинотеатра Okko.

A/B-тестирование — это ключевой инструмент для маркетологов, продакт-менеджеров и аналитиков данных. На бесплатном вебинаре вы узнаете, в каких случаях стоит применять A/B-тесты, как они помогают улучшить бизнес-результаты, а также разберете полезные лайфхаки и типичные ошибки при проведении тестов.
Вера Багрова, продуктовый аналитик из Okko, поделится реальными кейсами из своей практики и расскажет, какие навыки необходимы для успешной работы в продуктовой аналитике.

Бесплатный онлайн-вебинар пройдет 20 марта в 18:00 по мск, зарегистрироваться можно по ссылке: https://clc.to/erid_2W5zFJvf1YU 
Регистрируйтесь, даже если не сможете быть на эфире — вам отправят запись!

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627

🖥 PgDog — это инструмент для горизонтального масштабирования PostgreSQL, объединяющий функции шардирования, пула соединений и балансировщика нагрузки.

Разработанный на языке Rust, он обеспечивает высокую производительность и надёжность, позволяя масштабировать базы данных без необходимости изменения кода приложений.

Основные особенности PgDog:

Шардирование: PgDog способен автоматически распределять данные между несколькими шардами, обеспечивая эффективное управление большими объёмами информации.

Пул соединений: Поддерживает транзакционное и сессионное пуллинг, позволяя тысячам клиентов использовать ограниченное количество соединений с сервером PostgreSQL, что оптимизирует использование ресурсов.

Балансировка нагрузки: Распределяет запросы между основными и реплицированными базами данных, обеспечивая равномерную загрузку и повышая отказоустойчивость системы.

Благодаря этим возможностям, PgDog может управлять сотнями баз данных и обрабатывать сотни тысяч соединений, что делает его мощным инструментом для масштабирования и оптимизации производительности PostgreSQL-систем.

🖥 GitHub

@sqlhub

Быстрый путь к увольнению — просто покажите env-файл компании в прямом эфире 😁

@sqlhub

Как изменился рынок аналитики за 2024 год?

Агентство NEWHR опубликовало новое исследование, опросив 1293 аналитиков разных уровней — от Junior-специалистов до руководителей. Главные тейки:

🟠Авито стал лучшим работодателем для аналитиков — его выбрали более 35% опрошенных.
🟠Хотя бы один раз за последние 2 года место работы меняли 60% респондентов.
🟠На текущем месте работы аналитиков чаще всего удерживают интересные задачи (52,6), хорошая зарплата (51,5%) и перспективы профессионального роста (49,4%).
🟠51,5% респондентов работают на удаленке.
🟠Более 70% в 2024 году стали получать больше.

@sqlhub

⚡️ R1-Omni — это исследовательский проект, направленный на создание объяснимой омни-мультимодальной системы распознавания эмоций с использованием обучения с подкреплением с верифицируемой наградой (RLVR).

Основные особенности:

⚫ Объяснимость и мультимодальность: Проект объединяет визуальные, аудио и текстовые данные для распознавания эмоций, что позволяет глубже анализировать эмоциональные состояния.
⚫ RLVR: Применение обучения с подкреплением с верифицируемой наградой значительно улучшает способность модели к рассуждению и пониманию влияния разных модальностей.
⚫ Улучшенная обобщаемость: Модель демонстрирует высокие результаты не только на обучающих данных, но и в условиях, когда данные отличаются от тех, на которых модель обучалась (out-of-distribution).
⚫ Инновационный подход: Это первая в отрасли система, использующая RLVR для омни-мультимодального анализа, что открывает новые возможности в области эмоционального распознавания.

Польза для разработчиков:

⚫ Исследования и разработки: Проект предоставляет открытый код, подробные инструкции и примеры, что делает его ценным ресурсом для экспериментов и дальнейших исследований в области мультимодальных ИИ-систем.
⚫ Практическое применение: Возможность интеграции системы в приложения для мониторинга эмоций, интеллектуальных ассистентов и других сервисов, где важна эмоциональная оценка.
⚫ Обучение и вдохновение: R1-Omni демонстрирует современные методы работы с данными из разных источников, что может стать основой для создания новых решений в области обработки естественного языка, компьютерного зрения и аудиоанализа.

Таким образом, R1-Omni интересен разработчикам и исследователям, стремящимся создавать интеллектуальные системы с глубоким пониманием эмоций и мультиканальными данными.

📌 GitHub

@sqlhub

⚡️Как эффективно устранять дубликаты в ClickHouse: Практический вебинар

18 марта в 18:30 (мск) — присоединяйтесь к вебинару с Алексеем Железным и разберитесь с механиками дедупликации данных в ClickHouse!

🔥На занятии вы:
> Освоите методы удаления дубликатов с помощью ReplacingMergeTree и UNIQUE.
> Научитесь использовать GROUP BY + FINAL для оптимизации запросов.
> Поймёте, как минимизировать накладные расходы при дедупликации.

❗️После вебинара вы сможете эффективно устранять дубликаты данных, выбирать правильные подходы и повысить производительность своих запросов в ClickHouse.

Регистрируйтесь на вебинар и улучшайте свои навыки!

👉 Регистрация: https://otus.pw/m65U/?erid=2W5zFJfyXcU

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Pumpfun-Smart-Contract-SOL — это реализация смарт-контракта для блокчейна Solana, размещённая на GitHub.

Он может быть полезен разработчикам по следующим направлениям:

⚫ Обучение и практика: Проект демонстрирует, как писать, тестировать и разворачивать смарт-контракты в экосистеме Solana.
⚫ Пример архитектуры: Разработчики могут изучить структуру кода, способы взаимодействия с блокчейном и методы обеспечения безопасности смарт-контрактов.
⚫ Инструменты и библиотеки: В репозитории могут быть использованы современные инструменты разработки, что помогает быстрее освоить лучшие практики создания децентрализованных приложений.
⚫ Расширяемость: Исходный код можно адаптировать под конкретные задачи, что делает его отличным шаблоном для создания собственных проектов на Solana.

📌 GitHub

@sqlhub

Хотите получить много практики на рельных задачах, собрать портфолио и узнать как выглядит рабочий день аналитика?

CEO Simulative и эксперт с большим опытом в аналитике, Андрон Алексанян организовал бесплатный интенсив, где в течение 3 недель вы будете решать реальные задачи, с которыми аналитики сталкиваются на работе

На прямых эфирах вы сделаете:
🟠Анализ активности пользователей с помощью SQL
🟠Анализ маркетинговых активностей с помощью Python
🟠ABC анализ ассортиментной матрицы в Excel (уже прошел, но вам будет доступна запись)

Во время эфиров вы узнаете много лайфхаков, а также будете получать полезные материалы для развития в аналитике на протяжении всего интенсива

❗️Знать Python и SQL не обязательно — все будем разбирать с нуля

🕗Встречаемся на новом эфире уже завтра, 13 марта в 19:00 по мск

Участвовать в бесплатном интенсиве

🖥 ingestr — инструмент командной строки, предназначенный для копирования данных между различными базами данных с помощью одной команды!

🌟 Он поддерживает множество источников и пунктов назначения, включая Postgres, BigQuery, Snowflake, Redshift, Databricks, DuckDB, Microsoft SQL Server и другие. ingestr позволяет выполнять как полное обновление данных, так и инкрементальную загрузку с использованием стратегий append, merge или delete+insert. Установка инструмента осуществляется через пакетный менеджер pip, а использование не требует написания кода — достаточно указать необходимые параметры в командной строке.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 Простыми словами: Как хранятся пароли в базах данных

В современном мире защиты данных крайне важно, чтобы пароли не хранились в виде обычного текста. Вместо этого используются их «закодированные отпечатки» – хеши, полученные в результате специального процесса хеширования. Это гарантирует, что даже при компрометации базы данных злоумышленник не сможет восстановить исходный пароль.

📌 Как это работает:
  • При регистрации пароль проходит хеширование с применением современных алгоритмов (например, bcrypt, scrypt или Argon2), часто с добавлением уникальной соли для каждого пользователя.
  • При авторизации введённый пароль снова хешируется, и полученный хеш сравнивается с тем, что хранится в базе. Совпадение означает, что введённый пароль верный.

📌 Почему так делают:
  • Безопасность: Даже если база будет взломана, злоумышленник увидит лишь набор случайных символов, из которых восстановить оригинальный пароль практически невозможно.
  • Секретность: Администраторы системы не имеют доступа к исходным паролям – хеши необратимы.
  • Надёжность: Использование соли и, при необходимости, перца, значительно усложняет атаки с помощью радужных таблиц и повышает общую стойкость системы.

В итоге, пароли в базах данных – это не сами пароли, а их «отпечатки», которые можно сравнивать, но никак не восстановить. Этот подход напоминает замок, который открывается лишь при наличии правильного ключа, при этом сам ключ нигде не хранится.

#базыданных #безопасность #хеширование #пароли

@sqlhub

Как работает автоматическое переключение на резервный сервер в случае сбоя основного? 

Разберем концепцию высокой доступности баз данных и автоматического failover на практике

Приглашаем на открытый практический урок «Отказоустойчивый кластер Patroni» в рамках курса PostgreSQL для администраторов баз данных и разработчиков

✅ Практика: настройка кластер Patroni, включая конфигурацию DCS, настройку PostgreSQL и HAProxy. 

Освойте основные команды Patroni для управления кластером, такие как переключение ролей, перезагрузка, реинициализация и настройка синхронной репликации. 

Навыки полученные на уроке позволят создать отказоустойчивые решения для своих баз данных и эффективно администрировать отказоустойчивые кластеры PostgreSQL.

👉  Регистрация и подробности: 
https://otus.pw/v5QN/?erid=2W5zFJ4NUvU

#реклама
О рекламодателе

🖥 Эта статья посвящена инструменту pg-index-health, созданному для статического анализа индексов PostgreSQL баз данных!

🌟 Автор описывает эволюцию инструмента, который помогает находить проблемы в структуре базы данных, такие как дублирующиеся или избыточные индексы, неиспользуемые индексы, а также потенциальные ошибки проектирования.

🔗 Ссылка: *клик*

@sqlhub

⚡️Как эффективно мигрировать данные в ClickHouse: Денормализация и оптимизация

11 марта в 20:00 мск — присоединяйтесь к вебинару с Константином Трофимовым и узнайте, как ускорить аналитику с помощью правильной миграции данных! 

На вебинаре вы:
> Изучите методы импорта данных из других систем в ClickHouse.
> Научитесь денормализовать данные для ускорения запросов.
> Узнаете, как обогатить данные с помощью словарей и других функций ClickHouse.

🔥После вебинара вы будете уверенно работать с миграцией данных в ClickHouse, улучшать производительность и избегать распространенных ошибок при переходе на новую систему.

Запишитесь на вебинар и улучшите свои навыки уже сегодня!

👉 Регистрация: https://otus.pw/glzWi/?erid=2W5zFJJ3rKA

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

SQL реально спасает жизни 😂

@sqlhub

🖥 Полезнейший сборник из 800+ вопросов по SQL, которые часто задают на собеседованиях.

Он также включает задачи для самостоятельной работы и множество примеров.

Сборник отлично подходит для тех, кто хочет прокачать свои навыки работы с SQL, освежить знания и проверить свои знания.

▪ GitHub

@sqlhub

Defog Introspect

Defog Introspect позиционируется как сервис для глубокого исследования ваших данных. Он позволяет:

- Анализировать структурированные данные: Поддерживаются популярные СУБД (PostgreSQL, MySQL, SQLite, BigQuery, Redshift, Snowflake, Databricks) и файлы форматов CSV/Excel.
- Работать с неструктурированными данными: Интеграция PDF-документов, что позволяет получать дополнительные сведения из документации или отчетов.
- Выполнять поиск в интернете: Инструмент способен обращаться к веб-источникам для получения дополнительного контекста, что расширяет возможности анализа данных.
Источник:

Как это работает?
Инструмент использует "умного" AI-агента, который может:

- Преобразовывать текстовые запросы в SQL-запросы (инструмент text_to_sql), что упрощает работу с базами данных.
- Использовать веб-поиск (инструмент web_search) для поиска дополнительной информации и контекста.
- Анализировать PDF-файлы (инструмент pdf_with_citations) с возможностью цитирования источников.
Для реализации этих функций используются передовые модели, такие как:

o3-mini для преобразования текста в SQL.
gemini-2.0-flash для веб-поиска.
claude-3-7-sonnet для работы с PDF и общей оркестрации запросов.
Источник:

https://github.com/defog-ai/introspect

@sqlhub

Хотите научиться автоматизировать процессы обработки данных как в Бигтехе?

Чтобы проанализировать большой массив данных, его нужно обработать. Обычно это происходит в три этапа: извлечение, трансформация и загрузка (или ETL). Но чем больше становится данных, тем труднее управлять этим процессом вручную — автоматизировать его можно с помощью Airflow.

Чтобы научиться работать с Airflow, приходите на бесплатный вебинар, где Антон Шишков, опытный Software Engineer из бигтех-компании, — поделится с вами своими знаниями и лучшими практиками работы с Airflow на примере автоматизации сбора данных.

Что мы будем делать на вебинаре:
🟠 Познакомимся с Airflow: узнаем, как он может упростить работу и повысить эффективность;
🟠 Узнаем об операторах и сенсорах: как использовать для создания гибких и надежных конвейеров данных;
🟠 Напишем базовые и продвинутые DAG'и, чтобы вы могли применить их на практике;
🟠 Разберем, как использовать Docker, FastAPI, Postgres, Clickhouse и Minio для автоматизации ETL-процессов.

🕗Встречаемся 4 марта в 19:30 по мск

Зарегистрироваться на бесплатный вебинар

🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах!

🌟 Она использует разреженные матрицы для представления матриц смежности и линейную алгебру для выполнения запросов, что обеспечивает высокую производительность и эффективность.

🖥 Github

@sqlhub

🔥 Meta Learning: Deep Learning Guide — практическое руководство по освоению машинного и глубокого обучения!

🌟 Автор делится своим опытом, начиная с изучения программирования в 29 лет и достигая успехов в соревнованиях Kaggle. Основные темы включают эффективные стратегии обучения, улучшение навыков разработки, выбор инструментов, работу с сообществом, поиск наставников и построение карьеры без формального образования.

🔗 Ссылка: *клик*

#machinelearning #deeplearning

AI меняет мир, а вы остаетесь в стороне?

На Data Fusion 2025 есть все, что нужно знать об AI сегодня и завтра. 5-я международная конференция в сфере искусственного интеллекта и больших данных состоится уже 16-17 апреля в Москве!

Вас ждут:
🔥 Острые дискуссии: сможет ли AI заменить человека? Где грань между ошибкой ИИ и прорывом?
🔍 70+ сессий: тренды и передовые исследования в области больших данных и технологий AI
💡Классный нетворкинг: живое неформальное общение с бизнес-лидерами, учеными, представителями государства.

Расписание, спикеры и темы — уже на сайте.

Регистрируйтесь бесплатно по ссылке — https://data-fusion.ru
📍 Москва, технопарк «Ломоносов»

Мы заботимся о вашей безопасности и просим заполнить развернутую форму — это займет всего пару минут. Спасибо за понимание! 🙌

—
*AI — искусственный интеллект
*нетворкинг — полезные связи

🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах!

🌟 Она использует разреженные матрицы для представления матриц смежности и линейную алгебру для выполнения запросов, что обеспечивает высокую производительность и эффективность.

🖥 Github

@sqlhub

🔥 Smallpond — это легковесный фреймворк для обработки данных, разработанный на основе DuckDB и 3FS!

🌟 Он обеспечивает высокопроизводительную обработку данных и масштабируемость для работы с наборами данных петабайтного масштаба. Фреймворк упрощает операции, не требуя длительно работающих сервисов.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 ​SQL Noir — это интерактивная игра с открытым исходным кодом, в которой вы выступаете в роли детектива, решающего преступления с помощью SQL-запросов!

🌟 Каждое дело представляет уникальный сценарий преступления и базу данных с уликами, где ваша задача — выявлять подозрительные закономерности, отслеживать отсутствующие записи, связывать подозреваемых и раскрывать мошеннические операции, используя SQL.

🔗 Ссылка: *клик*

@sqlhub

🔥 MetaGPT — это фреймворк, который преобразует простое текстовое описание задачи в полный пакет проектной документации и кода!

🌟 Он моделирует работу IT-компании, назначая различные роли, такие как менеджер продукта, менеджер проекта, инженер и другие, каждому из которых соответствует агент на основе большой языковой модели. Эти агенты взаимодействуют друг с другом, следуя стандартизированным операционным процедурам (SOP), что позволяет эффективно разрабатывать сложные программные продукты.

🔐 Лицензия: MIT

🖥 Github

Разработчикам стала доступна российская облачная среда для разработки — GigaIDE Cloud со встроенным AI-ассистентом

GigaIDE Cloud позволяет разработчику начать работу над проектом всего за несколько секунд без необходимости настройки рабочего окружения и с привычных устройств.

Облачная среда обеспечивает редактирование, отладку, проверку и совместную работу с кодом, а также постоянный и безопасный доступ к предварительно настроенным рабочим пространствам.

В GigaIDE Cloud интегрирован AI-ассистент разработчика GigaCode. Он автоматизирует рутинные процессы, дает советы и подсказки в реальном времени — пользуйтесь автодополнением кода, оптимизируйте код и исправляйте ошибки с поддержкой AI

Начать пользоваться GigaIDE Cloud — по ссылке

🖥 ​SuperMassive — это распределенная, масштабируемая, устойчивая к сбоям и самовосстанавливающаяся база данных ключ-значение, работающая в оперативной памяти! Она предназначена для обработки больших объемов критически важных данных с низкой задержкой.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@sqlhub

✒️ Разбираем тестовое задание в Альфа Банк на позицию Junior Аналитика данных

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в Альфа Банке💻

Что будем делать на вебинаре:
🟠 Напишем сложные SQL-запросы для банковских данных;
🟠 Вспомним, как правильно использовать оконные функции;
🟠 Узнаем, как создавать разметку, из чего она состоит и для чего она нужна;
🟠 На реальных данных проведем когортный анализ и сделаем выводы;
🟠 Расскажем, как доставать инсайты из данных.

Вебинар проведет Денис Иванов, ведущий продуктовый аналитик

🏃‍♀️ Зарегистрироваться на бесплатный вебинар

🐼 Pandas умирает медленной и мучительной смертью.

Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.

Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.

Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.

Я уже давно работаю с FireDucks 🦆

Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.

Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :


import fireducks.pandas as pd

Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук:

python
$ python -mfireducks.imhook yourfile[.]py

FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandas API.

Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks.

FireDucks побеждает с отрывом.

⛓️Здесь находится репозиторий FireDucks на GitHub:
https://github.com/fireducks-dev/fireducks

⛓️Если вы хотите пощупать либу, откройте этот пример:
https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo

⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот:
https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb

⛓️И наконец, бенчмарки, с которыми стоит ознакомиться:
https://fireducks-dev.github.io/docs/benchmarks/

@sqlhub

#fireducks #Pandas #dataanalysis #datascience #python #opensource

Соединение данных в PostgreSQL: алгоритмы и виды JOIN

Приглашаем на практический открытый урок от Otus, посвященный курсу «PostgreSQL для администраторов баз данных и разработчиков» 

На уроке рассмотрим:
Обзор основных видов JOIN в PostgreSQL
Подробно изучим алгоритмы соединения таблиц
Практические примеры использования JOIN-операторов

✅ Практика: оптимизация существующих SQL-запросов и создание новые, более эффективных запросов для обработки больших объемов данных в PostgreSQL.

👉 Регистрация и подробности
https://otus.pw/5Uep/?erid=2W5zFGDyrhn

#реклама
О рекламодателе

❓ Как построить конвейер ETL (Extract, Transform and Load) из SQL Server в Postgres?

💡 Узнайте, как создать конвейер ETL с PySpark для извлечения данных из SQL Server, их преобразования и загрузки в базу данных Postgres. Используйте распределенную мощь Spark для бесперебойной обработки больших наборов данных!

🕞 Продолжительность: 8:32

🔗 Ссылка: *клик*

@sqlhub

🔔 PostgreSQL уже не справляется? Пора на новый уровень!

В мире больших данных время — главный ресурс. Если вам нужны мощные аналитические запросы, горизонтальное масштабирование и высокая производительность, пора знакомиться с Arenadata DB (Greenplum).

📅 На открытом вебинаре 4 марта в 18:30 МСК разберем:

- Отличия MPP ArenadataDB от PostgreSQL
- Как запускать и останавливать кластер
- Как писать аналитические запросы, чтобы получать максимум

👨‍🏫 Спикер: Алексей Железной — Senior Data Engineer с большим опытом и широким технологическим стеком.

🔗 Регистрируйтесь и получите скидку на большое обучение «Greenplum для разработчиков и архитекторов баз данных»: https://otus.pw/s10x/?erid=2W5zFGtYCqn

Не упустите возможность поднять свои навыки на новый уровень! 💪

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Шпаргалка по последовательности выполнения SQL запроса!

@sqlhub