Управление данными: летний студкемп от Яндекс Образования и ИТМО
Мечтаете не просто разбираться в управлении данными, а использовать самые эффективные инструменты для работы с Big Data? Научитесь этому на бесплатном студкемпе Яндекс Образования и ИТМО по дата-инженерии!

🔵 С 30 июня по 12 июля вы погрузитесь в мир распределенных хранилищ, микросервисной архитектуры, DataOps/MLOps и пайплайнов для сбора, анализа и визуализации данных. А еще познакомитесь с технологиями, которые используют в крупных компаниях. В общем, получите реальные навыки, которые ценят на рынке.
🔵 Студкемп проходит в Санкт-Петербурге на базе ИТМО. Проезд и проживание будут оплачены Яндекс Образованием, так что вам останется сосредоточиться на главном — знаниях, опыте и новых возможностях.
🔵 Заявки ждут от студентов из любых вузов и регионов России. Студкемп будет особенно полезен тем, кто учится на 3-4 курсах, знаком с SQL, C++, Java или Python.

🔜 Регистрация открыта до 4 мая, но подать заявку можно уже сейчас! Если давно хотели пообщаться с экспертами ниши и почувствовать, каково это — учиться в одном из ведущих технических вузов, не откладывайте и заполняйте анкету по ссылке!

Чему мы можем научиться у Amazon Elastic Block Store
Amazon EBS — сервис блочного хранения. Он входит в экосистему AWS и используется для работы с большими объемами данных. Сейчас это огромная распределенная система SSD, которая обрабатывает 140 триллионов операций.

Сервис начал работу в 2008 году — и тогда, он, конечно, был совсем другим. Марк Олсон, инженер, который работал над EBS больше 10 лет, рассказал, как проект менялся и развивался с годами. Это не только повод поностальгировать по тем далеким временам, но познакомиться с подходом Amazon к решению проблем и внедрению изменений.

Несколько полезных инсайтов из статьи:
🔵Развитие EBS — постоянный и постепенный процесс. Возможно, для кого-то это и так очевидно, но это одна из главных мыслей всего лонгрида: сервис менялся и дорабатывался на протяжении всего времени существования, чтобы в итоге прийти к 140 триллионам операций. Одним героическим рывком к таким масштабам не прийти.
🔵Один из ключевых вызовов перед командой проекта — это найти баланс между надежностью, производительностью и удобством для пользователя. Необходимость заботиться обо всех этих факторах (а не только о надежности в ущерб скорости) обуславливала многие решения и подходы, которых придерживались разработчики.
🔵Производительность системы зависит от множества факторов и изменения только на одном уровне, даже очень масштабные, могут не принести желаемого эффекта. С этим команда столкнулась, когда переехала с HDD на SSD. Пришлось апдейтить остальные компоненты системы, чтобы добиться прироста роизводительности.
🔵Full-stack-инженер, который умеет все, — это, конечно, круто, но когда речь идет про работу над такими сложными системами, как EBS, узкие специалисты, которые детально разбираются в своей конкретной области, могут быть ценнее.
🔵Если хотите, чтобы ваши инженеры (и вообще любые сотрудники) хорошо работали, нужно создать условия, при которых они смогут не бояться экспериментов и выходить из зоны комфорта.

Как вам опыт Amazon EBS?
❤️ — Есть чему поучиться!
🌚 — Ну такое…

KARPOV.CONF 2025: как данные помогают бизнесу
Наши друзья из karpov.courses зовут на KARPOV.CONF 2025, которая пройдет 24 апреля в 12:00 по Москве.

🔜 Это будет бесплатная онлайн-конференция для всех, кто работает с данными и хочет узнать, как с их помощью растить бизнес, принимать решения и находить точки роста. На ней выступят спикеры от Яндекса, МТС и Райффайзен Банка, которые поделятся кейсами из своей практики.

Что еще будет в программе?
🔵Обсуждение актуальных тем и трендов — в том числе, машинное обучение и Deep Learning.
🔵Лучшие практики, советы от экспертов и рекомендации, как избежать распространенных ошибок при работе над BI-проектами.
🔵Шанс выиграть менторскую сессию с Анатолием Карповым и бесплатные материалы по Data Science: гайды, подборки ресурсов, инструменты.

🔜 Читайте подробную программу конференции и регистрируйтесь! https://clck.ru/3LRUtN/?erid=2Vtzqwgv7Vb

Реклама. ООО «Карпов Курсы», ИНН: 7811764627, erid: 2Vtzqwgv7Vb

Как ищут работу специалисты по датавизу?
А вот так.

Специалист по визуализации данных выложил на Public Tableau свое резюме. Все скиллы, опыт работы, образование и портфолио поместились на один довольно компактный дашборд. Конечно, же, интерактивный: на каждый элемент можно кликнуть, чтобы узнать подробности.

Получилось наглядно и нарядно, хотя вызывает некоторые вопросы — например, как он оценил свои навыки создания «User Centered Design» ровно на 9,2 баллов из 10? А опыт работы на таймлайне выглядит симпатично, но ему остро не хватает описания конкретных обязанностей и достижений.

А как вам такое резюме?
❤️ — Удобно
🌚 — Слишком сложно…

Visual DB — фронтенд для базы данных
Любопытный инструмент, который позволяет создавать формы и интерактивные отчеты, просматривать, добавлять и редактировать данные в таблицах. Задача Visual DB — сделать доступ к данным удобнее и проще, поэтому он не требует знания SQL для работы, а еще предлагает использовать ИИ для создания форм.

🔵Работает с распространенными БД, СУБД и облачными сервисами: MySQL, MariaDB, PostgreSQL, Oracle, Neon, Azure SQL, Amazon RDS, Google Cloud SQL, AlloyDB.
🔵Можно пользоваться облачной версией, можно захостить на своем сервере (или просто на ПК или ноуте).
🔵Инструмент бесплатный, но есть тариф Business аж за 5 долларов в месяц с юзера. Его главное отличие в отсутствии ограничений на количество записей в БД.

Ознакомиться со всеми функциями можно на сайте проекта.

За что вы на самом деле платите, внедряя BI?
BI — это инвестиция в бизнес, причем иногда — весьма серьезная. Как понять, что затраты окупятся, избежать лишних затрат и скрытых расходов?

Эти и другие вопросы обсудят на онлайн-конференции Fine Day Online 17 апреля в 16:00 по Москве:
🔵как объективно оценить, во сколько аналитика обходится бизнесу,
🔵как оптимизировать затраты без потери качества,
🔵как избежать ошибок, которые удорожают BI-проекты.

А также — реальный опыт компаний, которые уже прошли этот путь:

🔵 Альфа-Лизинг – Цена данных: что на самом деле оплачивает бизнес?
🔵 Газпромбанк – BI как центр затрат или источник экономии? Опыт интеграции FineBI с Service Desk через Rest Api
🔵 СИБУР – Self-service BI: мониторинг и оптимизация затрат
🔵 t2 – Цена данных: как, рассчитывая на чудо, не оказаться в минусе, внедряя BI?

Бонусы для участников:
🔥 Доступ к записям конференции
🔥 Эксклюзивный чек-лист: «BI без лишних затрат: типовые ошибки и как их избежать»

Участие бесплатное!

🔜 Зарегистрироваться 🔜

Как в Яндексе работают с Big Data?
Узнайте на бесплатном интенсиве Big DWH Week!

Когда данных становится так много, что хранить их в чертогах разума уже невозможно, на помощь приходит YTsaurus. Это платформа Яндекса для распределенного хранения и обработки больших данных, которая помогает не только систематизировать огромные объемы информации, но и делать их доступными и легко управляемыми.

🔜 Познакомиться с платформой с точки зрения разработки и построения эффективных систем можно на Big DWH Week.

Это бесплатный онлайн-интенсив Яндекса и ШАДа, который пройдет с 21 по 25 апреля. За 8 занятий вы узнаете, как YTsaurus используется в реальных проектах Яндекса, как строится архитектура платформы и как правильно настраивать её под свои задачи.

Если вы работаете с данными как инженер, разработчик или аналитик или учитесь на техническом направлении, этот онлайн-интенсив будет вам интересен.

🔜 Те, кто пройдут отбор и успешно выполнят итоговое задание, получат сертификат. Регистрируйтесь до 25 апреля и погружайтесь в тему!

Каталог чартов Tableau
Tableau Public — источник вдохновения и полезных приемов по работе с Tableau. Мы часто постим особенно впечатлившие Viz of the Day — визуализации, не всегда применимые в работе, но интересные и наглядно показывающие возможности инструмента.

🔜 Для случаев, когда надо вдохновиться особенно сильно или подсмотреть, как круче сделать какой-то конкретный график, есть целый каталог чартов.

В нем собрали ссылки на Viz of the Day, где использовали различные виды графиков и визуализаций. Есть и весьма небанальные, так что если вам надо будет посмотреть, как сделать в Tableau прогресс-бар или завернуть линейный график в круг, в этом каталоге вы найдете ответ.

Docs: как Notion, только open source
Очередная бесплатная альтернатива популярному платному тулу — на этот раз заменяем недоступный в РФ Notion опенсорсным Docs.

🔜 Это инструмент для совместной работы над текстовыми документами, разработанный совместно правительствами Франции и Германии. Да, это не просто чей-то pet project, сделанный из любви к искусству. Все серьезно.

Визуально Docs выглядит как Notion, но попроще — впрочем, так и надо. Его представляют как бесплатную, удобную и безопасную альтернативу, в которой нет ничего лишнего. Можно писать и форматировать текст одному или вместе с коллегами — как и в Notion, тут есть возможность раздать разные уровни доступа.

Есть даже поддержка AI-функций для перевода или создания краткого саммари документа.

У проекта есть cвой сайт и github.

Студента Columbia отчислили за разработку «читерского» приложения
Чунгин Ли, студент престижного американского университета Columbia University точно знал, чего хотел, когда поступал туда — стать фаундером своей компании. Он быстро нашел товарища, вместе с которым они запустили несколько проектов, но успеха не сыскали.

Тогда они решили, что им нужно придумать какую-то вирусную идею, которая точно зайдет — и так додумались до Interview Coder, ИИ-ассистента, который помогает проходить технические интервью.

🔵 Interview Coder можно запустить прямо во время созвона, и его не будет видно, даже если вы расшарите экран. Он не только предлагает решения тестовых заданий, но и дает комментарии и пояснения, чтобы соискатель мог объяснить логику решения.
🔵 С помощью Interview Coder Чунгин прошел несколько собеседований и даже получил оффер в Amazon, о чем рассказал у себя в соцсетях. Он даже выложил видео созвона, где видно, как он пользуется Interview Coder.
🔵 Пост завирусился, как и планировалось, и Amazon это вообще не понравилось. Они связались с Columbia University и пригрозили, что никогда больше не возьмут к себе их выпускников, если те не примут меры.
🔵 В итоге университет сначала ограничился дисциплинарным взысканием, но затем Чунгин опубликовал письмо Amazon, которое те отправили в вуз с настойчивой просьбой наказать его за читерство. После этого его отчислили совсем.

Он как будто не расстроен, потому что своей цели — стать фаундером компании с вирусным продуктом — он добился. 🔥

История напомнила про философию осознанной меркантильности Антона Назарова, который тоже учит, что на пути к успеху в IT и 300к в наносекунду, не страшно иногда срезать углы.

🔜 Как всегда, спрашиваем у вас — что думаете про такие инструменты? Это читерство и должно пресекаться или, когда ищешь работу, все средства хороши?

Есть ли смысл в геймификации: опыт Самоката, Rostic’s, Альфа-Инвестиций и Детского Мира
3 апреля в 12:00 по Москве команда Mindbox проведет вебинар «Геймификация в маркетинге».

Если вы откроете приложение банка, доставки еды или интернет-магазина, скорее всего, вы увидите какие-нибудь игровые механики. Компании придумывают челленджи, ачивки и целые мини-игры — но есть ли в них на самом деле смысл или они нужны только чтобы развлечь пользователей и засветиться в новостях?

На вебинаре расскажут, как зарабатывать на геймификации и прогнозировать ее окупаемость.

Что еще будет?
🔵Кейсы Самоката, Альфа-Инвестиций, Rostic’s и Детского Мира, которые помогли увеличить средний чек и активность пользователей.
🔵Розыгрыш чек-листа по запуску игровых механик.

🔜 Регистрация

Если вы пропустили прошлый дроп мерча — вот ваш шанс!
У нас осталось всего 5 футболок в размерах S, M и 2XL.

Стоимость: 2500 рублей
Размеры: S, M, 2XL
Доставка: Почтой России и СДЭКом по РФ (если живёте за границей, можем отправить вашим друзьям или родным в России).

🔜 Чтобы оставить заявку, стучитесь к нашему боту (размерная линейка с указанием параметров доступна в боте).

После заявки с вами свяжется наш сотрудник для подтверждения заказа и оплаты. Вопросы можно задавать в комментариях к посту — всё расскажем! 🚀

Насколько важно образование в аналитике?
Бенн Стенсил, со-основатель BI-платформы Mode и автор пессимистичного блога на substack, задался вопросом, стоит ли идти в магистратуру по аналитике? Его ответ однозначный — нет.
🔵После всплеска интереса к data science в конце десятых университеты (важно уточнить, что он говорит про США) пооткрывали магистерские программы по аналитике. Зачастую образовательный компонент в них был вторичен, а вся суть была в том, что университет за большие деньги продавал студентам возможность написать представительно выглядящую строчку в резюме. Если повезет — еще и какой-никакой нетворкинг.
🔵При этом многих работодателей из Кремниевой долины эти строчки в резюме мало интересуют. А в каких-то случаях даже воспринимаются как красный флаг — показатель, что соискатель потратил кучу времени и денег на бесполезный диплом.
🔵Даже когда программа таки учит твердым основам работы с данными и академическим принципам, эти знания часто мало применимы в реальной работе.
🔵По мнению Бена, намного лучше, чем поступать в магистратуру, — заниматься своими проектами и выбирать то, что вам действительно интересно, а не просто то, что звучит серьезно. Мало того, что это вас мотивирует глубже погрузиться в изучение вопроса, так еще и поможет выделиться среди остальных кандидатов, если проект действительно оригинальный.

Логика в его словах есть, но мы решили спросить мнение основателя LEFT JOIN Николая Валиотти — для полноты картины:
Я закончил магистратуру в Georgia Tech и могу сказать, что они давали прикладные, понятные знания, применимые на реальных кейсах. Было много непростой проектной работы, которая требовала серьезных усилий.

Я думаю, что описанное в посте не относится к вузам, где computer science — одно из основных направлений деятельности, как в Georgia Tech.

Я всегда говорил, что профильное техническое образование важно в нашей сфере — оно дает фундаментальные знания, которые вряд ли можно получить в другом месте.

А вы что думаете? Нужно профильное образование или без него можно устроиться?

Коннектор Tableau + ClickHouse
Команда ClickHouse представила официальный коннектор с Tableau.

🔵Работает с Tableau Desktop и Tableau Server — для Cloud пока не завезли. Всех, кто считает, что это упущение надо исправить как можно скорее, призывают писать об этом команде ClichHouse.
🔵В Tableau's Data Source Verification Tool коннектор показал совместимость 98%. 2% приходятся на специфические форматы даты и времени, которые ClickHouse не поддерживает.
🔵Коннектор вместе с инструкциями по установке доступен в Tableau Exchange.
🔵Подробный гайд, как пользоваться коннектором и собрать дашборд в Tableau на основе датасета в ClickHouse опубликован в блоге СУБД. Этот датасет, кстати, можно скачать и самостоятельно потестить, как работает коннектор.

Как вам новость? Уже пользовались коннектором?
❤️ — Да, и расскажу в комментах про свои впечатления!
🌚 — Нет, еще не приходилось.

o1 в помощь дата-инженеру
Про ИИ в аналитике и дата-инжиниринге мы спрашивали не просто так — мы недавно провели свое мини-исследование и описали его в новой статье.

Вайб-кодинг — не лучший подход к работе, когда речь идет про аналитику и данные, но это не значит, что ИИ совсем никакое применение не найдется. Ему все еще можно доверять некоторые задачи — например, написать сложный запрос с оконными функциями и объединением данных из нескольких таблиц. Самому это все прописывать может быть долго и утомительно, а вот хваленая o1 справится без проблем.

Или нет?

🔜 Ответы и выводы читайте в статье!

🚀 Прямой эфир @leftjoin и @karpovcourses через 20 минут 🔥
Сегодня в 18:00 по Москве пройдет первый прямой эфир в TG с Николаем Валиотти и Анатолием Карповым.

Два эксперта в сфере аналитики и инжиниринга данных расскажут про то, какие навыки нужны инженеру данных и как они применяются на практике в реальной работе — на примере дата-консалтинга LEFT JOIN.

Эфир приурочен к старту нового потока курса «Инженер данных» 27 марта. Так что расскажут заодно про программу обучения и возможность получить оффер от LEFT JOIN. 💙

🔜 Если у вас есть вопросы к спикерам, обязательно заплавайте их в комментариях под этим постом!

Иван Вахмянин про Visiology, разработку BI-платформ и конкуренцию с Power BI
Бывало у вас такое, что вы смотрите на любимое приложение и думаете — все в нем хорошо, но почему туда не добавят [вставьте сюда название крутой фичи, которая в нем обязательно нужна]?

Неужели разработчики сами не понимают, как это важно?

💙 Возможно, в новом выпуске LEFT JOIN Partners вы найдете ответ.

Гостем выпуска стал Иван Вахмянин, сооснователь и управляющий партнер российской BI-платформы Visiology.

Иван рассказал про работу над продуктом и принципы, которыми руководствуется команда, когда добавляет или убирает какие-то функции — и почему это всегда непростое решение. Заодно обсудили, какие вообще особенности есть у Visiology и за что платформу ценят пользователи.

Ну и конечно, не обошлось без рынка российского BI:
🔵 Чем рынок и наши пользователи отличаются от западных,
🔵На кого ориентируются и с кем конкурируют отечественные разработчики BI,
🔵Выгодное ли вообще это дело — разработка BI-платформы — и как добиться в нем успеха.

Смотрите: YouTube, VK
Слушайте: Apple Podcasts, Spotify, Яндекс Музыка

🚀Прямой эфир с Николаем Валиотти и Анатолием Карповым 🔥
Новый формат — обсуждаем в прямом эфире реальные задачи инженера данных! Анатолий Карпов расскажет, что студенты изучат во время учебы на курсе «Инженер данных», а Николай Валиотти объяснит, зачем это нужно инженеру на практике.

Это не просто вебинар, где спикер выступает с презентацией, а живое обсуждение двух экспертов в сфере аналитики и инженерии данных. Они разберут самые важные и неоднозначные модули курса:
🔵Реляционные и МРР СУБД,
🔵ETL-процессы и Airflow,
🔵Проектирование DWH,
🔵BI для дата-инженера,
🔵Управление данными.

Студенты с потока, который стартует 27 марта, смогут получить оффер в LEFT JOIN — про это тоже расскажут подробнее: что для этого нужно, какие этапы надо будет пройти и почему у нас круто работать.

Эфир пройдет 24 марта в 18:00 по Москве здесь в телеграме! Регистрация не требуется.

🔜 Если у вас есть вопросы к спикерам — про работу инженера данных, курс или оффер LEFT JOIN → оставляйте их в комментариях под этим постом 🔜

Вайб-кодинг в аналитике?
Слышали про вайб-кодинг? Суть явления описал Андрей Карпатый — оригинальный твит на скрине, а ниже наш перевод:

Есть новый вид программирования, который я называю «вайб-кодинг», когда ты полностью отдаешься вайбам, принимаешь экспоненциальный рост и забываешь, что код вообще существует. Это возможно благодаря тому, что LLM (например, Cursor Composer с Sonnet) становятся слишком хороши. Также я просто общаюсь с Composer через SuperWhisper, так что почти не касаюсь клавиатуры. Я прошу у него всякую ерунду, типа "уменьшить отступ на боковой панели вдвое", потому что мне лень искать, где это сделать. Я всегда нажимаю "Принять все", больше не читаю диффы. Когда получаю сообщения об ошибках, просто копирую их и вставляю без комментариев — обычно это решает проблему. Код разрастается за пределы моего обычного понимания, и мне пришлось бы долго его читать, чтобы разобраться. Иногда LLM не может исправить баг, поэтому я просто обхожу его или вношу рандомные изменения, пока он не исчезнет. Для одноразовых проектов на выходные это не так уж и плохо, но все равно забавно. Я создаю проект или веб-приложение, но это уже не совсем программирование — я просто что-то вижу, что-то говорю, что-то запускаю, что-то копирую и вставляю, и оно в основном работает.

Как это выглядит на практике?
🔵 Про свой опыт «вайб-кодинга» написал vas3k — он по итогу остался не так воодушевлен этим подходом, как Андрей Карпатый.
🔵 Недавно завирусилась история про геймера, который решил перевести Dark Souls 3 с помощью нейросети, ничего не понимая в кодинге, и встрял на 2000$.
🔵И мы тоже как-то раз постили про ИИ в ИТ, правда у нас в посте пример был не такой экстремальный.

🔜 Но интересно обсудить это явление не абстрактно, а применительно к сфере аналитики и дата-инжиниринга.
Полностью оставить код на усмотрение ИИ — относительно рабочий вариант для личных проектов, которые делаются для души. Но работа аналитика или дата-инженера обычно подразумевает взаимодействие с командой, и там сложные неоптимизированные SQL-запросы от ИИ не понравятся ни коллегам, ни заказчикам.

Или это все-таки вполне рабочий вариант? Участвуйте в опросе, пишите в комментах!

Вебинар «Как развиваться в профессии инженера данных?» — сегодня!
Подключайтесь в 18:00 по Мск, чтобы узнать, какие навыки помогут построить карьеру в дата-инжинирнге. Рассказывает Николай Валиотти — основатель дата-консалтинга LEFT JOIN (и этого канала), предприниматель и дата-энтузиаст, который больше 15 лет работает с данными.

Про что он расскажет?
🔵 Стек, которым надо владеть, чтобы стать востребованным специалистом.
🔵 Hard & Soft skills, которые нужны дата-инженерам.
🔵 Примеры реальных инжиниринговых задач из практики дата-консалтинга.

🔜 Регистрируйтесь и приходите на вебинар!

UPD: вебинар прошел улетно! Огромное спасибо всем участникам 💙

Про данные, будущее и поиски работы
Любой бизнес работает с данными — хоть какими-то.

А где данные, там и те, кто должен их собирать, обрабатывать и анализировать. И если на первых порах с этим можно справиться без специально обученных людей, то большие объемы и сложные пайплайны требуют участия дата-инженеров.

В общем, спрос на дата-специалистов никуда не денется, как бы ни лихорадило рынок ИТ, но найти работу и построить успешную карьеру — это все равно челлендж.

🔜 Ребята из karpov.courses разобрались, какие знания и навыки дадут преимущество перед остальными кандидатами. Еще и спросили мнение экспертов, которые в аналитике и дата-инжиниринге не первый год (среди них вы можете заметить знакомые имена).

Кстати, помните, что они у себя на канале начали рассказывать про один наш кейс? Уже вышло продолжение и скоро будет завершение — не пропустите!

Польза несовершенства на примере BlueSky
BlueSky — соцсеть, созданная как альтернатива Twitter. Принцип работы тот же: пользователи создают профили, подписываются на других пользователей и видят их посты в своих лентах.

Давайте посмотрим, как это работает изнутри и почему часть постов не доходит до подписчиков — и это нормально.
🔵 Таблица Timeline — те самые ленты постов — разделена на несколько шардов, где для каждого юзера выделена своя партиция. Всего на 32 млн пользователей приходится несколько сотен шардов.
🔵 Когда кто-то выкладывает новый пост, он разлетается по его подписчикам и встраивается в таблицы, из которых формируются их ленты. Одновременно старые сообщения выводятся из них.  Этот процесс работает нормально, если пользователи не шалят и не подписываются на всех подряд. Но если кто-то подписывается на тысячи или сотни тысяч аккаунтов, начинаются проблемы.
🔵 Его лента постоянно обновляется, и это создает повышенную нагрузку не только на его партицию, но и на соседей по шарду. При этом сам пользователь (если это и правда человек, а не бот) никогда не сможет прочитать все сообщения в ней. Значит, и BlueSky незачем выводить все-все новые посты — достаточно просто, чтобы в ленте регулярно появлялся новый контент.

Так, чтобы избежать перегрузки, BlueSky внедрили такие понятия:
🔵 разумное ограничение (reasonable limit) на число подписок — то есть сколько подписок нужно, чтобы лента стабильно обновлялась и оставалась читабельной.
🔵 loss_factor — процент новых сообщений, которые не попадут в ленту пользователя. Он рассчитывается по формуле min(reasonable_limit/num_follows, 1).

Допустим лимит у нас 2000, а подписан пользователь на 8000 аккаунтов. В этом случае loss_factor = 0,25, то есть только 25% новых постов попадут в его ленту.

Внедрение таких запрограммированных потерь помогло значительно поднять производительность и снизить задержки.

Как вам это решение?
❤️ — Изящно!
🌚 — Можно было и получше придумать…

Как и попросил заказчик, вы использовали Key management для шифровки данных клиентов. Но это привело к факапу. Облачный сервис не оправдал ожиданий:
— Из-за большого объема данных их нельзя обработать все разом. Приходится шифровать кусками;
— В каждое использование Key management нужно платить за трафик.

Какой инструмент попробовать вместо Key management? Оставляйте свои варианты в комментариях.

А если хотите решать такие задачи на реальной работе, то записывайтесь на курс «Инженер данных» и получите шанс попасть в команду LEFT JOIN.

Как развиваться в профессии инженера данных?
Совсем скоро стартует новый поток курса «Инженер данных» — тот самый, где студенты могут получить не только знания, но и работу в LEFT JOIN.

А перед началом учебы на вебинаре разберемся, что должен знать и уметь инженер данных, чтобы успешно развиваться в профессии и повышать грейд. Вебинар проведет Николай Валиотти — создатель канала и основатель дата-консалтинга LEFT JOIN.
🔵 С каким стеком нужно уметь работать?
🔵 Какие «софты» и «харды» пригодятся DE, и как требования к ним меняются в зависимости от грейда?
🔵 Что именно делает инженер данных и какие задачи решает? Разберем на примере трех реальных проектов из нашей практики.

Онлайн-вебинар пройдет 18 марта в 18:00 по Москве. Участие бесплатное.

🔜 Регистрируйтесь по ссылке!

LEFT JOIN открыл вакансии инженера данных для студентов karpov.соurses

Это значит, что все оплатившие обучение на курсе «Инженер данных» до 27 марта, смогут претендовать на позицию Middle Data Engineer в компании. Чем предстоит заниматься, раскроем через реальный кейс. Попробуйте решить ↓

Реальный кейс от LEFT JOIN: Биллинг-сервис для медицинских организаций пришел с задачей. Хочет автоматизировать обработку данных в трансформационном слое и зашифровать данные клиентов. В качестве материалов вам отдали сырые данные о клиентах и их платежах. Попросили использовать в работе инструмент Key management.

Umami — альтернатива Google Analytics
Как бы ни был хорош, привычен и удобен Google Analytics, не всем нравится, что корпорация собирает и использует в своих целях их данные. Если вы не хотите делиться с Google информацией о своих пользователях, можно рассмотреть альтернативы — например, Umami.

Это бесплатный инструмент для веб-аналитики с открытым исходным кодом.

🔵 Поддерживает PostgreSQL и MySQL. Судя по отзывам — работает устойчиво и стойко переваривает даже большие потоки данных.
🔵Простой интерфейс с гибкими настройками событий и действий юзеров, которые вы хотите трекать. Можно отслеживать действия, клики, переходы и удержания, строить воронки — в общем, все, что надо.
🔵Для тех, кто не хочет хостить инструмент самостоятельно, есть облачная версия.

Что думаете про подобные альтернативы Google Analytics?
❤️ — Хорошо отношусь — на рынке должна быть здоровая конкуренция!
🙈 — Не вижу смысла — ни одна из них не превзошла GA

6 TB в SQLite
Как известно, те, кто хочет, ищет способы, а те, кто не хочет — оправдания.

Те, кому не хватает целеустремленности и авантюризма, говорят, что SQLite не заточена под работу с большими объемами данных и вообще не в этом ее главное преимущество. Те, кто открыт новому и не боится вызовов, делают базу на 6 терабайт.

Ко вторым относится автор searchcode — проекта по поиску исходного кода. В базе больше 75 миллиардов строк из 40 миллионов проектов. Вот так 6,4 ТБ данных и набежало.

🔵Изначально автор использовал MySQL, и был верен ей с самого начала до конца 2024 года. Но он постоянно искал способы сделать архитектуру проекта проще и удобнее — и пришел к мысли, что пора переходитm на SQLite.
🔵Переход не всегда был простым — пришлось и разобраться, как обойти ошибку database is locked, и найти способ сжатия данных в SQLite. В MySQL вопрос решался через функцию compress, а вот в SQLite решение оказалось не таким очевидным.

Спойлернем: автор начал с поисков стороннего плагина, но в итоге пришел к тому, что более жизнеспособный вариант — компрессия на уровне файловой системы.

🔵Несмотря на все сложности, SQLite с 6,4 ТБ справляется не хуже, а иногда даже лучше, чем MySQL. Автор все равно переживает, что какие-нибудь проблемы все равно вылезут, но пока полет нормальный.

Как вам такой эксперимент?
❤️ — Проект работает, цель достигнута — значит, все было не зря!
🙈 — Слишком много суеты непонятно для чего

Сегодня не пятница, но это не повод не запостить #мем

ClickHouse в практике дата-консалтинга
Мы довольно часто имеем дело с ClickHouse на своих проектах. Это колоночная СУБД, которую выбирают за то, что она на уровне архитектуры оптимизирована для быстрой обработки больших объемов данных. При всех сильных сторонах у нее есть и минусы вроде отсутствия полноценной поддержки транзакций или сложностей при точечных операциях.

В совокупности это все делает ClickHouse отличным вариантом для проектов, где данных уже много, в перспективе станет еще больше, и их надо быстро обрабатывать, возможно даже в режиме реального времени — например, стримингов или рекламных платформ.

🔜 Выложили в нашем блоге новую статью, где кратко рассказали, что знаем про ClickHouse: особенности архитектуры, отличия между работой в облаке и on-premise и, конечно, про кейс из своей практики не забыли.

Ждем ваших комментариев — статьи на какие темы вы хотели бы увидеть  в блоге?

🔥 Исследование рынка аналитиков 2024: полные результаты

Мы опросили 1293 аналитиков 6-ти специализаций и готовы рассказать вам:

➤ Какие задачи решают аналитики

➤ Что с релокацией у аналитиков

➤ Сколько зарабатывают аналитики

➤ ТОП и анти-ТОП компаний для аналитиков

➤ Что ценят в аналитической культуре

➤ За какими экспертами следят аналитики

Будем рады, если вы поделитесь результатами исследования с коллегами, знакомыми, друзьями аналитиками и всеми, кому может быть интересно 🫶

👉 Смотреть полные результаты

Все, кто принял участие в нашем исследовании и оставлял почту, проверьте её! От нас должно прийти письмо с приглашением на закрытый стрим для респондентов 🙏

💙 Команда NEWHR анализирует IT-рынок в России и других странах. Мы делаем публичные и заказные исследования для компаний (смотреть примеры). Будем рады сделать исследование вместе с вами.

📨 Пишите на почту data@new.hr

Команда NEWHR подвела итоги исследования рынка аналитиков, которое проводила в конце 2024! 🔥
Мы тогда выступили в качестве инфопартнера проекта и теперь рады поделиться с вами результатами.

Аналитика + логистика: выбираем новую локацию для склада
Когда мы говорим про пользу аналитики, мы всегда упираем на то, что она помогает принимать решения на основе данных.

Звучит красиво, но без примеров слишком абстрактно.

Хорошо, что пример у нас есть — и нет, он не про маркетинг и про то, как с помощью дашборда выбрали баннер, который нагеренерил больше всего лидов.

🔜 Это кейс Wing — телеком-оператора из Нью-Йорка, с которым мы работали несколько лет назад.
🔵 Wing предоставляет услуги связи, продает смартфоны и отправляет клиентам сим-карты и комплекты для подключения (роутер, маршрутизатор, кабели).
🔵 Когда мы начали работать, у заказчика было два больших склада — в Нью-Йорке и Техасе. Оттуда отправляли заказы по всей стране. Постепенно объем вырос, клиентов стало больше, и пришло время оптимизировать процессы и расширяться. Вот только как?
🔵 У Wing накопилось много данных о количество отправок, времени и направлениях, но не было ресурсов для обработки и экспертизы, чтобы извлечь из них инсайты. Но вы уже сами понимаете, что произошло — мы пришли на помощь. На карточках рассказываем, как с помощью данных найти лучшую локацию для нового склада.

Делимся своим опытом — может, вам тоже пригодится.

Как вам кейс? Стоит рассказывать о своих кейсах почаще? 👀

Trisigma — аналитическая платформа от Авито Тех
Trisigma призвана ускорить разработку и развитие продуктов за счет комплексной аналитики и автоматизации A/B-тестирования. Она дает возможность проверить гипотезы и новые функции, а также оценить их влияние на бизнес-показатели, проводя сотни тестов одновременно.

Платформа разворачивается в облаке и легко интегрируется в ИТ-инфраструктуру компании для обмена данными с другими компонентами системы. Она нетребовательна к ресурсам, поэтому внедрить ее сможет как корпорация, так и небольшой стартап. Особенно полезен инструмент будет финтехам, эдтехам и стриминговым сервисам — тем, кому важно постоянно развивать и дорабатывать свои продукты с опорой на данные.

Что им даст Trisigma?
🔵 Автоматизацию тестирования — это даст возможность проводить больше тестов и при этом освободить время аналитиков.
🔵 Информативные и точные отчеты с результатами тестов. Автоматизация позволяет избежать ошибок, связанных с человеческим фактором.
🔵В итоге — принятие решений на основе данных и быстрое внедрение новых функций в продукт.

По словам управляющего партнера Авито Ивана Гуза, применение подхода с A/B тестированием обеспечивает дополнительный прирост ключевых показателей компании, таких как выручка или количество покупателей, в коридоре от 10 до 20% в год.

🔜 Для тех, кто хочет познакомиться с возможностями Trisigma, команда Авито Тех уже открыла прием заявок.

Открыт предзаказ на мерч LEFT JOIN!
Хотите классный стильный мерч, который покажет окружающим, как сильно вы любите данные? Теперь вы можете его заказать! Партия футболок «Навизуализировал» ждет своих владельцев.

🔵 Стоимость — 2500 рублей.
🔵 Доступны 5 размеров: S, M, L, XL, 2XL
🔵 Отправляем Почтой России и СДЭКом только по РФ. Если вы живете за границей, то можем отправить вашим друзьям-родным, которые будут согласны переслать футболку вам.
🔵 Дизайн со всех сторон показали в своей статье.

🔜 Чтобы оставить заявку, стучитесь к нашему боту.

Вскоре с вам свяжется наш сотрудник для оплаты и подтверждения заказа. Все вопросы задавайте в комментариях к этому посту.

Курс от karpov.соurses + оффер от LEFT JOIN
27 марта в karpov.соurses стартует курс «Инженер данных». Он рассчитан на студентов уровня Junior+/Middle, которые хотят прокачать скиллы по:
🔵 работе с БД, DWH, BI‑платформами и облачными сервисами,
🔵 автоматизации ETL-процессов,
🔵 обработке больших данных,
🔵 применению ML-моделей.

Курс поможет не только получить новые знания и упорядочить старые, но и найти работу — 2 студента из потока смогут попасть в штат LEFT JOIN на должность Middle Data Engineer.

Для этого понадобится:
🔵 на старте обучения отправить резюме нашему HR,
🔵 пройти 50% курса без срыва дедлайнов,
🔵 выполнить тестовое задание и пройти интервью.

Успешные кандидаты получат оффер.

🔜 Подать заявку можно уже сейчас.

Сломалась платформа vc, но не мы — все те же маркетологи, все те же зарплаты
Помните, мы публиковали статью про зарплаты маркетологов и наш интерактивный дашборд? Площадка не дала нам возможность продвинуть ее так, как хотелось, поэтому мы решили попытать счастья еще раз.

И как никогда нам нужна ваша поддержка в виде лайков и комментариев.

Поддержите нашу статью еще раз 🔜 https://vc.ru/hr/1846874

Открыты две вакансии в LEFT JOIN
Апдейт по вакансиям: их уже две (обе Middle), и мы рассматриваем part-time занятость c перспективой перехода на полный день.

Работаем удаленно по GPT+3. Зарплата в рынке, корпоративный английский, интересные проекты, демократичная атмосфера в компании без бюрократии и прочей духоты.

От аналитика ждем:
🔵 Опыт от 2 лет,
🔵 Уверенный Python и SQL,
🔵 Опыт работы с двумя и более BI-системами,
🔵 Релевантное высшее образование и знание мат. статистики.

Предстоит строить ad-hoc отчетность, разрабатывать отчеты в BI-системах и витрины данных.

🔜 Полное описание вакансии на huntflow. Откликайтесь там же или пишите напрямую нашей HR Татьяне @tanya_zab.

От инженера данных ждем:
🔵 Опыт от 3 лет,
🔵 Уверенное владение SQL, Python, Airflow, bash.
🔵 Опыт разработки ETL, проектирования и разработки хранилищ данных и аналитической отчетности, а также работы c Kafka, S3 и dbt.
🔵 Релевантное высшее образование.

Предстоит создавать и поддерживать ETL/ELT-процессы, обеспечивать корректность работы отчетов и консистентность данных, создавать и сопровождать витрины данных и вести документацию.

🔜 Полное описание вакансии на huntflow. Откликайтесь там же или пишите напрямую HR @tanya_zab.

GLOBAL TECH FORUM: цифровая трансформация бизнеса
21 марта в Москве пройдет конференция GLOBAL TECH FORUM, посвященная цифровизации бизнес-процессов. LEFT JOIN выступает инфопартнером мероприятия.

В конференции примут участи эксперты из крупных технологических компаний, включая Роскосмос, Сбер, Росбанк, X5 Tech, Северсталь, Альфа-Банк, Уралхим Инновация и других — всего ожидаются более 80 спикеров и более 2000 участников. Они поделятся своим опытом в сфере цифровой трансформации и и расскажут об ИТ-сервисах и решениях, которые используют в своей практике.

В программе:
🔵 Разбор 100+ кейсов из разных направлений бизнеса — слушатели узнают, как автоматизируют процессы в HR, маркетинге и других направлениях.
🔵 4 трека — GLOBAL TECH, ⁠HR TECH & ED TECH, ⁠CLIENT TECH и ⁠MARKETING TECH & SALES TECH.
🔵 Открытая сцена, где компании представят свои технологичные решения для автоматизации бизнеса.
🔵 Практические интенсивы и нетворкинг.

Конференция пройдет оффлайн в кластере «Ломоносов», Раменский бульвар, д.1. Увидеть программу и купить билеты можно на сайте. Укажите промокод JOIN15, чтобы получить скидку 15%.

Зарплаты маркетологов под прицелом данных
Все любят считать чужие деньги, а мы пошли дальше — сделали это красиво и понятно. Вместе с CLAN Recruiting мы не просто опросили спецов из маркетинга, но и превратили их ответы в удобный интерактивный дашборд.

О процессе визуализации исследования и инсайтах — в новой статье.

Читайте и оставляйте комментарии 🔜 https://vc.ru/hr/1846874

Data Science проект, который не смог
Пет-проекты есть у многих — их делают либо для портфолио, либо просто для души. Проблема с ними в том, что, когда нет внешней мотивации, легко потерять интерес и так и не закончить начатое.

🔜 Так и получилось у дата-саейнтиста Мартина Леллепа, который 1600 дней работал над своим проектом — с начала 2020 до конца 2024.

Суть была в том, чтобы собрать и проанализировать текстовые данные с немецкого новостного сайта, который ежедневно размещал короткие новости про COVID. Автор хотел провести семантический анализ и анализ метаданных: то есть определить, о чем чаще всего писали, как часто, в какое время и так далее. А также поделиться получившимся датасетом с общественностью.

Система работала полуавтоматически: заходить каждый день на сайт и копировать ссылки надо было вручную, а структурирование данных происходило уже без его прямого участия. В блоге есть более подробное описание и даже схемы.

Держался он довольно долго, но через 4 года ему это просто надоело. Знакомая ситуация? Наверняка да. Автор вывел для себя несколько правил, как избежать такого в будущем и сделать работу над проектами более приятной и эффективной:
1️⃣ Сразу продумать, как вы будете это презентовать. Не отпугнет публику слишком мрачная направленность датасета?
2️⃣ Не откладывайте самое интересное на потом — он свои данные так и не проанализировал. Старайтесь регулярно «подбадривать» себя промежуточными результатами, делитесь ими с коллегами, чтобы получить фидбек.
3️⃣ Автоматизируйте все, что можно.
4️⃣ Учитывайте частоту сбора данных — если раз в день это еще можно сделать руками, то если это нужно делать чаще, процесс надо автоматизировать.
5️⃣ Храните сырые данные. Еще пригодятся.
6️⃣ Когда возможно, используйте облачные технологии — мало того, что это удобно, так еще в работе пригодится.

В общем, проект хоть и не взлетел, но все равно подарил полезный опыт. А как вы мотивируете себя, чтобы продолжать работу над личными проектами и не терять энтузиазм?

EdTech — третий материал цикла «Безответственные прогнозы» от SETTERS Media 🩶

🔡Лидеры среди soft-skills сменяются ежегодно — какие наиболее актуальны сейчас?

🔡Почему комьюнити — это одна из важнейших составляющих успеха при обучении?

🔡Классическое обучение vs формат быстрого обучения?

🔡С чем связан спрос на «помогающие профессии»?

Рассказывает генеральный директор
образовательного холдинга
Ultimate Education Павел Мосейкин ➡️ссылка.
🌧🌧🌧🌧🌧🌧🌧🌧🌧🌧
🌧🌧🌧🌧🌧🌧🌧🌧🌧🌧
🌧🌧🌧🌧🌧🌧🌧🌧🌧🌧

Тренды в онлайн-образовании с точки зрения аналитики
У наших друзей из SETTERS Media вышел интересный материал про тренды в эдтехе. Вот несколько интересных моментов из него:
🔵 Для студентов большую роль играет сообщество, возможность пообщаться с экспертами и запустить первые совместные проекты.
🔵 Набирает популярность тренд на быстрое обучение — короткие видео, которые позволяют быстро освоить какой-то конкретный навык.
🔵 Студенты активно прокачивают софт-скиллы — наибольшей популярностью пользуются креативность, коммуникация и принятие решений.
🔵 Конечно, без ИИ не обходится — его активно внедряют и в учебные программы, и в процессы.

Многие из этих трендов мы тоже успели заметить, потому что целый сезон подкаста Data Heroes был посвящен онлайн-образованию. Но кажется, что они в большей степени относятся к креативным и гуманитарным направлениям. А вот с ИТ и аналитикой все немного сложнее.

🔜 Хотя креативность в ней тоже важна, вряд ли именно это самый востребованный навык. А быстрое обучение вообще скорее навредит — поможет нахвататься знаний по верхам, но не даст базу, которая необходима для работы в ИТ. Разве что без ИИ никуда, но и тут есть свои нюансы — мы уже много раз писали, что это не столько ценный помощник, сколько неопытный джун за которым все надо перепроверять.

А вы что думаете — эти тренды актуальны для онлайн-обучения ИТ-профессиям или у нас тут своя атмосфера? 👀

Сергей Громов про Qlik, «Круги Громова» и BI-рынок в России
Если вы хоть как-то связаны с аналитикой и BI, скорее всего, про гостя нового выпуска вы хотя бы краем уха слышали.

И если не слышали про Сергея Громова, то про его исследование рынка российского BI «Круги Громова» — точно.

Вот рынок BI и обсудили:
🔵Какие риски несет (а какие не несет) использование ушедших из РФ BI-тулов в обход блокировок?
🔵Почему именно круги Громова и как вендоры BI относятся к этому проекту?
🔵Как дата-консалтинги зарабатывают деньги и какие навыки и знания нужны, чтобы успешно работать в этой сфере?

А еще про роль руководителя, сложности разработки своего продукта и отличия технологической компании от консалтинговой и продуктовой.

Смотреть: YouTube, VK Video
Слушать: Spotify, Apple Podcasts, Яндекс Музыка

Нужен ли на самом деле мобильный BI?
На днях мы записывали подкаст с Иваном Вахмяниным из Visiology. Получился обстоятельный разговор про отечественный рынок BI, и историю Visiology услышать из первых уст было крайне интересно.

🔜 Среди прочего, Иван высказал интересную мысль о том, что несколько лет назад все носились идеей того, что BI должен быть в мобильном приложении, однако на практике почти никто не пользуется «мобильным BI».

Стало интересно узнать у вас. 👇🏻

Думающий Grok от Маска — что думаете?
Пока OpenAI работает над GPT-5, а DeepSeek отбивается от обвинений то в краже, то в недостаточной защите данных, принадлежащая Илону Маску xAI выпустила свою флагманскую модель — Grok 3.

На самом деле это целое семейство моделей: Grok 3 и ее «младшая сестра» Grok 3 mini, а также «думающие» Grok 3 Reasoning и Grok 3 mini Reasoning.

🔜 На VC уже собрали подборку мнений и тестов
К консенсусу пользователи и исследователи пока не пришли: судя по отзывам, с задачи на программирование и логику Grok 3 решает хорошо, но через раз. Иногда справляется с вопросами, на которых ломаются o1 и Claude, иногда галлюцинирует и выдает странные ответы.

Первыми к доступ к Grok 3 получили подписчики Premium+, который обойдется в 50$ месяц. Кстати, цена на этот тариф подскочила больше, чем в 2 раза, сразу после релиза Grok 3 — раньше она составляла 22 доллара.

Что думаете про Grok?
❤️ — Выглядит круто, скоро догонит и перегонит конкурентов!
🙈 — Сомнительно, но окей…

Weekend Offer Analytics пройдет 1-2 марта

Устроиться в Яндекс за выходные — реально. Там как раз сейчас ищут крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.

Подавайте заявку до 24 февраля, и всего за 2 дня пройдите все технические собеседования. После сможете пообщаться с одиннадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если все сложится, офер дадут сразу.

🔜 Узнать подробности и зарегистрироваться.

Реклама. ООО "Яндекс". ИНН 7736207543. erid: CQH36pWzJqE5AYZMarvXGxaFHenYESMeNNtZj3xxZQRQxs

Как ИИ помог игрокам в го стать лучше
Все возрастающее влияние ИИ не всегда делает жизнь лучше. Тут и регулярные судебные разбирательства из-за авторских прав, и уже не скрытые угрозы вытеснить людей с рынка труда, и исследования, которые доказывают, что слишком активное использование ИИ ведет к потере критического мышления.

Но не все так плохо. Иногда ИИ помогает, наоборот, раскрыть человеческий потенциал.

💬 В го играют уже больше 2000 лет. Неудивительно, что за все это время уровень игроков вышел на плато. Какими бы гибкими ни были правила игры, рано или поздно люди нащупают все возможные стратегии и комбинации.

Так было до 2016 года, когда DeepMind представила AlphaGo — ИИ, который смог обыграть профессиональных игроков в го. Поражение подстегнуло их к созданию новых креативных стратегий и помогло выйти с плато по уровню игры, которое тянулось аж с 1950-х годов.

Есть вероятность, что ИИ, который с каждым годом все умнее, однажды все-тки выйдет за границы людских возможностей. И тут уже догнать его не удастся даже самым лучшим игрокам. Но все равно история выглядит очень даже вдохновляюще: ИИ помог увидеть новые возможности в древней и, казалось бы, от начала и до конца изученной игре (насколько вообще можно изучить такую игру, как го).

Пришло время рассказать про мою книгу по аналитике для руководителей

Мы с командой уже довольно долго над ней работаем, и вот, наконец-то, этот процесс движется к завершению.

Мы уже задизайнили обложку (да, на картинке она) и теперь приближаемся к тому, чтобы отправить тираж в печать.

Ребята из «Эксмо» — крутые. Они помогли нам сделать классный продукт, который скоро попадет на полки книжных магазинов. Мы много раз переписывали материал и в итоге получился труд, который позволяет собственникам или топ-менеджерам получше разобраться в том, что такое работа с данными, какие роли в этом процессе важны, для чего вообще нужна аналитика, и как она помогает расти бизнесу.

Интересно ли вам было бы полистать такую книгу?

🔜 @datakolya 🔜

Когда пришел на новый проект, где заказчик уже пытался сам построить какую-то аналитику с кучей табличек и Божьей помощью

#мем

Доказательство теоремы CAP — теперь с картинками!
Теорема CAP гласит, что распределенная система может отвечать только двум требованиям из трех: согласованная, доступная и устойчивая к фрагментации.

Почему так? Ответы в коротком иллюстрированном гайде по ссылке — ну, или у нас в посте, но без иллюстраций. Гайд не углубляется в тонкости, но знакомит с основными  понятиями.

🔜 Представим простую распределенную систему — два сервера, которые обмениваются данными друг с другом и с внешним клиентом. На них хранятся данные о значении некой переменной V.

У этой системы могут быть следующие свойства:
🔵 Согласованность (Consistency) — если клиент отправляет запись V = 1 на один сервер, то второй при чтении должен вернуть такое же значение. Если на одном сервере V = 1, а на втором все еще V = 0, то система не согласована.
🔵 Доступность (Availability) — оба сервера, если только никто не пролил на один из них чай, отвечают на запросы клиента на запись и чтение данных.
🔵 Устойчивость к фрагментации (Partition tolerance) — система продолжает работу, даже если какое-то количество сообщений от одного сервера не доходят до второго.

🔜 Наконец-то подходим к доказательству.
🔵 Если система устойчива к фрагментации и доступна, она не может гарантировать согласованность — рано или поздно возникнет ситуация, когда клиент отправит запись на один сервер, а до второго она не дойдет. Тогда один выдаст V = 1, а второй V = 0.
🔵 Чтобы обеспечить устойчивость и согласованность, системе придется пожертвовать доступностью — то есть отказаться вносить данные, если она не может гарантировать, что все ее узлы получат обновление.
🔵 Практически в любой реальной распределенной системе неизбежны потери данных между нодами. При этом, она, скорее всего, не упадет — то есть она будет устойчива к фрагментации. А если она устойчива к фрагментации, то мы возвращаемся к пункту 1.

🔜 Все так просто?
На самом деле нет. К каждому пункту из поста можно добавить звездочку и написать дополнение, которое все усложняет, но это уже не влезет в пост.

ИИ для скоринга клиентов — за и против
Представьте себе мир, где искусственный интеллект следит за каждым вашим шагом и выносит свой вердикт — хороший вы человек или какой-то подозрительный.

А нам и представлять не надо.

Окей, про мир мы преувеличили, но в отдельно взятом «Самокате» уже есть такая программа, которая направлена на предотвращение мошенничества. ИИ отслеживает поведение пользователей и тем, кто заслуживает доверие, может предложить дополнительный сервис — например, оплату через несколько часов после доставки товара.

Про это рассказывал Петр Лукьянченко из ecom.tech на подкасте Data Heroes — кусочек с этим моментом мы прикрепили к посту, а ознакомиться с выпуском целиком можно по этим ссылкам:
Смотреть: YouTube, VK Видео
Слушать: Spotify, Apple Podcasts

🔜 Если взглянуть с одной стороны, то получается, что ИИ лишает часть клиентов доступа к услугам по каким-то своим внутренним соображениям.

🔜 А с другой стороны — он, наоборот, дает возможность предоставить услугу, на которую компания иначе не решилась бы из-за риска потерять деньги.

Что скажете? Какая точка зрения вам ближе?
👾 — Я за использование ИИ
🙈 — Я против
🤔 — Третий вариант

Про Avito Data Tech и Redash

Я достаточно давно слежу за ребятами из Avito Data Tech, в основном, потому что несколько раз в разных источниках натыкался на то, что они переделали близкий моему сердцу Redash и довели его до уровня корпоративной BI.

Парни круто рассказывают об этом у себя в канале в этих двух постах: 1, 2
Обе статьи я читал достаточно давно, и вот недавно в очередной раз на них наткнулся. Меня не покидало желание увидеть, как же выглядит этот самый кастомизированный авитовский Redash, и я написал Илье из команды Avito Data Tech.

Мой низкий поклон Илье, Олегу и Анару за то, что с легкостью договорились созвониться и показать, что у них получилось.
Признаться, был поражен тем, как ребята смогли допилить open source продукт до уровня корпоративной BI с внедрением self-service подхода. Практически ничего от старого доброго Redash там не осталось (в хорошем смысле). На лицо заметное ускорение производительности, мощный подход к системе разграничения прав, чарты, которые позволяют динамически фильтровать дашборд, экстракты, как в Tableau.

Мой главный вопрос к ребятам — будет ли решение доступно для внешних пользователей в опенсорсе или в коммерческом формате?

И мы, как минимум, начали обсуждение по этой теме!

Как работает конкурентность?
Если спросить, что такое конкурентность, скорее всего, большинство наших подписчиков смогут ответить достаточно точно. Это понятие, знакомое всем, кто так или иначе связан с ИТ-сферой.

🔜 Для тех, кто пока с ним не сталкивался, поясним максимально простыми словами:
Конкурентность — способность системы в заданный промежуток времени выполнять несколько процессов, переключаясь между ними.
Конкурентность не надо путать с параллелизмом, но это тема для отдельного материала.

Зато если попросить объяснить, как работает конкурентность, у многих могут возникнуть затруднения. За явлением, которое на первым взгляд кажется довольно понятным, стоит очень сложный процесс.

К счастью, нашелся человек, который детально разобрался сам и нарисовал визуальный гайд для остальных. Гайд в какой-то момент превращается в мем «как нарисовать сову», но так и надо.

Итоги розыгрыша мерча LEFT JOIN

На календаре 10 февраля, а это значит, что пришло время выбрать 5 счастливчиков, к которым отправятся наши футболки.

🔵 @basiliopmartinez
🔵 @Alexey_Krutov
🔵 @skaradub
🔵 @Nastasiakpt
🔵 @skol4356

Поздравляем! Мы скоро свяжемся с вами для уточнения условий доставки 👀

Важно: на первом скриншоте с результатами вы можете увидеть еще один никнейм, но одно из условий участия, которое не было им выполнено — поделиться своими целями. Поэтому для честности результатов мы решили перевыбрать комментарий.

Можете вернуться к посту с условиями, чтобы посмотреть, каких целей намерены достигнуть наши победители в 2025 году.

Пусть ваши графики говорят за вас
Бывало такое, что вы подготовили прекрасный, информативный отчет с наглядными графиками, а коллеги и руководство его не оценили?

Или сделали дашборд, а юзер так и считает в экселе, потому что не понял куда смотреть?

🔜 Тогда рекомендуем курс «Говорящие графики» Натальи Киселевой. Он стартует 10-го февраля, и на нем вы узнаете:
🔵 как визуализировать данные так, чтобы было не только красиво, но и понятно,
🔵 как и зачем добавлять сторителлинг в свои графики,
🔵 чем отличаются инструмент для визуализации и как с ними работать.

Курс пройдет онлайн, все подробности про тарифы и программу — на сайте и в TG-канале.

Бонус — дата-комикс от автора курса.☝🏻

Как добавить сторителлинг в свой датавиз
Магия датавиза не только в том, чтобы показать данные на графиках, но и в том, чтобы правильно расставить акценты и подчеркнуть важное.

Разбираем на примере из блога Datawrapper, как с помощью нескольких небольших правок сделать обычные линейные графики информативнее.

💬 Автор хотел показать, как изменилась Индия за 75 лет и для этого нарисовал 4 чарта с данными о рождаемости, детской смертности, продолжительности жизни и росте населения. Они и сами по себе уже выглядят внушительно: уже без всяких правок по ним можно судить, что жизнь в Индии за 75 лет стала лучше.

Но сравните, насколько красноречивее они стали, когда:
🔵 к ним добавили более говорящие заголовки и пояснения к каждому графику;
🔵 расположили их рядом, так чтобы вместе с пояснениями они рассказывали цельную историю: «Хотя рождаемость снизилась, упала и детская смертность, а продолжительность жизни выросла, что привело к росту населения»;
🔵 изменили цветовую гамму и подкрутили дизайн, чтобы расставить акценты.

Такую же логику — говорящие заголовки, цветовые акценты, сторителлинг — можно применить и в других областях, чтобы усилить свои отчеты и презентации.

Нравится такой редизайн?
🔥 — Да, стало лучше
🙈 — Нет, стало слишком много визуального шума
🌚 — Третий вариант

Ищем Middle Data Analyst, чтобы SQL не простаивал, Python не пылился, а клиенты были довольны
Заниматься надо будет ad-hoc аналитикой, разработкой отчетов в BI-системах (у нас в основном Tableau, Redash, Superset, Metabase, Datalens) и витрин данных.

Что нужно
🔵 2+ года опыта. Знаешь, что такое данные, зачем они бизнесу и как их приручить.
🔵 Английский от уровня B2. Мы много работаем с зарубежными клиентами, нужно не просто понимать, но и коммуницировать.
🔵SQL — на уровне «встал ночью, написал запрос и снова спать». Серьезно, это проверим.
🔵 Python — pandas, matplotlib, numpy — все наше, все родное.

Будет круто
🔵 Знакомство с dbt — за это отдельно пожмем руку.

Что даем
🔵 Удаленку, гибкий график, крутые проекты и команду, которая знает, что делает.
🔵 Бюрократии нет, отпуск и больничные есть.

🔜 Здесь можно получить подробности и откликнуться

Вакансии в нашу компанию теперь публикуем в корпоративном Telegram-канале @leftjoin_insider

P.S. А еще рассказываем про внутрянку работы в дата-консалтинге, наши проекты и ценности 🙂

Приходите знакомиться 👀

Вебинар про карьеру в аналитике — сегодня!
А вы уже записались на вебинар Николая Валиотти?

Он пройдет в 19:00 по Москве и будет посвящен карьерному развитию в аналитике. Вы узнаете про:
🔵 рост по грейдам,
🔵 ожидания бизнеса от джунов, миддлов и сеньоров,
🔵 возможности для перехода в смежные области,
🔵 сложности и преимущества работы в штате и на аутсорсе.

🔜 Зарегистрироваться
За регистрацию еще дают запись вебинара, карьерный гайд и промокоды karpov.courses!

Можно ли украсть украденные данные?
Давненько мы не писали про OpenAI, а ведь они с самого начала года нагенерировали новостей: уже успели выпустить новые «думающие» модели o3-mini и o3-mini-high и обвинить китайскую компанию DeepSeek в воровстве.

Вот про DeepSeek и поговорим
Если пропустили, то DeepSeek представила AI-ассистента с доступом к двум моделям: «обычной» DeepSeek-V3 и «думающей» DeepThink R1 (аналог o1). Доступ к обеим версиям бесплатный (пока), API дешевый, а еще весь проект опенсорсный. В общем, серьезный конкурент OpenAI.

Вскоре после релиза OpenAI заявила, что подозревает DeepSeek в краже данных для обучения своей модели. Поэтому она и получилась такой умной так быстро — вся в ChatGPT.

💬 Ситуация для разработчиков неприятная, но, если посмотреть со стороны, скорее ироничная. OpenAI неоднократно обвиняли в том, что она для обучения своих моделей собрала все, что не прибито, по всему интернету, не спрашивая ни у кого разрешения. Судебные иски против нее подавали New Your Times и Гильдия Авторов США.

А теперь компания сама заявляет, что стала жертвой несанкционированного использования ее данных, и очень этим недовольна.

💬 Конечно, еще нужно доказать воровство и со стороны OpenAI, и со стороны DeepSeek. Но если это правда, то как вы к этому относитесь?

Насколько правомерны претензии OpenAI, если она сама таким же образом собрала свои данные? Или это две разные ситуации, и предполагаемое «темное прошлое» OpenAI не оправдывает действия DeepSeek?

Для тех, кто не хочет писать коммент, ниже опрос. 👇🏻

Вебинар про карьеру в аналитике пройдет 6 февраля
Назначили новую дату вебинара, который проведет Николай Валиотти — 6 февраля, 19:00 по Москве.

Напоминаем, что вебинар будет посвящен тому, как построить карьеру в сфере аналитики:
🔵 Как вырасти из джуна до миддла, а из миддла — до сеньора?
🔵 Какие еще есть пути, кроме роста по грейдам?
🔵 Что надо знать, прежде чем устраиваться аналитиком в штат или уходить на аутсорс?

Пройдите регистрацию по ссылке в конце поста (если не сделали это в прошлый раз), чтобы получить запись эфира, карьерный гайд и промокод на курсы школы karpov.courses.

🔜 Зарегистрироваться

Valiotti Analytics → LEFT JOIN
Те, кто с нами давно, знают, что канал LEFT JOIN — проект Николая Валиотти, фаундера дата-консалтинга Valiotti Analytics, основанного в 2019 году.

Valiotti Analytics занимается аутсорсингом аналитики и аутстаффом дата-экспертов в компании из диджитал-сфер — эдтехов, финтхеов, разработчиков игр и мобильных приложений, телекомов и так далее. За эти 5 лет у VA накопилось 40+ кейсов в портфолио, экспертиза и отличная репутация.

Тем временем LEFT JOIN из авторского проекта вырос в целый большой бренд, который объединяет блог, каналы в TG и на Youtube и несколько курсов по аналитике. У нас много подписчиков на всех площадках, и поэтому это название стало хорошо узнаваемым именно в русскоязычной среде.

💙 Значит, нужно развивать бренд и дальше, так что представляем вам дата-консалтинг LEFT JOIN 💙

Суть услуг остается та же → разрабатываем инфраструктуру, разворачиваем хранилище, настраиваем процессы, собираем дашборды, проводим аналитические исследования — в общем, все, что заказчик попросит.

Хотите узнать больше или заказать разработку? 🔜 Welcome на наш новый сайт!

От ритейла до Smart City: как геоаналитика меняет бизнес
Как найти яму на дороге?

Наверное, самый простой способ — подойти и посмотреть, есть яма или нет. Но что, если ям много? Если вам надо просмотреть все дороги в городе и найти максимум аварийноопасных ям? 👀

А если вам надо оценить распространение облака вулканического пепла на Камчатке?

А если — вот сейчас будет очень сложно — выбрать лучшую локацию для булочной в городе, где булочные на каждом углу?

Ответы есть у гостя нового выпуска LEFT JOIN Partners, Дениса Струкова. Он генеральный директор компании «Геоинтеллект», которая больше 20 лет занимается геоаналитикой для частных компаний и государственных заказчиков.
🔵 Чем отличается геотаргетинг от геомаркетинга, а ГИС — от BI-системы?
🔵 Какие инсайты можно получить из геоданных и обязательно ли платить за это много денег?
🔵 Используются ли в геоаналитике данные из слитых баз?

🔜 Смотрите на YouTube и в VK, слушайте на Spotify, Apple Podcasts и Яндекс Музыке.

К сожалению, вебинар переносится по техническим причинам.

Мы сообщим дополнительно, когда будет известна новая дата.

Вебинар про карьеру в аналитике уже сегодня!
Сегодня в 19:00 по Москве Николай Валиотти расскажет, за какие скиллы бизнес готов платить аналитикам их немаленькие зарплаты.
🔵 Как вырасти из джуна до миддла, а из миддла — до сеньора?
🔵 Какие еще есть пути, кроме роста по грейдам?
🔵 Что надо знать, прежде чем устраиваться аналитиком в штат или уходить на аутсорс?

Вебинар пройдет на площадке онлайн-школы Karpov.Courses. Всем, кто пройдет регистрацию, после окончания эфира отправят запись и расширенный карьерный гайд. Рекомендуем не ждать записи, а все-таки прийти лично, чтобы задать вопросы Николаю или команде Karpov.Courses и не упустить промокод со скидкой на курсы школы.

🔜 Зарегистрироваться

7 BI-платформ за 7 недель
Вторая часть челленджа — если не лежит душа к БД, можно углубиться в BI-платформы. Ниже 7 инструментов, с которыми мы сами работаем чаще всего.

Первые 3 сейчас недоступны в России, и если для вас это блокирующий фактор, переходите к 4 пункту — там начинается open source.

🔵Tableau. Стандарт индустрии, который не нуждается в представлении, с богатым функционалом и возможностями для кастомизации. В нем можно сделать почти все, что угодно, любые графики и любые расчеты, и это делает его идеальным вариантом для сложной аналитики и отчетности.
🔵 Power BI. Не менее известный инструмент, который лишь немного уступает Tableau в широте возможностей для кастомизации. При этом он дешевле и прекрасно интегрируется с другими компонентами экосистемы Microsoft.
🔵 Looker Studio. Простая в освоении облачная платформа, которая подойдет тем, кому важна интеграция с сервисами Google — их можно подключить к Looker бесплатно. Большинство других датасорсов доступны только по подписке за 9$ в месяц.
🔵 DataLens. BI от Яндекса. Достойный аналог ушедших из РФ платформ, который не только быстро развивается и наращивает мощности, но и помогает с миграцией.
🔵 Metabase. Простой, понятный и бесплатный open source инструмент, который подойдет тем, кому надо быстро и не заморачиваясь сделать простую аналитику.
🔵 Superset. Почти Tableau от мира бесплатных BI-платформ, который может похвастаться впечатляющим количеством встроенных графиков и фич вроде гибких настроек доступ или автоматических email-рассылок с актуальными данными с дашборда.
🔵Redash. Еще один относительно простой в освоении инструмент, который выделяется широким списком поддерживаемых датасорсов и умением работать с большими объемами данных.

Если интересно узнать про каждый инструмент чуть подробнее, то у нас есть шпаргалка со сравнением — там больше внимания уделено плюсам и минусам инструментов, есть примеры дашбордов и цены.

🔜 Получить шпаргалку у бота

Как вам этот список? Какие BI-тулы вы бы включили в него?

Геоаналитика, искусственный интеллект и покемоны
Поднимите руки, кто играл в Pokemon Go!

🔜 Для тех, кто не курсе — это AR-игра, где надо с помощью смартфона «ловить» покемонов. На карте отмечают точки, где можно поймать покемона, игрок идет туда ногами, наводит камеру на точку, и игра «встраивает» Пикачу (ну, или кого-то еще) в реальный мир.

Pokemon Go разработала и выпустила в 2016 году компания Niantic. Несмотря на шероховатости на релизе, игра завоевала популярность у миллионов игроков.

Почти 10 лет люди по всему миру ходят по улицам, снимают фото и видео разных локаций со всевозможных ракурсов. Таким образом у Niantic накопилась огромная база данных — игроки фактически «отсканировали» для них крупные города со всего мира. На их основе компания решила разработать геопространственную модель MicKey.

🔜 Если человеку показать 2 фотографии одного и того же места с разных ракурсов или в разное время суток, он поймет, что это одна локация. А вот у ИИ с этим будут трудности. Геоданные игроков Pokemon Go решают эту проблему — они наделали достаточно фотографий, чтобы научить MicKey находить закономерности в изображениях и «понимать», что на них запечатлено одно и тоже же место.

Niantic надеются, что их работа сможет поднять на новый уровень AR-технологии и использоваться в других сферах — например, чтобы научить ИИ ориентироваться на местности, как человек.

Вот такая геоаналитика — мы незаслуженно редко рассказываем про это направление работы с данными, хотя там вон какие чудеса творятся.

Хотели бы больше материалов про геоаналитику?
❤️ — Да, давайте
🌚 — Нет, не интересует

Вебинар для аналитиков от LEFT JOIN x Karpov.Courses
Хотите построить успешную карьеру в аналитике?

Тогда приходите 30 января в 19:00 по Москве на бесплатный вебинар «Аналитик данных: ключевые задачи, карьерное развитие и навыки для роста». Его проведет Николай Валиотти для онлайн-школы Karpov.Courses.

Напоминаем, что Николай не только автор этого канала, но и основатель дата-консалтинга LEFT JOIN, а его общий стаж работы в аналитике — больше 15 лет.

Про что расскажут на вебинаре?
🔵 В чем состоят обязанности аналитика, и как они меняются в зависимости от грейда?
🔵 Какие навыки нужны, чтобы найти работу и получить повышение?
🔵 В чем отличия работы в штате в компании и в агентстве на аутсорсе?

🔜 Записывайтесь по ссылке!

Хорошего датавиза должно быть больше!
А плохого — меньше.

Поэтому мы всячески поддерживаем новый проект Анастасии Кузнецовой (которую вы наверняка знаете по каналу «Настенька и графики») — «Гибкий график».

Это онлайн-курс про то, как делать понятные и полезные графики и дашборды, про которые никто не скажет: «Очень интересно, но ничего не понятно». В нем 11 глав и 22 урока, первый — бесплатно.

Настю мы все знаем и любим давно и поэтому не сомневаемся, что курс отличный и действительно поможет прокачать скилл визуализации данных.

Курс текстовый, проходить можно в удобном темпе, хоть с телефона. Есть тариф для тех, кто хочет просто теорию почитать, есть опции с проверками домашек и личными консультациями. Подробности 🔜 на сайте проекта.