🤖 Ты Дата инженер? Мечтаешь, чтобы твоя работа по-настоящему влияла на будущее?

😎 В Navio мы делаем это возможным. В команде BigData мы разрабатываем уникальную технологию автономного вождения. Наши данные имеют реальный физический смысл — это километры пути и секунды времени.

Наши задачи – вызов: как обработать 10⁹ строк за 15 минут, как оценить качество траектории и предотвратить возможную аварию? Каждый оптимизированный датасет – это шаг к будущему без ДТП.

Хочешь к нам?

Приходи на One Day Offer 26 апреля! На онлайн-мероприятии ты пройдёшь все этапы отбора, познакомишься с командой и, если всё сложится, получишь предложение о работе уже вечером.

📈 Оставляй заявку и резюме на сайте, и наш рекрутер свяжется с тобой.

Построим будущее вместе!

Стрим для НОВИЧКОВ!

27 апреля (ВС) 20:00 МСК

Зачем я это делаю?
Чтобы помочь новичкам разобраться с огромным кол-вом технологий

Что будет на стриме?
🔵Покажу, для чего нужны все эти Airflow, Clickhouse, Hadoop и так далее
🔵Подскажу, на каком уровне нужно владеть ими
🔵Поотвечаю на ваши вопросы

Стрим реально только для тех, кто сейчас учится, либо только начал ходить на первые собесы. Опытным на стриме делать будет нечего.

📅 Дата: 27 апреля 2025
⏰ Время: 20:00 МСК
📍 Где: https://www.twitch.tv/halltape

Задать вопрос анонимно

Мы слишком много знаем!

И просто обязаны этим поделиться. За 5 лет существования школы karpovꓸcourses мы обучили более 95 000 человек, и 80% наших выпускников уже работают в VK, Яндексе, Авито и других известных компаниях. И мы решили сделать для вас Karpov.Conf — чтобы поделиться знаниями не только с нашими студентами, но и с каждым, кто интересуется аналитикой данных и другими направлениями Data Science.

Будем обсуждать особенности работы с Power BI и практическое применение ML-моделей в крупных компаниях, разберем пользовательский опыт и реализацию аналитики на базе Yagpt, узнаем, как дерево метрик помогает принимать решения, и какие ошибки совершают крупные компании в контексте аналитики.

Мы собрали действительно звездный состав спикеров, мы очень старались сделать это мероприятие максимально полезным — вам осталось только не пропустить его!

Регистрируйтесь на KARPOV.CONF 2025 — включите Data-driven на полную!

Хотите разбираться в Big Data так, как это делают специалисты Яндекса? Тогда присоединяйтесь к бесплатному интенсиву ШАДа Big DWH Week!

Вас ждёт 8 онлайн-занятий, на которых вы познакомитесь с YTsaurus — платформой для распределённого хранения и обработки данных. Вы разберётесь в её архитектуре и масштабировании, а также научитесь настраивать систему под свои задачи.

Интенсив открытый, поэтому зарегистрироваться может каждый. Однако интереснее всего программа будет тем, кто уже работает с данными: опытным бэкенд-разработчикам и разработчикам баз данных, инженерам и аналитикам данных, а также студентам технических направлений.

Регистрируйтесь до 25 апреля и прокачивайтесь в Big Data вместе с экспертами Яндекса и ШАДа! Все подробности — по ссылке.

💻 Kafka остаётся, но появляется альтернатива — YDB Topics

Kafka сейчас почти синоним брокера сообщений. Но когда нужна интеграция с базой, транзакции, отказоустойчивость и меньше костылей — появляется другой вариант: YDB Topics от Яндекса.

Он совместим с Kafka-протоколом, но работает теснее с YDB:

— умеет балансировать нагрузку,
— сохраняет доступность даже при сбоях,
— поддерживает транзакции между топиками и таблицами,
— и встроен в корпоративную инфраструктуру с ролями, аудитом и LDAP.

Если работаете с микросервисами и давно хотите чего-то надёжнее Kafka, залетайте на вебинар 23 апреля.

▶️ Курс по Hello, World | PYTHON!

Я решил записать по приколу небольшой видос по python. Выводим Hello, World! разными способами: от самого простого до самого сложного и странного!

СМОТРЕТЬ НА YOUTUBE

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

▶️ Надо ли крутить опыт в IT? [Подкаст За пределами Кода]

Гость: Анна, Дата Аналитик в М2

⚫️Как понять, что годен к IT?
⚫️Стоит ли крутить опыт?
⚫️Как быть джунам?

СМОТРЕТЬ НА YOUTUBE

ДВЕ недели бесплатного VPN для просмотра Youtube - @NamelessNetwork_bot

Подписывайтесь на наши каналы:
Евгений Виндюков
😀 Telegram канал
📺 Youtube канал

Анна Балицкая
💬 Telegram канал
💬 Бот для подготовки к собеседованиям

Полезные ссылки:
➡️ ROADMAP

Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ для специалистов по работе с данными.

Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью.

Всё о программе — на дне открытых дверей:

— Расскажем про разные траектории обучения и как после выпуска стать ML-инженером, CV-инженером, NLP-инженером, Data Scientist или Data Engineer.

— Обсудим, какие навыки будут у выпускников, чтобы соответствовать рынку и требованиям работодателей.

— Поговорим про поступление: сроки, экзамены, документы, оплата.

Спикеры:

Станислав Павлов, директор по AI, Positive Technologies.

Павел Рябов, академический руководитель программы, заместитель директора Института лазерных и плазменных технологий, НИЯУ МИФИ.

Антон Моргунов, Senior инженер по компьютерному зрению, Базис. Центр, академический руководитель программы, Яндекс Практикум.

Александр Югов, Curriculum Lead профессии «Инженер данных», Яндекс Практикум.

Ждём вас 9 апреля в 19:00 мск.

→ Зарегистрироваться на встречу

Запись стрима будет 7 дней на Twitch


Заходим
https://www.twitch.tv/halltape

Ребят, стрим стартанем в 20:10!

Бесплатно! Ребят, го встретимся на конфе?

24 апреля 18:30–21:30

Я зарегался и Шуст тоже. Планирую придти туда ногами, послушать умных людей, ну и поспрашивать каверзные вопросы про Трино..

О чем
"Lakehouse Meetup #3: внедрение Trino в Лемана Тех, опыт работы с Nessie в Азбуке Вкуса, круглый стол о проблемах lakehouse"

Зарегестрироваться - https://cedrusdata.timepad.ru/event/3299844/

Самое забавное - это не реклама. Я реально туда иду. Можем встретиться там же и мб потом полететь в бар? Типа мини сходка))

1 АПРЕЛЯ 20:00 МСК СТРИМ!

Стрим будет на TWITCH
🔴 ССЫЛКА НА МОЙ ТВИЧ

О чем будем говорить?
- Кризис на рынке
- Накрутка опыта
- Как найти работу зарубежом за $$$?

Также будет приглашенный спикер, который залетел в IT просто с ноги и уже получает доллары. От него будет мощнейшая презентация, которая готовилась наверное месяец ПЯТЬ!
Мы с ним кстати учились в Школе21 и то, как он залетел в ITишку – это просто что-то с чем-то!

Короче 1 апреля в 20:00 ГО поговорим о жизни.

Задать вопрос анонимно

Поговорим про инженерные платформы и AI?

23 апреля Т-Банк приглашает на Platform Engineering Night. Приходите послушать, как AI помогает автоматизировать процессы, оптимизировать ресурсы и повысить продуктивность платформенных команд.

Что будет в программе:
— Доклады экспертов о применении AI в инженерных платформах.
— Зоны демонстрации AI-решений в платформах.
— Нетворкинг с инженерами и лидерами отрасли.

Встреча пройдет 23 апреля в 19:00 в T-Space по адресу Москва, Грузинский Вал, 7. Доклады можно послушать в онлайне.

Это бесплатно, успейте зарегистрироваться.

Мы построили своё DWH!

▶️ Запись недавнего стрима теперь на YOUTUBE!

Спасибо всем, кто был на стриме, нас было более 150 человек!

Особенно спасибо тем ребятам, кто дискутировал, когда мы начали разговаривать про Trino и Spark.

Думаю, будет хорошей практикой собираться всем вместе и базарить на дата инженерские темы. Да и вообще я люблю стримы , можно выпустить пар после работы)

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

Кстати интересно, что видос я нигде не шерил, но он все равно достаточно бодро начал собирать просмотры на ютубе.. прикол конечно

Канал Леши Арефьева про управление IT продуктами @alexcouncil. Метрики, инструменты и полезные материалы на околопродуктовые темы.

Подборка интересных постов:

- что делать, когда исследований овердохрена https://t.me/alexcouncil/1156
- проектный менеджмент для самых маленьких https://t.me/alexcouncil/1142
- про метрики продукта: CAC - сколько стоит клиент https://t.me/alexcouncil/1136
- как из стартаперской команды сделать продуктовую https://t.me/alexcouncil/1169
- история продукта: Figma https://t.me/alexcouncil/745

Если интересно, подписывайтесь - @alexcouncil

СТРИМ! Заходим!

📍 Где: Яндекс Телемост - ССЫЛКА НА ВСТРЕЧУ

СТРИМ Завтра 23 марта 2025 20:00 МСК

Ссылка на пост

⚡️Вакансии в команду аналитической платформы.

Работаем с маркетинговыми данными, цифровыми следам пользователей и данными клиентов. Платформа строится для стратегической и аналитической отчетности по маркетингу

У нас сложно (зоопарк из инструментов и технологий, высокая скорость, работа со смежниками, бюрократия), но скучно точно не будет.

Поэтому ищем живых, активных спецов с хардами, которые хотят челленджа и драйва

📍Работа в офисе, Оружейный 41

☑️Junior Data Engineer
5️⃣Требования:
• Можно без опыта
• SQL, Spark, работа с оркестраторами, Git (аналогами)
• Будет плюсом:
понимание web/app аналитики, построение сквозной аналитики, моделей атрибуций, работа с маркетинговыми данными, техническое высшее образование.

💡Задачи:
• Разработка ETL-процессов
• Сборка витрин Spark/Scala по ТЗ от команды аналитиков
• Оптимизация работы таблиц

☑️Senior Data Engineer
5️⃣Требования:
• Опыт от 2 лет
• Опыт работы Spark, Hadoop
• Опыт работы с BigData, построение и оптимизация хранилищ, вывод витрин
• Будет плюсом:
понимание web/app аналитики, построение сквозной аналитики, моделей атрибуций, работа с маркетинговыми данными.

💡Задачи:
• Разработка и построение витрин и хранилищ данных
• Разработка интеграций с другими платформам и системами
• Интеграция аналитических инструментов в платформу

🔘🔘🔘🔘🔘
⚡️Вакансии в команду аналитиков сайта sberbank.ru раздела b2b.

💡Задачи:
• Исследования пользовательских путей, анализ лендингов
• Проведение а/б тестов страниц сайта
• Создание дашбордов и отчётности
• Разработка методологий расчёта эффективности сайта

Нужны специалисты, которые готовы занять активную позицию, хотеть во всем разобраться, быть самостоятельным и не безразличным. За командой сейчас присматриваю я, буду помогать освоиться

📍Работа в офисе, Кутузовский 32, к2

☑️Junior+ Data/Web Analyst. Декретная ставка.
5️⃣Требования:
• Опыт от 6 месяцев
• SQL, Py, мат.стат
• Будет плюсом знание веб-аналитики, экономическое/техническое высшее образование

☑️Middle Data/Web Analyst
5️⃣Требования:
• Опыт от 1,5 года
• SQL, Py, мат.стат
• Будет плюсом работа с системами и данными веб-аналитики, построение сквозной аналитики


🔘🔘🔘🔘🔘
👨‍💻Стек:
Sql, Py, SuperSet, Clickhouse, Hadoop, Spark

✈️Присылайте резюме в личку @IyaZotova

Ставь 2 года, если хочешь в IT?

Показательный пример того, как рекрутер просто фильтрует резюме по годам опыта и совершенно его не читает. Либо читает его по диагонали.

Ссылка на пост

Суть эксперимента была в том, чтобы не врать в резюме, а писать, как есть. Но даже при таком раскладе, все забивают болт и опять наш фильтр по годам опыта.

Поэтому на мой взгляд ниже все варианты вхождения в IT от самого безобидного до самого рискованного:

1. Ставим 2 года опыта, пишем Study | Pet Project
2. Берем текущее место работы и адаптируем под DE (можно тоже 2 года опыта). Даже если вы пожарный.
3. Ставим 2 года по ИП, СЗ в рога и копыта
4. Ставим 2 года в реальной компании(студии разработки)

Если у вас есть стажировка 3-4 месяца, смело докручивание её до года. Проверено с одним из моих менти. На работе им довольны. И если не уволили, значит он справляется.

Все, кто считает, что так нельзя, я приглашаю ко мне на стрим. Я хочу услышать от вас конкретные решения и шаги. Я еще раз повторяю, меня не волнует ваше отношение к этому, меня интересуют только конкретные предложения и примеры. Пока кто-то из нас не возьмет ответственность за решения этой проблемы, люди будут так поступать.

Хотите поменять мир, встаньте с дивана! И голосуйте за меня! Я сделаю эту страну еще ЛУЧШЕ!

Задать вопрос Анонимно

Я построю свое DWH с блекджеком и шлюпками

23 марта (ВС) 20:00 МСК

Созваниваемся в Яндекс Телемосте. Я при вас рисую в Miro архитектуру DWH, а потом говорю, где тут могут быть проблемы. Дальше поставлю ТЗ по данным и мы попробуем покидать идеи, как сделать максимально компактно и без веренницы технологий.

Будем разбирать архитектуру и пробовать построить свою. Но не просто так, а с минимальным количеством инструментов. И потом сделаем вывод, а можем ли мы себе это позволить или лучше купить что-то уже готовое и настроенное за нас.

Зачем я это делаю?
Хочу разобраться, почему сразу нельзя построить универсальное хранилище для любой команды и компании?

Если вы бывалый в DE, то приглашаю присоедениться и смело высказать свое мнение.

Что будет на стриме?
🔵Разберем, зачем вообще думать про архитектуру
🔵Попробуем собрать рабочий вариант с минимальным количеством инструментов
🔵Посмотрим, что можно убрать, а без чего никак
🔵Поговорим про стоимость решения


📅 Дата: 23 марта 2025
⏰ Время: 20:00 МСК
📍 Где: Яндекс Телемост - ССЫЛКА НА ВСТРЕЧУ

Подписывайтесь, чтобы не пропустить. Будет полезно, без воды и максимально по делу.

Наблюдаю что почти каждый день у меня появляются новые просмотры/репосты и реакции на старых постах. Количество просмотров бешенное.
Хотел бы немного подсветить о чем канал, чтобы как можно больше людей изучили рынок.
Канал посвящен прохождению интервью в различные компании в РФ и на зарубежном рынке.

На данный момент в канале предcтавлены ~150 интервью в различные компании:
1. Различный Big Tech: WB , Sber, SberHealth, СберТехнологии(Gigachat) , Яндекс , Яндекс Head , Ozon , МТС
2. Банки: Иннотех, Иннотех , Еще иннотех , Альфа Technical Leader , АК Барс
3. Различные компании: Газпром, RuTube
4. Зарубежные компании: Nebius (Яндекс), Qatar Insurance Company , Jetbrains , Jetbrains , Exness, Plata (Ex-tinkoff) , Salmon (ex-tinkoff Manila) ,
TON , Staking Facilities
И многие другие...

Так же для тех кто любит почитать:
1. Как зарабатывают 1 млн в найме обычные Senior'ы и Middle?
2. Теория больших денег или как выбивать огромные ЗП:
Часть 2 и Часть 3
3. Статистика по собеседованиям : Отклики и конвертация в собесы
4. Зарплаты в ИТ в 2025 : опрос более 300 анкет

Блок Полезные ссылки для собеседований и работы:
Конспекты:
1. Apache Spark
2. Clickhouse
3. Greenplum
4. DWH+Hadoop+Kubernetes

Boost канала

Твой Senior зарабатывает 800к не потому, что он умнее тебя!

Если ты:
– мучаешься от синдрома самозванца
– устал от токсичности в IT
– не понимаешь, как пройти собеседование в топовые компании
– думаешь «я не дорос/туповат/не готов» (спойлер: это не так!)

…тебе нужно на островок поддержки в мире IT.

Это канал Глеба Михайлова, который прошел путь от тупящего на собесах аналитика до дата саентиста, который поддерживает, вдохновляет и помогает другим процветать в суровой и токсичной IT-индустрии.

Здесь ты найдешь:

– разбор реальных задач с технических собесов (без занудства)
– рабочие советы по подготовке от человека, который работал в Сбере, Альфа-Банке и Яндексе
– инсайты про то, как пройти собеседования в топовых компаниях
– занимательные истории из корпоративной жизни, после которых ты поймешь, что везде работают обычные люди.

Подписывайся на канал, если хочешь расти в IT без токсичности, занудства и пафоса.

Реклама

ℹ️ Докер и Кубер!

Увидел классное объяснение в комментах в одном из чатов про докер и кубернетес..

Ты понимаешь, зачем нужны и как работают виртуальные машины? VirtualBox например, и другие программы, которые позволяют внутри твоей обычной операционной системы установить полностью изолированную отдельную операционную систему, причем, любую, хоть еще одну винду, хоть линукс, хоть и, с большими ограничениями некоторые версии МакОС.

Вот докер - это сильно улучшенная виртуалка. Лучше тем, что меньше ресурсов жрет. Она тоже изолированная от основной ОС.

Кубернетес - это штука, которая позволяет удобно и автоматически управлять этими "виртуалками" внутри докера.

Представь, что программисту нужно для работы запустить Базу данных postgress + кеширующий Redis сервер + очередь сообщений RabbitMQ. И желательно, чтобы у всех разработчиков были установленны одинаковые версии этих инструментов и на сервере тоже были бы установленны точно такие же версии этих инструментов. Потому что, внезапно, если на сервере postgress 14, а кто-то из разработчиков устновит локально версию 17, то может оказаться, что у него локально что-то работает, а на сервере - не работает.

Так вот, чтобы добиться такого однообразия обычно в проекте у программистов есть docker-compose файл. Это файл позволяет запустить однократно сколько угодно этих docker "виртуалок" с одинаковыми настройками на каждом из компьютеров разработчиков локально.

На этом шаге мы добились того, что у всех программистов локально используется одни и те же версии инструментов. Но нам же нужно то, что программисты наделали как-то проверять? Для этого и создаются "стенды для демонстрации и тестов".

Тут нам и нужен кубернетес. Отличие его от docker-compose в том, что компоуз однократно запускает, то что описано в файле, а дальше ему насрать, что происходит с теми "докер виртуалками". А кубернетес он еще и проверяет, что эта "докер виртуалка" нормально работает и отвечает на запросы. И если вдруг одна из запущенных виртуалок перестанет подавать признаки жизни (перестанет, например, отвечать на ping больше 30 секунд), то кубернетес автоматически удалит такую зависшую виртуалку и запустит вместо неё новую.

Мы, сильно упрощая, на сервере тоже скармливаем такой же docker-compose файл, но kubernetes-у. И он запускает все необходимые виртуалки, следит, чтобы они были запущены и в случае любых проблем перезапускает их.

Остался последний шаг. Мы хотим перед тем как применять изменения программистов на реальном сайте, где живые пользователи что-то у нас покупают протестировать, что программисты не сломают нам наш процесс создания заказов. Что мы делаем для этого?

мы в кубернетесе запускаем минимум 2 копии всех сервисов но на разных доменах. На prod домене там то, что прямо сейчас используется на основном сайте. на dev домене мы запускаем ту версию нашего приложения, которую программист сделал по задаче, но которую еще не успели проверить тестировщики. Если на dev версии мы нашим новым обновлением что-то сломали, то это никак не скажется на основных пользователях и они по прежнему смогут покупать наши товары на основном сайте. а ошибку на деве тестировщик найдет и вернет задачу обратно в работу программисту, чтобы тот поправил сломанные вещи.

Максимально упрощенно это работает вот так :)

Искали каналы про недушный Data-science? Тогда вам может понравиться наше предложение ↓

Направление Data-science Авито развивается. В компании образовалась AI-лаборатория, начала выстраиваться иерархия с матрицами компетенций и единым процессом найма.

И теперь мы хотим активнее делиться новостями из мира Data-science в телеграм-канале: «Доска AI-объявлений».

Там сотрудники Авито рассказывают:
⚙️ Как устроено DS-направление в компании
⚙️ Какие технологии используют и чему обучают модели
⚙️ Как проводят время вне работы и при этом развиваются

В канале вы найдёте посты про жизнь и работу инженеров Авито, а ещё одними из первых будете получать актуальные вакансии и приглашения на наши мероприятия.

Подписывайтесь и следите за обновлениями на нашей «Доске AI-объявлений»

Это БАЗА!

Только 8 месяцев спустя я понял, где можно было использовать декоратор на предыдущем месте работы.

Это лишний раз показывает, что некоторые темы на курсах просто бесполезны без реальных проектов. Поэтому если только учитесь, просто забейте и не трогайте. Иногда это проще, чем понять, зачем вам нужно то, что негде применить.

Рассказываю:

У меня было 10 функций. Они выполняются друг за другом в цикле. Мне нужно, чтобы каждая из них логировала (записывала) время старта и время её финиша в файл. Для этого я естественно использовал библу logger. При этом в цикле я писал строчку с логированием времени перед функцией и сразу после. И да, я логировал время работы функций, чтобы отслеживать нагрузку. Там спарк крутил данные, и я хотел видеть длительность выполнения.

В итоге на 10 функций у меня было 10 *2 = 20 строчек. А функции между прочем могут добавляться. Читаемость кода - треш.

И только сейчас до меня дошло, что я мог написать всего ОДИН декоратор, который оборачивает любую функцию и делает логи в файлик.

Короче для бабушек:
Декоратор - это еще одна функция, которая может добавить функционала уже существующей. Например если у вас функция count_func() считает длину строки, то декоратором можно сделать так, чтобы перед и после выполнения count_func() у вас еще логировалось или печаталось текущее время, чтобы узнать, как долго выполняется функция count_func().

При этом в сам декоратор можно закидывать вообще любые функции. Визуально это похоже на функцию внутри функции. Достаточно запутались?

Если до вас все равно не дошло, то забейте. Для собеса рекомендую выучить определение или говорить, что не знаете. В теории понять, для чего вам нужен декоратор - бестолку.

Но если есть желание именно разобраться, то пишите пет проект и активно просите ChatGPT добавлять декораторы. Тогда точно сильно прокачаетесь! Это прям работает! Декоратор придумали точно для упрощения жизни.

Анонимное Сообщение

"Как накрутить коммерческий опыт «правдоподобно», если ты вкатун, как пояснить за этот опыт на собесе или же писать 2 года опыта и делать учебные пет-проекты?
Какая стратегия более рабочая в 2025 году?"

Согласно эксперименту, который провел автор канала Инженерообязанный, есть такой вариант:

1. Ставите 2 года опыта
2. Внутри резюме пишите Study | Pet Project. Описываете все ваши пройденные технологии и Пет проекты.

Либо есть второй вариант. С ним можно запросить больше денег при тех же знаниях:

1. Ставите текущее место работы 2 года опыта, но в качестве Дата Инженера
2. Придумываете легенду и подтачиваете ее под текущие задачи на работе. Условно адаптируете опыт

Задать вопрос Анонимно

Я сейчас в Питере!

Буду смотреть дебаты Антона Назарова вживую!

Начало в 14:00

▶️ Будет также онлайн трансляция:

➡️ Смотреть дебаты

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

Всем привет!

Запускаю снова моего бота. Определим в каких компаниях какие вилки.

Пройти опрос: @Get_RejectedBot

Опрос будет проводиться пару дней. После подведу итоги.
Должность указываем любую: (DE/ MLE/Product Analyst and DS)
Зарплата на руки - ваш среднемесячный доход с учетом премии

Финальный ответ должен быть: "Спасибо за участие в опросе!"
Для прохождения опроса по новой нужно restart нуть бота.
(/start)

Результаты будут анонимные:
1. В случае если по одной компании будет менее 3 анкет, то результат будет учтен только в средней по рынку.
2. В случае набора более 3 анкет по компании, будет сформирована вилка от и до.

Просьба сделать репост записи в другие сообщества для изучения ИТ рынка.

👍 Как я ускорил чтение данных в 47 раз!

Мне нужен был такой заголовок, чтобы бы обратили внимание. Но вообще так оно и есть.

Проблема: Большая таблица занимает много места в Greenplum. Она не партицирована, поэтому еще и долго читается.

Че хотим: Хотим быстро читать и чтобы не занимала диск в Greenplum.

В чем сложность: Если создать партииции (папки по дням), то скорость чтения конечно увеличится, но вот весить она будет еще больше за счет метаданных. Короче ниче мы таким образом не решаем.

Так выгрузи в S3: А если я выгружу таблицу в S3 (Объектное хранилище внешнее), то скорость чтения упадет во много раз. Но зато сэкономлю на дисках..

И как ты решил?
Я раписал полный рабочий кейс в ROADMAP

На скрине я показал сравнение подходов.

Кому лень читать:
Я автоматизировал создание партциий только для требуемеого инкремента, авто загрузку в Yezzey (Yandex Hybrid Storage), что позволяет экономить место в рамках кластера, но при этом получать почти такую же скорость чтения, как и в GP.

В статье я привожу околок продовый код. Там конечно у меня есть доп функционал, который делает дедубликацию данных, чтение метаданных по крайней партиции и так далее. Но суть остается прежней.

Анонимное Сообщение

"Сижу на нескольких галерах, получаю 17к€ суммарно с 2 работ. Специализация DE. Думаю может нафиг это все и уйти работать в бигтех какой-нибудь на 300к и страдать там фигнёй? Не знаю как быть. Посоветуйте что-нибудь."

Есть впечатление, что автор рофлит, но у меня есть лучше предложение. Остаешься работать на двух галерах, но 14к€ отдаешь мне, а на 3к живешь. Вот твои 300к)

Задать вопрос Анонимно

Если бы Шаман был Дата Инженером

Скоро на всех федеральных каналах
автор: @SAFARR91

Анонимное Сообщение

"Я стажируюсь в одном бигтехе, но мне крайне не нравится то, что на вакансии дата инженера я выполняю задачи аналитика (собираю требования к витринам, делаю реконсиляции и тд), хотя от стажировки ожидал получить практический опыт в написании етл/елт и работы с разными оркестраторами. До конца стажировки еще 3 месяца (прошло уже 3, суммарно стажировка на 6 месяцев), думаю уволиться, но боюсь, что могут заставить «отрабатывать» две недели… Как лучше поступить: просто искать новое место и поставить работодателя перед фактом об уходе или же заранее сказать лиду о том, что ищу новое место работы?"

Мое мнение: Выходишь на рынок. Никому не говоришь. Пока не увольняешься. Тебе нужно получить 1-2-3 оффера. Если офферы хорошие, то пишешь заявление на уход. Тут без разницы, 2 недели будешь отрабатывать или можно без них. Ты уже уходишь на новое место. Не уходи вникуда. Лучше дождаться пока сами тебя не попросят.

Задать вопрос Анонимно

❗️ Обновление по Apache Spark

В наш ROADMAP добавлены материалы по Spark про JOIN и про PartitionBy&BucketBy!

Spark изучайте только после того, как научились базово кодить на Python и SQL. Без них будет очень сложно и непонятно.

▶️ Что такое Spark и как им пользоваться?

▶️ Как работают JOIN в Spark

▶️ PartitionBy и BucketBy в Spark

‼️‼️ ВНИМАНИЕ!
Есть мощнейшие конспекты по Apache Spark. Даже если ты новичок, пригодится на будущее, пока оно не стало стоить еще дороже!
Забирай отсюда

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)

Всем привет! 👋 Я Ксюша Слободская, автор блога HR-гастарбайтер в Европе

Я переехала из Москвы в Барселону на машине через 8 стран.
Работаю HR-директором в IT с сотрудниками по всему миру 🌍 Пишу про поиск работы за границей с фокусом на Европу.

Верю в потенциал людей и рассказываю истории тех, кто:

🔹Переехал в новую страну;
🔹Получил оффер мечты;
🔹Сменил профессию за границей;
🔹Построил карьеру быстрее, чем дома.

В моем блоге вы найдете:

🔸 Стратегии поиска работы;
🔸 Советы по упаковке CV и LinkedIn;
🔸 Подготовку к собеседованиям;
🔸 Лайфхаки по нетворкингу;
🔸 Использование AI в поиске работы;
🔸 И советы по карьерному росту 📈

Еще я провожу эфиры с HR-ами из 400+ компаний с российскими корнями, которые работают на глобальном рынке 🌐 Это отличный шанс для русскоязычных соискателей!

Каждый день я доказываю, что невозможное возможно: строю корпоративную карьеру и развиваю свои проекты 💥

Подписывайтесь на мой канал, чтобы получать полезные советы и вдохновляющие истории ❤️

🎤 А почему он(а) зарабатывает больше?

Всегда есть такое, что люди с одинаковыми навыками могут получать разные ЗП. Бывает и такое, что более опытные ребята получают меньше вчерашних вкатунов. Если у вас так, меняйте работу. На стороне лутанете больше. Хотя и бывают исключения.

Вообще, я рекомендую становится вам очень прагматичным и меркантильным. Никакие «мы семья», «давай через пол года ты вырастишь», «сделай круто и в конце получишь печенье» не работают. Практика показывает, что если вам сейчас сказали нет, значит вы идете на рынок и собеседуетесь.

Видео Источник

Когда у меня будет своя компания, то у меня все будут работать вообще бесплатно! Тогда и нечего будет сравнивать)))

Обсуждение в комментах!

❕Есть вопрос? Задай АНОНИМНО

Смотрим лекцию | Инструменты для построения DWH ч.2
Запись доступна по ссылке

➡ YOUTUBE

Бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)


В следющий стрим будем смотреть OLTP - OLAP лекцию.
Рекомендую только тем, кто на последних пунктах в Roadmap

Начнем в 20:10

🔴 СТРИМ сегодня в 20:00 МСК!

Досматриваем лекцию про инструменты для DWH! Остановились на Trino

Запись предыдущего стрима тут ➡️ https://t.me/halltape_data/517

Хочешь вырасти, как спец, смотри со мной лекции!

У меня подгорело🤯.

Короче, я уже ни раз говорил, что у меня есть резюме с нулевым опытом работы, и прикол в том, что я вставил в него 2 года УЧЕБНОГО опыта(чтобы проходить фильтры) и написал об этом в самой первой строке своего резюме. О резюме я рассказывал в данном видео.

И к чему же это я всё? Сегодня мне написала HR. Я не откликался на данную вакансию, она сама нашла моё резюме и сама написала мне. И знаете, что она у меня спросила?😳

Трудоустроены были официально по ТК РФ(Совпадают ли записи в трудовой книжке с указанным опытом работы в резюме?)/ИП/ГПХ или как самозанятый?

🤬🤬😨АААААААААААА😨🤯🤯

Первая строчка, которую видят все HR'ы о последнем месте работы:

2 года обучаюсь на профессию Инженер данных, последние полгода обучаюсь под руководством ментора.

А последняя фраза меня вообще убила на повал:

я уточню у коллег, мы рассматриваем кандидатов с минимальным опытом

Ну прям смешно, ты меня сама нашла и даже не прочла моё резюме. Жестььь... И сколько вас таких не читающих, а только смотрящих на цифру. Обязательно об этом случае расскажу в февральском видосе, мимо него этот случай точно не пройдёт.

Что думаете о сей ситуации?

📣 Как вкатиться в IT в 30?

Мне 30. Что мне нужно сделать, чтобы вкатиться в IT?

Ничего.

Так ответил человек с многолетним опытом в IT.

Я еще раз вам напоминаю, чтобы вы никогда не слушали тех, кто говорит, что вы что-то не можете.

Еще раз повторю. Вам нужно слушать тех, кто вкатился условно вчера. Это самый свежий показатель рынка на данный момент. И если вы уже не студент, значит ищите таких же не студентов, которые смогли.

И еще. Не надо быть баранами. Рынок сам регулируется. Дороже всего ваша жизнь и ваша семья и если вам надо сейчас получить профессию, где зарплаты выше остальных, значит вы получаете её. Ни один умник, который считает, что в IT надо идти по призванию не будет закрывать ваши ипотеки или снабжать деньгами вашу семью. Особенно сейчас.

Бизнесу нужны спецы. Он готов платить им деньги. Закройте проблему бизнеса.

➡️ Как стать Дата Инженером - ROADMAP

▶️ ЗАПИСЬ СТРИМА

Смотрим лекцию | Инструменты для построения DWH ч.1
Запись доступна по ссылке

➡ YOUTUBE

VPN бот для просмотра YouTube
@NamelessNetwork_bot

Промокод: DE
(FREE 2 недели)


Мы закончили на 47 минуте прямо перед Trino. В следующее ВС в 20 00 МСК начнем с этого места.

🔴 Ссылка на СТРИМ

➡https://www.twitch.tv/halltape


Вопросы и все остальное пишите в на Twitch!

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

▶️ Я ЗАСТАВЛЮ ВАС смотреть Крутые Лекции!

Я знаю, что почти ВСЕ из вас просто сохраняют ГОДНЫЙ КОНТЕНТ к себе в избранное и никогда больше его не смотрят.

Поэтому я решил, что буду принудительно показывать его вам. Сделаю стрим, на котором мы вместе с вами посмотрим лекции нашего архитектора в Сравни Паши Ковалёва.

Я уже смотрел два видоса оттуда, но никогда не помешает посмотреть еще раз. Если че, будем останавливать, если возникнут вопросы.

За один стрим точно не уложимся, будем смотреть частями.

ДИСЦИПЛИНА!

ПЕРВЫЙ СТРИМ ЗАВТРА В 20:00 МСК!

🛑 Мое резюме никто не смотрит!

Часто сижу в линкедине и смотрю, как коментят рекрутеры. Вот увидел интересный коммент про просмотр резюме.

Привет!
Отвечу со своего опыта

Процесс найма, нелийная штука:
1. Когда вы откликнулись, кто-то уже был на последних этапах и у рекрутера нет потребности/возможности отсматривать новых кандидатов. Вакансия может быть свежей, но в этом часто замешана автопубликация - либо автоархивация:)

2. Позиция закрылась неожиданно. Например, открыли вакансию и одновременно с этим стали смотреть кадровый резерв. Конечно, резерв обычно смотрят заранее, но потенциальные внутренние кандидаты могут быть заняты на проектах/не готовы к переходу на новую должность и еще много разных причин.

3. Резюме "не попадает" по формальным признакам - локация, название должности, количество опыта.

4. Часто откликаетесь по пятницам и резюме за выходные уезжает далеко вниз - даже такой фактор часто мешает, т.к. резюме новые отражаются первыми.

По опыту скажу, да, что открывать вакансии для траты бюджета или KPI - это история только про массовый найм, где посевы, видимость и реклама имеют большое значение.

Быть первым в откликах == быть последним откликнувшимся

P.S. я сейчас испытал проф деформацию. Я не смог поставить одно равно)) мне прям трудно стало.

Ребят, у меня друган по приколу тоже на твиче стрим заделал)

Может залетите тоже, поддержите)

https://www.twitch.tv/gavvmax

Это чисто прикол на расслабоне) Никакой серьезности) гадаем по картам таро) ахахаха

Ну можно и про ДЕ поспрашивать)))

СТРИМ ЗАХОДИМ!

➡ https://www.twitch.tv/halltape

Вопросы задаем в чате на Твиче!

🔴 1 февраля Суббота 20:00 СТРИМ!

➡https://www.twitch.tv/halltape

Посидим, поговорим о входе в IT в 2025, про курсы, подкасты, фейлы и так далее.
Зарегайтесь заранее на Twitch! Там задавать вопросы!

Завтра продублирую ссылку, чтобы не пропустили)

ВОПРОСЫ И ОБСУЖДЕНИЕ рекомендую на TWITCH!
https://www.twitch.tv/halltape

▶️ Из военки в IT [Подкаст За пределами Кода]

Гость: Владимир, Data Engineer в Сравни

⚫️Как принял решение уволиться с военки и войти в IT?
⚫️Как не бросил и продолжал учиться?
⚫️Во сколько раз увеличился доход после вката в IT?

СМОТРЕТЬ НА YOUTUBE

ДВЕ недели бесплатного VPN для просмотра Youtube - @NamelessNetwork_bot

Подписывайтесь на наши каналы:
Евгений Виндюков
😀 Telegram канал
📺 Youtube канал

Владимир Шустиков
💬 Telegram канал
📺 Youtube канал

Полезные ссылки:
➡️ ROADMAP

Завтра НОВЫЙ ВЫПУСК в 12:00 по мск!

Как войти в IT, если ты военный?

Возвращаю подкаст «За пределами Кода»

Смотри прошлые выпуски

Ставь наш VPN бот для просмотра YouTube @NamelessNetwork_bot

Промокод на 4 недели бесплатного пользования: DE

Как построить витрину данных, как в крупной IT-компании?

Объединение данных из разных источников — то, с чем в какой-то момент сталкиватся каждый аналитик или дата-инженер.

Представьте, что вы тренер футбольной команды. И у вас есть витрина данных, которая собирает информацию о каждом игроке, включая количество забитых голов, ассистов, время на поле и количество проведенных матчей. Такая витрина помогает выявить слабые места в команде и сфокусироваться на их улучшении.

Как строить витрину данных разберём в прямом эфире нашего бесплатного вебинара в режиме решения реальной рабочей задачи📊. Спикер вебинара — Айгуль Сибгатуллина, Data Engineer в Сбер.

Что будет на вебинаре:
• Построим воркфлоу от этапа получения ТЗ до создания полноценной витрины;
• Разберемся с методологией на разных диалектах;
• Узучим Spark в работе дата-инженера: преобразования, оптимизации, планы запросов;
• Используем AI для ускорения процессов.

🕗Встречаемся 28 января 19:00 по мск

Зарегистрироваться на бесплатный вебинар