Несколько месяцев назад писал пост о том, как меняются индустрия перевода под натиском технологий LLM., а вот свежий обзор от коллег из Intento (которым передаю тут привет) с оценкой и сравнением разных моделей применительно к задачам перевода между языками.

Так же должен отметить, что не так давно читал еще книгу, которую написал профессиональный переводчик, который как раз рассуждал на тему машинный перевод против человеческого перевода под призной LLM.

Если коротко - доля людей в переводе сохраниться по всей видимости на долго, но сместиться полностью в нишу "высокопрофессионального перевода" где важнен не только текст и язык, но и смыслы и понимание культурных различий не только народов но и конкретных собеседников. Как аргументация - профессиональные переводчики официальных делегаций владеют не только знанием языков но и глубокими знаниями культурных различий, протоколов общения, практикой считывания невербальных сигналов и тп.

https://inten.to/blog/generative-ai-for-translation-in-2025/

🎉 Data Awards 2025: Финальный отсчёт начался! 🎉

Друзья, церемония вручения престижной премии Data Awards 2025 состоится уже 15 мая в Москве! Это седьмой сезон награды, которая отмечает компании и лидеров из России и стран СНГ за выдающиеся достижения в области data-driven трансформации. В этом году особое внимание уделяется проектам с использованием искусственного интеллекта, включая генеративные модели, а также инициативам в госсекторе и промышленности.

🗂 Более 75 заявок уже поданы, и на этой неделе оргкомитет завершает их оценку. Познакомиться со всеми анкетами и проектами можно по ссылке:
🔗 https://www.osp.ru/lp/dataaward2025

📌 Номинации 2025 года включают:
• Создание новой бизнес-модели на основе данных
• Повышение эффективности B2B и B2C-бизнеса
• Реализация инновационных идей
• Создание цифровых экосистем
• Внедрение генеративного ИИ
• Социально значимые инициативы
• Качество данных и клиентоцентричность
• Подготовка специалистов по работе с данными
• Импортонезависимые решения
• Международные проекты
• Вклад в развитие сообщества

…и другие. Полный список номинаций доступен на сайте премии.

До встречи на Data Awards 2025! 🚀

Как CTO проходят собеседования в X5 Tech?

23 апреля у вас будет шанс оказаться по ту сторону двери, которая обычно плотно закрыта. South HUB, совместно с X5 Tech открывает внутреннюю кухню найма на одну из самых высоких и конкурентных позиций в стране — CTO в AI-департаменте X5 Tech.

В прямом эфире вы увидите Match Checking Interview — последний этап перед оффером с главным бизнес-заказчиком. На что обращают внимание в таких интервью? Как проходит Match Checking? Как понять, готов ли кандидат реализовать Ai стратегию, управлять крупной командой и обеспечить успех проектов, затрагивающих миллионы пользователей — вот что важно понять на этой встрече.

🎙 В эфире:
Владимир Слайковский — соискатель, CTO PEARCH.AI, Kaggle Notebooks Grandmaster
Михаил Неверов — интервьюер, директор по развитию AI в X5 Tech, архитектор AI CoPilot X5 и AI Lifecycle Platform, лидер команды из 200+ AI-специалистов

Для CTO, технических лидеров которые хотят понять, как выглядят собеседования на топовые C-level позиции и специалистов в области AI и ML, стремящихся вырасти до роли CTO. Не упустите шанс увидеть собеседование в крупнейшую технологическую компанию России!

📅 Когда: 23 апреля, 19:00-20:30
📍 Где: Прямой эфир в Telegram-канале South HUB

🔥 А уже в мае South HUB соберёт C-level в IT обсудить раскалённую до бела тему — искусственный интеллект! «Прожарка AI» — один вечер, 50 мест, ноль проходных идей — только well done. Регистрация тут: https://i.southhub.ru/7POXT

Дайджест статей

From Traditional BI to GenBI: Embracing a Smarter, More Human Approach
https://medium.com/wrenai/from-traditional-bi-to-genbi-embracing-a-smarter-more-human-approach-d4c166ee5c10

Build a Data Analyst AI Agent from Scratch
https://medium.com/teradata/build-a-data-analyst-ai-agent-from-scratch-f613a1f5027c

Best Practices for Data Warehouses in Microsoft Fabric
https://dzone.com/articles/best-practices-data-warehouses-microsoft-fabric

SQLMesh & Multi-Engine Data Stack
https://juhache.substack.com/p/sqlmesh-and-multi-engine-data-stack?utm_source=post-email-title&publication_id=1211981&post_id=158989757&utm_campaign=email-post-title&isFreemail=true&r=15862q&triedRedirect=true&utm_medium=email

DWH: История поиска альтернативы PostgreSQL и Snowflake. Часть 2
https://habr.com/ru/companies/otus/articles/900916/

Теорема CAP: почему нельзя иметь все сразу и как аналитик выбирает чем пожертвовать
https://habr.com/ru/articles/900330/

Архитектура проекта автоматического обучения ML-моделей
https://habr.com/ru/companies/ingos_it/articles/901782/

Анализ данных: от EDA до Tinder-битвы графиков
https://habr.com/ru/companies/ru_mts/articles/900572/

Self-Service BI: как сделать, чтобы он полетел
https://habr.com/ru/companies/glowbyte/articles/901884/

Emerging Data Architectures: The Future of Data Management
https://dzone.com/articles/data-architectures-future-of-data-management

Building a modern Data Warehouse from scratch
https://rihab-feki.medium.com/building-a-modern-data-warehouse-from-scratch-d18d346a7118

How to Build a General-Purpose LLM Agent
https://medium.com/data-science/build-a-general-purpose-ai-agent-c40be49e7400

Data Federation vs Data Ingestion: updated guidance on an optimal strategy for the integration of external data sources on Databricks
https://medium.com/dbsql-sme-engineering/data-federation-vs-data-ingestion-updated-guidance-on-an-optimal-strategy-for-the-integration-of-7c6056d45201

Вам посылка от OpenAI - A practical guide to building agents

Статья «Leveraging Knowledge Graphs in Real Estate Search» на Zillow Tech Hub описывает, как компания Zillow использует графы знаний для улучшения поиска недвижимости - графы знаний сейчас мега популярная тема, особенно применительно к RAG, так что я решил взглянуть подетальнее на практический, а не абстрактный кейс.

Граф знаний (Knowledge Graph, KG) — это структура данных, которая представляет информацию в виде узлов (сущностей) и связей между ними. Это позволяет эффективно организовывать и интерпретировать данные, делая их более доступными для анализа как людьми, так и машинами.

Zillow применяет графы знаний для:
• Связывания различных сущностей, таких как дома, районы, школы и агенты, что обеспечивает более точные и релевантные результаты поиска.
• Улучшения пользовательского опыта за счет предоставления структурированной и связанной информации о недвижимости.
• Повышения эффективности алгоритмов машинного обучения, использующих структурированные данные из графа знаний.

Рекоммендую взглянуть, компания в целом дает положительный feedback: KG стал для нас отличным инструментом для агрегации данных из разных источников, их стандартизации и поддержки. Это позволило нам запустить первый опыт поиска на естественном языке в сфере недвижимости, и мы ощутили рост клиентского опыта, измеренный с помощью AB-тестов. Мы также отметили значительный рост количества объектов недвижимости, показанных для поиска по ключевым словам, способность лучше понимать запросы пользователей и более высокую оценку релевантности объектов недвижимости, показанных пользователям. Стандартизация также привела к лучшему пониманию пользователей и улучшила наши алгоритмы поиска и ранжирования.

Так что графы знаний - то что нужно для GenAI !

https://www.zillow.com/tech/leveraging-knowledge-graphs-in-real-estate-search/?utm_source=tldrdata

Модели ChatGPT 4o и 4.5 напоминают мне то, что психолог и нобелевский лауреат Даниэль Канеман описал в своей теории как «система 1» (быстрая) и «система 2» (медленная) мышления.

Система 1 — это быстрая, автоматическая, интуитивная и не всегда точная система. Она работает быстро, на основе эвристик и прошлого опыта, часто ошибается, но при этом оказывается вполне эффективной и полезной в большинстве повседневных ситуаций — примерно в 80% случаев.

Система 2 — медленная, аналитическая, требующая усилий и затрат ресурсов (времени, энергии). Она включается тогда, когда требуется глубокое осмысление, построение причинно-следственных связей, критическое мышление и понимание сути происходящего. Без неё невозможно решение сложных задач, понимание новых концепций и принятие обоснованных решений.

Если провести аналогию, то ChatGPT 4o — это скорее «быстрая система»: он реагирует моментально, хорошо обучен, выдаёт результат почти мгновенно, но нередко поверхностно и с ошибками. ChatGPT 4.5 ближе к «медленной системе»: он работает дольше, рассуждает глубже, стремится к большей точности и пониманию сути задачи, и его подход необходим для 20% задач, где важна не скорость, а качество размышлений.

При этом мы уверены, что без возможностей модели уровня GPT-4.5 искусственный интеллект в полном смысле слова не может считаться «интеллектом». Можно сказать, что сообщество в целом уже негласно признало: ChatGPT 4o — это всё ещё не интеллект, а инструмент, пусть и весьма продвинутый.

Возникает интересный вопрос: а как тогда относиться к людям, которые в своей повседневной жизни почти не используют «медленную систему» мышления? Не задумываются, не анализируют, не стремятся понять суть вещей, не строят причинно-следственные связи? Можем ли мы в полной мере называть такую форму мышления интеллектом? Или это всего лишь автоматическая, почти рефлекторная реакция — как у модели, которая быстро отвечает, но не думает?

Переведи на Английский

Модели ChatGPT 4o и 4.5 напоминает мне то, что Данил Каниман называл быстрой и медленной системой мозга. Одна быстрая, эрудированная, не точная, часто ошибается но вполне полезная в 80%,случаев. Вторая - медленная, дорогая, долго думает и рассуждает, пытается понять суть вещей. Просто необходима для 20% задач.

При этом мы считаем, что без возможностей модели 4.5 ИИ точно нельзя называть Интеллект. То есть все, похоже, уже согласились, что 4о в целом - не интеллект.

А что тогда можно сказать о людях, которые в своем естественном интеллекте не используют «медленную систему»? Не думают, не строят причинно следственные связи, не стараются понять суть вещей? Является ли такой интеллект интеллектом?

Grok тут API подогнало. Сам его не особо юзаю, но вроде как они сильно демократичнее по ценам чем OpenAI

https://docs.x.ai/docs/models#models-and-pricing

Коллеги, спешу поделиться ссылкой на интересное мероприятие и обратите внимание, что там есть возможность регистрации на online трансляцую, хотя мероприятие будет оффлайн.

30 мая нобелевский лауреат и один из отцов ИИ Джеффри Хинтон прочтёт лекцию в Лондоне в Королевском институте (Royal Institution): «Цифровой интеллект против биологического».

Хинтон будет говорить о различиях между обучением цифровых нейросетей и биологического мозга, о границах и потенциале современной ИИ-систематики.

Лекция пройдёт в формате знаменитого Friday Evening Discourse — публичных научных выступлений, которые в РИ ведутся с середины XIX века. Когда-то в этой же аудитории свои идеи впервые представляли Фарадей и Максвелл — теперь эстафету принимает интеллект цифровой.

https://www.rigb.org/whats-on/discourse-digital-intelligence-vs-biological-intelligence

В этом видео рассказ от компании Wayfair про их путь к Data Mesh коорый включал переход от монолитной централизованной модели данных к децентрализованной архитектуре, основанной на доменах и микросервисах.

Приняв принципы Data Mesh, Wayfair предоставила группам по предметной области возможность взять на себя сквозное владение своими данными.

Организационно Wayfair представила модель Embedded Data Engineering — внедрение инженеров по данным в группы по предметной области — для внедрения мышления «Данные как продукт» среди владельцев дата-продуктов.

Этот социотехнический сдвиг гарантировал, что те, кто создает данные, также владеют их качеством, документацией и развитием, а не полагаются на централизованную команду BI. В результате владельцы данных в Wayfair теперь несут ответственность за четко определенные, высококачественные данные, а потребители данных могут легче находить и доверять данным через унифицированный каталог и онтологию.

https://www.youtube.com/watch?v=fVAQLDbYCMg

Прям про аналитику :) диалог отдела аналитики с бизнесом

Дайджест статей

Every single BI Tool Ever Ranked
https://medium.com/@hugolu87/every-single-bi-tool-ever-ranked-95630f92d7e6

LLM for Data Visualization: How AI Shapes the Future of Analytics
https://medium.com/data-science/llm-for-data-visualization-how-ai-shapes-the-future-of-analytics-f0c2d181725d

What is Data Architecture and why Data Engineers should consider it
https://pipeline2insights.substack.com/p/what-is-data-architecture-and-why-data-engineer-should-consider-it?utm_source=tldrdata

Академия OpenAI для разработчиков: Разбор 10 лекций про API, RAG, Fine-tuning
https://habr.com/ru/articles/900038/

Transforming Data Analytics by Combining SQL and ML
https://dzone.com/articles/transforming-data-analytics-sql-ml

Как мы сделали одну большую песочницу для всех аналитиков
https://habr.com/ru/companies/rshb/articles/899482/

The AI Silo Problem: How Data Streaming Can Unify Enterprise AI Agents
https://www.confluent.io/blog/unify-enterprise-ai-agents/?utm_source=tldrdata

Scaling Data Governance without falling into the Data Mesh trap
https://charlotteledoux.substack.com/p/scaling-data-governance-without-falling?utm_source=tldrdata

Why Clean Data Is the Foundation of Successful AI Systems
https://dzone.com/articles/clean-data-ai-foundation

5 Лайфхаков разработчику Power BI
https://habr.com/ru/companies/usetech/articles/898814/

Data Governance и Бизнес: как найти общий язык
https://habr.com/ru/articles/899080/

Почему сложно разработать OLAP-базу данных, если у тебя уже есть OLTP
https://habr.com/ru/companies/ydb/articles/898716/

FineBi Динамическая фильтрация данных
https://habr.com/ru/companies/mkb/articles/898222/

Agentic Mesh: Patterns for an Agent Ecosystem
https://medium.com/data-science-collective/agentic-mesh-patterns-for-an-agent-ecosystem-ef13469b7cf7

Choosing the best data architecture in 2025
https://lewisdgavin.medium.com/how-to-choose-the-best-data-architecture-e1a0b005b21c

Оптимизация скриптов для витрин данных: от суток к часам
https://habr.com/ru/companies/gazprombank/articles/890988/

Разметка данных с использованием LLM
https://habr.com/ru/companies/X5Tech/articles/891830/

Hype Cycle for Data Management, 2024

А давайте взглянем на графики из отчета Hype Cycle for Data Management, 2024

Мне очень удивительно увидеть на пике тему Data Marketplases and Exchange, потому что в общем информационном пространстве, наоборот, на эту тему крайне мало материала. Возможно он, конечно, теряется на фоне мега популярных тем про LLM, но тем не менее. Так же интересно заметить, что DataMesh хоть и падает в пропасть разочарования, но отмечен как находящийся прям перед началом карабканья на плато продуктивности. Так что кажется, что рынок эту тему уже переварил.

Что касается Data Exchange то я тут под этим больше понимаю всегда рыночную историю, тогда как согласно определению Gartner тут речь большее идет об обмене данными внутри компаний (имеется ввиду большой Enterprise). Ну ок.

Data marketplaces and exchanges (DMEs) provide infrastructure, transactional capabilities and services for consumers and providers of data assets. Marketplaces prioritize data monetization via one-time or recurring subscription transactions, while exchanges prioritize sharing. Internal data exchanges facilitate enterprise data sharing and remove silos to cross-organization data product provision and access.

Data Fabric - падает туда же.

GenAI для управления данными находится в начале своего пути, но пишут о нем чаще, чем про Data Exchange, а пусть ему предрекают в 5-10 лет. Но имхо все будет быстрее, а технология отмечена как трансформирующая индустрию.

Generative AI (GenAI) technologies can generate new derived versions of content, strategies, designs and methods by learning from large repositories of original source content. GenAI applied to data management will have a profound impact: it will enable data specialists and consumers to manage data using natural language interfaces and automate manual tasks. It will reduce the skills barrier to data management and increase the productivity of data management specialists.

Друзья, всех причастных с праздников «Международный День космонавтики»!

Рубрика “Как свалить с этой планеты”

Хочу поделиться видео-рассказом о вертолете Ingenuity, который провел на Марсе прекрасную и мега-успешную миссию и об его создателях, о том как его делали и проектировали и какие технические вызовы были преодолены.

Вертолет весит всего 680 граммов с центральным процессором из смартфона Samsung Galaxy S5 и датчиками из Google Pixel 3, батареями из аккумуляторной дрели и ручной пайкой ключевых компонентов, и, что немаловажно, стоимостью проекта всего в каких-то 80 миллионов долларов (бюджет фильма "Марсианин" - 108 млн) оказался на Марсе и превзошел все ожидания скептиков проекта.

История преодоления множества испытаний на расстоянии в десятки и сотни миллионов километров от Земли, которая в итоге завершилась...или, точнее, частично завершилась в своей основной части для бойкого вертолётика, который, даже будучи обездвиженным, всё ещё приносит пользу, собирая метеорологические данные на Марсе. И помог учёным и инженерам учесть ошибки в будущих миссиях по исследованию Марса с помощью летательных аппаратов в атмосфере красной планеты.

https://www.youtube.com/watch?v=WltuUAXpD78&t=1s

Интересная заметка от Google о том, как они делали функцию "добавь меня на фото" в телефоне Pixel

https://blog.google/products/pixel/how-google-built-pixel-add-me/?utm_source=tldrai

Anthropic Education Report: How University Students Use Claude

Если вы не читали этот отчет - рекомендую посмотреть. Много мыслей возникает по прочтению, особенно в части того что и как выучит текущее поколение учеников. Для того поколения, которое уже получило образование к моменту возникновения LLM эти LLM стали удобной технологией которая помогает “вспомнить/дополнить и восполнить” знания.

Но кажется, что для текущего поколения учащихся это становится замещающей знания технологий и весь учебный процесс должен быть пересмотрен и вообще технологии ИИ сейчас являются самой большой угрозой для всего образования в целом и всей индустрии. По сути же идет вытеснение большой части людей их когнитивных задач в физический труд, а та группа людей, которая остается вместе с ИИ на поприще “мыслительного процесса” и процесса “принятия решений” в корне пересматривает свой подход в образованию и переходит на более self-driven education.

Так же интересная цифра насколько “инженеры” быстрее освоят новые технологии, чем “гуманитарии” (40% против 5%) 🙂

https://www.anthropic.com/news/anthropic-education-report-how-university-students-use-claude

Кстати вот ссылка на саммари отчета от Stanford, довольно интересная. А сам отчет оставлю в комментарии к этому посту - забирайте. Довольно интересно.

https://hai.stanford.edu/news/ai-index-2025-state-of-ai-in-10-charts?utm_source=tldrai

Анонс интересного мероприятия от коллег из GlowByte: За что вы на самом деле платите, внедряя BI?
Разберём на Fine Day Online!

Дата: 17 апреля | Время: 16:00 (МСК) |

BI-решения помогают бизнесу расти, но их внедрение бывает выходят за рамки бюджета. Где прячутся скрытые расходы? Как избежать лишних затрат? Обсудим на конференции!
🔹 Как оценить реальную цену данных
🔹 Оптимизация затрат без потери качества аналитики
🔹 Ошибки, которые удорожают BI-проекты
🔹 Реальный опыт компаний, которые уже прошли этот путь

Спикеры и темы:
Альфа-Лизинг – Цена данных: что на самом деле оплачивает бизнес?
Газпромбанк –BI как центр затрат или источник экономии? Опыт интеграции FineBI с Service Desk через Rest Api
СИБУР – Self-service BI: мониторинг и оптимизация затрат
t2 – Цена данных: как, рассчитывая на чудо, не оказаться в минусе, внедряя BI?

Бонусы для участников:
✔️ Доступ к записям конференции
✔️ Эксклюзивный чек-лист: "BI без лишних затрат: типовые ошибки и как их избежать"

Участие бесплатное! Зарегистрироваться: https://clck.ru/3KvWAg

State of AI 2025

Готово очередное издание уже запомнившегося нам индекса AI от Стенфорда

Моя любимая диаграмма с падением стоимости инференса в аттаче - в 280 раз за 18 месяцев

Вот тут 10 ключевых диаграмм из отчета

Кажется, пора делать очередную state of the union встречу - ставь 💯 если да :)

Кому надо бесплатную книгу - забирайте :)

Effective Platform Engineering - Platform engineering is more than just a technical discipline. It’s a way to unlock creativity and collaboration across your teams. To be successful with your platform engineering strategy, you need actionable insights and techniques to help you design platforms that are powerful, sustainable, and easy to use. This is where the Manning book, Effective Platform Engineering, can help.

https://chronosphere.io/resource/effective-platform-engineering

Дайджест статей

From Lakehouse architecture to data mesh
https://medium.com/adevinta-tech-blog/from-lakehouse-architecture-to-data-mesh-c532c91f7b61

Foundation Model for Personalized Recommendation
https://netflixtechblog.com/foundation-model-for-personalized-recommendation-1a0bd8e02d39

Аналитика в аптечных сетях: как отечественные BI-системы влияют на график работы провизоров и помогают повысить продажи
https://habr.com/ru/companies/w_code/articles/897056/

Как запустить языковую модель без цензуры, не имея видеокарты и мощного компьютера
https://habr.com/ru/articles/896912/

Цифровые двойники: превращаем данные в деньги с помощью матмоделирования
https://habr.com/ru/companies/ibs/articles/897072/

Выбор индексов в базах данных для highload-систем
https://habr.com/ru/articles/897766/

High Performance Time - Series Database Design with QuestDB
https://www.infoq.com/presentations/questdb/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

Data Quality Doesn’t Need to Be Complicated
https://towardsdatascience.com/stop-overcomplicating-data-quality-4569fc6d35a4/

Коллеги, сегодня анонс очень интересного мероприятия про ИИ в секторе FMCG - Digital4food 2025 о цифровизации, автоматизации и роботизации пищевой отрасли которое пройдет через 2 месяца!

На ежегодной конференции «Цифровизация пищевой отрасли» для АПК&FMCG участники расскажут об автоматизации производства, логистики и финансов. Также среди тем — BI-аналитика, ИИ, роботизация, информационная безопасность.

🗂 В программе:

20+ кейсов — честные истории цифровизации от бизнеса
30+ экспертов — реальные решения и работающие инструменты
250+ участников — обмен опытом, новые знакомства и партнерства

📊 Когда: 22 – 23 мая 2025

🌐 Где: Москва, территория инновационного центра Сколково, ул. Блеза Паскаля, дом 2, пространство «Матрёшка»

Регистрация: https://event.digital4food.ru/?utm_source=partner&utm_medium=agropicheprom&utm_campaign=27032025&utm_source=partner&utm_medium=clubcdo&utm_campaign=27032025

И еще в копилку утилит: DBT Column Lineage is a simple tool that helps you visualize and understand column-level data lineage in your dbt projects. It relies on dbt artifacts (manifest & catalog) and compiled sql parsing (to work as expected, it's mandatory to compile your project / run a dbt docs generate for catalog generation).

https://github.com/Fszta/dbt-column-lineage?utm_source=tldrdata

Flower Federated Learning

По следам моего поста про конференцию, небольшая статья про то, что делает Flower - посмотрите, насколько классно они реализовали поддержку режима федеративного обучение “под” TesorFlow. Достаточно просто поставить оба фраймворка вместе и все, можно пользоваться TensorFlow как обычно, но оно будет использовать распределенное обучение.


https://medium.com/@williamlm/how-to-future-proof-your-ai-skills-with-federated-learning-tensorflow-edition-6ed2c3b36688

Мысль вслух: Роль технического менеджера - управление ожиданиями клиента, потому что пытаться управлять разработкой - бесполезно :)

Обратил внимание на новую и бесплатную книгу «Мышление за пределами кода». Не читал, но по аннотации автора выглядит интересно.

«Мышление за пределами кода» - это не просто технический текст. Это попытка переосмыслить подход к разработке, оторваться от деталей фреймворков и посмотреть на архитектуру глазами мышления.
Это книга о том, как строить системы, которые не боятся роста, не разрушаются от изменений и не превращаются в хаос.

https://github.com/PPROGER/thinking-beyond-code?tab=readme-ov-file

С 26 по 27 марта 2025 года в редакции удалось немного посетить четвёртый ежегодный Flower AI Summit 2025.
На самом деле это мероприятие - крупнейшая в мире конференция, посвящённая федеративному обучению и децентрализованному искусственному интеллекту, с более чем 2000 участниками как в онлайне так и в оффлайне.

Порадовало, что интерес к этой теме очень высокий, а компания Flower делает отличные вещи в этой области.

Отметим, что с точки зрения кексов доминировали научные разработки - то есть пока, как мне показалось, тематика все еще больше находится в области научных исследований, нежели прикладного и, тем более, массового использования.

Тем не менее еще раз послушав доклады и порефлексировав над происходящим, в очередной раз я пришел к выводу что если вы делаете какое-то ИИ решение, то по сути только данные и работа с ними может оставаться вашим долгосрочным преимуществом, тк и модели и use-cases превращаются в commodity просто со страшной скоростью.

Какие основные области для применения FL я выявил в адженде:
• Медицина: Представлены кейсы использования федеративного обучения для анализа медицинских изображений и диагностики заболеваний, позволяющие объединять данные из разных учреждений без нарушения конфиденциальности пациентов.
• Финансы: Рассмотрены примеры совместного обучения моделей для выявления мошеннических операций и оценки кредитных рисков на основе данных различных банков, сохраняя при этом их автономность.
• Интернет вещей (IoT): Обсуждалось обучение моделей на периферийных устройствах, таких как датчики и смартфоны, для улучшения предсказательной аналитики без передачи данных в облако.

Интересно, что и LLM не были забыты и в рамках выставки с постерами научных работ был кейс обучения LLM.

На мероприятии также состоялась презентация Flower Roadmap 2025, включающая демонстрацию новых технологий децентрализованного ИИ. Но ее посмотреть не удалось, пришлось уехать, но надеюсь будет потом доступно в онлайн.

Не взелетело

https://www.youtube.com/live/IKLQxe2MvpQ?si=MrzLNLtRbLPQogks

Дайджест статей

My data governance framework
https://medium.com/zs-associates/my-data-governance-framework-c1879486bc09

What I Wish I Knew Before Becoming a Solutions Architect in Data
https://medium.com/data-science-collective/what-i-wish-i-knew-before-becoming-a-solutions-architect-in-data-9d97b8b53246

How to Build an AI Agent for Data Analytics Without Writing SQL
https://medium.com/data-science/how-to-build-an-ai-agent-for-data-analytics-without-writing-sql-eba811115c1f

Why the ArchiMate Model is Essential for Data Architects in Documenting Enterprise Architecture
https://medium.com/@armandovazquez/why-the-archimate-model-is-essential-for-data-architects-in-documenting-enterprise-architecture-d9fc9fb9fcae

The new wave of Composable Data Systems and the Interface to LLM agents
https://medium.com/wrenai/the-new-wave-of-composable-data-systems-and-the-interface-to-llm-agents-ec8f0a2e7141

Supercharge Your ETL Pipeline: Fixing Data Quality Issues with AI
https://medium.com/@fhuthmacher/supercharge-your-etl-pipeline-fixing-data-quality-issues-with-ai-37218493fbd9

Agentic AI for Data Engineering
https://ai.gopubby.com/agentic-ai-for-data-engineering-4412d5e70189

Как выбрать LLM-модель, которая заберет у вас работу
https://habr.com/ru/articles/893642/

Объектное хранилище S3: практическое руководство без лишних слов
https://habr.com/ru/companies/vktech/articles/892234/

Self-Service ETL vs Power Query: чем отличаются загрузчики Visiology и Power BI
https://habr.com/ru/articles/895264/

Уже через год мы будем общаться с базами данных по-русски
https://habr.com/ru/companies/postgrespro/articles/895436/

Self-Healing Data Pipelines: The Next Big Thing in Data Engineering?
https://dzone.com/articles/building-a-self-healing-data-pipeline-a-data-engin

Agentic AI and Generative AI: Revolutionizing Decision Making and Automation
https://dzone.com/articles/agentic-ai-and-generative-ai

Магия черного хода, это сильно

Команда ClickHouse наконец-то выпустила официальный коннектор к Tableau!

Проверено - работает! Правда не верьте тексту в официльном блоге (ниже), коннектор работает только с JDBC драйвером версии v0.4.6, а не с последней версией, как указано в инструкции ниже.

https://clickhouse.com/blog/announcing-clickhouse-connector-tableau#what-about-tableau-cloud

в копилочку

Writing Low-Latency C++ Applications

Написание приложений на C++ с низкой задержкой требует тщательного подхода, включающего эффективную обработку данных, эффективное управление параллелизмом и тщательную оптимизацию на системном уровне.

В этой статье приведен свод неплохих рекомендаций, многие из которых мы активно применяем в своих проектах. Я вот кратко зафиксировал для себя такой список:

1. Избегать динамической аллокации памяти и управлять ею самостоятельно и использовать структуры данных с пред-определенным размером
2. Избегайте использование heap, пишут что stack быстрее
3. Убедитесь, что структуры данных правильно выровнены со строками кэша CPU
4. Избегать копирование объектов, использовать доступ по ссылке
5. Предпочитать atomic operations и Lock-free Data Structures
6. Управлять аллокацией тредов и потоков по CPU в случае мультипоточных приложений и избегать выполнения разных поток на одном core что бы снизить их влияние на производительность друг друга
7. Реализуйте пул потоков для управления фиксированным количеством потоков, которые могут выполнять несколько задач
8. Соответствующим образом надо настраивать ОС для низкой задержки в выполнении приложения
9. Устанавливайте буферы сетевой подсистемы в как можно более маленький размер. Добавлю тут от себя - большие буферы увеличивают стабильность коммуникации но скрывают все возможной проблемы

https://medium.com/@AlexanderObregon/writing-low-latency-c-applications-f759c94f52f8

​​🔥🔥🔥 Исследование по AI агентам от CB Insights: каковы ключевые тренды?

Буквально месяц назад CB Insights выкатили мини-исследование на тему AI агентов. Посмотрим?

1/ AI агенты подняли $3.8B инвестиций в 2024 году, а конкретнее динамика выглядела так:
▪️2020: $24M, 8 сделок;
▪️2021: $166M, 16 сделок;
▪️2022: $235M, 24 сделки;
▪️2023: $1.3B, 106 сделок;
▪️2024: $3.8B, 162 сделки.
🔹2022->2023 рост в 5.5х по объему и в 4.4х по количеству, а 2023->2024 рост 2.9х по объему и в 1.5х по количеству

2/ 6 из 8 big tech + big AI tech предлагают тулы для AI агентов, 3 из 10 уже предлагают агентов и еще 6 из 10 разрабатывают.

3/ AI агенты от Big Tech доминируют в горизонтальном сегменте, а частные компании уже специализируются. Несмотря на это структура инвестиций в с 2020 в тулы выглядит так (%% по объему инвестиций и %% по количеству сделок):
〰️ Horizontal apps: 55% и 49%;
▫️ Infrastructure: 24% и 29%;
▪️ Vertical: 21% и 21%.
То есть, половина идет в горизонтальные сервисы пока что, вертикальные – только пятая часть.

4/ Очень любопытно, что по уровню развития бизнеса горизонтальные сервисы гораздо более продвинутые. На первых двух из 5 стадий (это emerging & validating) находятся:
〰️ 33% horizontal apps;
▫️40% vertical apps;
▫️ 52% Infrastructure.
🔹 Внезапно инфраструктура – самая неразвитая.

5/ А кто в лидерах среди Infrastructure Stack провайдеров?
▪️Google;
▪️AWS;
▪️Salesforce;
▪️OpenAI;
▪️Anthropic.

6/ Что мешает внедрять AI агентов?
🔻47% беспокоятся о безопасности и качестве (данных прежде всего);
🔻41% опасаются технических проблем во внедрении;
🔻35% говорят о недостатке качественных кадров в команде.

👉 Само исследование на 12 страниц можно скачать по ссылке: https://www.cbinsights.com/research/ai-agent-trends-to-watch-2025/

❓В продолжение темы интересно задавать вам два вопроса ниже – про использование AI агентов и про доминирование горизонтальных решений. Ответите на опросы?

@proVenture

#ai #research #trends

Дайджест статей

From Lakehouse architecture to data mesh
https://medium.com/adevinta-tech-blog/from-lakehouse-architecture-to-data-mesh-c532c91f7b61

Why Text-to-SQL is Failing for Agents and How to Fix It?
https://medium.com/madhukarkumar/why-text-to-sql-is-failing-for-agents-and-how-to-fix-it-6cb4065d40e9

Decoding Data Products: The Building Blocks of Modern Data Strategy
https://medium.com/tech-lingo-unpacked/decoding-data-products-the-building-blocks-of-modern-data-strategy-8e8d78019694

Выбор локальной LLM модели. Публикация на сайт с чатом
https://habr.com/ru/articles/892468/

Role of Data Annotation Services in AI-Powered Manufacturing
https://dzone.com/articles/data-annotation-in-ai-manufacturing

Парсинг с помощью LLM: зачем, как и сколько стоит?
https://habr.com/ru/articles/892954/

Зачем бизнесу LLM: стратегический взгляд
https://habr.com/ru/articles/892956/

Управление качеством данных
https://habr.com/ru/articles/893158/

Leveraging LLMs for Software Testing
https://dzone.com/articles/leveraging-llms-for-software-testing

Building a Distributed Multi-Language Data Science System
https://dzone.com/articles/distributed-multi-language-data-science-system

BI-Ассистент для создания аналитических дашбордов и автоматизированного анализа данных
https://habr.com/ru/articles/891420/

Мои ИИ-стек инструментов

За последние два года я попробовал больше сотни разных ИИ-инструментов. Многие не оправдали своих ожиданий, но есть звездочки, которые не только доказали свою ценность, но и стали незаменимыми партнерами в ежедневной деятельности.

Так получился мой ИИ-стек, которым я пользуюсь практически ежедневно.

▶️Базовые LLM:

1. Claude - скоро будет год как для меня Claude - LLM #1. Долгое время я его использовал только через API в своих агентах, но с выходом 3.7 Sonnet и появлением интерактивного интерфейса, добавил подписку и на claude.ai.

2. ChatGPT - всегда рядом, на случай второго мнения. Использую только через API.

3. Deepseek - хорош, но на каждый день он слабее.

4. Google Gemini - открыл его для себя заново с появлением Gemini 2.0 Flash и расширением возможностей AI Studio, включая Realtime режим анализа стриминга с камеры (фильм "Она" все помним).

5. Grok - Deep Research с поиском в интернет и "думающий" режим, да еще и бесплатно (в одном из запросов модель пока размышляла, собрала 103 источника и сгенерировала 140 листов текста.... для выдачи ответа на 1 лист. не жалеет grok себя :) )

▶️ Для работы с информацией

6. NotebookLM - лучший бесплатный инструмент от Google для работы с документами. Загружаем до 50 источников (ссылки на youtube, pdf, видео файлы) и получаем интерактивный инструмент с поиском по документам. Практически все отчеты теперь читаю в нем.

7. Perplexity - отлично ищет информацию в интернет, но мне не нравится как он ее обрабатывает последние месяцы. Использую как инструмент через API в агентах.

▶️ Генерация изображений

8. Midjourney - 99% изображений создаю в нём. С настройкой собственных профилей (фактически файн-тюнинг по себя) всё чаще радует с первого раза.

9. DALL-E - для генерации изображений в своих агентах. (midjourney бы твой API)

10. Adobe - photoshop c ИИ хорош.

▶️ Видео и Аудио

11. Hailuo, Runway, Pika - как правило экспериментирую сразу с несколькими [1] [2]. Результат пока 50/50 - чаще не попадает в ожидания. Но сделать видео-поздравление по фотографиям - с этим инструменты справляются на ура.

12. Suno - лучший генератор песен и первый инструмент, у которого я сразу на год купил подписку. Песни-поздравления, треки для тренировок в нужном темпе, каверы в том стиле, в котором хочется. [1] [2] [3]

13. ElevenLabs - клонирование собственного голоса (настолько похоже, что сам пугаюсь). использую для своих аватаров и агентов. Ждем эмоции.

14. HeyGen - непосредственно создание цифровых аватаров. можно и через api.

▶️ Автоматизация и ИИ-агенты

- Интерфейс для работы с агентами - Телеграм или google таблицы - самые удобные для меня.

- Notion - обновление таблиц агентами, а Obsidian еще и как база данных для агента (через RAG).

- n8n - основной инструмент автоматизации. Есть несколько сценариев работающих на make, но они постепенно переписываются в n8n. В n8n очень удобная среда настройки агентов и добавление внешних инструментов. А скоро еще и MCP можно будет добавить... [1] [2] [3]

- IFTTT удобен для ряда сценариев, которые в n8n и make требуют кучу усилий или денег - например, выгрузка новостей из feedly в google таблицу.

- Для хранения данных нам нужна - классическая база данных (настройки и данные между процессами), быстрая база - ключ/значение (контекст и память) и векторная база в качестве RAG для агентов. Я пока остановился на Airtable, Xata и Pinecone.

- Ну и куда сегодня без вайб-кодинга. Использую Replit и Cursor. С выходом Claude 3.7 оба стали работать намного лучше. [1] [2]
А как прибавил сам Сlaude! - смотрим.

Универсальных решений нет, поэтому каждый собирает под себя свою удобную ИИ-команду!

Всех с пятницей! и нескучного погружения в мир ии-инструментов!

🅰️🅱️@ReymerDigital

Что из звездочек я пропустил? пишите в комментарии

Небольшая шпаргалка на тему типовых схем данных в DWH - хорошие и наглядные картинки внутри

https://medium.com/@kazimali07/choosing-the-right-data-warehouse-schema-for-your-data-model-star-snowflake-data-vault-and-the-a6fb76490162

Кстати, на фоне новостей про LLM и развитие AI интересно взглянуть на график роста потребления энергии человечеством. Выводов не делаю, просто интересно посмотреть :)

Немного инсайдерской информации про Apple от Bloomberg. Siri+ не будет 🙂

Интересно, что на фоне заметных шагов вперед у Alexa и Google, Siri продолжает буксовать и сейчас похоже уже можно говорить о том что Siri+ не будет до 2026 года. К сожалению в статье не описываются конкретные сложности, с которыми столкнулась команда, а было бы интересно узнать. Попробуем погыпытышить.

"Walker said the decision to delay the features was made because of quality issues and that the company has found the technology only works properly up to two-thirds to 80% of the time"

Особенно выделяется то, что Apple уже демонстрировала Siri+ на прошлой конференции для разработчиков, а они никогда не показывают на конференции то, в запуске чего не уверены. Это возможно первый раз когда они отходят от этого правила.

Но тем не менее они остаются привержены своей парадигме "But Apple wants to maintain a high bar and only deliver the features when they’re polished" и не стараются притянуть запуски к каким то памятным датам - остается достойной уважения такая позиция в части продуктовой разработки.

https://www.bloomberg.com/news/articles/2025-03-14/apple-s-siri-chief-calls-ai-delays-ugly-and-embarrassing-promises-fixes?accessToken=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJzb3VyY2UiOiJTdWJzY3JpYmVyR2lmdGVkQXJ0aWNsZSIsImlhdCI6MTc0MjE1NTk3MSwiZXhwIjoxNzQyNzYwNzcxLCJhcnRpY2xlSWQiOiJTVDMxRE1EV1JHRzAwMCIsImJjb25uZWN0SWQiOiJFQTExNDNDNTM4NEE0RUY5QTg5RjJEN0IxMTg2MzcwOSJ9.NIVHf5K-5EZVbtJFJbkn_R9BqHrNdEJXTdo7m3SxsF4&utm_source=tldrnewsletter&leadSource=uverify%20wall

Самое милое, что было сейчас на конфе-робот Blue,созданный Disney+DeepMind+NVidia

Дженсен Хуанг заявил: «Пришло время роботов. Зачем? Чтобы решить проблему нехватки рабочей силы. Все, что движется, будет роботизировано».

Он давал этому мультяшному роботу команды на сцене в прямом эфире https://t.me/alwebbci/3114

Это очень мило :)

Интересный сервис, еще не смотрел в деталях но он очень активно взлетел в новостях, все про него пишут. Надо изучить

https://manus.im/

Дайджест статей

How Meta Solves Data Lineage At Scale
https://blog.det.life/how-meta-solves-data-lineage-at-scale-690874d8d7ba

Open-source инструменты для визуализации данных
https://habr.com/ru/articles/891010/

Подробная карта OpenSource инструментов для создания AI агентов
https://habr.com/ru/articles/890774/

Современные требования к инфраструктуре для агентских AI-систем. Развертывание, поддержка и операционные расходы
https://habr.com/ru/articles/890836/

What I learned after one year of building a Data Platform from scratch
https://medium.com/@jeremysrgt/what-i-learned-after-one-year-of-building-a-data-platform-from-scratch-d7075629cab1

2025 Enterprise Data & AI Trends: Agents, Platforms, and Moonshots
https://sanjmo.medium.com/2025-enterprise-data-ai-trends-agents-platforms-and-moonshots-0010c8b4d1f3

Introducing Netflix’s TimeSeries Data Abstraction Layer
https://netflixtechblog.com/introducing-netflix-timeseries-data-abstraction-layer-31552f6326f8

Instacart Creates Real-Time Item Availability Architecture with ML and Event Processing
https://www.infoq.com/news/2024/02/instacart-item-availability/

Building an End-to-End Data Lakehouse with Medalion Architecture, Airflow, and DuckDB
https://medium.com/@sweetkobem/building-an-end-to-end-data-lakehouse-with-medalion-architecture-airflow-and-duckdb-67c6a4c5c2c4

LLM в "Циан"

Выложили запись вебинара с CTO "Циана" Алексеем Чекановым, о том, как они внедряют LLM у себя. Алексей расскажет с какими трудностями столкнулись, как справились, а где сразу хорошо получилось)

Вк

Ютуб

Ссылка на PDF

DrawDB – это надёжный и удобный редактор связей между объектами базы данных (DBER) прямо в вашем браузере

Создавайте диаграммы в несколько кликов, экспортируйте сценарии SQL, настраивайте редактор и многое другое без создания учётной записи

Языки: JavaScript (98.8%), Other (1.2%).

⭐️ Star 24.1k

https://github.com/drawdb-io/drawdb

⚡️ @becaps

Сегодня еще один анонс от наших парнеров: мероприятие "Как стать востребованным ИТ-директором производства?"

Коллеги, вам знакомо это чувство?
Вы создаете ИТ-продукты, автоматизируете процессы, решаете сложные технические задачи — но при этом бизнес часто недооценивает ваш вклад.

Как быть стратегическим лидером, а не просто техническим специалистом? Как донести ценность ИТ-инициатив до руководства?

20 марта в Москве пройдет насыщенный и максимально честный воркшоп. Опытные ИТ-директора и независимые эксперты поделятся своими решениями, расскажут реальные кейсы и помогут взглянуть на вашу роль под новым углом.

❔Что значит быть ИТ-директором пищевого производства, и какие задачи он решает?
❔Как укрепить свои позиции в бизнесе?
❔Какие инструменты помогут повысить свой статус внутри компании?

Почему это важно?В камерной обстановке на 40 участников выстроим честный диалог и дадим максимум пользы. У вас будет возможность задать вопросы, получить советы и вдохновение для следующего шага в вашей карьере.

👉🏻Ссылка на регистрацию: https://clck.ru/3GuXEV


Регистрация уже открыта. Успейте забронировать место!

Любая конференция это (в порядке значимости) «inspiration, networking, knowledge”. Про knowledge напишем завтра а сейчас минутка inspiration от Beth Moses — американского астронавта и главного инструктора по подготовке астронавтов в компании Virgin Galactic. Которая стала первой женщиной, совершившей полёт в космос на коммерческом космическом корабле.

«Ну, я думаю, что главный критерий для любого астронавта – это именно то, о чём здесь уже говорилось. Нужно уметь работать в команде. И в этом контексте важно понимать, что ты представляешь всё человечество и всю жизнь на Земле. Ты не отправляешься от имени одной страны, не используешь только одно оборудование, не находишься в одном конкретном моменте времени – ты являешься частью чего-то большего. Освоение Луны человеком – это прогресс для всего человечества, точка.

Я считаю, что это самое важное. А затем, конечно, все системы, о которых мы говорили. Лично я думаю, что нам всем невероятно повезло жить в этот момент истории. Особенно тем, кто интересуется космосом или работает в космической отрасли. Потому что прямо сейчас человечество буквально пробуждается от всей своей истории.

Мы переживаем своего рода планетарное откровение о нашей родной планете и самих себе, которого не было у предыдущих поколений. Все, кто жил до нас, просто смотрели на Луну и гадали, что там. А теперь люди побывали там. Люди отправились в космос и взглянули на Землю со стороны. И теперь мы все понимаем, насколько тесно взаимосвязаны, а это может принести человечеству только пользу.»

Друзья, пора немного обновить информацию про проект @IgorVA_bot. Как оказалось, модель монетизации через донаты в наших реалиях не работает — последний донат был 16/01/25, а с тех пор, несмотря на сотни обращений к боту в день, поддержки не поступало.

При этом я перешёл на pro-аккаунт OpenAI, что открыло доступ к новым мощным моделям. Сейчас бот работает через Telegram с прослойкой на Python-сервере, что даёт возможность дополнять его функционал полезной автоматизацией.

🚧 Что дальше?
Я планирую закрыть публичный бесплатный доступ и оставить его только для тех, кто поддержал проект донатами. При этом для них в боте появятся новые, продвинутые модели и улучшенные возможности диалога.

💡 Что можно добавить?
Если у вас есть идеи, какие агенты или функции сделать, чтобы бот был реально полезен и решал задачи, с которыми не справляются другие решения (а их сейчас целая галактика) — пишите!

📌 Ссылка на донаты — если хотите попасть в список доступа, успейте поддержать проект!

https://t.me/tribute/app?startapp=daeS

А вот вам подборка ТОП-100 лучших продуктов GenAI

Да и вообще там интересная статистика в статье про динамику роста аудитории разных LLM моделей, включаю DeepSeek

https://a16z.com/100-gen-ai-apps-4/

The State of Lakehouse Architecture: A Conversation with Roy Hassan on Maturity, Challenges, and Future Trends

Недавно в Data Engineering Weekly состоялся подкаст с Роем Хассаном, продуктовым лидером компании Upsolver (ныне Qlik), посвящённый текущему состоянию архитектуры Lakehouse, её зрелости, вызовам и будущим тенденциям.

Основные темы обсуждения:
• Определение архитектуры Lakehouse: Рой подчеркнул, что Lakehouse — это не конкретный продукт или сервис, а архитектурный подход, объединяющий гибкость data lakes и структурированность data warehouses.
• Зрелость внедрения Lakehouse: Обсуждалась степень зрелости внедрения Lakehouse на различных облачных платформах, включая Databricks, AWS, Azure Fabric, Snowflake и Google BigQuery.
• Открытые табличные форматы: Рассматривались такие форматы, как Iceberg, Delta Lake и Hudi, их особенности и поддержка современными системами запросов.
• Роль Apache XTable: Обсуждалась цель улучшения совместимости между различными табличными форматами и актуальность этого проекта в будущем.
• Вызовы и критика Lakehouse: Рой отметил существующие проблемы и критику в адрес архитектуры Lakehouse, а также пути их преодоления.
• Роль инженеров данных в эпоху ИИ: Обсуждалось, как инженеры данных могут адаптироваться и вносить вклад в развитие ИИ, используя архитектуру Lakehouse.

https://www.dataengineeringweekly.com/p/the-state-of-lakehouse-architecture

Дайджест статей

Iceberg Catalogs: A Guide for Data Engineers
https://medium.com/itversity/iceberg-catalogs-a-guide-for-data-engineers-a6190c7bf381

Delta Lake 4.0: Next-Level Big Data Management
https://medium.com/@vijaygadhave2014/delta-lake-4-0-next-level-big-data-management-690d03710a42


Agentic BI for Data Analysis with Gen AI
https://medium.com/@nayan.j.paul/agentic-bi-for-data-analysis-with-gen-ai-f9caf60a0a82

Building a Scalable and Open-Source Realtime Data Lake : End to End Architecture
https://medium.com/@mukesh.vast/building-a-scalable-and-open-source-data-lake-end-to-end-architecture-235ba920084e

Is Data Engineering Dying? The AI Takeover & The Future of Data Roles!
https://blog.det.life/is-data-engineering-dying-the-ai-takeover-the-future-of-data-roles-ecf7d96df623

Understanding the Data Culture
https://dzone.com/articles/the-data-culture

AI Agents for Data Warehousing
https://dzone.com/articles/ai-agents-for-data-warehousing

Почему AI-агентам нужна оркестрация
https://habr.com/ru/articles/887370/

Синтетические данные в 2025: волшебная таблетка для нейросетей или темная лошадка?
https://habr.com/ru/companies/skillfactory/articles/887884/

Аналитика и данные – ваш козырь против конкурентов
https://habr.com/ru/companies/croc/articles/888152/

Цифровые двойники в сельском хозяйстве: изучим потенциал на примере выращивания мандаринов
https://habr.com/ru/companies/rshb/articles/888240/

От данных к действиям: как мы создавали рекомендации на главной странице Uzum Market
https://habr.com/ru/companies/uzum/articles/884328/

Как превратить сырые данные в аналитический отчет
https://habr.com/ru/articles/888436/

Безопасная AI-управляемая система раннего выявления для анализа медицинских данных и диагностики
https://habr.com/ru/companies/otus/articles/888652/

Зачем бизнесу нужно DWH и как обосновать необходимость проекта? Можно ли оценить окупаемость хранилища?
https://habr.com/ru/articles/888952/

А пока редакция читает статьи и готовит дайджест - посмотрите эту 15-ти минутную запись полета StarShip8.

Все таки удивительно как точно он приземляется обратно на стойку. Интересно, там же должен быть какой-то мощный комп на борту? Ведь управление двигателями для маневрирования в реальном времени требует хорошей вычислительной мощности.

Интересно узнать что там у них.

https://youtu.be/9H8puVq2oi0?si=sex6GK4CUH7tIPWM

🎓 1) Andrej Karpathy
Глубокие, но доступные лекции по глубокому обучению, языковым моделям и введению в нейронные сети.
Ссылка: https://www.youtube.com/c/AndrejKarpathy

📊 2) 3Blue1Brown
Потрясающие визуализации, которые делают абстрактные математические концепции понятными и интуитивными.
Ссылка: https://www.youtube.com/c/3blue1brown

🎙️ 3) Lex Fridman
Глубокие беседы с лидерами индустрии ИИ, позволяющие получить широкий взгляд на современные тенденции.
Ссылка: https://www.youtube.com/c/LexFridman

🤖 4) Machine Learning Street Talk
Технические погружения и обсуждения с ведущими исследователями в области ИИ и машинного обучения.
Ссылка: https://www.youtube.com/c/MachineLearningStreetTalk

📚 5) StatQuest with Joshua Starmer PhD
Доступные и понятные объяснения основ машинного обучения и статистики для начинающих.
Ссылка: https://www.youtube.com/c/statquest

🍉 6) Serrano Academy (Luis Serrano)
Ясный и доступный контент о машинном обучении, глубоких нейронных сетях и последних достижениях в ИИ.
Ссылка: https://www.youtube.com/c/LuisSerrano

💻 7) Jeremy Howard
Практические курсы по глубокому обучению и обучающие видео по созданию AI-приложений, основанные на опыте Fast.ai.
Ссылка: https://www.youtube.com/c/Fastai

🛠️ 8) Hamel Husain
Практические уроки по работе с языковыми моделями (LLMs), RAG, тонкой настройке моделей и оценке ИИ.
Ссылка: https://www.youtube.com/c/HamelHusain

🚀 9) Jason Liu
Экспертные лекции по RAG и советы по фрилансу в области ИИ для специалистов по машинному обучению.
Ссылка: https://www.youtube.com/c/JasonLiu

⚙️ 10) Dave Ebbelaar
Практические руководства по созданию ИИ-систем и применению технологий в реальных проектах.
Ссылка: https://www.youtube.com/c/DaveEbbelaar

Эти каналы предлагают разнообразный и качественный контент для всех, кто хочет углубиться в изучение искусственного интеллекта. Независимо от вашего уровня подготовки, здесь каждый найдёт что-то полезное для себя!

@data_analysis_ml

Я тут не так давно писал о книге The Duolingo Handbook с подборкой их корпоративных правил и практик и многим этот материал показался интересным и полезным. Поэтому вот подборка таких же книг и презентаций и от других выдающихся компаний (все ссылки есть в тексте статьи ниже):

#1: Netflix: Reference Guide on our Freedom & Responsibility Culture
#2: Valve: Handbook for New Employees
#3 Facebook’s Little Red Book
#4 The Duolingo Handbook
#5 Peter Kaufman on Culture

https://aletteraday.substack.com/p/f5-culture-handbooks?utm_source=tldrfounders

Всегда считал идею умных очков довольно перспективной. Отличный девайс который всегда с тобой, не занимает руки, имеет наушники и микрофоны/камеры, живет близко к телефону - все что нужно, это только добавить полноценного виртуального помощника.

В 2024 году мировой рынок умных очков вырос на 210% по сравнению с прошлым годом. Годом ранее рост составил 156%. Основной причиной стал успех Ray-Ban Meta Smart Glasses. Этот успех подтолкнул другие компании к выходу на рынок. В 2025 году свои модели умных очков представят Xiaomi, Samsung, Baidu и ByteDance.

Ожидается, что рынок умных очков продолжит расти на 60% в год до 2029 года. Основные причины — расширение сфер применения, увеличение спроса в корпоративном сегменте и новые разработки.

«Умные очки» — это прямой сдвиг платформы. Сильнее чем сдвиг от компьютеров к смартфонам. Ставки тут невероятно высокие, поэтому крупные компании продолжают сюда инвестировать, несмотря на скромные успехи (пока что)

https://www.counterpointresearch.com/insight/post-insight-research-notes-blogs-rayban-meta-smart-glasses-drive-global-smart-glasses-market-surge-in-2024-fuelling-momentum-in-2025-with-projected-60-cagr-through-2029/

Все что вы хотели знать про ChatGPT-4.5

https://www.lesswrong.com/posts/PpdBZDYDaLGduvFJj/on-gpt-4-5?utm_source=tldrnewsletter

Всем привет! Сегодня анонс мероприятия: Аутсорс vs. внутренняя интеграционная команда: где граница?

Обсудим онлайн 13 марта!


Компании со сложной ИТ-инфраструктурой неизбежно сталкиваются с вопросом: что делать внутри, а что можно передать подрядчикам?

- Полный аутсорс снижает нагрузку на команду, но делает бизнес зависимым от внешних исполнителей.

- Полное выполнение всех задач внутри — дорого, долго и не всегда оправдано.

Где найти золотую середину между эффективностью и контролем?


Обсудим на онлайн-встрече вместе с компанией DTT:

❓ Какие ИТ-задачи критично оставлять внутри компании?

❓Что можно безопасно отдавать на аутсорс, не теряя контроль?

❓ Как избежать рисков: зависимость от подрядчиков, утечку данных и потери в качестве?

❓ Как сформировать интеграционную команду, которая поддержит рост бизнеса?


Спикер: Валерий Немцов – технический директор Data Tech Team

Модератор: Андрей Шишкин – основатель проекта Digital4food
Когда
Когда: 13 марта, 10:00 (мск)
Формат: онлайн


👉🏻Ссылка для регистрации: https://clck.ru/3GiXnV

Формат встречи подразумевает ответы на вопросы участников.

Подключайтесь и получите практические рекомендации от экспертов!

Дайджест статей

The Future of Data Lakehouses: Apache Iceberg Explained
https://dzone.com/articles/the-future-of-data-lakehouses-apache-iceberg

Doris Lakehouse Integration: A New Approach to Data Analysis
https://dzone.com/articles/doris-lakehouse-integration

Data Engineering — это не Software Engineering
https://habr.com/ru/articles/883026/

Мама, у меня RAG: пути к улучшению, когда он «наивный»
https://habr.com/ru/articles/885770/

NoSQL: понятие, виды баз данных и их особенности
https://habr.com/ru/companies/timeweb/articles/885354/

Как внедряет ИИ крупнейший банк США JPMorgan. Интервью WSJ с руководителем внедрения ИИ
https://habr.com/ru/articles/886040/

Умный помощник для корпоративного обучения: опыт внедрения продвинутой RAG-системы в крупной компании
https://habr.com/ru/companies/doubletapp/articles/886108/

Как не утонуть в данных: выбираем между DWH, Data Lake и Lakehouse
https://habr.com/ru/companies/arenadata/articles/885722/

10 примеров и вариантов использования RAG от реальных компаний. Со схемами и пояснениями
https://habr.com/ru/articles/886732/

База об организации процесса разметки: команда, онбординг, метрики
https://habr.com/ru/companies/alfa/articles/883822/

А между тем сегодня на Луну успешно прилунился второй частный космический аппарат «Синее приведение».

Потрясающий инженерный опыт.

https://www.telegraph.co.uk/business/2025/03/02/private-spaceship-blue-ghost-lands-on-the-moon/

https://www.youtube.com/live/3SSjzdj-ONw?si=i23FShM0Tgz2X4ig

А вот и та самая Bombe построенная Алланом Тьюрингом для расшифровки кодов Enigma

Сегодня в исторической страничке - та самая Энигма

Свежая статья от MITSloan про Causal ML - область машинного обучения, предназначенную для исследования вариантов развития событий (так называемый what-if анализ). К сожалению технических подробностей там нет и какие конкретно модели в этой области применимы не раскрывается, тем не менее для бизнес-аудитории статья может показаться вполне интересной.

Такие модели/подходы сейчас становятся более актуальными тк продолжается демократизация данных и их накопление. Это критично для CasualML тк моделям требуются наблюдения за довольно большие временные промежутки.

Если эта тема кажется вам интересной и актуальной для вас - рекомендую пройтись по ссылкам в статье, тк они ведут уже на более развернутые и технические материалы.

https://sloanreview.mit.edu/article/a-new-machine-learning-approach-answers-what-if-questions/

Data teams - тоже люди :)

https://seattledataguy.substack.com/p/biggest-productivity-killers-for

How AI Has Changed Startups Forever

Стоимость написания программного обеспечения стремится к нулю. Но это ещё не всё. Маркетинг, продажи, обслуживание клиентов, операционная деятельность и другие бизнес-функции также ощутят значительное снижение затрат. Это уже происходит в крупных компаниях. Стартапам больше не нужно много финансирования и большое количество людей, чтобы стать крупными. Иными словами, ожидайте больше единорогов, созданных всего парой соучредителей и с финансированием в полмиллиона долларов.

Это приводит к вопросу: если теперь так дешево писать программное обеспечение и масштабировать бизнес, то какие барьеры остаются?

1. Закрытые данные: Эксклюзивные данные о клиентах или трудно доступные публичные наборы данных создают конкурентное преимущество.
2. Сетевые эффекты: Теоретически можно воссоздать программную архитектуру Facebook или Nasdaq, но их клиентов так легко не заполучить.
3. Глубокая интеграция: Корпоративное ПО с глубокой интеграцией в рабочие процессы имеет высокие затраты на переключение.
4. Закрепление экосистемы: Платформы с сильной экосистемой разработчиков и интеграциями остаются востребованными.
5. Регуляторные барьеры: ИИ не может получить лицензии и выстроить связи, необходимые для работы в строго регулируемых отраслях, таких как финансы, здравоохранение и оборона.
6. Доверие и бренд: Потребители и организации будут продолжать доверять проверенным брендам в критических вопросах.
7. Физический мир: Физическая инфраструктура, робототехника и цепочки поставок имеют ограничения, которые ИИ не может обойти.
8. Глубокое понимание пользователей: Пока ИИ может коммодитизировать посредственные идеи, настоящее понимание пользователей не встроено в обучающие наборы данных — его можно получить только через прямое общение с клиентами.

Главным приоритетом для стартапов до PMF остаётся поиск Product-Market Fit, но сейчас как никогда важно заранее продумать потенциальную защиту от конкурентов после достижения PMF.

https://x.com/QwQiao/status/1892558420017865135

📣Внимание! Завершается приём заявок на Data Award 2025 — престижную премию для data-driven организаций и директоров по данным, учрежденную издательством «Открытые системы»
⏳ Последний день подачи — 3 марта! ⏳

Почему стоит участвовать?
🏆Data Award — это знак признания в профессиональном сообществе. Уже седьмой год подряд премия объединяет лидеров работы с данными, вдохновляет на новые открытия и демонстрирует лучшие практики отрасли.,
Прозрачность и объективность — победителей выбирает независимый экспертный совет из CDO и признанных профессионалов. Здесь выигрывают лучшие!

Ваши достижения увидит рынок!

🏆Победа в Data Award — это не просто награда, а мощный инструмент мотивации команды, HR-брендинга и профессионального роста.

Среди компаний, уже подавших заявки в этом году: X5, Самолет, РСХБ, ОТП Банк, Газпром ИД, Роснефть, Банк "Санкт-Петербург", T2, Газпром нефть, Fplus и многие другие.
Присоединяйтесь к лидерам data-driven подходов!

Что нового в сезоне 2025?
✅ Больше номинаций — премия отражает ключевые тренды data-индустрии.
✅ Фокус на заказчиков проектов — ИТ-компании участвуют в ограниченном числе номинаций.

Что остаётся неизменным?
✔️ Главное — инновации и вклад команды.
✔️ Полная независимость премии — победу нельзя купить, только заслужить!
Ключевые даты:
✎ до 3 марта — приём заявок
✎ до 10 апреля — публикация интервью номинантов
✎ конец апреля – начало мая — подведение итогов
✎ 15 мая — торжественная церемония награждения

⚡️Станьте героем экономики данных⚡️

Подавайте заявку прямо сейчас

Митап DataPeople для Менеджеров ИТ-проектов:

📅 4 марта в 18:00
📍 Москва, м. Курская, бар GB

Project managers, поговорим о вас!)
🔹Как эффективно справляться с проектными вызовами и превращать их в новые возможности.
🔹Как уместной шуткой разрядить обстановку, укрепить командный дух и даже найти нестандартные решения (а иногда просто сделать так, чтобы все не плакали от стресса).

Вносите свой вклад в программу встречи:
🔸при регистрации задавайте вопросы, даже те, что не обсудишь в офисе )
🔸мы подготовим ответы
В формате открытого диалога, посудачим 🙂

Количество мест ограничено, регистрируйтесь заранее: https://datapeople.ru/DP_4032025

в копилку: aisuite - python библиотека-wraper для работы с разными LLM моделями. что бы можно было не разбираться в особенностях каждого API, а работать с ними через единый программный интерфейс. Поддерживает OpenAI, Anthropic, Azure, Google, AWS, Groq, Mistral, HuggingFace Ollama, Sambanova and Watsonx


https://github.com/andrewyng/aisuite

Интересный подход Google к пользовательскому опыту взаимодействия с виртуальным ассистентом - представить его в виде виртуального друга, которому ты звонишь когда тебе нужна какая то помощь :)

https://gizmodo.com/google-gemini-really-wants-to-pretend-its-your-friend-2000559616

Дайджест статей

How Meta Solves Data Lineage At Scale
https://vutr.substack.com/p/how-meta-solves-data-lineage-at-scale?r=15862q&utm_medium=ios&triedRedirect=true

Книги по базам данных, которые стоит прочитать в 2025 году
https://habr.com/ru/companies/ru_mts/articles/884678/

Data Pattern Automation With AI and Machine Learning
https://dzone.com/articles/data-pattern-automation-ai-machine-learning

AI Agents: Future of Automation or Overhyped Buzzword?
https://dzone.com/articles/ai-agents-future-of-automation-or-overhyped-buzzword

Как мы прикрутили RAG для интент-классификации, или Трудности перевода на LLM-ский
https://habr.com/ru/companies/domclick/articles/880114/

Трансформация платформы данных: от пары кубов до хранилища > 30 Тб и 1000 ETL-процессов
https://habr.com/ru/companies/cdek_blog/articles/881618/

В исторической страничке сегодня - 20th Century Chapel.

Художественная инсталляция британского художника Тони Филлипса, расположенная в полуразрушенной церкви Святого Луки (St Luke’s Bombed Out Church) в Ливерпуле.

Инсталляция представляет историю XX века как «реликвию исчезнувшей цивилизации», где бытовые предметы (стиральные машины, телевизоры) и технологии (Wi-Fi, атомная бомба) обретают сакральный статус.

В самом разгаре AI.Engineer саммит в здании The New York Times. Послушал крутейшие доклады от OpenAI, Anthropic, Google Gemini, Sierra и остальных. Несколько тезисных идей:

— 2024 был годом экспериментов с агентами, 2025 год внедрений. Их активно используют все, от JPMorgan, Reuters, BlackRock, Bloomerg до любого инвалида с заднего двора.

— При этом строить агентов, кроме крупных компаний не умеет никто. Никто не знает и даже если знает, то не делает agentic evals, observability, ops.

— Голосовые агенты грядут. Если в 23-24 годах ИИ заменил всю текстовую поддержку, то до 2026 заменит всех операторов телефонов. Прикольные кейсы про анализ и синтез эмоций в голосе и оценку эффективности.

— Специализация. От агентов, которые делают любую херню (с 99% точности) мы приходим к агентам, которые делают очень узкую и четкую задачу, но с 99.99% точности — и только такие агенты будут использоваться тысячами бизнесов в мире.

— Чем больше делают агенты, тем больше их клиентами становятся другие агенты. Сегодня мы строим агентов для людей; завтра — агентов для других агентов.

Сегодня — наиболее уникальное в истории человечества время с точки зрения создания ценности, стартапов, меняющих мир продуктов и технологий. Если вам интересно поработать с лучшими в мире фаундерами, над наиболее сильно меняющей структуру экономики технологий и заработать (кроме з/п) долю от лидирующих компаний создающих этот рост экономики — пишите мне на почту ваше CV. Мы ищем:
— principal (локация Bay Area, опыт фаундера или работы в успешных фондах)
— head of marketing для фонда, организация AI-мероприятий, подкастов, постов
— researcher (MS/PhD в CS/ML и опыт в индустрии или академии)

Обратите внимание, что Duolingo опубликовало свой handsbook со своими инженерными практиками и основными принципами построения/разработки продукта и команды.

Мне очень нравится изучать такие материалы, я много "утаскиваю" в palybook своей команды :)

https://blog.duolingo.com/handbook/

Microsoft хайпанул вчера не хуже DeepSeek и выпустила квантовый чип, который я бы назвал «прикладного уровня» - то есть который уже имеет перспективы работать в реальных бизнес задачах.

Очень интересно, как это скажется на теме ИИ и крипты (тут все ожидают угрозу алгоритмам шифрования, но говорят что это надумано, но я не изучал детали, надо поинтересоваться).

А еще надо помнить что OpenAI сильно дружит с Microsoft и становится интересно, используют ли они квантовые технологии в разработке новых моделей 🤔

https://news.microsoft.com/source/features/ai/microsofts-majorana-1-chip-carves-new-path-for-quantum-computing/

В блоге Martinа Fower появилась интересная статья со систематизацией и описанием подходов по использованию GenAI (оно же LLM в данном контексте) при разработке ИТ продуктов и систем. В целом, думаю, что полное описание всех современных методов и подходов может потянуть на целую книгу, но как отправная точка для более подробного исследования - статья хорошая.

Коллеги разбираюсь следующие подходы:

- Direct Prompting: Send prompts directly from the user to a Foundation LLM
- Evals: Evaluate the responses of an LLM in the context of a specific task
- Embeddings: Transform large data blocks into numeric vectors so that embeddings near each other represent related concepts
- Retrieval Augmented Generation (RAG): Retrieve relevant document fragments and include these when prompting the LLM


https://martinfowler.com/articles/gen-ai-patterns/

Немного веселой продуктовой аналитики :) а ведь правда, получается что чем лучше работает дайтинг приложение, тем выше отток :)

Коллеги, анонс от наших друзей - вебинар по аналитике, который пройдет 27/02

🔹 Почему пользователи заходят, но не покупают?
🔹 Какие фичи реально принесут прибыль?
🔹 Как ваши действия влияют на клиентов в долгосрочной перспективе?
🔹Как повысить эффективность коммуникаций?

Ответы на эти вопросы — в аналитике. Но одной цифры недостаточно, важен контекст. Что если объединить два подхода?

Продуктовая аналитика — изучает путь пользователя на цифровых витринах, чтобы найти зоны роста.
CRM-аналитика — помогает узнать своего покупателя как можно лучше и выстроить с ним эффективную коммуникацию.

🎯 Как использовать эти инструменты, чтобы улучшить продукт и заработать больше?

Обсудим на вебинаре 27 февраля в 16:00.

Егор Лысянский, руководитель группы аналитиков данных АЭРО, расскажет, как:

- Найти выгоду для бизнеса в объединении данных о продукте и клиенте.
- Выделять клиентские сегменты для решения задач персонализации и создавать дополнительные точки контакта с пользователями.
- Выявить, какие каналы приводят клиентов «надолго», а с каких пользователи исчезают после одного заказа.
- Повысить вероятность покупок, увеличить чек и LTV с помощью обогащения данных и качественной data-инфраструктуры.

Присоединяйтесь к вебинару: https://aeroidea.ru/analytics-aero-webinar-27-february