Quarto Extensions + Quarto Wizard

Внешний вид страницы Quarto Extensions, которую разрабатывает Mickaël Canouil существенно преобразился - теперь каждому расширению Quarto соответствует красивая карточка с описанием, ссылкой на репозиторий и разбивкой по категориям. В настоящий момент здесь собрано уже >200 расширений!

Также Mickaël сделал расширение Quarto Wizard для Visual Studio Code, которое помогает управлять проектами Quarto и позволяет легко устанавливать расширения Quarto непосредственно из репозитория. Кроме того, оно предлагает набор команд для создания новых документов Quarto, которые вы можете использовать в качестве отправной точки для своих отчетов об ошибках, запросов функций или любого другого контента, связанного с Quarto. Кроме того, предлагаю заглянуть в его блог, где также много интересного по Quarto.

Dr. Dominic Royé

Я думаю, что многие видели одни из самых узнаваемых и грамотно составленных графиков и иллюстраций в области цифровой географии и климатологии, созданных Dr. Dominic Royé. Юрий Тукачев в TG-канале Weekly Charts в январе 2025 рассказал о том, что веб-сайт автора обновился и и переведен на платформу Quarto. Обратите внимание: особенно впечатляет оформление публикаций. С тех пор на странице появился новый раздел, посвящённый деятельности исследовательской группы Bioclim.

На страницах блога Dominic делится своими находками на R из мира картографии и визуализации данных, но особенно рекомендую заглянуть в раздел Data Vizualization - это завораживающая красота и источник вдохновения!

Getting Started in R: Tinyverse 2nd Edition

Можно ли в R обойтись без Tidyverse? Мне {tidyverse} очень нравится не только своим подходом, следующим "принципу аккуратных данных", но и тем, что операции преобразования и визуализации данных логичны и его "глаголы" напоминают естественный язык. Тем не менее, Luis Apiolaza написал в свое время интересную серию статей Some love for Base R (часть 1, часть 2, часть 3, часть 4). Преимущество такого подхода - стабильность кода, вернетесь к коду через несколько лет - он работает, никакого перехода между версиями скорее всего не будет.

Основываясь на {data.table} и {tinyplot}, Saghir Bashir и Dirk Eddelbuettel сделали замечательное краткое введение в R на основе Tinyverse-подхода (less is more): такой подход означает меньший занимаемый объем, более быструю установку и, что наиболее важно, меньшее количество элементов в графе зависимостей.

LLMs + R

Насколько современные LLMs хороши в написании кода на R?

Simon P. Couch участвовал в разработке таких уважаемых библиотек как {broom}, {workflows}, {bonsai} и т. д. Недавно он выпустил две новые библиотеки на основе LLM ассистентов и {ellmer} - это {gander} (надстройка для Copilot в RStudio и Positron) и {chores} для того, чтобы помочь быстро выполнять повторяющиеся, трудно автоматизируемые задачи.

Сейчас в своем блоге он делится своими соображениями и экспериментами по оценке производительности кодирования в R. В частности, с помощью новой библиотеки {vitals}, которая представляет собой порт R широко распространенного фреймворка Python Inspect, он показывает, как можно делать оценки больших языковых моделей в R.

Статьи по LLM возникают так быстро, что мы не успеваем читать заголовки новостей. Из последнего:

🔹 R with RAGS: An Introduction to rchroma and ChromaDD
🔹 How to Build a Local RAG App with Ollama and ChromaDB in the R Programming Language

См. также Large Language Model tools for R

Information is Beautiful Awards 2024 🌟

Дорогие друзья, в первую очередь, поздравляю всех со светлым праздником Пасхи! 🌟

Information is Beautiful Awards - это награда, которая отмечает выдающиеся достижения и красоту в визуализации данных, инфографике, интерактивных технологиях и информационном искусстве. На награду каждый год подаются сотни, а порой и тысячи визуализаций, начиная с 2012 года.

Вчера был объявлен short list, в который вошли:

🔺 Дата-арт сообщество Цветы & Цифры (ЦиЦ) 🌹 под руководством прекрасной Натальи Киселевой! Я в восторге от этого уютного уголка, объединяющего увлеченных, по-настоящему талантливых людей, созданного для поддержки и общения, в котором и я тоже немножко участвую.

Также я очень рад за участников ЦиЦ:

🔺 Два замечательных 🔥 (просто фантастических!) проекта Надежды Андриановой: One Week in Sound + World in Tangible Fragments

🔺 Потрясающий проект, ❤️ который создала Nina Lindell: Цветы Беслана. Нина сделала из твердой бумаги 334 мака - по числу жертв теракта. Созданный в течение года кропотливой работы, это мемориал ручной работы, где каждый цветок служит «портретом данных», чтобы рассказать историю каждого человека - его возраст, пол и связь с другими (дети представлены в виде маленьких цветов, взрослые - в виде больших, на маковом поле цветы разместили так, чтобы люди из одной семьи были рядом).

Я всех сердечно поздравляю! 🎉

Всем хороших выходных! 👋

Causality and Multiple Regression

Ben Rottman в рамках курса Open Source Research Methods for the Social Sciences сделал Shiny-приложение как инструмент, который поможет понять возможные взаимосвязи между переменными, включая различные эффекты в приложениях к причинно-следственным связям и множественной регрессией.

На приложение обратил внимание Joachim Schork, который ведет собственный YouTube-канал Statistics Globe по R (см. также обзор от H0H1: про HR-аналитику).

GRASS GIS + R 🌳

GRASS GIS — это мощный механизм геообработки, который объединяет более 500 инструментов для пространственного и временного анализа векторных, растровых, 3D-растровых и графических данных. GRASS был разработан для скорости и эффективности, что позволяет ему довольно просто масштабировать рабочие процессы с массивными наборами данных. В то же время R за годы разработки хорошо развивался в статистическом анализе, моделировании и визуализации пространственных данных.

Veronica Andreo на конференции useR! 2024 рассказала о взаимодействии R и GRASS через библиотеку {rgrass}. Например, вы боретесь с большими растровыми наборами данных в R или вам нужен какой-то конкретный инструмент, например, разграничение водоразделов для большой ЦМР высокого разрешения в GRASS, это описано в статье Вероники. Советую также обратить внимание на сайт GRASS, где описано взаимодействие и с Python и присутствуют большие интеерсные руководства.

An Inventory of Spatial Machine Learning Packages in R 👌

Данная страница содержит постер с перечнем библиотек для пространственного машинного обучения в R, представленный на конференции FOSSGIS 2025 в Мюнстере, ФРГ (авторы Nowosad J., Meyer H., Linnenbrink J., Ludwig M.).

Здесь представлено сравнение фреймворков машинного обучения {caret}, {mlr3} и {tidymodels} в R и их возможностей для задач пространственного машинного обучения (ML), а также сделан обзор других библиотек, которые можно использовать для пространственного ML в R.

Постер сопровождается примерами кода, которые демонстрируют, как использовать эти библиотеки для задач пространственного машинного обучения.

Напомню что взаимодействовать в R с ArcGIS можно с помощью {arcgislayers}, с QGIS в {qgisprocess} (см. также презентацию), про GRASS расскажем завтра.

{boxview} 📦

Экспериментальная библиотека {boxview} содержит всего одну функцию boxview::boxview() для отображения кода функции во вложенных блоках, это немного упрощает просмотр кода по сравнению с традиционным способом.

pak::pak("cynkra/boxview")

Model to Meaning (How to Interpret Statistical Models with marginaleffects for R and Python)

Представьте, что вы хотите узнать, как увеличение дохода на 1 000 рублей влияет на вероятность того, что человек купит страховку. Маргинальные эффекты - это способ понять, как изменение одного фактора влияет на результат в статистической моделии, при условии, что все остальные факторы остаются неизменными. Маргинальные эффекты помогают рассчитать «усредненное» влияние для всех наблюдений или для конкретной группы.

Есть хороший повод напомнить про книгу Model to Meaning по библиотеке marginaleffects, которая, по словам автора (Vincent Arel-Bundock) представляет простую, но мощную концептуальную структуру, помогающую аналитикам понимать сложные модели. Дело в том, что теперь книга доступна не только для пользователей R, но и Python и ее манускрипт отправляется в печать.

Это единая точка входа для интерпретации результатов более 100 различных типов статистических моделей и моделей машинного обучения в R и Python.

Уважаемые коллеги!

Красноярский математический центр рад принять у себя участников V Конференции математических центров России, которая пройдет с 11 по 16 августа 2025 г. в г. Красноярске на базе Сибирского федерального университета.

К участию в конференции приглашаются представители российской и мировой математической общественности: аспиранты, студенты, сотрудники математических центров, научные и педагогические работники. Формат работы конференции очный, будут представлены пленарные, секционные и постерные доклады по актуальным направлениям развития и современным достижениям математической науки.

В качестве финансовой поддержки молодых исследователей организаторы конференции предоставят бесплатное проживание ограниченному числу участников по рекомендации руководителей секций.

Подробная информация о мероприятии находится на официальном сайте конференции: https://kmc.sfu-kras.ru/conf2025/
По всем возникающим вопросам следует обращаться на почту оргкомитета по адресу: konf-mc@sfu-kras.ru.

Forecasting: Principles and Practice, the Pythonic Way 🐍🔥

Мы прекрасно знаем, что одна из лучших книг по работе с временными рядами с использованием языка R - Forecasting: Principles and Practice, авторы которой Rob J Hyndman и George Athanasopoulos. Новая книга Forecasting: Principles and Practice, the Pythonic Way призвана предоставить всестороннее введение в методы прогнозирования на Python. Предполагается что здесь не дается подробное обсуждение теоретических деталей, но читатели знакомы с вводным курсом статистики.

Самым важным изменением в этом издании книги является то, что авторы используют nixtlaverse в Python - это коллекция библиотек, разработанная Nixtla, которая предоставляет комплексный инструментарий для прогнозирования временных рядов. Также в новое издание включены две главы по искусственным нейронным сетям и их применениям к задачам временных рядов.

Удачного прогнозирования! 💙

Сегодня выходит R 4.5.0. 🎉
Нововведения можно посмотреть у Jumping Rivers. Пингвины точно будут! 🐧

Хорошего всем обновления! 👋

R Development Guide

В base R входит, по сути, всего 14 библиотек (Eyayaw Beze сделал небольшой обзор), которые можно посмотреть, например, с помощью


library(tidyverse)

as_tibble(installed.packages()) |>
select(Package, Priority) |>
filter(Priority == "base")


Руководство по разработке R - это всеобъемлющий ресурс для внесения для тех, кто хочет внести вклад в base R, охватывающее множесвто вопросов, начиная от отслеживания проблем, создания патчей, документирования, до тестирования предварительных версий и дополнительных вопросов.

A course on Spatial Data Science 🐍 🗺️

Мы уже рассказывали про записки курса Spatial Data Science for Social Geography, который в 2023 году проводился в Charles University, Prague. Курс знакомит с основными принципами программирования и современными вычислительными инструментами с открытым исходным кодом, написанными на языке Python в области науки о пространственных данных. Материалы содержат Jupyter ноутбуки, которые можно запустить локально и отличаются проработанностью. Содержание курса близко к книге Geographic Data Science with Python.

Помимо указанного курса, в Charles University ежегодно выходит и его "облегченная версия", записки которого также доступны.

Напомню про то, что источники по геопространственному анализу можно посмотреть на странице Rесурсы, а всевозможные материалы курсов на соответствующей странице по тегу GeoData.

{equatiomatic} - создание уравнений моделей

Как автоматически отобразить уравнение модели в Quarto / RMarkdown? Один из способов отображения уравнения модели - это использование библиотеки {equatiomatic}. Достаточно создать модель, которая поддерживается библиотекой {broom} (линейная регрессия, логистическая регрессия, и т. д.) и воспользоваться функцией extract_eq(), которая сформирует LaTeX-уравнение.


library(equatiomatic)
library(tidyverse)

mod1 <- lm(mpg ~ drat + wt + qsec,
data = mtcars)

extract_eq(mod1)


$$
\operatorname{mpg} = \alpha + \beta_{1}(\operatorname{drat}) + \beta_{2}(\operatorname{wt}) + \beta_{3}(\operatorname{qsec}) + \epsilon
$$

Я узнал об этой библиотеке из статьи замечательного блога, автор которого - Филипп Массикотт. Обратите также внимание на библиотеку {xdvir} для отображения LaTeX в графиках.

Pointblank - валидация данных в R / Python

Качество данных - один из главных залогов успеха в Data Science. Библиотека Pointblank - настоящая находка, она служит настройки конвейеров проверки данных и может помочь обнаружить и устранить такие распространенные ошибки, как дублирование или повреждение данных. Создается агент, которому предоставляется набор функций проверки для определения шагов проверки. Отчетность сделана на очень высоком уровне. При этом библиотека также позволяет указывать правила в отдельном файле YAML, что может дополнительно повысить переносимость между проектами. Пример работы можно посмотреть в блоге Эмили Ридерер.

Теперь Pointblank доступен и на Python в PyPI как библиотека, примеры валидации данных можно посмотреть на сайте.

{gt} 1.0.0 🔥

Обновилась до версии 1.0.0 библиотека {gt}, которая не нуждается в особом представлении - это, пожалуй, лучшая библиотека для создания статических таблиц, обладающая той же философией, что и {ggplot2} - послойного построения компонентов таблиц. Большой анонс еще, видимо, будет, а пока можно почитать:

🔘 огромное количество статей по {gt} в блоге Posit
🔘 статьи по {gt} и {gtExtras}, которые написал Tom Mock в своем блоге
🔘 книгу Creating beautiful tables in R with {gt}, автор которой Albert Rapp

Библиотека так полюбилась многим пользователям, что авторы {gt} сделали аналогичную библиотеку Great Table для Python (см. видеообзор: видео 1 + видео 2 + видео 3), так и пишут - Absolutely Delightful Table-making in Python. 🐍 

Must have! 🌟

ожидаем на этой неделе еще один большой релиз!

Я не удержался и поддался тренду рисовать AI-картинки в стиле студии Ghibli.

Хороших выходных, друзья! 👋

Data Visualization & Communication ✨

Веб-сайт курса Data Visualization & Communication, который в зимнем семестре вела Sam Shanny-Csik вместе с коллегами, на мой взгляд, один из самых лучших курсов не только по визуализации данных, но и среди многих других аналогичных курсов по Data Science.

Курс нацелен на создание эффективных визуализаций, начиная от вопросов, какие типы визуализации наиболее подходят для ваших данных, до создания графиков в {ggplot2} и его расширениях.

👉 Те, кто готовит свои собственные курсы, обратите внимание - здесь все на высоте: проработанность материала, список ресурсов, задания, оформление, очень подробный и качественно сделанный материал.

Хорошие новости для разработчиков Shiny 🌟

1. Джеймс Баламута представил (помимо библиотеки {dockitect}, о которой уже была статья) еще один экспериментальный проект R - библиотеку {shinydocker}, которая призвана автоматизировать процесс контейнеризации как для приложений R Shiny, так и для Shiny for Python. Что делает библиотека {dockitect}:

- Автоматически определяет, создано ли ваше приложение на R или Python
- Создает соответствующие файлы конфигурации Docker
- Создает образ Docker
- Запускает контейнер с вашим приложением
- Предоставляет URL-адрес для доступа к запущенному приложению

📃 Статья: Rethinking Shiny Containerization: The shinydocker Experiment
📚 Библиотека: {shinydocker}

2. Кайл Уокер в новой статье Building an AI-powered location explorer with Shiny and Claude рассказывает, как интегрировать совершенно новые инструменты, такие как библиотеки {ellmer} и {shinychat} в интерактивные приложения Shiny, которые объединяют пространственные данные и идеи на основе ИИ. Например, всего 69 строчек кода позволяет сделать приложение, которое позволяет пользователям искать местоположения и получать информацию о них.

🫣 Это как раз тот случай, когда не поспеваешь за новостями!

Docker + R = {dockitect} 🐋

Если вы используете Docker в R, то наверняка слышали про экосистему контейнеров Rocker Project (Docker Containers for the R Environment), однако как сделать, чтобы создание и управление Docker файлами стало естественным продолжением вашего рабочего процесса R? Написание Docker файла вручную может быть утомительным и подверженным ошибкам процессом, особенно когда вам нужно включить специфические для R требования, такие как зависимости библиотек.

Новая библиотека {dockitect} предлагает программный, удобный для конвейеров подход к созданию конфигураций Docker непосредственно из R. Автор проекта James Balamuta сделал подробное описание в статье Introducing dockitect: Making Docker Feel More Native to R.

🐙 GitHub репозиторий
✍️ Страница библиотеки

{rix} 🦬

Иногда возникают ситуации, когда необходима определенная версия (устаревшей) R-библиотеки или нужно создать полностью воспроизвести среду, специфичную для проекта, с пользовательской версией R и всеми системными зависимостями (например, GDAL) и развернуть на другой машине. Как тут быть? Для нескольких версий R можно воспользоваться {rig}, для клонирования среды - Docker, однако есть еще вариант! Bruno Rodrigues написал книгу по воспроизводим средам в R, а теперь разрабатывает библиотеку {rix} на основе Nix (см. также доклад + презентация)

В отличие от {renv}, который делает снимки версий библиотек, {rix} предоставляет снимок всей экосистемы, включая зависимости на уровне системы, упрощая создание выражений Nix (который включает почти все библиотеки CRAN и Bioconductor), определяющих воспроизводимые среды. Работе с {rix} посвящено множество статей блога Bruno, а недавно он анонсировал {rixpress} - библиотеку для воспроизводимых аналитических конвееров.

Поиск информации о землетрясениях

28 марта 2025 года произошло разрушительное землетрясение в Мьянме. Напомним веб-ресурсы, помогающие искать информацию о землетрясениях и ликвидации их последствий.

🏚 Поиск землетрясений. Самую оперативную и полную информацию о землетрясениях по всему миру можно получить в USGS Earthquake Catalog (https://earthquake.usgs.gov/earthquakes/search/). Подробнее — здесь. 1️⃣ О землетрясении в Мьянме — здесь.

📸 Данные дистанционного зондирования и аналитика на их основе — Международная хартия по космосу и крупным катастрофам (The International Charter: Space And Major Disasters). Вот список ее активаций, а вот 2️⃣ данные по землетрясению в Мьянме.

🌍 Мониторинг последствий чрезвычайных ситуаций — ReliefWeb (https://reliefweb.int/disasters) — сервис мониторинга чрезвычайных ситуаций, который поддерживается Office for the Coordination of Humanitarian Affairs (OCHA) при ООН.
3️⃣ Информация о землетрясении в Мьянме.

🌍 Copernicus Emergency Management Service — служба управления чрезвычайными ситуациями (Emergency Management Service, EMS) Copernicus снабжает информацией для ликвидации последствий чрезвычайных ситуаций природного и техногенного характера.
4️⃣ О землетрясении в Мьянме.

5️⃣ А вот сообщение д-ра Эрика Филдинга (Eric J. Fielding). В рамках проекта NASA JPL ARIA (https://aria.jpl.nasa.gov) на основе анализа данных оптических снимков Copernicus Sentinel-2 и радарных снимков Sentinel-1 построена предварительная карта смещений по разлому Сагаинг (Sagaing) в Мьянме. Разлом разорвался на расстоянии около 500 км во время землетрясения магнитудой 7,7 28 марта 2025 года. Красным выделено движение на север, синим — на юг. Это измерения горизонтальных смещений по пиксельному смещению или корреляции оптических изображений.

Благодарим за наводку Евгения Матерова, ведущего тг-канал Наука и данные.

#ЧС

Top R Graph Examples: A Curated Collection 🔥

Загляните в галерею, которую собрал Yan Holtz на странице The R Graph Gallery, сделанную чтобы продемонстрировать лучшие графики, которые выполнены с помощью R.

Помимо миниатюр, авторов и описаний, на сайте есть ссылки на руководства с шаблонами и фрагментами кода, чтобы воссоздать графики самостоятельно.

Lisa Hornung 🍁

Мне очень нравится репозиторий, который ведет Lisa Hornung. Это хранилище небольших проектов по анализу и визуализации данных, порой необычных или забавных, в основном для тестирования библиотек и создания новых типов визуализаций. Здесь особенно то, что главный инструмент Лизы - Python!

DataBrewer Gallery ⛱️

Вебсайт DataBrewer содержит набор очень красивых визуализаций (и не только, например, тут есть небольшие руководства), сопровождаемых кодом на R и пошаговыми инструкциями.

👉 Напомню, что начался 30DayChartChallenge.

В {tidymodels} можно почувствовать себя "агрономом", потерявшимся в поле факторов: {parsnip} 🌱 VS {maize} 🌽.

Можно подумать что картинка относится одному известному руководству, но это далеко не так!

С 1 апреля!

STHDA / Datanovia

Alboukadel Kassambara - известный автор отличных книг Practical Guide To Principal Component Methods in R, Practical Guide to Cluster Analysis in R и других, а также библиотек {factoextra} для анализа главных компонент и кластерного анализа, {ggpubr} - библиотеки для визуализации данных в R, в свое время создал веб-сайт STHDA, который содержит массу различных руководств по R.

Увы, с переездом сайта STHDA на Datanovia, сделанном на Quarto, нельзя не заметить торчащие уши Quarto-странички, видимо переезд еще не закончен, однако здесь появилась, например, мини-книга Mastering R in VSCode: A Complete Guide (думаю будет актуальна и для пользователей Positron) и ряд новых руководств.

{targets} 🎯

Многое из того, что делается с помощью языков программирования, - это шаблоны действий, и {targets} позволяет определить свой конвейер для автоматизации как серию вызовов R (например, для создания больших отчетов). Руководство The {targets} R package user manual и презентация (автор Will Landau) (+доклад) дают очень хорошее введение в библиотеку.

Сейчас идеология {targets} приходит и в другие области R, например, на CRAN выходят библиотеки:

▫️ {geotargets} расширяя {targets} для работы с геопространственными форматами данных, такими как растры и векторы;
▫️ {rixpress} для определения воспроизводимых аналитических конвейеров (автор Bruno Rodrigues).

Доступ и отображение данных GEDTM30 в QGIS (отсюда).

#DEM

Глобальная ансамблевая цифровая модель рельефа GEDTM30

Глобальная ансамблевая цифровая модель рельефа (ЦМР) с пространственным разрешением 30 м, GEDTM30, (Global Ensemble Digital Terrain Model 30 m) создана при помощи ЦМР Copernicus, ALOS World3D и модели высот объектов в рамках подхода слияния данных. В рамках глобально-локальной модели трансферного обучения с чередованием 5°×5° использовались глобально распределенные наборы лидарных данных: ICESat-2 ATL08 (наилучшая высота местности) и GEDI02 (наименьшая высота — lowest mode elevation), насчитывающие в общей сложности более 30 миллиардов обучающих точек. Первоначально была подобрана глобальная модель с использованием ICESat-2 и GEDI, а затем локальные оптимизированные модели для каждого тайла, обеспечивающие как глобальную согласованность, так и локальную точность.

Независимая проверка показала, что GEDTM30 снижает среднеквадратичную ошибку (RMSE) ЦМР Copernicus примерно на 25,4% в районах городской застройки, на 10,0% в районах с 10–50% древесного покрова и на 27,3% в районах с более чем 50% древесного покрова. По сравнению с современными ЦМР (MERIT DEM, FABDEM и FathomDEM), GEDTM30 достигает наименьших вертикальных ошибок при оценке с помощью записей GNSS-станций, что дает стандартное отклонение 7,77 м, RMSE 10,69 м и среднюю ошибку 7,34 м.

Затем GEDTM30 использовалась для расчета 15 стандартных параметров поверхности земли — топографии и гидрологии — в шести масштабах (30, 60, 120, 240, 480 и 960 м).

Весь рабочий процесс был реализован на языке Python с использованием GDAL и Whitebox Workflows.

Данные и код GEDTM30 находятся в открытом доступе в виде облачно оптимизированных GeoTIFF

🔗 Скачать GEDTM30 на Zenodo

🖥 Код для создания GEDTM30 на GitHub

📖 Методика создания GEDTM30

🙏 Благодарим за наводку Евгения Матерова, ведущего тг-канал Наука и данные.

#DEM #данные

Всем хороших выходных! 👋

ShinyConf 2024/25 ☀️

В ожидании конференции ShinyConf 2025, которая пройдет с 9 по 11 апреля, Appsilon (лучше поздно, чем никогда) выложили материалы ShinyConf 2024 на YouTube, есть интересные доклады. Разбиение по разделам:

▫️ Workshops
▫️ Shiny for Good
▫️ Shiny in Life Sciences
▫️ Shiny in Enterprise
▫️ Shiny Innovation Hub

Ну а «хедлайнером» ShinyConf 2025 должен стать Winston Chang с докладом Shiny and AI.

zed-r 💤

Плагин для R в IDE Zed, по словам авторов, продолжает активно развиваться и совершенствоваться. Для пользователей (пока, судя по всему, только macOS и Linux — владельцам Windows придется подождать), которые рассматривают, скажем, переход с Positron на Zed, плагин можно подключить напрямую в среде разработки.

Zed демонстрирует высокую скорость работы, а функция edit prediction действительно впечатляет, однако в плане удобства связка RStudio + VS Code (для работы с Quarto) пока остается более практичным выбором для большинства задач.

P.S. Тому, кто сможет пройти квест и подключить REPL for Zed через Ark-ядро, от меня 🌹.

Изохроны как картограммы 🗺️

Библиотека {distanamo} строит картограммы расстояний (центрированные картограммы времени): используя данные из OpenStreetMap, географическое расстояние заменяется временным расстоянием, а базовые слои карты деформируются соответствующим образом, тогда изохроны превращаются в окружности.

Несомненно, идея интересная: сделать прямое преобразование, решить задачу (например, достижимости) в евклидовой метрике и сделать обратное преобразование, но если имеется несколько центров, то так уже не получится. Кроме того, интуитивно хочется верить, что все стандартные 2D-понятия (диаграммы Вороного, пространственная автокорреляция, модель Хаффа, К-функция, оценки плотности вероятности и т. д.) можно перенести и на сетевой анализ, но это не совсем так (см., например, Spatial Analysis along Networks).

Премия Абеля 2025 🌟

Одной из главных наград в математике — Абелевской премии в 2025 году заслуженно удостоен Masaki Kashiwara, 🎉 RIMS, Kyoto University and KUIAS, Japan за его фундаментальный вклад в развитие алгебраического анализа, теории D-модулей и теории представлений.

Касивара — ученик Mikio Sato. Еще в своей диссертации в 1974 году он доказал результат, который нетрудно сформулировать, но сложно доказать — рациональность корней полиномов Бернштейна-Сато, используя разрешение особенностей и теорию D-модулей. D-модули, основы теории которых заложил Касивара — это способ превратить задачи анализа (дифференциальные операторы) в задачи алгебры.

Фильтрация Касивара-Мальгранжа, теорема Касивары об индексе, теорема Касивары о кристаллическом базисе, соответствие Римана-Гильберта для D-модулей, вариант теоремы Коши-Ковалевской, микролокальный анализ — это далеко не полный перечень результатов Масаки Касивара. Отмечу что книга Пучки на многообразиях (М. Касивара, П. Шапира) переведена на русский язык.

List of all projection images 🗺️

Географам на заметку: список всех географических проекций - от распространенных до самых необычных можно посмотреть на веб-странице proj.org. Все проекции проиллюстрированы мини-картами, параметрами и пояснениями.

Напомню про веб-сайты Projection Wizard и Spatial Reference List.

Cropping {ggmap} rasters with {terra} to make beautiful maps 🗺️

Aditya Dahiya, в целях иллюстрации для получения, обрезки, маскирования и построения растровых карт, использовал библиотеки: {osmdata} для нахождения границ, {sf} для пространственных операций, {ggplot2} и {tidyterra} для визуализации результата. Код демонстрирует сложную интеграцию нескольких методов обработки пространственных данных, в результате чего получились карты профессионального качества.

Обе получившиеся у автора карты отличные - и Лондона и Владивостока, но карта Владивостока, а которой выделены административные районы города с метками как на русском, так и на английском языках, конечно, запомнилась больше. Все как по классике. Если здесь есть читатели из Владивостока, надеюсь что они смогут дать оценку.

💻 Новый практический гайд по difference-in-differences для исследователей

Мы уже писали, что метод "разности разностей" (Difference-in-Differences, DiD) — один из наиболее распространенных квазиэкспериментальных методов для оценки причинных эффектов в экономике и социальных науках (Garg, Fetzer, 2024; Goldsmith-Pinkham, 2024; Currie et al., 2020)

В середине марта весьма звёздный состав авторов опубликовал методологическое руководство-препринт для всех, кто использует DiD в прикладных исследованиях (Baker et al., 2025)

🙂 В чём ценность работы?
🟤Авторы систематизируют современные подходы к DiD и показывают, что классический дизайн с двумя группами и двумя периодами (2×2) — лишь частный случай
🟤Когда в данных много периодов, есть ступенчатое введение воздействия (staggered treatment adoption), а эффекты гетерогенны по группам или во времени (treatment effect heterogeneity), простое использование регрессии с двунаправленными фиксированными эффектами (Two-Way Fixed Effects, TWFE) может приводить к смещённым оценкам (Roth et al., 2023; de Chaisemartin & D’Haultfoeuille, 2023)
🟤Авторы предлагают переход от обратного проектирования (backwards engineering) (позитивный подход, когда исследователь ориентируется на существующие методы и пытается приспособить их к данным) к прямому проектированию (forward engineering) (нормативный подход, при котором исследователь начинает с определения целей исследования и строит модели и методы, которые соответствуют этим целям)
🟤В рамках этого подхода предлагается рассматривать сложные дизайны как комбинацию элементарных 2×2 сравнений (2×2 building blocks) и использовать аккуратную агрегацию результатов

🖥 Мы собрали основные пакеты в R, которые вам пригодятся в ваших исследованиях с использованием DiD
🟤did (Brantly Callaway, Pedro Sant’Anna) - оценка эффектов DiD при ступенчатом дизайне воздействия, множественных периодах и гетерогенности с агрегацией и визуализацией
🟤fixest (Laurent Berge) - быстрые панельные регрессии с фиксированными эффектами и поддержкой кластеризации и переменных взаимодействия (interactions)
🟤bacondecomp (Andrew Goodman-Bacon) - разложение TWFE-оценки на вклад парных сравнений. Используется для диагностики весов и потенциальных источников смещения
🟤did2s (Kyle Butts, Mike Gardner) - двухшаговая устойчивая оценка DiD при вариации времени воздействия
🟤DRDID (Pedro Sant’Anna, Jun Zhao) - двойная робастная оценка DiD через IPW и outcome regression

#канал_обозревает
#канал_рекомендует
@causal_channel

maposm 🗺️

Достаточно новая библиотека {maposm} создает карту на основе слоев данных OpenStreetMap с помощью библиотеки {osmdata}, которая, в свою очередь, использует Overpass API. Мы (подобно тому, как это сделано в библиотеке {rayvista} для 3D-карты) задаем координаты и радиус в качестве исходных данных.

Ближайшие аналоги: {osmplotr}, {rcityviews} и {prettymaps} (для Python), о котором Настя недавно упоминала.

Код довольно прост:


pak::pak(jabiru/tictoc)
install.packages("maposm", repos = "https://riatelab.r-universe.dev")

library(maposm)

my_map <- om_get(x = c(37.617874, 55.758804), r = 2000)
om_map(x = my_map, title = "Москва", theme = "grey")


Отмечу что теперь появился полноценный "сетевой" раздел: CRAN Task View: Network Analysis

8<---
Какие каналы еще пишут про язык R / используют в работе?

🔸 Канал влияния, который создали прекрасные девушки экономисты-исследователи (экономический факультет МГУ им. М. В. Ломоносова), их научная направленность - Causal Inference, соответственно, по этому направлению в R они также эксперты

🔸 Спутник ДЗЗ - тут собраны все вопросы дистанционного зондирования Земли; на канале появляются еженедельные заметки по пространственному анализу данных в R, надеюсь, что у них будет возможность собрать все в единый учебный курс

🔸 ЛССИ / LCSR - официальный TG-канал Лаборатории сравнительных социальных исследований им. Р. Ф. Инглхарта НИУ ВШЭ

🔸 Nodes and Links - канал для исследователей и аналитиков социальных сетей, Лаборатория прикладного сетевого анализа НИУ ВШЭ

🔸 People Analytics - канал про HR-аналитику также от Юрия Тукачева, где R используется для анализа и визуализации HR-данных

🔸 GIS AND PEACE - работа с картографическими ГИС-данными с прекрасно оформленными постами от Беллы Мироновой (в основном из языков программирования это Python, но встречается и R)

🔸 Настенька и графики - датавиз-канал Насти Кузнецовой с прекрасными иллюстрациями, который, я думаю, знают все; основной Настин инструмент - Tableau, но R тоже входит в арсенал визуалистов

🔸 Рюмочная ИПП - Институт проблем правоприменения при Европейском университете в Санкт-Петербурге, коллеги делают интересные аналитические отчеты на R

🔸 Если быть точным - данные о социальных проблемах в России, где также используют R при подготовке и анализе данных

🔸 H0H1: про HR-аналитику - канал про HR аналитику и всё, что с этим связано, отличные серии статей, связанных с R и статистикой

Если есть что-то помимо указанного выше, напишите в комментариях. Здесь представлены именно TG-каналы, а не группы для обсуждения.

Telegram каналы по R 🧶

Какие Telegram каналы по R есть на русском языке? Поскольку такой вопрос задают коллеги, можно сделать небольшой обзор по каналам, с авторами которых я так или иначе знаком. Всем сердечно жму руку! 🤝

🔺 R in Action (ru) - уникальный канал, в котором Илья Шутов ставит интересные задачи (в основном связанные с R), предлагает изящные качественные решения; это бортовой журнал с "вдумчивыми заметками", приправленными авторитетным мнением

🔺 R4marketing | канал Алексея Селезнёва | Язык R - канал, в котором публикуются самые разнообразные материалы по языку R; автор канла имеет и свой видеоблог. Пока Алексей находится в силу обстоятельств в творческом отпуске, записи появляются довольно редко, но все что он пишет - 🔝!

🔺 Статистика и R в науке и аналитике - здесь Елена Убогоева подробно разбирает вопросы, связанные со статистикой и языком R, а также темы, относящиеся к с продуктовой аналитике (в том числе и на своей веб-странице)

🔺 RAntiquity - Ольга Алиева (автор курса Компьютерный анализ текста, доцент Школы философии и культурологии НИУ ВШЭ) занимается глубокими исследованиями в цифровых методах в гуманитарных науках, в частности, изучает древнегреческий, и тут без R никак не обойтись. Всем известно, что в ее руках могут зацвести даже связные ациклические графы деревья

🔺 Weekly Charts, автор Юрий Тукачев - большой энтузиаст визуализации данных, Datawrapper, LLM, но для нас интересно, как он делится своими примерами визуализаций в {ggplot2}

🔺 Типизированный R - совершенно новый 🌟 канал, который создал Анатолий Цыпленков. Основная область интересов Анатолия - геопространственный анализ, язык программирования R, но он также обещал делиться своими впечатлениями о жизни в Новой Зеландии, где работает в настоящий момент.

🔹 HSE R Meet Up - Новости и анонсы митапов по R
8<---

ShinyConf 2024/25 ☀️

В ожидании конференции ShinyConf 2025, которая пройдет с 9 по 11 апреля, Appsilon (лучше поздно, чем никогда) выложили материалы ShinyConf 2024 на YouTube, есть интересные доклады:

▫️ Workshops
▫️ Shiny for Good
▫️ Shiny in Life Sciences
▫️ Shiny in Enterprise
▫️ Shiny Innovation Hub

Ну а «хедлайнером» ShinyConf 2025 должен стать Winston Chang с докладом Shiny and AI.

Если бы R можно было запечатать в бутылку... 🍷

Оказывается, Chateau Clinet Bordeaux выпускает вино с буквой R на этикетке. Признаться, выглядит довольно необычно и эффектно.

✋ Я алкоголь не пью, не рекомендую, не рекламирую, пропагандирую только здоровый образ жизни.

Всем хороших выходных! 👋

Visualization for Social Data Science 💥

Онлайн-книга Visualization for Social Data Science охватывает различные аспекты визуализации данных: от фундаментальных основ и EDA до визуализаций географических данных как сетевых данных, визуализации непоределенностей (что перекликается с лекциями Майкла Френдли) и касаются графического повествования и сторителлинга.

Каждая глава знакомит с концепциями для анализа, сопровождаемыми технической реализацией и представляет рабочие процессы с кодом на R для использования графики данных и статистики. Книга предназначена для людей, анализирующих общественные проблемы, в широком смысле - аспирантов, исследователей, журналистов данных и не только.

Прекрасные иллюстрации дополняют уже известные издания в этой области, и я вполне допускаю что данная книга также может стать хрестоматийной.

Data Art Gallery by Nicola Rennie 🌟

Nicola Rennie завела прекрасную страничку Data Art Gallery. В этой галерее представлены различные примеры искусства, основанного на данных. Каждый пример включает синопсис базовых данных и то, как арт используется для их представления. Самое приятное — страница включает код R или Python, используемый для его создания. Как и генеративное искусство, основная цель data art — это художественное воздействие, а не ясность или анализ, пусть оставшуюся работу сделает за вас воображение.

Помимо галереи, автор написала замечательную статью о создании искусства на основе данных, пояснив, что это такое и в чем состоит процесс создания работ, а также указала ссылки с примерами для вдохновения, например, Graphiti и Tableau Data Art. Отмечу что для создания data driven art не обязательно использовать цифровые инструменты!

Дополнение: страничка автора с ее 30DayChartChallenge работами.

Необычные градиенты в R

James Goldie написал небольшую статью по градиентам в {ggplot2}. Градиенты и узоры в R появились еще в версии R 4.1 (выпущенной в 2021 году), а {ggplot2} начал поддерживать их в версии 3.5.0 (выпущенной в начале 2024 года). Эта поддержка осуществляется через {grid}пакет, который поставляется с R, но не является предварительно загруженным, с помощью функций linearGradient() и radialGradient().

James Goldie развивает вопросы создания градиентов, чтобы сделать презентации (и не только) визуально привлекательными.

flipbookr примеры (Gina Reynolds)

Gina Reynolds в свое время создала несколько интерактивных руководств, которые используют {xaringan} для создания презентаций и ее библиотеку {flipbookr} для создания последовательного построчного вывода как "fipbook". Визуально это выглядит очень приятно, вот две из ее страничек, которые нисколько не устарели:

▫️ a ggplot2 grammar guide

▫️ Data Manipulation

А есть ли возможность также сделать в презентациях Quarto? Один из возможных вариантов - сделать "flipbook" использует параметр output-location, как об этом написала Mine Çetinkaya-Rundel, другой (посложнее) - рассмотреть Flipbookr for Quarto от Kieran Healy.

NICAR talks by Ben Welsh (data journalism)

Ben Welsh - репортер, который работает в агенстве Reuters, крупнейшем в мире поставщике мультимедийных новостей. Один из проектов, в котором от принимал участие, был удостоен Пулитцеровской премии. Ben сделал три доклада на конференции NICAR 2025 - data journalism, которые могут быть интересны и оформил их как мини-книги:

▫️ First LLM Classifier (как журналисты используют модели с большим количеством языков для организации и анализа массивных наборов данных)
▫️ First Athena Query (как анализировать миллионы записей за считанные секунды с помощью Amazon Web Services и SQL)
▫️ Go big with GitHub Actions (как масштабировать и автоматизировать задачи используя GitHub Actions)

Кстати, Sharon Machlis сделала сборную страницу ресурсов NICAR, касающуюся картографирования/GIS, GitHub Actions, R, Python, LLMs, command-line tools, JavaScript и многого другого.

Brand your Quarto projects with brand.yml ✨

Еще один очень красивый доклад на тему автоматической стилизации Quarto документов, который сделала Isabella Velásquez, на этот раз на семинаре R-Ladies Philly.

Напомню что brand.yml - новинка последней версии Quarto для поддержики унифицированной стилистики для всех инструментов Posit от веб-приложений до печатных отчетов, дэшбордов и презентаций с единообразным внешним видом.

Как всегда познавательно и практично, видимо пора сделать (наше) небольшое руководство по brand.yml.

🐙 Репозиторий
📹 Видеозапись
✍️ Слайды презентации

3D-версия ggplot2 📊

Возможно не все знают о том, что библиотека {ggrgl} расширяет возможности {ggplot2}, добавляя z-координату в "эстетику" (aes).

Получившиеся изображения являются интерактивными и открываются в отдельном окне через {rgl}, аналогично тому, как это делается в {rayshader}, в котором тоже реализован некий 3D-аналог {ggplot2}.

Установка библиотеки {ggrgl} зависит от нескольких сопутствующих библиотек и может оказаться непростой, но возможно результат того стоит.

- Евгений Николаевич, а как Вы пишите в свой Telegram-канал?
- Знаете, коллеги, как-то... пишу.

Всем хороших выходных! 👋

π-Gebäude an der FU in Berlin-Dahlem

Когда я полгода работал в Свободном университете Берлина, мне запомнилось здание, относящееся к математическому факультету, на фасаде которого выписаны первые 314 цифр числа π. Теперь вспоминаю про него каждую середину марта. :)

В качестве дополнения посмотрите There's more to those colliding blocks that compute pi от 3Blue1Brown

Introduction to Bayesian statistics in R & brms

Dr. Benjamin Rosenbaum, Friedrich-Schiller-Universität Jena, Leipzig поделился заметками 4-х дневного курса Introduction to Bayesian statistics in R & brms по прикладной статистике с использованием байесовского вывода для экологов.

Курс начинается с обзора принципов, рассматривает линейные и обобщенные линейные модели, включение случайных эффектов, модели Stan. Курс содержит как R-код основанный на библиотеке {brms}, так и материалы лекций и практических занятий.

DuckDB Resources 🦆

DuckDB - очень хороший рекомендуемый инструмент. Теперь все ссылки на ресурсы, связанные с DuckDB, можно увидеть на единой странице, а то, что не вошло в список можно посмотреть на странице awesome-duckdb.

Вышел UI интерфейс к базе данных DuckDB, что может тоже быть весьма ценным инструментом.

👉 Для тех, кто недавно присоединился к каналу Наука и данные и кому интересны вопросы геопространственного анализа, напомню о подборке ресурсов, включая различные курсы, в том числе связанные с географическими данными. Но стоит предупредить, что в основном тематика НиД рассматривает язык программирования R и некоторые смежные вопросы.

Cartography with R 🗺️

Timothée Giraud (Paris, France, Center for Spatial Analysis and Geovizualization, CNRS) является одним из разработчиков прекрасной библиотеки {mapsf} для создания тематических карт в R (см. его замечательный блог).

Недавно он оформил веб-страницу Cartography with R, цель которой - оказать поддержку в изучении тематического картографирования с помощью R, включая введение в пространственную экосистему R, векторные данные и создание тематических карт. Материалы хорошо иллюстрированы и сопровождаются презентациями.

Doom в R 🙈

Mike Cheng (aka coolbutuseless) экспериментирует с реализацией знаменитого шутера Doom на основе doomgeneric. Вот так можно запустить Doom в RStudio:


pak::pak("coolbutuseless/rdoom")

x11(type = 'dbcairo', width = 6, height = 4)
dev.control('inhibit')

library(rdoom)
doom(nframes = 400)


Увы, этот порт неиграбельный, некоторое время идет заставка и все, нет возможности управления, нет аудио и т. д. Автор считает проект тупиковым, но ведь уже существует подход к перемещению в «3D» среде с помощью клавиатуры в {raycaster}, значит все когда-нибудь получится.

R на Android телефоне 🎉

Поскольку Google анонсировал запуск Debian Linux Terminal App для Android, стало любопытно: можно ли запустить R на Android телефоне? Оказывается - можно!

Dirk Eddelbuettel поделился опытом, запустив в Linux терминале: sudo apt install r-base-core (возможно сначала понадобится выполнить sudo apt update).

К сожалению, пока Linux доступен только на последних устройствах Pixel под управлением Android 15, но возможно все впереди с выходом 16-й версии Android.

Календари в R 📅

В R можно создавать довольно симпатичные календари с использованием самых разнообразных функций и стилей для выделения дней недели, особенных событий и многого другого.

Здесь можно выделить две библиотеки: {calendR} и {ggcalendar}. Для того, чтобы получить таблицу с праздничными и выходными днями в календаре (а в примере на картинке учтены и предпраздничные дни), можно использовать подход Ильи + производственный календарь в JSON.

Очень красивый пример реализации календаря в R привела Nicola Rennie.

Дорогие леди (мамы, бабушки и не только), в преддверии замечательного праздника ❤️ я хочу пожелать вам здоровья, пусть все задуманное сбудется, мамам и бабушкам чтобы радовали дети и внуки! 🌷

Хороших выходных! 👋

HTML for People

1. Мини-книга HTML for People, автор которой Blake Watson, поможет освоить основы HTML в достаточно несложной форме, все достаточно просто и доступно.

2. Jeremy Howard создает достаточно интересные проекты, например, не так давно у нас был обзор на фреймворк FastHTML, который позволяет создавать веб-приложения полностью в Python. MonsterUI — это новая надстройка поверх FastHTML, которая предоставляет предварительно стилизованные компоненты на основе современных библиотек (таких как Tailwind, FrankenUI, DaisyUI). Возможно пригодится для тех, кто программирует на Python, но пока примеров маловато, хотелось чтобы была такая же большая галерея примеров хотя бы как для Quarto.

Вышел анонс уже 5-го ежегодного челленджа 30DayChartChallenge! 🌟

30 дней 📈 30 чартов 📊 5 категорий

‼️ Как принять участие?

🟡 выберите любые данные, которые вам нравятся
🟣 используйте любой инструмент, который вы хотите
🔴 отдавайте должное данным и источникам вдохновения
🔵 будьте дружелюбны и предоставляйте конструктивную обратную связь
🟠 делитесь своим датавизом

👉Ждем начала мероприятия c 5 апреля, тем временем:

📍 Информация по конкурсам прошлых лет
📍 Примеры визуализаций в R

Geospatial Python 🐍 Tutorials

Страница Geospatial Python Tutorials предлагает заметки курсов по пространственному анализу и дистанционному зондированию Земли. В частности (помимо самой страницы) это два обстоятельных руководства

▫️ Python Foundation for Spatial Analysis
▫️ Mapping and Data Visualization with Python

Напомню что больше курсов, связанных с географическими данными, можно посмотреть на этой страничке + книги по геопространственному анализу, не только на основе R, но и Python и Julia.

Также будем ждать новых руководств в пособии GEO-PY in Urban Analytics от Беллы Мироновой (TG-канал 🌎🕊️ GIS AND PEACE), который она обещала продолжить! ❤️

Transport Data Science 🚴‍♂️ 🚉 🚎

Robin Lovelace, Professor of Transport Data Science (University of Leeds Institute for Transport Studies, UK) - это такой же титан в мире транспортных технологий и науке о данных в R, как, скажем, Geoff Boeing (автор OSMnx) в мире Python.

Новый курс Transport Data Science, который создает Robin, призван научить современным и перспективным навыкам для решения транспортных проблем с практическими примерами и воспроизводимыми рабочими процессами с использованием стандартных отраслевых инструментов науки о данных.

В основе курса используется язык программирования R, однако Python - еще один неплохой выбор, и многие из примеров фрагментов кода, которые сделаны на языке R, были перенесены в примеры Python.

Рекомендую посмотреть заметки всем тем, кто занимается транспортным планированием и смежными задачами.

Regenbogen палитры 🎨

Выбор цветовой палитры - это всегда непростая задача, уже было написано множество статей, выпущено огромное количество библиотек, создано множество коллекций.

Если нужны палитры "на каждый день", то классическим выбором будут Virdis, colorbrewer2.org, {ggsci}, если этого не хватит, то поможет R Color palettes + {paletteer}. Ну а если и этого будет мало - на это есть отдельная подборка.

Regenbogen - это отличный сайт (автор Jan Simson) с более чем 2400 палитрами.

Страница очень удобно устроена:

▫️ можно скопировать HEX-код отдельного цвета или сразу всей палитры 🌟
▫️ посмореть визуально, как все будет выглядеть на графиках 🎉
▫️ преобразовать текущую палитру в Colorblindness-версию 🔥
▫️ посмотреть примеры кода использования в R и Python 👌

Сайт напоминает Color Palette Finder (автор Yan Holtz), но (субъективно) выглядит интереснее.

R in the Browser: WebAssembly Distribution for JupyterLite

Наступает эра для интерактивных вычислений в браузере, и недавно был анонсирован еще один проект - доступ языка программирования R в дистрибутиве Emscripten-Forge (это организация GitHub, содержащая рецепты для сборки пакетов conda для платформы emscripten-wasm32) для WebAssembly, который обеспечивает рабочие процессы R в JupyterLite через ядро Xeus-R Jupyter, что дает интересные перспективы в масштабировании.

Чтобы попробовать R в JupyterLite, перейдите по этой ссылке (файл demo.ipynb). Подробности по созданию и дистрибутива и как выполнить развертывание с помощью пользовательских пакетов можно почитать в статье R in the Browser: Announcing Our WebAssembly Distribution, автор Isabel Paredes (в РФ понадобится VPN, поскольку это статья на Medium).

Interactive R, Python, and Shiny in the Browser with Quarto and Shinylive

Isabella Velásquez сделала интересный доклад на митапе R-Ladies Rome, который называется Interactive R, Python, and Shiny in the Browser with Quarto and Shinylive.

Доклад в популярной форме показывает, как использовать интерактивный вариант RStudio, где искать webR-библиотеки, как включить интерактивные составляющие в Quarto документ, сделать Quarto Live или Shiny Live (см. также мое маленькое руководство) страницу, примеры таких страниц. Максимально полезно!

▶️ Видео доклада
📊 Презентация
🔧 Репозиторий

The Next Generation of Data Science Education

R в браузере, R не требует установки, интерактивные обучающие материалы по языку R... Теперь все это возможно благодаря WebAssembly: WebR для R, а для Python благодаря Pyodide.

James Balamuta (Department of Statistics, Stanford) создал прекрасную страницу The Next Generation of Data Science Education с демонстрационными материалами, соединяющими эти технологии и Quarto Live как backend.

Также он поделился материалами своего доклада для Python версии технологий (обратите внимание, что в презентации в левом нижнем углу есть иконка, нажав на которую Python запускается прямо в презентации!):

▶️ Видео доклада
📊 Презентация
🔧 Репозиторий

Мои студенты на 2-м курсе попросили "какой-нибудь мем в TG-канале, а то давно не было". Так и быть.

Вот таким (бородатым) нетрадиционным способом я им напоминаю, чем отличается / slash от \ backslash. Помогает, правда, слабовато, уже не то поколение.

Хороших выходных! 👋

Ten Tremendous Tricks in the Tidyverse

Некоторое время тому назад David Robinson на своем YouTube канале каждую неделю исследовал данные из проекта TidyTuesday, которые были ему неизвестны заранее. 🔥 Увы, сейчас его скринкасты прекратились. Будем надеяться, что содержательных видео на YouTube и других платформах станет больше, а не Data-Science-Hangout/Python болтовни от Posit PBS.

Тем не менее, один из лучших докладов, который делал David: Ten Tremendous Tricks in the Tidyverse. Вот эти приемы:

1. count()
2. создание переменных в count()
3. add_count()
4. summarize()
5. fct_reorder() + geom_col() + coord_flip()
6. fct_lump()
7. scale_x/y_log10()
8. crossing()
9. separate()
10. extract()

Крайне рекомендую посмотреть, очень простые и полезные идеи!

Отмечу, что Olivier Gimenez также собрал свою страницу tidyverse-tips, где делится своими наблюдениями по мотивам скринкастов, которые делал David Robinson.

Tanya Shapiro ✨

Таня из Санкт-Петербурга, но... не Таня, а все-таки Tanya Shapiro и St. Petersburg находится в штате Флорида, США. Tanya работает в SQL, Python, JavaScript и, конечно, в R. Она участвует в челленджах, делает визуальные проекты, активно участвует в R-Ladies и других сообществах.

Ее работы можно посмотреть на GitHub (+Personal Data Visualization Projects), на сайте, TidyTuesday-странице. Хорошей визитной карточкой является ее презентация Anything is Plotsible.

Closeread Prize

Мы все ждали-ждали... Хорошо, я ждал. И что же? Объявлены победители премии Closeread Prize! Участники конкурса должны были создать scrollytelling-историю на основе библиотеки Closeread - расширения для Quarto. Это расширение позволяет создавать веб-истории, которые разворачиваются по мере того, как пользователь прокручивает страницу. Инструменты участников конкурса также включали в себя R, Python, Shiny и Javascript.

Главный приз получила работа EURO 2024 Final Scrollytelling Analysis by Óscar Bartolomé Pato, на мой взгляд не очень выразительная. А вот мне понравились простые, но наглядные работы от Nicola Rennie, Benjamin Nowak с работой A Journey Through France (почему-то на конкурсе я ее не видел), а также работа Eine kurze Geschichte der Arbeitszeit, которую сделал Matthias Schnetzer.

ggalign

Библиотека {ggalign} - это расширение ggplot2, которое позволяет работать со сложными наборами данных, требующими точного выравнивания по строкам, столбцам и даже внутри элементов графика. Например, это может быть тепловая карта, круговая диаграмма, но одно из основных ее применений - выравнивание дендрограмм и деревьев.

Хотя существующие инструменты предоставляют некоторые решения, они часто не обеспечивают гибкости, контроля и простоты, которые нужны пользователям для создания сложных и согласованных графиков.

Авторы библиотеки написали мини-книгу ggalign: Bridging the Grammar of Graphics and Complex layout в качестве документации.

👉 Ели вы хотите быть в курсе того, что происходит с {ggplot2} - заглядывайте на сайт ggplot2 extenders/ggplot2 extension club 🫖

Subway Stories: Building an Visualization w/ Transit Data 🚉

Согласно закону об открытых данных, который подписал губернатор Нью-Йорка, начиная с 2021 года стали доступными наборы данных о транспортном пассажиропотоке, которые теперь могут быть доступны и интерпретированы, что привело к запуску конкурса MTA Open Data Challenge в 2024 году. Визуализация, про которую я хочу рассказать, попала в финал конкурса.

Jediah Katz (старший инженер-программист в Figma) и Marc Zitelli (аналитик по обработке данных) сделали совершенно потрясающий проект Subway Stories как scrollytelling, и на семинаре New York Open Statistical Programming Meetup у Джареда Ландера (один из самых замечательных семинаров, связанных с наукой о данных) ✨ рассказали, как они этот проект реализовали, какие инструменты использовали.

How to use a histogram as a legend in {ggplot2} 📊

Идею этого комплексного аннотирования в легенде {ggplot2} через функцию annotation_custom() я уже видел в одном из докладов на DC R-конференции ооочень давно (в 2019-м): Better DataViz in ggplot2: Tips, Tricks, and Examples, Alex Engler. Мне идея сразу запомнилась, и сейчас снова я вижу тоже самое в другом исполнении.

Andrew Heiss в своем блоге делится, как можно комбинировать график (в его случае это карта) с легендой в виде гистограммы с помощью {ggplot2} и {patchwork}.

Этот пост сразу стал 🔥 популярным, однако можно пойти еще дальше - Teun van den Brand предлагает в своей библиотеке {legendry} ❤️ самые невероятные варианты работы как с легендой, так и подписями и другими элементами графиков.

Почему-то мне становится очень грустно, когда я смотрю на эту картину. Многие из вас ее видели, это Устный счет. В народной школе С. А. Рачинского. Задача, которую решают дети: найти в уме значение выражения (10^2 + 11^2 + ... + 14^2) / 365. Здесь изображен известный педагог - Сергей Александрович Рачинский (1833-1902), профессор Московского университета, народник, вернувшийся в родное село Татево, где он создал школу для крестьянских детей.

Решат ли современные дети подобную задачку для устного счета? Есть ли у них навыки терпения, требуемые для развития устного счета и не только? Предлагают ли сейчас детям учителя остроумные задачи? Могут ли учителя заинтересовать учеников?

А печально мне от того, что (при насыщенных "замечательных" школьных программах) я рассказываю взрослым мужикам заочникам как складывать дроби, первокурсники не знают свойств логарифмов, а абитуриенты с 4-кой по информатике не видели компьютера в глаза.

Всем продуктивных выходных! 👋

Building story maps with mapgl 🌏

Kyle Walker совершенствует библиотеку {mapgl}, о которой уже упоминалось на НиД. Карты историй — это эффективные современные инструменты для передачи повествований на основе карт. Здесь мы, прокручивая страницу, видим как отображаются различные элементы карты, сопровождаемые некоторым текстом.

Пример такой карты (live story map), где мы "перелетаем" от вида одной горной вершины к другой, доступен через Posit Cloud (+код на GitHub). Вживую выглядит очень здорово! 🔥

Если вам интересно, как можно создать подобную карту, то в этом поможет страница библиотеки.

R Spatial Cookbook 🛰️ 🗺️

Philippe Massicotte сделал небольшую страницу R Spatial Cookbook с заметками по геопространственному анализу, в основном касающемуся ДЗЗ и R. Страница будет дополняться.

Large Language Model tools for R

Luis D. Verde Arregoitia создал обновляемую постоянную веб-страницу соответствующих ресурсов по LLM в применении к R. Здесь расположены ссылки на R библиотеки и другие ресурсы, в частности, источники, видео и IDE инструменты.

AI With R (An Introduction to Using LLMs With R)

Albert Rapp поделился предварительной версией мини-книги AI With R, которая представляет собой обобщение его видео из блога на YouTube.

Автор показывает, как работать с библиотекой {mall}, настроить библиотеку {ellmer}, использовать {ollamar}, извлекать данные из неструктурированных текстов уже в структурированном формате и планирует описать создание Shiny-чат ботов.

Из последнего также можно почитать пост Iterating on an app to create social media posts generating package using {shiny} and {ellmer} и Generating social media posts to promote blog posts with {shiny} and {ellmer} от Nic Crane.

Дата Арт в Tableau 💫

20 февраля в 19:00 по мск с Наташей будем болтать про дата арт. Эфир будет на английском, будем очень рады поддержке 🧡

Покажем свои любимые проекты, какие варианты создания дата-арта есть в Tableau и про личный опыт.

Ориентировочно, тут: YouTube и в LinkedIn.

Cloud-Optimized Geospatial Formats Guide. Methods for Generating and Testing Cloud-Optimized Geospatial Formats

Напомню для уважаемых географов о существовании ресурса Cloud-Optimized Geospatial Formats Guide, в котором разбираются оптимизированные форматы геопространственных данных для облачных вычислений.

К сожалению, универсальных подходов тут нет, для определения формата необходимо решить ряд вопросов, например: Какие переменные следует включить в новый формат данных? Какой ожидается метод доступа? Какой объем ваших данных обычно визуализируется или выбирается одновременно?

Про типы географических данных можно также посмотреть в таблице Geographic data I/O.

ESRI Shapefile до сих пор является наиболее часто используемым форматом обмена векторными данными, однако он уже не так перспективен 🙅‍♂️ судя по сайту Switch from Shapefile, все уже движется в сторону Parquet/DuckDB/Arrow (Apache Iceberg and Parquet now support GEO + Geoparquet 2.0: Going Native).

Если вы не знаете, как выбрать тип графика в зависимости от данных, в этом вам отлично помогут коллекции инструментов для выбора диаграмм визуализации данных сайта Cool Infografics. 👌

Хороших выходных, друзья! 👋

Dataviz Inspiration 💫

Знаменитый проект Dataviz Inspiration, который Yan Holtz ведет с 2022 года, - это большой список примеров диаграмм, в котором в настоящий момент представлены 195 самых красивых и впечатляющих датавиз-проектов, идеально подходящих для вдохновления. Ссылка на проект уже много раз была в различных TG-каналах, но проект растет, и все равно 🚀. Также он сделал отдельный сайт с новостной рассылкой Dataviz Universe.

Если же вы больше любите мастерить руками, то самый вдохновляющий просто волшебный ❤️ арт-проект, связанный с данными, который я пока видел, - World in Tangible Fragments от Надежды Андриановой (Designing Numbers). Я всегда в восторге от ее проектов!

10 Free GIS Data Sources That Will Make Your Maps AMAZING! 🗺️

Milos Popovic действительно делает "Amazing" карты. Недавно он выпустил новое видео по свободно распространяемым данным, которые можно анализировать на R и включают в себя:

- GADM Boundaries
- OpenStreetMap (OSM)
- ESA World Cover 2021
- Natural Earth
- AWS Terrain Tiles
- Sentinel-2 Imagery
- WorldClim
- Global Biodiversity Information Facility
- Tree Height
- WorldPop

Сюда можно добавить ссылки на источники, опубликованные на канале Спутник ДЗЗ.

Надеюсь, пригодится!

Экстремальная комбинаторика 👨‍🎓

Андрей Михайлович Райгородский известен как большой популяризатор математики, он записывает видео на YouTube, ездит с лекциями по всей стране (например, я его заметил в Шереметьево в свою последнюю командировку в Москве), был он и у нас в СФУ, пишет отличные книги, одним словом - человек заслуженный.

Увидел, благодаря каналу Непрерывное математическое образование, ссылку на его новый новый курс Экстремальная комбинаторика (или Восемь с половиной катарсисов). Курс бесплатный, если выберу время - попробую пройти.

Reproducible Medical Research with R

Воспроизводимые научные исследования все больше входят в обиход ученых (см., например, мое небольшое эссе на эту тему). При этом медицинские исследования должны проводиться с особой аккуратностью, поскольку неверные выводы могут нанести большой вред.

Интерактивная книга Reproducible Medical Research with R предназначена для самостоятельного обучения языку R и применения статистических методов в медицинской практике. Книга включает в себя множество примеров для самопроверки вместе с ответами. Конечно, хотелось бы увидеть адаптированную версию на русском языке книг подбных этой или Practical Statistics in Medicine with R.

Du Bois Visualization Challenge: 2025

Начался 2025 Du Bois Visualization Challenge в честь наследия W.E.B Du Bois - темнокожего американского активиста за гражданские права, социолога и писателя, путем воссоздания визуализаций Парижской выставки 1900 года с использованием современных инструментов.

Для тех, кто хочет посмотреть, как можно воссоздать визуализации на R, - можно заглянуть в прошлогодний пост на НиД. Что-то из рисунков повторяется из года в год. Добавлю также визуализации от Nicola Rennie (2021 / 2022). Замечательные интерактивные визуализации делал Tom Février (первая + вторая + третья + четвертая). + пост на Chatting Charts.

В этом году на R участвуют и делятся идеями на YouTube Pat Schloss и Andrew Gard, но я буду следить за визуализациями от Антона Мизонова.

Reproducible and Trustworthy Workflows for Data Science

Заметки к курсу по воспроизводимым и надежным рабочим процессам для науки о данных помогут разобраться с концепциями и практиками, связанными с созданием аналитических отчетов и конвейеров анализа данных, вычислительных сред, а также тестирования и развертывания программного обеспечения, написанного для анализа данных.

Охват тем большой, здесь используются как R, так и Python, материал подается с использованием реальных данных и тематических исследований.

Данный курс как-то советовал Ivan Begtin, но материал постоянно обновляется и развивается.

👉Just a reminder for those who have recently joined our Telegram channel and may not speak Russian.

Explore a carefully curated collection of Data Science resources, with a focus on the R programming language and more, through the RSources web page. While the page was originally designed for Russian-speaking users, we now offer a full English translation to make it accessible to everyone.

Еще одна возможность сделать небольшой предварительный анализ табличных данных в библиотеке {gtExtras} - с помощью функции gt_plt_summary(). Увы, почему-то не со всеми данными получается сделать подобные таблицы, видимо библиотека давно не обновлялась, зато skimr::skim() работает всегда.

library(gtExtras)

iris |>
gt_plt_summary()


Больше примеров по созданию таблиц в R можно посмотреть на сайте The R Graph Gallery.

Простой способ сделать таблицу как тепловую карту - использовать функцию data_color() из библиотеки gt().


library(gt)
library(palmerpenguins)
library(tidyverse)

penguins |>
head() |>
select(-island, -year) |>
gt() |>
data_color(
method = "numeric",
palette = viridis::plasma(n = 4)
)


Можно посмотреть как работает этот прием в различных темах для веб-страниц, как это делает Carlos Scheidegger в своих экспериментах (+объяснялка) по автоматическому подбору цветовой темы сайта.

Pipes: %>% vs |>

Уже было достаточно много различных записей блогов, споров, видео на YouTube, упоминаний и разъяснений по поводу разницы между native pipe и операторов magrittr.

Jan Broder Engler сделал как-то небольшую шпаргалку-переходник с примерами, которой я здесь делюсь.

В большинстве случаев я давно использую |>, но magrittr тоже бывает полезен, скажем, операторы %T>% или %<>%. Есть и более необычные варианты pipe как на странице Design tradeoffs.