Chatgpt специально для @rantiquity

Давно хотела попробовать пакет {gganimate}, но не могла придумать, куда его применить. Наконец придумала 🎸

#plato_mapping

p.s. видео, а не гиф, чтобы можно было поставить на паузу или промотать, ну и ради музыки конечно

Коллеги в лс и в чате предложили поменять проекцию. Чтобы два раза не вставать — поменяла сразу палитру и шрифты.

То, что еще утром было  quick and dirty, теперь прямо-таки красота (не спорьте).

#maps

ясно одно: как ни меняй проекцию, платоновских исследований в Гренладии нет. непорядок

make Greenland great again

Первые обобщения
#plato_mapping #scopus

(продолжение)

💠 Если по issn gpt опознает издателя очень хорошо, то по названию книги, автору и году просто гадает, таким образом восполнить пробелы в данных #scopus не получилось

💠 Однако оказалось возможным подтянуть, во-первых, некоторые недостающие издательства, а во-вторых, аффилиации через openAlex.

💠 Недостающую информацию также получилось собрать по ORCID, причем работать с публичным API оказалось проще через {httr2}, чем через rorcid (который уже не развивается). Но и там страновая аффилиация указана далеко не всегда, многие журналы ее не требуют и не пишут.

💠 На финальном этапе пришлось нормализовывать написания стран (где-то полностью, где-то коды), добавлять вручную страновые аффилиации (где я в них уверена, например, если знаю, что человек всю жизнь проработал во Франции или в России) — и вообще многое делать руками.

💠 В итоге из 7,400 публикаций примерно 1300 остались без страновой аффилиации, еще около 1000 - без издателя. Это не так уж плохо.

💠 Зато первая разведка дала интересный результат: согласно Scopus, мы на 4-м месте в мире по числу платоноведческих публикаций.

💠 Это почти пасхальное чудо, учитывая непростые условия, в которых существуют наши гуманитарные науки. Количество, конечно, — это только число, надо смотреть цитируемость и многое другое. Это позже. Но количество тоже о чем-то говорит. Вот, например, в США есть научная инфраструктура, и публикаций о Платоне много. А вот в Кувейте или Зимбабве — почти нет. И кажется, хороший знак, что мы по этому показателю ближе к США, чем к Зимбабве.

С Праздником!

Сегодня целый день занимаюсь проверкой и нормализацией датасета #scopus и узнала, что

💠 В мире есть два журнала “Левиафан”, и один из них посвящен Мелвиллу 🐳🐳🐳

💠 “Феникс”, журнал Канадской классической ассоциации, издается в США с 2003 г. 😱😱😱

💠 В Голландии есть журнал о науке и вере под названием “Редиска” (ладно, шучу, Radix) 🥔🥔🥔

💠 Журналы под названием “Логос” издаются в Испании, Литве, России и США

на сегодня это все открытия

Коллеги писали в комментариях к моему первому посту про доступ к Scopus через API, что компания Elsevier не очень щедро делится информацией, и это так. Но все же аффилиацию для авторов, количество цитирований и кое-что еще они отдают (и я даже узнала, какая самая цитируемая статья о Платоне, но об этом в другой раз).

Мысль сделать mapping современного платоноведения меня, тем не менее, не отпускает, поэтому я придумала две хитрости.

💠 Scopus отдает issn (eIssn), а с ними уже можно через {rcrossref} достать имя издателя. Сработало почти везде, но около 300 журналов и серий остались без домика, поэтому пришлось придумать хитрость №2.

💠 Попросить LLM добавить имя издателя по названию журнала и его issn. Получается небыстро, но, пожалуй, быстрее, чем вбивать руками в excel. Пример работы на видео.

Мне это по-прежнему кажется каким-то волшебством 🪄

Скорее всего, мои наукометрические опыты на этом не кончатся, поэтому добавляю новые теги #scopus #api #mapping_plato

🧠 Если вы еще не заглядывали в раздел Digital Humanities на “Системном Блоке”, ставший призёром DH Awards 2024 🏆 – сейчас самое время!

Команда продолжает развивать и наполнять портал, и там вас ждут:

📘 Руководства по основным инструментам и подходам DH
📊 Примеры исследований: от анализа текстов до визуализации исторических данных
🧑‍💻 Подборки статей от исследователей и практиков

Заходите, знакомьтесь, пользуйтесь 👉 https://sysblok.ru/dh/

💬 Кстати, если есть темы, которые вам особенно интересны – пишите в комментариях, передадим команде!

Первым делом что? Правильно, прикрутить значок.

🎊 Невероятно приятно в этом году в списке победителей DH Awards 2024 видеть множество знакомых имен:

🌟 Кристина Танис и др. с проектом о советском кинематографе (2 место в DH DATASET OR MODEL)
🌟 “Системный блок” сразу в двух рубриках (3 место в DH DATA VISUALIZATION и 3 место в DH RESOURCE)
🌟 Борис Орехов с шахматным препринтом (2 место в рубрике DH SHORT PUBLICATION)
🌟 yours truly с курсом “Компьютерный анализ текста” (3 место в рубрике DH TRAINING MATERIALS)

Огромное спасибо коллегам и студентам за поддержку!
Это очень вдохновляет развивать начатое и стремиться к большему 💪

Очень важный разговор о переводе в эпоху нейросетей. Не ответы, а концептуальный каркас для описания расползающейся реальности. Насколько нас устраивает «китайская комната». Считаем ли мы «лингвистическую дрессировку» задачей образования. Умеет ли ИИ ходить по герменевтическому кругу. Можем ли мы что-то противопоставить производству «брехни».

Я не буду пересказывать, потому что очевидно тут важны не выводы, а движение мысли. Но, раз пошла такая пьянка, добавлю от себя две копейки.

- Мы напрасно думаем, что гуманитарное знание производит тексты. Тексты важны, но все наоборот — тексты производят (образуют) людей. Механизм этого образования описан Пьером Адо в «Духовных упражнениях», но идея намного старше. По сути, это и есть гуманистическая программа: тебе дан образ, будь добр, потрудись возвысить его до подобия.

При помощи диалога с самим собой или с другим, а также при помощи письма тот, кто хочет идти вперед, старается быть «мыслящей субстанцией» и таким образом достичь полного преобразования своего представления мира, своего внутреннего климата, а также своего внешнего поведения.

- Перевод производит переводчика — человека, который упражняется в понимании других, ближних и дальних, людей. Думать, что такое понимание нам дано по праву рождения, — большая ошибка. Глупо спрашивать, может ли ИИ переводить вместо меня. Это все равно как спрашивать, может ли он вместо меня заниматься спортом. Хотя бы и так — мы же от этого не перестанем бегать? А если перестанем, то понятно, что далеко не убежим от тех, кто так делает.

В.А. говорит (примерно на 45-й минуте):
Если не поддерживать переводческую культуру, то эпоха булшита приобретет всеобъемлющий характер
Все щебечут по-английски (а теперь и по-латыни), но никто не может добротно перевести маленький кусочек текста. «Переводческая квалификация — это чудовищно сложно». Все так. Переводить очень трудно. Успехи в этой области редки и незаметны, а медалей или денег за них, в отличие от хоккея, не дают. Ну штош, зато у нас есть хоккей. В него ИИ играть пока не умеет.

Отчасти чтобы потренироваться делать таблицы с {gt}, отчасти чтобы проще было работать с критическим аппаратом к “Теэтету”, составила вот такой список рукописей первой и второй тетралогии: https://locusclassicus.github.io/philebus/codices.html

p.s. об обновлении great tables с полезными ссылками см. здесь
p.s.s. код и список в формате xlsx в репозитории

Отчасти чтобы потренироваться работать с {gt}, отчасти чтобы проще было работать с критическим аппаратом к “Теэтету”, сделала вот такой список рукописей первой и второй тетралогии: https://locusclassicus.github.io/philebus/codices.html

p.s. об обновлении great tables с полезными ссылками см. здесь
p.s.s. код и список в формате xlsx в репозитории

Если вам кто-нибудь скажет, что у вас зашумленный и нечитаемый график, покажите им вот эту работу Генри Боствика (1787-1837), "A historical, chronological & genealogical chart, exhibiting on a scale of time the principal persons and events of modern history both civil and ecclesiastical, from the year 400 of the Christian era to the present time"

Впрочем, это сказано cum grano salis: такая диаграмма очевидно функционирует не как современный датавиз, по ней надо "водить пальчиком", причем не только вверх-вниз (хронология), но и вправо-влево (география).

Кстати, все Аларихи-Шарлемани на месте, если вчитаться. Даже есть Ruric. При некотором изощрении можно приспособить как шпаргалку по всемирной истории. Но только до Николая I.

удобно, что с преобразованием (линейным-нелинейным), прозрачностью и подложкой можно экспериментировать онлайн, сразу видно результат

🔹 https://www.oldmapsonline.org ну очень удобный инструмент для географической привязки старых карт, side-by-side view для добавления координат

🔹на сайте есть таймлайн с картами для разных периодов, добавленных другими пользователями

🔹в два шага безо всякого qgis можно добавить и привязать свою карту

🔹но чтобы скачать ее или другой материал в geoTIFF, надо дать деняк приложению 😕

#maps

Как я уже писала, подложки Gothenburg Research Infrastructure in Digital Humanities недоступны (c VPN или без), и та же история с Consortium of Ancient World Mappers и с Open Historical Maps. Что там случилось, не знаю, еще летом первый из этих провайдеров работал.

Поэтому разбираюсь, как работать с историческими растрами. Видимо, будет серия заметок гипомнематического (т.е. несколько сумбурного) характера #maps

🔹 скачиваем карту с Wikimedia Commons или из другого источника

🔹 устанавливаем QGIS https://qgis.org/ (нужно ок. 3гб, это бесплатно)

🔹 связываем изображение (например, историческую карту в формате .jpg или .tif) с координатами на поверхности Земли, это называется georeference (если вам повезет, вы найдете уже georeferenced версию, но об этом в другой раз)

Для этого:

🔹 Меню Layer —> Georeferencer, добавляем изображение, определяем 4-8 "контрольные точки" (GCP – Ground Control Points), т.е. вручную задаем их координаты. Потом нажимаем кнопку Start Georeferencing, в рабочей директории появится геопривязанный файл. Вот тут неплохое видео о том, как это делается.

🔹 После этого можно использовать растр вместе с leaflet, он будет масштабироваться и т.п.



library(leaflet)
library(terra)

gallia <- rast("gallia_georef.tif")

# проверка CRS
crs(gallia)


leaflet() |>
addTiles() |>
addRasterImage(gallia, opacity = 0.5, project = FALSE)

(продолжение следует)

А никто не знает случайно, куда делась подложка у Digital Atlas of the Roman Empire (DARE)?

https://dh.gu.se/tiles/imperium/%7Bz%7D/%7Bx%7D/%7By%7D.png больше не работает или отключена

Отличный баг. Походы Цезаря в Хорватию и Португалию 🥲 Вот что бывает, если не очень внимательно отнестись к выбору подложки. (отсюда)

🎉 Коллеги показали очень смешной и бесполезный пакет для R, называется {celebrate}

Единственная функция этого пакета — дополнить вывод сводки модели подходящими звуковыми эффектами, в зависимости от того, достигли ли вы магического уровня значимости p < 0.05 хотя бы для одной переменной (не считая интерцепта — ведь нам всё же стоит сохранять хоть какую-то разумность …).


devtools::install_github("bbolker/bbmisc/celebrate")
library(celebrate)

Чтобы эта штуковина сработала, на маке придется сделать


brew install sox

Насколько поняла, работает только с юниксоидами.

После этого делаете что-то такое:

m1 <- lm(speed~dist,cars)
m2 <- lm(Income~Population,data.frame(state.x77))
summary(m1)
summary(m2)

И вуаля 🎵🎵🎵

Можно установить произвольный уровень значимости:

options(celebrate.alpha = )

Коллеги в комментариях в предыдущему посту написали, что неплохо бы и бинаризацию сделать для #ocr Попробовала, делюсь кодом и результатом.

Последнее время приходится довольно много сканировать и распознавать, так что пришлось придумать небольшую хитрость, чтобы

✔️ разрезать разворот на два изображения
✔️ сшить pdf заново, но уже постранично

Всех дел на пару минут. После этого файл можно отдавать tesseract’у или нейросетям.

Хитрость на языке R доступна в виде gist’a, надеюсь будет полезна не только мне.

Как написал сегодня по совсем другому поводу канал @atticist, “из колхозной молодежи панковал один лишь я”. https://t.me/parakharatteintonomisma/2097

Слет антиварваров в РГГУ завтра на “Миусских античных посиделках”.

Совпадение? Не думаю.

p.s. программу прикрепляла выше

завтра иду рассказывать классикам на конфе в рггу, какой есть прикольный и простой цифровой инструмент для поиска аллюзий в латинских текстах

тем временем классики: еще в девяностых начали жаловаться, как компухтеры загубили комментаторскую работу

Раньше были какие-то понятные преподавательские страхи. Забыть про собственную пару, не подготовиться и не знать, что делать со студентами полтора часа. Или, толком не проснувшись (по ночам мы же пишем статьи), примчаться с каким-то очевидным изъяном во внешнем виде. Ну всякое такое, скучища. Все это было и все это не страшно.

Предлагаю новый страх. Промахнуться мимо окошка в телеграме и случайно запостить в один из своих пабликов вопрос, предназначенный Chat AI Bot. И тогда весь мир узнает, что…

А что он узнает, кстати? Какие запросы реально могут смутить, если станут публичными?

Пишите в комментариях. Если написать, то не сбудется (тьфу-тьфу-тьфу). Гарантия 100% 🔮

Дорогие друзья, в ближайшую пятницу и субботу (28-29 марта) ищите антиварваров и их друзей в РГГУ на «Миусских античных посиделках», посвященных цифровым методам в изучении античности.

Программа и заказ пропусков по ссылке.

Коллега прислала ссылку на CFP для цифровых философов, которых научная общественность продолжает искать днем с огнем. Я об этом, что могла, уже сказала и развивать не планирую, но вдруг кто-то думал в похожем направлении. Дедлайн в конце мая.

Regarding philosophy, however, there appears to be a striking under representation in the digital humanities sector so far. While there is some research done about philosophical aspects of digitalisation and even about methodological advantages of digital technology for philosophy, it is still rare in comparison with similar research in other disciplines.

This Collection aims to publish new philosophical views on digital knowledge infrastructures, particularly on the philosophical implications of the use of digital technology in research and education, e.g., machine-learning systems, linked open data applications, online archives, open access publication platforms, text analysis software, and perhaps even discipline-specific social media platforms like Phil-People. In addition, we want to emphasise the question how philosophy itself can make good use of this technology.

Наконец-то кто-то сделал мем про меня. (6 часов — это довольно быстро, скорее 6 дней).

Как проверить латинский текст на опечатки и ошибки распознавания с пакетами {hunspell} и {spelling}

Это решение подойдет для быстрой “очистки” после OCR. Код позволяет выбрать замену слова или скипнуть исправление в интерактивном режиме.

https://teletype.in/@locusclassicus/BBSaUFXR-1S

В рубрике BEST DH TRAINING MATERIALS ищите вашу locusclassicus ☺️ http://dhawards.org/dhawards2024/voting/

Конкуренция серьезная, но хорошая новость в том, что можно голосовать в разных номинациях за разные проекты.

P.S. Расшары друзьям и знакомым кролика приветствуются! Правила конкурса это допускают

http://dhawards.org/dhawards2024/voting/

Кто-то должен был набраться смелости и задать наконец чату GPT самые острые вопросы современности.

1. Ограничения Xbox One:
Операционная система: Xbox One работает на базе Windows 10 Xbox Edition — специальной версии ОС с ограниченной функциональностью, которая не поддерживает установку стороннего ПО, включая RStudio Server.
Аппаратные ограничения: Xbox One не имеет GPU, совместимого с CUDA (требуется для ускорения нейросетей), а его процессор и память недостаточно производительны для серьёзных ML-задач.

В общем, развернуть безголовый сервер на приставке не получится. Даже если пройти финального босса 👻

Осваиваю веселенький пакет FastTextR (снова неутомимый Эмиль Хвитфельдт!), позволяющий работать с предобученными эмбеддингами. Хочется, глядя на это, сказать голосом Любшина:

Из особенных достижений за этот модуль, я считаю, вот. #цифровые_этюды #pca

Третий модуль «Компьютерного анализа текста» #tar2024 (он же и 2025) подходит к концу, а значит я снова публикую текст и видео к урокам. Почти весь модуль посвящен деревьям и сетям 🕸️

1) Тематическое моделирование с LDA (текст, видео). Датасет: новости Lenta.Ru. Бонус: код и данные для статьи «Танцы, эрос и зачатие: о чем писали “Платоновские исследования” за последние 10 лет». К статье есть видео прошлогоднего выступления на «Цифровой среде».

2) Кластеризация и метод главных компонент (текст, видео). Датасеты: на дом — сценарий сериала «Друзья» из пакета {friends} для кластеризации персонажей; аудиторная — датасет Galbraith из пакета {stylo} на определение авторства романа, написанного Роулинг под псевдонимом. И еще немного пингвинов из {palmerpenguins} для упражнения. Потому что пингвины лишними не бывают.

3) Стилометрический анализ с пакетом stylo (текст, видео). Датасет: древнегреческая литература, собранная автором для статьи «Delta Берроуза для древнегреческих авторов: опыт применения» (выборочно, ссылка на репозиторий). Также очень пригодились данные, опубликованные Даниилом Скоринкиным @fckndh. Даня, спасибо, особенно за Ильфа и Петрова!

4) Консенсусные деревья и сети (текст, видео). Аудиторная работа на том же Galbraith (он же Роулинг), домашняя — датасет Бориса Орехова «Стилеметрические данные “Тихого Дона” и современной ему прозы». Бонус: видео выступления на «Цифровой среде» с докладом «Лес за деревьями: филогенетические методы на службе платоноведения» (дискутант: Артем Юнусов из ИФЕ @philosophy_diary).

5) Сетевые данные в igraph (текст, видео). Датасеты из пакета {networkdata}, а также собранный Борисом Ореховым «Словарь русских писателей XVIII века: сеть персоналий».

6) Графический дизайн сетей с ggraph и visNetwork (текст, видео). Датасет: Тюдоры из пакета {historydata}.

7) Анализ сетей и обнаружение сообществ (текст, видео). Датасет: драматический корпус Dracor. На дом: сети Ходасевича (снова спасибо Борису Орехову) и сети «Войны и мира» (снова спасибо Даниилу Скоринкину).

Ссылка на весь видео-плейлист. Всего там 23 записи за этот учебный год.

🖥 Ссылка на репозиторий для issues и пул-реквестов.

Я уползаю готовиться к четвертому модулю, в планах добраться до многослойного перцептрона, но это уж как пойдет

В сети опубликована запись «Цифровой среды» с Ольгой Алиевой

🙂 Делимся новой записью онлайн-семинара Института цифровых гуманитарных исследований (DHRI) СФУ «Цифровая среда».

Кандидат филологических наук, доцент Школы философии и культурологии факультета гуманитарных наук НИУ ВШЭ и автор телеграм-канала RAntiquity Ольга Алиева рассказала об использовании филогенетических методов для определения авторства и хронологии платоновских текстов и поделилась важными итогами своего исследования.

Доклад «Лес за деревьями: филогенетические методы на службе платоноведения» будет интересен широкому кругу слушателей – тем, кто стремится по-новому взглянуть на исследования авторства и готов пересмотреть стереотипы, связанные со стилометрией.

Смотрим:

🔜 YouTube
🔜 Rutube
🔜 VK Видео

Здесь можно ознакомиться с перечнем всех выпусков «Цифровой среды» (гости семинара – исследователи-историки, филологи, лингвисты, культурологи, и не только).

#приоритет2030 #dhri #ицги #цифроваясреда #языкR #стилометрия

Просто зафиксирую для истории тот день, когда GPT начал мной командовать. Раньше он все больше говорил "Рад был вам помочь" или "Могу ли еще что-то сделать?" А теперь сплошные императивы, и какие. "Отпишитесь" 😬

Как сделать так, чтобы RStudio «понимал» латынь


- Скачиваем https://latin-dict.github.io/docs/hunspell.html архив hunspell-la.zip и распаковываем его

- Находим на компьютере директорию со словарями:
• Linux and macOS: ~/.config/rstudio/dictionaries/languages-system/
• Windows: %AppData%\RStudio\dictionaries\languages-system\

- Добавляем туда два файла (с расширениями .dic и .aff) из архива

- После этого перезапускаем RStudio, идем в Tools — Global Options — Spelling, проверяем, что новый словарь доступен в списке словарей. Все, можно работать.

Хорошая новость для тех, кому приходится распознавать тексты в дореформенной орфографии.

Борис Орехов опубликовал датасет, а Александра Горшенина написала под него код, позволяющий дообучать модели Tesseract для русского языка. За основу взят мастер-класс Андре Круса с примерами дообучения для распознавания математических символов.

Очень полезная в филологическом хозяйстве вещь! Спасибо коллегам.

Вот такую чудесную мимозу подарили сегодня студенты. С радостью делюсь и желаю, чтобы всем нам удавалось, подобно мифическому Орфею, оживлять пением камни и данные. С праздником 🌼

Гераклит называл Пифагора κοπίδων ἀρχηγός, “предводитель мошенников”, а всякий уважающий себя философ, как говорил Ямвлих, должен взять себе в руководители “родоначальника и отца божественной философии”.

Поэтому сегодня маленькая хитрость для тех, кто уже научился реферировать статьи с чатом GPT, но еще не придумал, как безболезненно скормить ему монографию. Для этого придется разрезать ее на главы, и самый простой способ это сделать в R — пакет {qpdf}


library(qpdf)

pdf_subset(input = “book.pdf",
output = "chapter.pdf",
pages = 10:20)


Дальше вы знаете что делать 🐳 Но, как показывает практика, надо хорошо подумать над промптом, т.е. по сути сначала прочесть источник, а потом уже задавать вопросы машине. Иначе получится обо всем и ни о чем.

Сравниваем тексты с {diffobj}


ed1 <- "В начале было Слово, и Слово было у Бога, и Слово было Бог."
ed2 <- "Вначале было Слово, и Слово было к Богу, и Бог был Слово."

# Визуализация изменений
library(diffobj)
diffChr(ed1, ed2, mode = "sidebyside")


Ссылка на техническую документацию. Результат можно встраивать в markdown и shiny.

p.s. первая-то редакция получше будет

Ну вот например. И это только публикации с вхождением “Платон” в названии, то есть лишь некоторая часть того, что о нем пишется.

🔍 Как собрать датасет на основе библиографических данных Скопуса*

Понадобятся:
- API (https://dev.elsevier.com/),
- VPN
- пакет {rscopus} и обычный {tidyverse}


install.packages("rscopus")
library(rscopus)
library(tidyverse)

Sys.setenv(Elsevier_API = "0a0a0a0a0a0")
# проверяем
have_api_key()


Отправляем запрос. Я ищу по слову Plato в заголовке и предметной области ARTS. Уменьшите max_count или count, если функция капризничает.


res = scopus_search(query = "TITLE(Plato) AND SUBJAREA(ARTS)", max_count = 1000, count = 10, view = "STANDARD")


Тайдифицируем. Я забираю не все поля, посмотрите сами, что вам может быть интересно. Векторизованное переименование всех столбцов — разве это не красиво?


entries_df <- res$entries |>
gen_entries_to_df()

entries_df <- entries_df$df |>
select(`dc:title`, `dc:creator`,
`prism:publicationName`, `prism:coverDate`,
`subtypeDescription`) |>
rename_with(~ str_remove(., "^.*:"))


Повторить. Забрав первую сотню/тысячу описаний, можно использовать аргумент start = 1001 и т.п. Так вы начнете выгрузку со второй тысячи. Полученные датафреймы легко слепить воедино.

Исследовать. У меня получилось 5000 публикаций со словом Plato в заглавии, от 2025 до 1973 г. Что с ними делать, пока не решила. Может и не буду ничего делать 🤩 Публиковать датасеты Elsevier не разрешает, так что я просто сижу ищу друзей и знакомых

Дорогие друзья, сегодня в 14-00 мск презентую итоги стилометрического исследования платоновского корпуса, которым я занималась последние несколько лет.

Это последняя статья в серии, которая, по моему замыслу, должна подвести некоторый итог всей работе. После этого, надеюсь, в моей жизни наступит сплошная метафизика.

Судя по рецензии, которую я на днях получила, поспорить сегодня будет о чем. Зарегистрироваться и подключиться можно по ссылке выше.

В согласии с принципами reproducible research делюсь репозиторием с данными, кодом, а также ссылкой на сегодняшнюю презентацию: https://github.com/locusclassicus/plato_new_model_2024

одна алиева весны не делает, но надо же с чего-то начинать 😅

Весна все ближе: и мы готовимся к путешествию в «Лес за деревьями…» с уже знакомой постоянным участникам онлайн-семинара «Цифровая среда» Ольгой Алиевой.

Кандидат филологических наук, доцент Школы философии и культурологии Факультета гуманитарных наук НИУ ВШЭ, автор телеграм-канала RAntiquity («Об античности на языке R и не только») Ольга Валерьевна Алиева расскажет в своем докладе об особенностях методов консенсусных деревьев и сетей, их реализациях в программной среде R и результатах применения к анализу платоновского корпуса.

🔜 Присоединяйтесь к семинару в следующую среду.

Дата: 5 марта
Начало: 14.00 (мск)/ 18.00 (крск)
🔗 Зарегистрироваться и добавить в календарь здесь ←

#цифроваясреда #смотреть #слушать #платоноведение #языкR

Между тем, февральское обновление в пакете {ellmer}: появились долгожданные функции content_pdf_file() and content_pdf_url(). Правда, пока их поддерживают не все модели, только Gemini & Claude. Будем ждать развития событий!

Ютуб все понял про редактора этого канала и порекомендовал видео: НИЧЕГО НЕ ДАНО А НАДО. Красивая, кстати, задача, но лучше всего в ней название. Эпиграф к книге жизни.

Как объяснить герменевтический круг аналитику данных

Герменевтический круг — это философская концепция, описывающая процесс понимания текста, явления или смысла, при котором целое интерпретируется через его части, а части – через целое. Это означает, что понимание любого отдельного элемента требует понимания контекста, а сам контекст, в свою очередь, формируется через понимание отдельных элементов.

Как правило, приступая к чтению текста, мы имеем очень отдаленное представление о «целом», и из этого несовершенного представления сооружаем такое же несовершенное понимание «частей», которое, однако, позволяет немного уточнить исходное «целое», а от него опять вернуться к «частям». Так мы двигаемся туда-сюда (или по кругу) очень долго, пока, наконец, все или почти все не складывается как надо.

Как понять, что это произошло? По-моему, так: каждая новая итерация уже не производит значительных смысловых сдвигов, плюс неземной свет.

А похоже это на алгоритм кластеризации. Сначала каждому наблюдению присваивается случайно выбранное число из интервала от 1 до K (число кластеров). Это исходные метки. Дальше вычисляется центроид для каждого из кластеров (это мы вернулись к «целому»). Центроид k-го класса – вектор из p средних значений признаков, описывающих наблюдения из этого кластера. Идем обратно к «частям»: каждому наблюдению присваивается метка того кластера, чей центроид находится ближе всего к этому наблюдению. Повторяем шаги 2-3 до тех пор, пока метки классов не перестанут изменяться.

А еще это похоже на градиентный спуск и постепенную минимизацию функции потерь, но эту метафору вы разверните сами. Правда, в искусстве интерпретации «алгоритму» бывает трудно остановиться, так что весь Google Scholar переполнен публикациями, которые уводят вас все дальше от наилучшего прочтения.

Осталось найти аналитика данных, которому это интересно.

Студенты прислали валентинку, сделанную в {ggplot}. А вот и источник! Невероятно трогательно, спасибо 🥰🥰🥰

Кажется, знаешь человека давно, уже и Цицерона вместе читали, и Цезаря, и Лукреция, и даже немного Августина — и тут выясняется, что этот человек опубликовал огненный лонгрид на “Системном блоке” про цифровые просопографии и графовые модели в изучении античности. https://t.me/antibarbari/3006

Тут и методология исторической науки, и реляционные БД, и несколько фирменных шуток от @patroclusisnotdead Просто именины сердца, Ксюша, поздравляю!

Кстати, на сайте есть ссылка на другой проект https://exiledempiricists.wordpress.com/ Который подтверждает мой недавний тезис о том, что цифровая история философии возможна скорее как социология философии, чем как и-ф. в традиционном смысле слова. Сайт красивый, перевод даю автоматический

«Изгнанные эмпиристы» – это пятилетний исследовательский проект, финансируемый Европейским исследовательским советом (ERC) и Нидерландским исследовательским советом (NWO). Проект возглавляет Сандер Верхаэг и он реализуется на базе Тилбургского центра моральной философии, эпистемологии и философии науки (TiLPS) Тилбургского университета.

В копилку инструментов и методов цифровой истории философии: https://t.me/Philosophytoday/15267 Снова сети. Эyхенио Петрович, один их хедлайнеров проекта, благодаря @curiousonya уже некоторое время в поле моего зрения, в 2022 г. у него была любопытная статья о сетях благодарностей, о которой см. https://t.me/curiousonya/217 А вот ссылка на сам проект: https://edhiphy.org/network Очень милое онлайн-приложение. Молодцы, чо.

А только у меня Stackoverflow вот так выглядит (любой вопрос, с впн или без) ?

Латинский гиперкуб — обобщение латинского квадрата Эйлера на произвольное число измерений. Используется для поиска оптимальных параметров в МО. А латинским называется потому, что Эйлер (про которого недавно писал дружественный канал) использовал латинские буквы. Пакет {dials} версии 1.3.0 отказался от такого названия функции, а жаль. Так в нашей жизни стало еще меньше латыни.

Вообще в МО есть множество _просто красивых_ вещей, прекрасных самих по себе, а не ради пресловутого скоринга.

Недавно пришли отзывы студентов на первую часть курса “Компьютерный анализ текста” #tar2024 , общая оценка 4.93 из 5, мой личный рекорд.

Очень приятно, что курс приносит удовлетворение не только мне — и, конечно, такие отзывы вдохновляют и заставляют стремиться к большему.

На облаке слов — основные биграмы из отзывов. Спасибо 🤗

Что ни говори, а инфраструктура под недружественные интеллекты очень дружественная, и для тех, кому машина нужна не под капотом возиться, а ехать, Хадли делает классные продукты.

Его {ellmer} позволяет без особых усилий извлекать структурированные данные из изображений. Что это такое — решайте сами; в моем случае — распознанный текст и перевод. OpenAI: распознавание на 5, перевод на русский на 3+.

Записывайте: перечислить файлы, придумать тип данных для выхода, запустить чат. На выходе таблица: в одном столбце текст, в другом — перевод.


library(ellmer)
library(tidyverse)

# придумываем, какие нужны столбцы

type_text <- type_object(
"Latin text and Russian translation of the text. Occasionally, you might see some Ancient Greek.",
text = type_string("Latin text"),
translation = type_string("Russian translation")
)

# список изображений
my_images <- list.files(pattern = "png")

# рабочая функция для purrr
process_image <- function(image_path) {
response <- chat$extract_data(
content_image_file(image_path),
type = type_text
)
return(response)
}

# еще спроси, а где здесь вожжи
all_responses <- map_dfr(my_images, process_image)


В промышленных масштабах пока не пробовала.

Что ни говори, а инфраструктура под недружественные интеллекты очень дружественная, и для тех, кому машина нужна не под капотом лежать, а ехать, Хадли делает классные продукты.

Его {ellmer} позволяет без особых усилий извлекать структурированные данные из изображений. Что это такое — решайте сами; в моем случае — распознанный текст и перевод. OpenAI: распознавание на 5, перевод на русский на 3+.

Записывайте: перечислить файлы, придумать тип данных для выхода, запустить чат. На выходе таблица: в одном столбце текст, в другом — перевод.


library(ellmer)
library(tidyverse)

# придумываем, какие нужны столбцы

type_text <- type_object(
"Latin text and Russian translation of the text. Occasionally, you might see some Ancient Greek.",
text = type_string("Latin text"),
translation = type_string("Russian translation")
)

# список изображений
my_images <- list.files(pattern = "png")

# рабочая функция для purrr
process_image <- function(image_path) {
response <- chat$extract_data(
content_image_file(image_path),
type = type_text
)
return(response)
}

# еще спроси, а где здесь вожжи
all_responses <- map_dfr(my_images, process_image)



В промышленных масштабах пока не пробовала.

📌 Классифицируем отзывы сотрудников о работодателе с помощью R, rollama и Ollama

В предыдущем посте мы научились устанавливать и пользоваться LLM локально. Теперь знакомимся с практическим примером.

@people_analytics

#LLM #БЯМ #AI #R #people_analytics #отзывы_сотрудников

доцент алиева гоняется за llm с вопросом об эпиграмматической соли

Вот тут кстати на SO инциировала обсуждение, как подключиться к API дипсика из среды R. Все работает, если дать денег (существенно меньше, чем просит OpenAI). Надо будет еще подумать, чтобы как в {ellmer} сразу структурированные данные извлекать, но это все позже, сейчас завал.

Может пока я буду думать, китайцы уже пакет напишут. Тогда и с ВПН можно было бы не мучиться (все, что работает через ВПН, практически невозможно демонстрировать в реальном времени на паре, например).

Задала Яндекс жпт и Дипсику (о котором уже писала) один несложный вопрос по школьной программе: что Гончаров имеет в виду, когда в “Мильоне терзаний” говорит об “эпиграмматической соли” комедии “Горе от Ума”? Оба раза спрашивала по-русски. Ответ Дипсика в скриншот не влезает, поэтому цитатой (только итог, без “размышлений”):

Эпиграмматическая соль языка в оценке Ивана Гончарова по отношению к Александру Грибоедову — это характеристика остроумия, ёмкости и сатирической выразительности, присущей языку Грибоедова, особенно в его комедии «Горе от ума».
Контекст и значение:

Эпиграмматичность отсылает к краткости и остроте, свойственным эпиграмме — жанру лаконичной, язвительной поэзии.

«Соль» в данном случае метафорически означает остроту, «приправу» сатиры, которая оживляет текст, делая его ярким и запоминающимся.

Применение к Грибоедову:

Гончаров, анализируя «Горе от ума», отмечал, что язык персонажей пьесы насыщен афоризмами и остротами, которые стали крылатыми выражениями («Счастливые часов не наблюдают», «Служить бы рад, прислуживаться тошно»).

Эти фразы сочетают в себе иронию, сарказм и глубокий социальный подтекст, что и составляет «эпиграмматическую соль». Они не только характеризуют героев, но и критикуют пороки общества.

Почему это важно:

Гончаров подчеркивал, что Грибоедов мастерски использовал язык как инструмент сатиры, превращая диалоги в оружие против косности дворянства и лицемерия светских норм. «Эпиграмматическая соль» стала ключевым элементом новаторства Грибоедова, повлиявшим на развитие русской драматургии и литературы в целом.

Таким образом, это выражение отражает способность Грибоедова создавать текст, где каждая фраза — не просто реплика, а законченное высказывание, заряженное смыслом и критической энергией.


Ответ не имеющего аналогов в мире Яндекс-ЖПТ 4 на скриншоте.

винтажные диаграммы + коты = DH здорового человека

Сколько кошек было у Колетт?

🔘🔘🔘

В 1989 году Этьен Брюне опубликовал статью, где решил пересчитать животных во французской литературе 19-20 веков. Это стало возможно благодаря созданию Цифрового тезауруса французского языка (TLFi), который на тот момент насчитывал 2 500 текстов (по современным меркам, конечно, не очень много).

В качестве центрального автора Брюне выбрал Колетт, полагая, что её любовь к животным находит отражение и в её текстах. При помощи программы STELLA (которая визуализирует расчёты) Брюне анализирует частоту встречаемости животных в пяти произведениях Колетт, сравнивая их с текстами других французских авторов (среди них — Бовуар, Камю, Пруст и Селин):

⏪Мы предлагаем проверить, любит ли Колетт кошек или животных вообще [...] Вряд ли Колетт питала любовь к измерениям и подсчетам. Считать монетки это ещё куда ни шло. Но считать слова вместо того, чтобы их взвешивать! Считать животных вместо того, чтобы их гладить! Без сомнения, этот безумный проект никогда не приходил Колетт в голову — даже в те беспокойные вечера, когда счет овец, как говорят, помогал ей уснуть. Но чтобы успокоить Колетт и избавить её призрак от кошмара цифр, мы не покажем вам процесс их приготовления [la cuisine des chiffres ne sera pas montrée]. Достаточно знать, что эти кривые получаются в результате перекрестного умножения, квадратных корней и многих других ингредиентов, одни названия которых могут испортить вам аппетит, хотя компьютер переварит их без проблем.⏩

В ходе цифровой кулинарии выясняется, что чаще всего Колетт пишет про кошек (chat / chatte) — что особенно, по мнению Брюне, выделяет её на фоне других авторов, которые либо не особенно обращаются к животным в своих текстах, либо используют их в символическом значении. Или как пишет Брюне в заключении:

⏪В этом случае статистика лишь подтверждает ощущение очевидного. Это, конечно же, не является открытием, и мы добились лишь относительного прогресса в доказательстве, если не правильности [количественного] метода, то хотя бы того, что он не является ошибочным.⏩

А кошек у Колетт насчитали 198 🙂

наконец-то опубликовали текст секретного древнегреческого дневника парижского эллиниста девятнадцатого века!!! с трепетом ожидала этого события, от души поздравляю команду проекта LAGOOS и бегу читать, как Хазе ходил в библиотеку, на лекции и по гостям