✨МарьИванна идет на MERA meetup
⠀
Как вы знаете, наш основной проект - бенчмарк MERA, который содержит 23 задачи для LLM. Среди них набор вопросов из "Что?Где?Когда?", тесты на программирование и даже ЕГЭ.
⠀
Сложность в том, что модели стремительно умнеют, и тесты для них нужно делать все сложнее. А как правильно, какие именно навыки оценивать, и как сделать так, чтобы честно, непредвзято и чтобы задачи не были слиты в претрейн - непростые вопросы....
⠀
...которые мы собрались обсудить научным NLP-сообществом на MERA meetup. Новый формат "коллективного" брейншторма и обсуждения. Митап вышел продуктивным, почерпнули множество идей, теперь осталось воплотить их в жизнь!
⠀
#трудовыебудни #митап #llm #ai #ghibistyle #chatgpt