Аспирант Школы электротехники и компьютерных наук Университета Квинсленда (UQ) Тяньци Вэй заявил, что мультимодальные зрительно-языковые модели ИИ (VLM) плохо справляются с интерпретацией изображений микроскопических деталей растений. По его словам, в других областях микроскопии, например в медицине, такие модели уже применяют как исследовательский инструмент, однако в науке о растениях на них нельзя положиться при точном анализе клеточных деталей.
«В конечном итоге возникают "слепые пятна", мешающие нам использовать эти инструменты для совершения открытий, продвигающих исследования в таких критически важных областях, как продовольственная безопасность и экологическая устойчивость», — поясняет Вэй.
Что создали исследователи
Чтобы модели ИИ лучше понимали микроскопию растений, Тяньци Вэй и его коллеги подготовили специализированный набор данных для сравнительного анализа под названием PlantMicro. Он выложен в открытый доступ на GitHub. Результаты масштабного исследования представили на Европейской конференции по компьютерному зрению (ECCV 2026), которая проходила в Мальмё (Швеция) с 8 по 12 сентября 2026 года.
Проект разрабатывался в тесном сотрудничестве со Школой сельского хозяйства и устойчивого развития пищевой промышленности Университета Квинсленда и получил частичную финансовую поддержку от Корпорации исследований и разработок в области зерновых культур (GRDC).
Программное обеспечение PlantMicro объединяет тысячи высокоточных микроскопических изображений. С помощью механизмов машинного обучения система тестирует и проверяет, насколько современные модели ИИ способны идентифицировать, классифицировать и подсчитывать мельчайшие структуры в тканях растений, а также выявлять их заболевания.
Результаты проверки
«Отчасти причина такого разрыва в производительности ИИ в микроскопии растений заключалась в том, что мы не могли точно определить, в чем именно модели VLM дают сбой и как их можно улучшить, — говорит Вэй. — С помощью PlantMicro мы наконец можем четко указать, в каких именно задачах эти базовые модели ИИ испытывают трудности».
Эксперименты команды Университета Квинсленда с использованием PlantMicro подтвердили серьезный кризис точности: и коммерческие VLM-системы с закрытым исходным кодом, и бесплатные модели с открытым кодом крайне плохо справляются с идентификацией растений-хозяев и их болезней. Их средняя точность составила всего около 30%.
«Эти результаты лишь немного превосходят случайное угадывание, — подчеркивает Тяньци Вэй. — Это доказывает, что нейросети по-прежнему сталкиваются со значительными трудностями при попытке определить типы хозяев или патогенов исключительно по микроскопическим данным».
Выявление этих пробелов дает разработчикам искусственного интеллекта важнейшую обратную связь: теперь создатели нейросетей точно знают, какие параметры нужно доработать, чтобы адаптировать ИИ для глубоких микроскопических исследований.
«Мы искренне надеемся, что наша программа заложит лучшую основу для использования ИИ в науке о растениях на благо всех жителей нашей планеты», — заключил исследователь.
Справка: Набор данных PlantMicro выложен в открытый доступ на GitHub. На заглавном фото — поперечный срез клубня, окрашенный йодом (раствором Люголя). Источник: Университет Квинсленда.