| Документация на английском |
|---|
OCEAN-AI - библиотека с открытым исходным кодом, состоящая из набора алгоритмов интеллектуального анализа поведения человека на основе его мультимодальных данных для автоматического оценивания уровня отдельных персональных качеств личности человека (ПКЛЧ). Библиотека оценивает 5 ПКЛЧ: Открытость опыту (Openness), Добросовестность (Conscientiousness), Экстраверсия (Extraversion), Доброжелательность (Agreeableness), Эмоциональная стабильность (Non-Neuroticism).
OCEAN-AI включает четыре основных алгоритма:
- Алгоритм анализа аудиоинформации (ААИ).
- Алгоритм анализа видеоинформации (АВИ).
- Алгоритм анализа текстовой информации (АТИ).
- Алгоритм мультимодального объединения информации (МОИ).
Алгоритмы ААИ, АВИ и АТИ реализуют функции сильного искусственного интеллекта (ИИ) в части комплексирования акустических, визуальных и текстовых признаков, построенных на различных принципах (экспертных и нейросетевых), т.е. данные алгоритмы реализуют подходы композитного (гибридного) ИИ. В алгоритмах осуществляется необходимая предобработка аудио-, видео- и текстовой информации, вычисление акустических, визуальных и текстовых признаков и выдача гипотез предсказаний по ним.
Алгоритм МОИ является связующим звеном трех алгоритмов анализа информации (ААИ, АВИ и АТИ). Данный алгоритм выполняет нейросетевое объединение признаков полученных с помощью алгоритмов ААИ, АВИ и АТИ.
Помимо основной задачи - мультимодального оценивания персональных качеств личности человека, реализованные в OCEAN-AI признаки позволят исследователям решать другие задачи анализа поведения человека, например распознавание его аффективных состояний.
Для установки библиотеки необходимо обратиться к Установка и обновление.
Для работы со аудиоинформацией следует обратиться к Аудиообработка информации.
Для работы со видеоинформацией следует обратиться к Видеообработка информации.
Для работы с текстовой информацией следует обратиться к Текстовая обработка информации.
Для работы с мультимодальной информацией следует обращаться к Мультимодальная обработка информации.
Библиотека решает практические задачи:
- Ранжирование потенциальных кандидатов по профессиональным обязанностям.
- Прогнозирование потребительских предпочтений на промышленные товары.
- Формирование эффективных рабочих коллективов.
OCEAN-AI использует самые актуальные библиотеки с открытым исходным кодом для обработки аудио-, видео- и текстовой информации: librosa, openSMILE, openCV, mediapipe, transformers.
OCEAN-AI написана на языке программирования python. Нейросетевые модели реализованы и обучены с использованием библиотеки с открытым исходным кодом PyTorch.
Библиотека OCEAN-AI была апробирована на двух корпусах:
- Общедоступном и крупномаштабном корпусе First Impressions V2.
- На первом общедоступном рускоязычном мультимодальном корпусе для оценки персональных качеств - Multimodal Personality Traits Assessment (MuPTA) Corpus.
| Команда разработчиков |
|---|
@article{ryumina24_prl,
author = {Ryumina, Elena and Markitantov, Maxim and Ryumin, Dmitry and Karpov, Alexey},
title = {{Gated Siamese Fusion Network based on Multimodal Deep and Hand-Crafted Features for Personality Traits Assessment}},
volume = {185},
pages = {45--51},
journal = {Pattern Recognition Letters},
year = {2024},
issn = {0167--8655},
doi = {10.1016/j.patrec.2024.07.004},
url = {https://www.sciencedirect.com/science/article/pii/S0167865524002071},
}@article{ryumina24_eswa,
author = {Elena Ryumina and Maxim Markitantov and Dmitry Ryumin and Alexey Karpov},
title = {OCEAN-AI Framework with EmoFormer Cross-Hemiface Attention Approach for Personality Traits Assessment},
journal = {Expert Systems with Applications},
volume = {239},
pages = {122441},
year = {2024},
doi = {https://doi.org/10.1016/j.eswa.2023.122441},
}@article{ryumina22_neurocomputing,
author = {Elena Ryumina and Denis Dresvyanskiy and Alexey Karpov},
title = {In Search of a Robust Facial Expressions Recognition Model: A Large-Scale Visual Cross-Corpus Study},
journal = {Neurocomputing},
volume = {514},
pages = {435--450},
year = {2022},
doi = {https://doi.org/10.1016/j.neucom.2022.10.013},
}@inproceedings{ryumina24_interspeech,
author = {Elena Ryumina and Dmitry Ryumin and and Alexey Karpov},
title = {OCEAN-AI: Open Multimodal Framework for Personality Traits Assessment and HR-Processes Automatization},
year = {2024},
booktitle = {INTERSPEECH},
pages = {3630--3631},
doi = {https://www.isca-archive.org/interspeech_2024/ryumina24_interspeech.html},
}@inproceedings{ryumina23_interspeech,
author = {Elena Ryumina and Dmitry Ryumin and Maxim Markitantov and Heysem Kaya and Alexey Karpov},
title = {Multimodal Personality Traits Assessment (MuPTA) Corpus: The Impact of Spontaneous and Read Speech},
year = {2023},
booktitle = {INTERSPEECH},
pages = {4049--4053},
doi = {https://doi.org/10.21437/Interspeech.2023-1686},
}Исследование проводится при поддержке Исследовательского центра сильного искусственного интеллекта в промышленности Университета ИТМО в рамках мероприятия программы центра: Разработка и испытания экспериментального образца библиотеки алгоритмов сильного ИИ в части гибридного принятия решений на базе взаимодействия ИИ и ЛПР на основе моделей профессионального поведения и когнитивных процессов ЛПР в трудно формализуемых задачах с высокой неопределенностью.