NATYA-AI：基于多模态人工智能的印度古典舞语义解读框架及其在文化遗产数字化中的应用

《IEEE Access》：NATYA-AI: A Cultural AI Framework for Multimodal Interpretation of Bharatanatyam

　　本文针对印度古典舞蹈Bharatanatyam因符号化手势（mudras）、面部表情（bhavas）和多语言歌词造成的理解壁垒，提出了NATYA-AI多模态AI框架。研究团队集成YOLO/MediaPipe手势识别、CNN表情分类、Whisper ASR歌词转录和Gemini LLM语义融合技术，实现了从舞蹈视频到文化叙事的端到端生成。该系统在多变光照条件下验证了83%手势识别和74%表情分类准确率，输出文本/音频双模式叙事，为文化遗产的数字化保存、跨文化教育及无障碍访问提供了创新解决方案，有力支撑SDG 4、9、11、16等可持续发展目标。

　　

当印度古典舞蹈家以优雅的阿尔拉帕德玛姆手势表达思念，用圣塔表情传递宁静时，台下观众却可能因文化隔阂而陷入迷茫。Bharatanatyam作为传承千年的印度古典舞蹈，通过精密的手势语汇（mudras）、面部情感表达（bhavas）与泰米尔语/梵文诗歌的复杂交织，构建起一套完整的叙事体系。然而，这种高度符号化的艺术形式对非专业观众构成了巨大理解障碍——手势的象征意义需要数年学习才能掌握，歌词的宗教隐喻跨越语言壁垒，而表演中稍纵即逝的情感变化更难以捕捉。这种认知断层不仅限制了文化的广泛传播，更使得舞蹈的数字化存档沦为单纯的影像记录，缺乏语义层面的深度解读。

为解决这一难题，印度阿姆里塔大学的研究团队在《IEEE Access》上发表了开创性研究，提出NATYA-AI文化人工智能框架。该研究首次将计算机视觉、语音识别和大语言模型技术深度融合，构建了能够自动解读Bharatanatyam舞蹈语义的多模态管道。系统从YouTube舞蹈视频入手，通过yt-dlp工具获取数据，采用分层处理策略：首先利用YOLO实现手部区域检测，结合MediaPipe Hand Landmark提取21个关键点坐标，再通过MobileNetV2¹迁移学习模型实现单双手手势分类；面部表情分析则采用定制化CNN架构，在增强后的Navarasa九类情感数据集上达到74%分类精度；音频处理环节使用Whisper Large-v2模型实现泰米尔语歌词转录，最终通过Gemini大语言模型进行跨模态语义融合，生成兼具文化准确性和叙事连贯性的舞蹈解读。

关键技术方法涵盖：①基于YOLO+MediaPipe的手势检测与关键点提取技术；②采用数据增强（旋转/亮度调整/水平翻转）的CNN面部表情分类模型；③支持95种语言的Whisper大型语音识别系统；④具备100万token上下文能力的Gemini多模态大语言模型；⑤针对印度语言的IndicNLP预处理工具包。实验样本来源于公开舞蹈视频资源，通过分层抽样确保数据代表性。

手势识别模块验证

研究团队在自建Mudra数据集上验证了手势识别流程的可靠性。YOLO模型在复杂背景下的手部检测准确率显著，MediaPipe生成的21点骨骼模型有效区分了视觉相似手势（如Aralam与Tripataka）。MobileNetV2分类器在第八轮训练后验证准确率突破83%，较基线模型提升16个百分点。系统还集成了基于Natya Shastra经典文献的手势语义数据库，可实现如"卡达卡穆卡姆手势象征献花仪式"等文化语境解读。

面部表情分类结果

针对Navarasa九大情感的表情分类实验显示，数据增强策略使CNN模型2的测试准确率提升至74%，损失值降至0.8。混淆矩阵揭示模型对细微表情差异（如喜悦与惊奇）的区分能力仍待提升，但较传统VGG16迁移学习方法准确率提高16%。研究特别标注了表情与文化符号的映射关系，例如"圣塔（santa）表情对应哲学中的超然境界"。

歌词转录与语义分析

Whisper Large-v2在泰米尔语歌词转录中表现出色，虽受古典音乐修饰音影响仍保持较高 phonetic 保真度。Gemini模型成功将歌词"Alaipayuthe Kanna"转写为罗马音，并解析出其隐喻的"灵魂渴求与神性合一"的哲学主题，体现了系统对印度美学中"巴克提（bhakti）虔信传统"的深度理解。

多模态叙事生成

通过结构化提示模板整合手势、表情、歌词三元信息后，Gemini生成的叙事展现出惊人的文化一致性。系统将阿尔拉帕德玛姆手势的"思念"语义、圣塔表情的"宁静"特质与歌词中的神性追寻主题融合，构建出"舞者以平静表象掩藏灵性渴求，通过献花手势表达奉献，最终在惊奇表情中展现神性恩典"的完整叙事弧线。输出支持PDF文档与TTS语音双通道，满足无障碍访问需求。

误差分析与改进方向

研究承认当前系统在实时处理、细微表情区分等方面存在局限。特别是数据集规模限制了模型泛化能力，双人舞中的手势重叠现象干扰识别精度。建议后续引入LSTM（Long Short-Term Memory）时序建模、注意力机制优化跨模态对齐，并扩充涵盖不同流派、年龄舞者的训练数据。

NATYA-AI的创新性在于将离散的AI技术转化为文化语义解读系统，其技术框架严格对应印度古典戏剧理论《Natya Shastra》中的"形体（angika）、语言（vācika）、真情（sattvika）"三重表达体系。该系统不仅为Bharatanatyam建立了数字孪生解读机制，更开创了"文化人工智能"的新范式——通过算法解码文化遗产的符号系统，使千年艺术在数字时代获得全新的传播维度。随着未来引入检索增强生成（RAG）机制整合《Abhinaya Darpana》等经典文献，这一框架有望成为非物质文化遗产数字化保护的标杆性解决方案，为全球传统表演艺术的智能解读提供可复用的技术蓝图。