大众网
人工智能、物联网、区块链等技术迅猛发展，将深刻改变人才需求和教育形态。习近平总书记强调，教育数字化是我国开辟教育发展新赛道和塑造教育发展新优势的重要突破口。智能学习环境能够感知学习情境、记录学习过程、推荐学习资源、提供问题解答等，并致力于促进教育数字化转型和提升学生核心素养。
曲阜师范大学徐振国副教授的著作《智慧学习环境中学习画面的情感研究》（中国社会科学出版社），以学习画面隐含的情感属性为切入点，关注智慧学习环境中的“情感缺失”问题，为智慧学习环境情感层面自适应交互的实现提供了新的思路与方法，能够促进学习者轻松、投入和有效地学习，充分发挥信息技术在教育数字化转型中的支撑与引领作用，推进人工智能与教育教学的深度融合，并促使教育教学走向智能化、协同化、高效化，具有重要的学术价值和现实意义。
现将该著作主体内容进行转载，以飨读者。
第一章 绪论
第一节 研究背景与意义
一 研究背景
“21世纪技能”是智慧时代对“数字土著”提出的新能力要求，而构建培养“21世纪技能”需要标准和评价系统、课程和教学系统、个人专业发展以及学习环境等支持。伴随计算机和网络成长起来的“数字土著”对学习环境的理解和诉求与“数字移民”截然不同，他们渴望学习资源的个性推送、学习社群的协作会话、学习工具的移动互联以及人机情感的深层交互。显然，“数字土著”与“数字移民”在学习风格、思维方式、能力倾向、社会责任等诸多方面存在差异，既有学习环境已不能满足“数字土著”的需求，而物联网、云计算、区块链、人工智能等新一代信息技术的发展与完善，为新学习环境的产生创造了可能，作为数字学习环境高端形态的智慧学习环境便应运而生。教育部印发的《教育信息化2.0行动计划》指出应大力推进智能教育，开展以学习者为中心的智能化教学支持环境建设，推动人工智能在教学、管理等方面的全流程应用。
学习环境的变革常由技术革新率先引起，或者学习环境的变革最终还需要通过技术革新得以实现。智慧学习环境的关键技术特征主要体现在记录过程、情境感知、自适应交互等方面，强调通过动作捕捉、情感计算、眼动追踪等感知并记录学习者在知识获取等方面的情况，以便为学习者提供个性化的学习资源和工具，以促进智慧学习的发生。与普通数字学习环境相比，智慧学习环境注重培养学习者的创新能力、问题求解能力、决策力和批判性思维能力等高阶思维能力，而认知活动在培养学习者高阶思维能力的过程中起着至关重要的协调与控制作用。情感是由外界刺激引起的心理反应，能够影响和调节注意、知觉、表象、记忆、思维和语言等认知活动。关联主义学习理论提出者乔治·西蒙斯（George Siemens）曾指出情感是我们神经网络的“看门人”，在学习者的理解过程中，将认知与情感加以结合非常重要，思维和情感会相互影响。心理学研究表明，学习过程中的专注、高兴、满意等积极情感有助于激发学习动机、培养学习兴趣，促进认知活动；而厌倦、悲伤、焦虑等消极情感则会影响注意力、耐心度，阻碍认知活动。可见，智慧学习过程中学习者的情感状态对学习效果具有重要影响。另外，智慧学习环境打破了传统的教学模式，强调以学习者为中心，以MOOC、微课、移动课件和电子教材等为学习资源的泛在学习、云学习和无缝学习。学习者多借助平板电脑、智能手机、电子书包等智能学习终端进行自主学习或协作学习，师生在时空上多处于准分离状态。在传统教学中，师生面对面直观地交流，教师满意的表情、称赞的话语、鼓励的手势可给学习者传递积极的情感，以影响学习者的学习兴趣和态度。智慧学习环境中师生由于时空上的准分离，将难以感受对方的情感和状态，普遍存在“情感缺失”的问题。知识的传递与情感的交流是相得益彰的，如果智慧学习环境无法将两者有机结合，就难以促进智慧学习的有效进行。
然而，现有的智慧学习环境研究重“知”轻“情”，注重对学习者认知层面的适应性和个性化，即根据学习者的认知能力和知识状态提供合适的学习资源、学习路径和问题解答等；而较少考虑学习者的兴趣、情感、动机等非智力因素在智慧学习过程中的作用，忽视智慧学习环境情感层面自适应交互的理论研究和实践探索，以致智慧学习环境缺乏情感层面的适应性和个性化，学习者在智慧学习过程中缺少情感支持。智慧学习环境要为学习者提供比数字化更加智慧化的学习服务，学习环境与学习者间的和谐情感交互必不可少。因此，智慧学习环境情感层面自适应交互的研究与实现成为急需解决的现实问题。
智慧学习环境中学习者主要通过智能学习终端观看学习内容的信息呈现画面即学习画面进行学习，学习画面是学习者学习的主要环境，并且是学习者与学习内容间信息交互的主通道。美国学者丹尼尔·希尔曼等曾指出学习画面是学习者与学习内容间交互的纽带，并提出远程教育中的第四种交互类型，即学习者与学习画面间的交互。学习画面的色彩搭配、配图质量、文本样式、排版布局、背景纹理等对学习者智慧学习过程中的情感、兴趣、动机、效果都有不可忽视的影响。研究表明，色彩、图形、结构等具有表象特征的符号信息与文本符号信息相比，刺激信息传递时间较短，能够快速引起第一性情感反应。美国学者罗克莎娜·莫雷诺等也曾指出多媒体学习画面的视觉设计具有认知和情感两个重要功能，认知功能主要体现在多媒体学习画面的视觉设计可以为学习者的认知过程提供支持，情感功能则体现在多媒体学习画面的视觉设计可以影响学习者的学习态度和学习动机。学习画面以视觉上的赏心悦目给学习者以美的享受，当学习者长时间面对“冷漠”的学习画面而感受不到情感交互时，就会引起反感，从而严重影响其深层次学习的发生及高层次技能的培养。因此，学习画面的情感是智慧学习环境情感特征的重要表现，智慧学习环境除为学习者提供个性化的学习资源、学习路径和问题解答外，其呈现的学习画面还应与学习者的情感状态、视觉情感偏好相适应，并能对学习者的学习情感起调节和激发作用。
学习者情感的准确识别是构建智慧学习环境和谐情感交互的基础，更是判断学习者学习状态的重要手段，对促进学习者的智慧学习具有重要意义。学习者情感识别作为情感计算的重要内容，研究者主要围绕生理信号、心理测量和外显行为对其开展研究。美国学者艾伯特·梅拉比安指出，感情表达＝7%的言辞＋38%的声音＋55%的面部表情。心理学家保罗·埃克曼等的研究表明，从面部表情到单一具体情感状态映射的准确率为88%。可见，学习者的情感表达方式中，面部表情起到非常关键的作用。面部表情是指通过眼部肌肉、颜面肌肉和嘴部肌肉的变化来表现各种情感状态。徐晓青等学者指出，教育领域基于面部表情的学习情感识别方法要比其他情感识别方法，可用性更高。在实际应用中，通过智能学习终端自带摄像头采集学习者的面部表情，进而判断学习者的情感状态，要比其他方法更加自然可行。
学习画面图像多属于计算机生成或合成图像，传统图像情感识别方法的步骤为：首先提取图像的色彩及其分布、纹理及线条、形状及其空间布局等低层视觉特征，然后使用训练样本集训练图像情感分类器，最后利用训练好的分类器识别图像的情感和强度。常用的分类器有支持向量机、线性分类器和反向传播神经网络等。由于人对图像的情感感知来自多方面的因素，一些是隐含的，难以表达和提取，因此传统图像情感识别方法的效率和准确率较低。基于面部表情的传统学习者情感识别算法主要包括图像预处理、人脸检测、特征提取、特征选择、分类器构建等过程，面部表情的视觉特征需要显式的表达和提取，并依赖经验或运气对其进行挑选。这无疑增加了识别难度，并且可能会丢失原图像的关键特征信息。随着技术的快速发展，深度学习（Deep Learning，DL）成为人工智能领域的重要机器学习算法。需要特别指出，教育领域和计算机领域均有深度学习的概念，虽文字表述相同，但含义却具有本质区别。教育领域深度学习既指对知识的深层次理解，也指主动的、批判性的学习方式，以提高学习者的学习能力、实践能力和创新能力为宗旨。计算机领域深度学习是机器学习中一种基于对数据进行表征学习（Representation Learning，RL）的方法，是人工智能领域新兴的多层神经网络学习算法。若无特别说明，本书中深度学习均指计算机领域含义。深度学习将图像特征提取与神经网络的模糊分类相结合，省略前期复杂的图像预处理和特征提取过程，使之不再依赖人工精心设计的显式特征提取方法，在提高效率和准确率的同时，也提高了识别算法的鲁棒性。深度学习已在自动驾驶、计算机视觉、医学图像分析、自然语言处理等领域得到广泛应用，但在教育领域却鲜有提及。
本书的研究问题主要有以下三点：
1.随着大数据、物联网、人工智能等新兴技术的出现和快速发展，教育信息化从1.0时代迈入2.0时代，智慧学习支持环境建设成为教育信息化发展的新趋势。传统课堂教学中教师可通过观察学习者以判断其情感状态，但当学习者借助平板电脑、智能手机、电子书包等智能学习终端进行自主学习或协作学习时，教师则较难掌握学习者的情感状态。智慧学习环境要为学习者提供比数字化更加智慧化的学习服务，学习环境与学习者间的和谐情感交互必不可少。但目前的智慧学习环境研究侧重认知层面的自适应交互，忽视情感层面自适应交互的理论研究和实践探索。
2.学习画面的色彩搭配、排版布局、背景纹理等能够影响学习画面的情感，进而影响学习者的情感状态和认知活动，学习画面的情感应能根据学习者的学习情感和视觉情感偏好以及学习画面的情感和视觉特征进行自适应调整，以实现智慧学习环境情感层面的自适应交互。对学习画面情感和学习者情感进行实时并且准确的识别是实现智慧学习环境和谐情感交互的前提和基础，但目前缺乏学习画面情感及其识别、学习画面情感对学习者情感影响、学习画面情感自适应调整对学习者情感影响的相关研究。
3.既有图像情感识别和学习者情感识别研究多采用传统机器学习方法，存在准确率低、算法复杂、鲁棒性差等问题，而且人工选择的特征不能很好地表达图像的全部信息。此外，学习画面情感识别和基于面部表情的学习者情感识别离不开学习画面图像数据库和学习者表情图像数据库的支撑。学习画面图像数据库目前并未见有文献提及，而现有面部表情图像数据库样本数量普遍较少，并且多为外国人脸表情。由于外国人的人脸及表情特征与中国人的人脸及表情特征具有显著差异，因此训练结果较难应用于中国，而且样本数量普遍较少，也难以满足深度学习和实际应用的需求。
二 研究意义
物联网、云计算、区块链、人工智能等技术迅猛发展，将深刻改变人才需求和教育形态，并为教育信息化2.0行动提供强有力的技术支撑。在此背景下，智慧学习环境的出现与发展成为必然的趋势。作为数字学习环境高端形态的智慧学习环境，除为学习者提供个性化的学习内容和学习路径外，还应为学习者提供符合其情感状态和视觉情感偏好的学习画面。本书着眼于智慧学习环境和谐情感交互理论研究和实践探索的缺失，建设了学习画面图像数据库和学习者表情图像数据库，采用深度学习领域的代表算法卷积神经网络实现学习画面情感和学习者情感的有效识别，并探索了学习画面情感对学习者情感的影响。基于上述研究，本书最后探讨了学习画面情感自适应调整对学习者情感的影响，借此实现智慧学习环境情感层面的自适应交互，以便促进学习者轻松、投入和有效地学习，充分发挥信息技术在教育信息化2.0行动中的积极作用，推进人工智能等新兴技术与教育教学的深度融合。
（一）理论意义
现有智慧学习环境研究多关注根据学习者的认知水平来提供适应性的学习内容，而较少考虑学习者情感的适应性。仅有的少数研究也只是关注学习者的学习情感，并未对智慧学习环境中学习画面的情感进行研究。本书在既有研究的基础上，分析了智慧学习环境中学习画面的类型与特点，阐释了学习画面的视觉情感和学习者的学习情感，并实现在学习者学习过程中对学习画面情感和学习者情感的实时识别，然后探讨了智慧学习环境中学习画面情感对学习者情感的影响以及学习画面情感自适应调整对学习者情感的影响。
理论意义主要有以下三点：第一，本书对智慧学习环境以及智慧学习环境中学习画面情感、学习者情感的研究，实现了其他学科经典理论与教育学研究的结合，可以丰富和完善智慧学习环境、学习画面的理论体系，拓宽智慧学习和人机交互的内涵。第二，本书对智慧学习环境中学习画面情感对学习者情感的影响以及学习画面情感自适应调整对学习者情感的影响进行实验研究，并提出学习画面情感自适应调整模型，为智慧学习环境中和谐情感交互的实现提供了理论支撑，为教育信息化、情感计算、人机情感交互等理论的发展提供了新的生长点。第三，和谐情感交互不仅是智慧学习环境的需求，也是其他领域智慧环境的需要，本书将有助于扩展情感自适应交互的研究领域，并对其他领域智慧环境和谐情感交互的构建与实现具有重要的借鉴价值。
（二）实践意义
物联网、云计算、人工智能、区块链等技术方兴未艾，无疑为智慧学习环境的构建和实现创造了更多可能。但目前研究多集中于理论探索和模型构建，实际将前沿技术应用于智慧学习环境设计与开发的研究较少。本书建立学习画面图像数据库，并将其作为训练样本集对9层卷积神经网络模型进行训练，实现学习画面情感的准确识别；建立学习者表情图像数据库，并将其作为训练样本集对7层卷积神经网络模型进行训练，实现学习者情感的准确识别；利用C++、C#、Matlab等编程语言实现基于学习者情感的学习画面情感自适应调整系统的开发，充分发挥信息技术在智慧学习环境建设和发展中的支撑与引领作用，推动新兴技术更好地适应教育改革发展的要求。
实践意义主要有以下四点：第一，深度学习依赖于大量甚至海量训练样本，本书自主建设的学习画面图像数据库和学习者表情图像数据库将为教育领域或其他领域的相关研究提供数据支撑。第二，对学习画面情感和学习者情感进行实时并且准确的识别是实现智慧学习环境情感层面自适应交互的前提和基础，本书对其中的关键技术进行研究，将有助于智慧学习环境和谐情感交互的实现和完善。第三，本书通过实验证实根据学习者的学习情感和视觉情感偏好以及学习画面的情感和视觉特征自适应调整学习画面情感，能够激发学习者的学习兴趣，调节学习者的学习情感，为解决智慧学习环境中的情感自适应交互问题提供了新的思路与方法。第四，本书对学习画面情感及其对学习者情感的影响进行系统研究，可为智慧学习环境中学习画面情感层面的设计提供借鉴和参考。同时，对学习者的学习情感及其识别方法进行系统研究，数据可借助“仪表盘”呈现给教师或管理者，有助于教师、学习管理系统、智慧学习环境掌握学习者的学习状态以及对学习内容的理解程度。
总之，以物联网、云计算、人工智能等为代表的新兴技术正引发学习环境的全面变革，学习对象由“数字移民”变为“数字原住民”，学习模式由课堂中以教师为中心的单向知识传递变为以学习者为中心的混合式教学或翻转课堂等。学习画面以直观的视觉特征和隐含的艺术特征影响学习者的学习情感，学习者的面部表情是学习者情感的重要表现，根据学习者的学习情感，可以判断学习者的学习状态和认知水平。通过自适应调整学习画面的视觉情感，实现对学习者情感的调节，以降低认知负荷，促进智慧学习，提高学习效果，而准确并且实时识别学习画面情感和学习者的学习情感是进行学习画面情感自适应调整的基础和关键。本书所提出的方法能够实时识别学习画面的视觉情感和学习者的学习情感，并能根据学习者的学习情感和视觉情感偏好以及学习画面的情感和视觉特征自适应调整学习画面情感，然后将调整后的学习画面实时呈现给学习者，以便实现智慧学习环境情感层面的自适应交互，并促进学习者轻松、投入和有效地学习。因此，本书具有重要的理论意义和突出的实践指导意义。
第二章 相关理论与技术
本章小结
本章首先对智慧学习理论、关联主义学习理论、人本主义学习理论、自主学习理论等相关学习理论进行简单介绍，主要包括四种学习理论的代表人物、核心观点以及对本书的启示。然后对情感分类、情感模型、情感计算、情感与认知等内容进行阐述，心理学领域主要围绕基本情感和维度情感两种理论对情感分类进行研究，情感模型主要包括OCC模型、HMM模型、EBS模型、分布式情感模型等，基于生理信号的分析方法、基于心理测量数据的分析方法、基于外显行为的分析方法是目前常用的情感识别方法，情感不仅能够影响信息加工的发动、干扰和结束，还能影响注意、记忆、思维等认知活动。最后，对CNN的优点、结构和训练过程进行介绍，CNN具有权值共享、局部连接、端到端的处理方式等优点，通常包括输入层、卷积层、池化层、全连接层和输出层，训练过程则包括信号正向传播和误差反向传播两个过程。本章为后续研究的顺利开展奠定了坚实的基础。
第三章 学习画面与学习者表情图像数据库的构建
本章首先梳理了图像情感的相关研究，提出学习画面情感主要包括温馨、欢快、活泼、搞笑、夸张、幽默、有趣、凄凉、枯燥、沉闷、繁乱、虚幻、惊险、恐怖14种类型，并借助网络爬虫和屏幕截图程序建设了拥有17456幅图像的学习画面图像数据库，标注者通过标注工具对学习画面图像数据库中的17456幅图像进行情感标注。然后梳理了学习者学习情感的相关研究，提出学习者的学习情感主要包括常态、高兴、愤怒、悲伤、惊恐、专注、走神７种类型，并借助采集工具和网络爬虫建设了拥有85085幅图像的学习者表情图像数据库。本章为实现智慧学习环境中学习画面的情感识别和学习者的学习情感识别奠定了数据基础。
第四章 智慧学习环境中学习画面的情感识别
本章首先梳理了图像情感识别方法的相关研究，主要分为基于机器学习的图像情感识别方法和基于视觉认知的图像情感识别方法。其中基于视觉认知的图像情感识别方法是利用哲学、心理学和视觉认知等领域的知识，将图像的低层视觉特征根据某种规则或逻辑映射到高层情感语义中；基于传统机器学习的图像情感识别方法首先提取图像的颜色、纹理、形状等低层视觉特征，然后利用监督学习的方法训练分类器，以识别图像的情感。最后设计了一种9层CNN模型以实现学习画面的情感识别，该模型包括4个卷积层、4个池化层和1个全连接层，并在自主建设的大规模学习画面图像数据库上进行了模型训练和实验。实验结果表明，该模型能够较为准确地识别学习画面图像的情感。其次，设计开发了学习画面情感自动评估系统，并对该系统核心功能的实现进行了介绍。最后，利用训练后的CNN模型对134742幅学习画面图像的情感进行识别，并从学段、学科、资源类型三个维度对学习画面的情感进行了分析，给出了学习画面设计的情感启示，以期对智慧学习环境中学习画面的设计提供借鉴和参考。
第五章 智慧学习环境中学习者的情感识别
本章首先梳理了基于面部表情的学习者情感识别方法的相关研究，主要分为基于传统机器学习的方法和基于深度学习的方法，其中传统机器学习方法包括图像采集、人脸检测、特征提取、分类器构建等过程，深度学习方法则将图像特征提取与神经网络的模糊分类相结合，省略前期复杂的特征提取过程。其次简要介绍了基于Haar特征的Adaboost算法，以实现人脸检测。再后设计了一种7层CNN模型以实现学习者的情感识别，该模型包括3个卷积层、3个池化层和1个全连接层，并在自主建设的大规模学习者表情图像数据库上进行了模型训练和实验。实验结果表明，该方法能够快速且较为准确地识别学习者的学习表情，进而判断学习者的学习情感。最后，设计开发了学习者情感自动识别系统，并对该系统核心功能的实现进行介绍。
第六章 学习画面情感对学习者情感的影响
本书为探索学习画面情感对学习者情感的影响以及两者的相关性，进行了准实验研究。首先，进行实验设计，明确实验目的、实验对象、教学内容、实验变量、实验假设、实验方案，实验对象为济南市某学校7、8年级的98名学生，教学内容包括信息技术教材内容和Scratch创意编程内容。然后设计开发学习画面与学习者表情同步采集系统，以支持实验的顺利开展，并对核心功能的实现进行介绍。再后进行实验，整个实验共持续15周的时间，包括准备阶段、实施阶段和完成阶段。最后，分析数据得出结论。具有温馨、欢快、活泼、搞笑、幽默和有趣等正向情感的学习画面能够激发学习者的高兴、常态、专注等积极情感，并避免愤怒、悲伤、惊恐和走神等消极情感的出现。具有凄凉、枯燥、沉闷、繁乱等负向情感的学习画面能够引起学习者的消极情感，而不易激发学习者的积极情感。具有夸张、虚幻、惊险、恐怖等情感的学习画面则具有特殊性，需要具体分析。
第七章 学习画面情感自适应调整对学习者情感的影响
本书采用准实验研究法探索学习画面情感自适应调整对学习者情感的影响。首先，进行实验设计，明确实验目的、实验对象、教学内容、实验变量、实验假设、测量工具和实验方案，实验对象仍为济南市某学校7、8年级的98名学生，教学内容为信息技术教材内容。其次，构建基于学习者情感的学习画面情感自适应调整模型，开发基于学习者情感的学习画面情感自适应调整系统，以支持实验的顺利开展，并对核心功能的实现进行介绍。再次，进行实验，整个实验过程共持续两周的时间，包括准备阶段、实施阶段和完成阶段。最后，分析数据得出结论。根据学习者的学习情感和视觉情感偏好以及学习画面的情感和视觉特征自适应调整学习画面情感，能够激发学习者的学习兴趣，调节学习者的学习情感，为实现智慧学习环境情感层面的自适应交互创造了更多可能。
第八章 总结与展望
现有学习环境已不能满足“数字土著”的需求，人工智能、云计算、区块链等技术迅猛发展，将深刻改变人才需求和教育形态，作为数字学习环境高端形态的智慧学习环境便应运而生。学习过程中的学习情感能够影响学习者的注意、记忆、思维等认知活动，但目前智慧学习环境研究重“知”轻“情”，注重对学习者认知层面的适应性和个性化，即根据学习者的认知能力和知识状态提供合适的学习内容，忽视智慧学习环境情感层面自适应交互的理论和实践研究。学习画面以直观的视觉特征和隐含的艺术特征影响学习者的学习情感和认知活动。本书着眼于智慧学习环境中和谐情感交互理论研究与实践探索的缺失，建设了学习画面图像数据库和学习者表情图像数据库，利用CNN实现学习画面情感以及学习者情感的实时识别，探讨了学习画面情感对学习者情感的影响以及学习画面情感自适应调整对学习者情感的影响，为实现智慧学习环境中的和谐情感交互提供了新的思路与方法，以促进学习者轻松、投入和有效地学习。
第一节 研究总结
本书以学习画面隐含的情感属性作为切入点，关注智慧学习环境中的“情感缺失”问题，为智慧学习环境情感层面自适应交互的实现创造了更多可能。具体工作内容如下。
（1）通过归纳、总结相关文献资料，梳理了智慧学习环境、学习者情感识别、学习画面情感的国内外研究现状，界定了智慧学习环境、学习画面、学习情感的概念含义，阐述了相关学习理论、情感与情感计算等理论基础以及CNN等相关技术。
（2）通过对既有研究的梳理，对学习画面情感以及学习者的学习情感进行论述，并据此建设学习画面图像数据库和学习者表情图像数据库。学习画面的情感主要包括温馨、欢快、活泼、搞笑、夸张、幽默、有趣、凄凉、枯燥、沉闷、繁乱、虚幻、惊险、恐怖14种类型，学习画面图像数据库包括各学段、学科、资源类型、知识类型的17456幅学习画面图像，并采用科学方法对每幅图像的情感及强度进行人工标注。学习者的学习情感主要包括常态、高兴、愤怒、悲伤、惊恐、专注、走神7种类型，学习者表情图像数据库由通过摄像头采集和网络爬虫下载的85085幅图像构成。
（3）综合考虑准确率、训练速度和内存消耗等因素，并根据学习画面图像的特点和训练所用计算机的性能，设计了9层CNN模型，以识别学习画面的情感，然后在自主建设的学习画面图像数据库上进行了模型训练和实验。该模型包括4个卷积层，4个池化层和1个全连接层。实验结果表明，该方法能够快速并且较为准确地识别学习画面的情感。
（4）综合考虑准确率、训练速度和内存消耗等因素，并根据学习者面部表情图像的特点和训练所用计算机的性能，设计了7层CNN模型，以识别学习者的学习情感，然后在自主建设的学习者表情图像数据库上进行了模型训练和实验。该模型包括3个卷积层，3个池化层和1个全连接层。实验结果表明，该方法能够快速、准确地识别学习者的学习情感，进而据此判断学习者的情感状态。
（5）通过实验探究学习画面情感对学习者情感的影响，实验对象为济南市某九年一贯制学校7、8年级的学生，采用单组后测的准实验研究方法，使用具有不同情感的学习画面进行实际教学，并同时采集学习画面图像以及与其对应的学习者表情图像，整个实验分为准备阶段、实施阶段和完成阶段，共持续15周的时间。实验结果表明，温馨、欢快、活泼、搞笑、幽默、有趣的学习画面能给学习者带来良好的学习体验，而凄凉、枯燥、沉闷、繁乱的学习画面会引起学习者消极的学习情感，夸张、虚幻、惊险、恐怖的学习画面则较为特殊，需要具体分析。
（6）通过实验探讨学习画面情感自适应调整对学习者情感的影响，实验对象仍为济南市某九年一贯制学校7、8年级的学生，采用实验组对照组后测的准实验研究方法，实验组观看自适应调整后的学习画面进行学习，对照组观看未经调整的原学习画面进行学习，同时采集实验组、对照组学习者的学习表情图像，整个实验分为准备阶段、实施阶段和完成阶段，共持续2周时间。实验结果表明，根据学习者的学习情感和视觉情感偏好以及学习画面的情感和视觉特征自适应调整学习画面情感，能够调节学习者的学习情感，激发学习者的学习兴趣。
第二节 研究展望
本书对学习画面的情感识别、学习者的情感识别、学习画面情感对学习者情感的影响以及学习画面情感自适应调整对学习者情感的影响进行研究，虽取得一定成果，但学习者的学习情感除受学习画面直观的视觉特征和隐含的艺术特征影响外，还受学习内容、教师有声语音和教师肢体语言等的影响，加之研究时间、研究条件等方面的限制，本书尚有需要完善的地方，有待继续深入研究。
（1）扩充学习画面图像数据库和学习者表情图像数据库。目前，学习者表情图像数据库仅包括85085幅图像，虽然涵盖各学段学习者，但仍以研究生群体为主，后续研究中将着重采集小学生和中学生的学习表情图像，使其更具有代表性。学习画面图像数据库拥有17456幅图像，学习画面种类繁多、形式多样，其情感评价更是因人而异，后续研究中将继续采集各学段、学科、资源类型、知识类型的学习画面图像，并争取每幅图像的情感由15—20人次标注，有效减少因个人视觉情感偏好以及审美差异带来的影响。
（2）优化基于CNN的学习画面情感识别方法和基于CNN的学习者情感识别方法，进一步提高识别准确率和效率。目前，本书提出的方法能够较为准确、高效地识别学习者的学习情感和学习画面的视觉情感，但准确率仍有提升空间。后续研究中，将扩大训练样本集图像数量，并采用水平翻转、随机抠图、色彩抖动等数据增强方法进行数据扩充，优化CNN的结构和参数初始化方法，以切实措施提高学习画面情感和学习者情感的识别准确率。笔者正建设百万级人脸图像数据库和十万级学习画面图像数据库。
（3）完善学习画面情感以及学习画面情感自适应调整对学习者情感的影响实验。目前，两个实验仅在初中信息技术课进行，虽知识类型包括事实知识、原理知识和技能知识，但学段仅包括中学，课程仅包括信息技术课，这无疑使研究结论具有一定局限性，并且学习者的学习情感除受学习画面情感的影响外，还受学习内容、教师肢体语言和有声语音等干扰因素的影响。后续研究中，将增加实验对象数量，并扩大教学内容范围，尽量涵盖学前、小学、中学和大学的人文、理工、艺术、技能、素养等课程，通过大数据分析减小干扰变量的影响，使实验结果更具有代表性和可扩展性。
（4）探究学习画面视觉特征与学习画面情感、学习者情感的关系。本书通过实验探究了学习画面情感对学习者情感的影响及作用机制，学习画面情感受学习画面的视觉特征影响。那么，究竟是学习画面的哪些视觉特征影响到学习者的学习情感，学习画面的视觉特征与学习画面情感又存在何种关系，本书将继续深入研究。
责编：
审核：葛思琦
责编：葛思琦
热点推荐
