硕士论文质量评价问题
【摘要】: 在对06~08年各年硕士生论文选题与开题进行总体评价时,我们运用Excel这一统计工具对附录中给出数据进行梳理统计,并通过绘制例如饼状图、条形图、折线图等,形象的将各专业的情况和各年的趋势呈现,配以恰当的文字说明。
在面对问题(2)时,我们通过计算06~08年7项评分项的方差、各评分项平均得分以及两位专家的评分之差绝对值的平均数来分析评阅专家的评卷情况、评阅要求随年份的变化并对其水平进行对比,随后绘制出得分人数百分比柱状图、各学科平均总分折线图分析得分的集中趋势和学科间的差别。
求解问题(3)时,引入了层次分析法进行综合的评价和分析,并计算得出论文的模拟得分用于和专家的打分进行对比,最终得出各专业、各年硕士论文选题开题与论文得分之间的相关性分析结果。
在求解问题(4)时,我们先对2006-2008年硕士论文复查评分表的数据进行了等级划分,再分别按不同年份和专业对论文等级数目进行了统计,随即运用Matlab绘制出面积图,最终得出对复审的评价。
问题(5)中,引入偏度和峰度对硕士毕业前后论文的评分结果进行分析,得出结论,并提出自己的建议。
问题(1)06~08年硕士学位论文在选题方面更加注重理论与实际相结合,从开题的角度看,硕士生所作论文的难度大多处于适中的档位,说明我们在培养硕士生的过程中应注意激发学生的进一步探究能力;分专业情况来看各个专业之间的差别还是比较明显的,表现在不同的专业的论文水平和总体发展趋势上,较为突出的是一些新增的学科。
问题(2)从3年来各项指标得分的方差看,评阅老师评分情况基本落在一个相对较小的区间内部,稳定性较高,说明评阅老师之间的水平差别不大,评阅也较为公正合理;另外论文的水平在提高,得分却没有增加,说明评阅老师的水平也在同步提升;评阅老师对不同学科能够很好的进行差别对待,特别表现在对新增学科的评阅上,与实际相符。
问题(3)运用层次分析法,得出学位论文的选题、开题与论文得分之间有
显著的并且较强的相关性;易知,我们硕士研究生要想提高自身论文的得分,必须在选题、开题上下足功夫,对于教育者而言,可以训练研究生在选题、开题上的水平来提升其论文写作能力。
问题(4)高质量论文数目不多,主要集中在良好和优秀两档,但一般和较差的论文数目也较少。表明研究生的整体水平较高,但缺乏顶尖人才,为我国研究生招生和培养亟待解决的问题之一;各个学科论文经复审之后仍存在较大差别。
问题(5)复审后,论文的平均分下降,表明论文的质量有所下滑,建议硕士毕业生要重视论文写作质量;复审后,偏离均值的数据变少(表明复审有助于评分系统的稳定),也就说绝大部分都集中在了中等水平,较差和拔尖的明显变少,建议我国的教育部门要提倡精英教育,对突出的人才要加大培养力度,从而实现研究生水平从大众到精英的转变。
关键词 层次分析 残差分析 数理统计
一、 问题的重述与分析
随着科教兴国战略的推行,我国的高等教育体系愈加完善,在现今的社会上本科生的数量可谓“一抓一大把”,其社会价值与获得的重视程度和以往相比已是江河日下。硕士研究生,一个越来越耳熟能详的群体,日益壮大,它取代了本科生在社会大众心目中的地位。
在我们的日常生活中,也常听说某某同学考上了哪里的研究生,某某人又在
- 1 -
准备考研等等的字眼,可见,一股考研之风正在刮起。
近年来,随着报考研究生的本科生和社会在职人员数量的不断增加(怀着“继续深造”和增加职场竞争力等目的),各高等院校纷纷通过扩招来吸引考生报考或者通过分配一定数量的保研名额直接招进硕士生。
我们知道,硕士研究生教育是本科教育的进一步,同时也是更高一级的基础,可以说是一个过渡性的教育阶段,可以看出抓好研究生教育的质量对于控制我国的整体高等教育质量至关重要,上述各高校的类似做法不免让人们开始质疑研究生教育的质量问题。而研究生教育的质量可以从多个方面着手,如参加的学术活动和公开发表研究成果的数量,解决问题的途径和方法,导师的指导方式等等,而本文对研究生教育质量问题的探索着眼于硕士学位论文质量的研究上,因为这与每一个硕士研究生都息息相关,具有普遍性,对不同专业分类的研究又可以得出差异性。本文主要的任务包括:
① 根据题中附件1给出的数据,即2006_2008年硕士论文抽查表中的数据,对2006,2007,2008年各年硕士生论文选题与开题进行总体评价。其中包括进行对不同专业的分类评价以及各个年份的总体评价;
② 根据题中给出的数据,即2006_2008年硕士论文抽查表中的数据,对2006,2007,2008年各年硕士论文评分的评价,其中包括进行对不同专业的分类评价以及各个年份的总体评价;
③ 根据题中附件1给出的数据,即2006_2008年硕士论文抽查表中的数据,对各专业、各年硕士论文选题开题与论文得分之间的相关性进行分析,并就相关性进行分析得出一定的结论;
④ 根据附件2_中2006_2008年硕士论文复查评分表中的数据,对2006,2007,2008年复审(毕业后的重新评阅)论文进行评价。其中包括进行对不同专业的分类评价以及各个年份的总体评价;
⑤ 对硕士毕业前后论文的评分结果进行分析,并得出一定的结论。表述自己的观点以及呈现结论。并就得出的揭露提出自己具有可行性的建议和意见。
- 2 -
二、 模型假设与符号说明
2.1模型假设
① 06、07和08年各学科硕士生学位论文初审的评阅老师不变,各学科评分的尺度基本相同;
② 在进行论文抽样的过程中,是随机并且是客观的;
2.2符号说明
表1 对题中的一些符号的说明
符号 XT KT1 KT2 KT3 KT4 KT5 KT6 C1~C7 说明和解释 对选题的评价结果 论文难度 论文工作量 研究方案可行性 硕士生对文献资料和课题的了解程度 硕士生在论文选题报告中反映出的综合表达能力 对论文选题报告的总体评价 06~08年各项指标得分的方差 备注:AHP:层次分析法(AnalyticHi~hyProcess),是对方案的多指标系统进行分析的一种层次化、结构化决策方法,它将决策者对复杂系统的决策思维过程模型化、数量化。
- 3 -
三、 模型的建立与求解
3.1问题一
对2006,2007,2008年各年硕士生论文选题与开题的总体评价:
图1.1 06~08选题百分比(1-有理论意义2-有实用价值3-有理论意义和实用价值)
由上图可看出:06、07、08三年来选题偏向于有理论意义和实用价值的占绝大多数,基本维持在70%的水平上下,选题只有理论意义的比例在减小,只有实用价值的比例在增加。
可以得出一个硕士生对于学位论文选题和开题的总体趋势,不再单一的侧重理论层面,越来越追求论文的实用价值,更加注重理论与实际相结合,这对于自身和社会都是有利的。
- 4 -
图1.2 06~08年论文开题和选题的得分人数比例分布图
从图1.2中可以看出:选题和开题情况在3年中有明显变化,但变化不是很明显。在KT1和KT2中,绝大数人都评为2(适当),其他开题指标评为1(好)或2(较好)的比例相当,少量评为3(一般),无人评为4(差),说明现在的硕士生所作论文的难度适中,工作量也较恰当,也反映出深入探究能力的局限。
而从KT4、KT5、KT6的得分情况来看,现今的大多数硕士生在论文开题时对文献资料和课题的了解程度、在论文选题报告中反映出的综合表达能力以及对论文选题报告的总体把握还是具有较高的水平的。
图1.3 06~08年开题各项指标平均分
可以看出:3年来的开题指标基本无变化,论文质量在开题环节维持在一个相对稳定的水平上,特别是在研究方案可行性、对论文选题报告的总体把握方面保持了良好的态势。
- 5 -
从KT1、KT2指标的分数看,3年来硕士生所作论文的难度和完成论文所需工作量方面都有上升的趋势,表明在这个竞争日益激烈的社会大环境下,硕士研究生的探索能力在进一步提高。
而站在指标KT4、KT5得分情况的角度上分析,它们都有减低之势,表明随着社会资源的日益丰富,硕士生对于所用文献资料的认识尚浅,对自己所选课题的了解也不够深入,这回影响他们所作论文的总体质量和实际意义;并且,硕士生对于论文选题报告的综合表达能力也亟待加强,需要扭转颓势,向良好的方向发展。
进一步统计分析:
图1.4 06~08年各专业KT4平均评分
从图中我们可以看到有两个特别位置凸显的点,分别对应于08年得学科3 、23和34,由已知它们是08年新增的三个研究生学科,必然有关该新增学科的相关文献和资料的数量是有限的,那么就导致了硕士生对文献、课题的了解和认识不够深入,这是符合逻辑和实际的。 各专业的评价:
选题:由于有些学科的抽样数据较少,可能引起较大的误差,我们选取了每年抽样数大于10个的学科进行统计分析。
- 6 -
3年各学科选题百分比图
我们观察数据发现KT1(论文难度)和KT2(论文工作量)有较强的相关性(二者的折线图基本重叠),而KT3至KT6的评分都用低分表示论文质量较好。所以,将KT1和KT2相加,表示论文的难度,KT3至KT6相加,表示论文的优劣。
图1.6 06~08年各专业KT1与KT2之和
从图中可以看出:学科6、27在08年论文难度上升,学科7在07及08年选择的论文较06年难,说明可能在培养硕士生时对这些学科的要求有提高
- 7 -
而无降低的,学科25和32在3年间论文难度下降,回归适当,说明对这些学科的要求在放松,要加以警惕和控制。
图1.7 06~08年各专业KT3至KT6之和
不难看出:08年新开的学科3、23和34中,对硕士生的有关它们所作论文的质量是相对较差的,这也是一种新的尝试,不可能对其期望太高,质量不高是正常的表现,也说明有很大的提升空间;另外学科21、32的硕士论文质量有明显的下降趋势,需要究其原因并加强控制。 3.2问题二
对2006,2007,2008年各年硕士论文评分的评价(包括各专业和各年的总体评价)。
表2 06~08年7项评分项的方差
C1 C2 C3 C4 C5 C6 C7 06年 0.4453 0.3936 3.0743 2.1727 0.3506 0.3654 0.5435 07年 0.3228 0.3333 2.2503 1.3006 0.2660 0.2735 0.3789 08年 0.3228 0.3333 2.2503 1.3006 0.2660 0.2735 0.3789 可以看出07、08年评分的方差较06年较小,说明老师的评分结果落在了一个较小的区间内部,也反映出评阅老师水平较接近。
表3 06~08年两位专家的评分之差绝对值的平均数
|A1-B1| |A2-B2| |A3-B3| |A4-B4| |A5-B5| |A6-B6| |A7-B7| - 8 -
06年 07年 08年 0.6777 0.6883 2.0225 1.3475 0.6618 0.7308 0.7639 0.7095 0.7115 1.8340 1.4089 0.6012 0.6660 0.7591 0.7085 0.6725 1.9978 1.1976 0.6419 0.6528 0.7773 可以看出,两位专家给出的评分具有较强的稳定性。|A3-B3|的值为一般值的3倍左右,|A4-B4|的值为一般值的2倍左右,这与指标A3、A4的满分分值
相对于其他指标的满分分值的配属关系相适应。
图2.1 06~08年各评分项平均得分
从图2.1中我们看以看出,三年的论文各项指标的平均得分的折线图基本重合,说明自06年到08年的三年时间里面论文的各指标得分情况基本不变,一方面反映出论文的综合水平有原地踏步的危险,有关方面应该加强重视,找出问题的根源,适当的加大对研究生教育的经费投入,确保研究生教育的质量;另一方面需要从评分的角度看待问题,看看是否由于评分的要求相对提高,使得论文质量提高的同时,得分还是保持稳定。
- 9 -
图2.2 06~08年得分人数百分比柱状图
从图2.2可以看出,评阅老师所评总分集中于85-90的区间,三年低分区的情况越来越少出现,中档得分的数来那个有增加的趋势,而高分区得分数量基本不变。
图2.3 06~08年各学科平均总分折线图
从图2.3可以看出,学科3、5、23及34是08年新增的,由于各方面资源的缺乏以及学生的认识较浅对专业的了解也不够深入,导致了相关的学位论文的得分较低,在情理之中,也反映出评阅老师的水平较高,可谓明察秋毫啊。
另外,从各学科学位论文的得分区别情况来看,评阅老师对各不同学科论文的评价存在明显的差别,也能反映出评阅的水平。
- 10 -
3.3问题三
要求对各专业、各年硕士论文选题开题与论文得分之间的相关性进行分析。 通过下图的思路来进行相关性分析:
影响论文质量的各项因素(XT,KT1~6) ①层次分析 模拟得到对论文评价 两位专家评分的平均值 ②比较 通过两者的残差分布,来判断相关性
因此我们需要完成两个任务: 一、做层次分析得到对论文的评价 二、对模拟评分和专家评分进行残差分析 3.3.1层次分析法的引入 基本原理
层次分析法根据问题的性质和要达到的总目标,将问题分解为不同的组成因素,并按照因素间的相互关联影响以及隶属关系将因素按不同层次聚集组合,形成一个多层次的分析结构模型,从而最终使问题归结为最低层(供决策的方案、措施等)相对于最高层(总目标)的相对重要权值的确定或相对优劣次序的排定。 层次分析法步骤
运用层次分析法构造系统模型时,大体可以分为以下四个步骤:
1. 建立层次结构模型 2. 构造判断(成对比较)矩阵
- 11 -
3. 层次单排序及其一致性检验 4. 层次总排序及其一致性检验 建立层次结构模型
将决策的目标、考虑的因素(决策准则)和决策对象按它们之间的相互关系分为最高层、中间层和最低层,绘出层次结构图。 最高层:决策的目的、要解决的问题。 最低层:决策时的备选方案。 中间层:考虑的因素、决策的准则。
对于相邻的两层,称高层为目标层,低层为因素层。 构造判断(成对比较)矩阵
在确定各层次各因素之间的权重时,如果只是定性的结果,则常常不容易被别人接受,因而Santy等人提出:一致矩阵法,即: 1. 不把所有因素放在一起比较,而是两两相互比较
2. 对此时采用相对尺度,以尽可能减少性质不同的诸因素相互比较的困难,以提高准确度。
表4
层次单排序及其一致性检验
对应于判断矩阵最大特征根λmax的特征向量,经归一化(使向量中各元素之和等于1)后记为W。
- 12 -
W的元素为同一层次因素对于上一层次因素某因素相对重要性的排序权值,这一过程称为层次单排序。
能否确认层次单排序,需要进行一致性检验,所谓一致性检验是指对A确定不一致的允许范围。
由于λ 连续的依赖于aij ,则λ 比n 大的越多,A 的不一致性越严重。用最大特征值对应的特征向量作为被比较因素对上层某因素影响程度的权向量,其不一致程度越大,引起的判断误差越大。因而可以用 λ-n 数值的大小来衡量 A 的不一致程度。 定义一致性指标:
CI???nn?1
CI=0,有完全的一致性 CI接近于0,有满意的一致性 CI 越大,不一致越严重 定义一致性比率 :
CR?CI RI一般,当一致性比率 CR?CI?0.1时,认为A的不一致程度在容许范围之RI内,有满意的一致性,通过一致性检验。可用其归一化特征向量作为权向量,否则要重新构造成对比较矩阵A,对 aij 加以调整。
一致性检验:利用一致性指标和一致性比率<0.1及随机一致性指标的数值表,对A进行检验的过程。
层次总排序及其一致性检验
计算某一层次所有因素对于最高层(总目标)相对重要性的权值,称为层次总排序。
这一过程是从最高层次到最低层次依次进行的。
设B层B1,B2,?,Bn对上层(A层)中因素 Aj(j?1,2,?,m) 的层次单排序一致性指标为CIj,随机一致性指为RIj , 则层次总排序的一致性比率为:
- 13 -
CR?a1CI1?a2CI2???amCIm
a1RI1?a2RI2???amRIm当 CR?0.1时,认为层次总排序通过一致性检验。层次总排序具有满意的一致性,否则需要重新调整那些一致性比率高的判断矩阵的元素取值。
到此,根据最下层(决策层)的层次总排序做出最后决策。
其中,随机一致性指标RI和判断矩阵的阶数有关,一般情况下,矩阵阶数越大,则出现一致性随机偏离的可能性也越大,其对应关系如表5: 表5 平均随机一致性指标RI标准值 矩阵阶数 RI 3 4 5 6 7 8 9 0.5149 0.8931 1.1185 1.2494 1.3450 1.4200 1.4616 可见,AHP方法不仅原理简单,而且具有扎实的理论基础,是定量与定性方法相结合的优秀的决策方法,特别是定性因素起主导作用的决策问题。
3.3.2任务一 做层次分析得到对论文的评价
构建层次结构模型如图所示
论文质量 选题 开题 XT KT6 KT5 KT1KT2 KT3 KT4
- 14 -
根据准则的类型,可以将准则分为三类: ①、只与选题有关 ②、与选题和开题相关 ③、只与开题有关
Step1:构造选题的正互反矩阵A,依次是XT、KT1,KT5,KT6
?11/22?213A???1/21/31??1/31/41/23?4?? 2??1?运行matlab函数程序AHP1得到:
表6
? 指标 0.2772 max??4.0309980.4673 CI?0.01030.1601 0.0954 因为CR?0.1所以因此该方阵可以通过一致性检验!
RI?0.9000CR?0.0115 Step2:构造开题的正互反矩阵B,依次是KT1、KT2、KT3、KT4、KT5、KT6
?1?3/4??3/5B???1/2?1/4??1/64/35/314/51245/47/45/29/49/511/25/315/86?7/2??3??2? 8/5??1?4/74/92/71/32/55/93/5
运行matlab函数程序AHP1得到
表7
? 指标 0.3117 0.2220 0.1942 0.1253 RI?1.24000.0879 0.0589 max??6.053447 因为CR?0.1所以因此该方阵可以通过一致性检验!
- 15 -
CI?0.0107CR?0.0086 Step3:通过阅读和参考相关文献资料,我们把选题和开题对论文质量的权重定位0.3和0.7,从而得到:
表8 各个指标在论文质量层所占的权重
标号 XT KT1 KT2 KT3 KT4 KT5 KT6
0.0832+0.3584+0.1554+0.1359+0.0877+0.1096+0.0689=0.9991在论文质量层所占的权重 0.2772?0.3?0.0832 0.4673?0.3?0.3117?0.7?0.3584 0.2220?0.7?0.1554 0.1942?0.7?0.1359 0.1253?0.7?0.0877 0.1601?0.3?0.0879?0.7?0.1096 0.0954?0.3?0.0589?0.7?0.0698
由此我们得到如下评价模型:
fscore=xt?0.0832+kt1?0.3584+kt2?0.1554+kt3?0.1359+kt4?0.0877+kt5?0.1096+kt6?0.0698
3.3.3任务二 对模拟评分和专家评分进行残差分析
将专家评分和模型得到的评分归一化得到残差模型
scorefscorecc??max(score)max(fscore)
- 16 -
分别对2006、2007、2008硕士生的论文开题、选题和评分的相关性进行分析:
图3.1
图3.2
图3.3
- 17 -
表9 06~08年模拟得分与专家评分残差情况表 年份 2006 2007 2008 分布范围 -0.5~0.3 -0.0~0.3 -0.0~2.5 残差的平方和 17.0052 19.3592 17.9312 从图3.1、3.1、3.3中可以看出,残差主要分布在某个较小的区间内,表明硕士生的论文开题、选题和评分之间存在较强的相关性。结合表9,我们发现2006年的残差分布范围集中在-0.5~0.3,残差平方和为17.0052;2007年的残差分布范围集中在-0.0~0.3,残差平方和为19.3592;2008年的残差分布范围集中在-0.0~2.5,残差平方和为17.9312,易见,相关性强度2006、2008、2007依次递减。
3.4问题四 3.4.1总体分析
首先,我们按照题目所给的等级划分别对附录2_2006-2008年硕士论文复查评分表的数据进行了等级划分,我们得到了表10的数据
表10
等级 论文数目 特优 2 优秀 233 良好 338 一般 53 较差 8 合计 634 用matlab的pie命令得到如图4.1的饼
图4.1
- 18 -
从图中我们清晰的看出优秀和良好的论文数目占总体的90%,其余占10%,且特优和较差的论文数目均不足总体的1%。
下面我们按不同专业和不同年份再次对论文进一步的评价.
3.4.2任务一
按不同年份我们对论文等级数目进行了统计,得到表11数据
表11
年 等 份 级 特优 1 0 1 优秀 70 88 75 良好 99 117 122 一般 21 19 14 较差 总计 2006 2007 2008
5 196 0 224 3 215 将数据用matlab画出面积图如图4.2,可以更直观的反映数据特征
图4.2
根据表格和图像中分析得到,每年抽查复审的论文数模大致相近,2007年抽取的论文数目较多。从纵向看:在2006、2008两年有特优论文,同时也有较差的论文,2007则无最优和最差。从2006到2008年良好的论文数目依次增加,一般的论文数目依次减少,优秀论文数目有所波动。从横向看:良好论文的数目占的最多,优秀论文数目其次,然后是一般、较差再特优。我们可以认识到高质
- 19 -
87.11111112 87.11111111 86.25 83.375]
a(1)=mean(f06);a(2)=mean(f07);a(3)=mean(f08);a(4)=mean(c06);a(5)=mean(c07); a(6)=mean(c08);b(1)=skewness(f06);b(2)=skewness(f07);b(3)=skewness(f08); b(4)=skewness(c06);b(5)=skewness(c07);b(6)=skewness(c08);c(1)=kurtosis(f06); c(2)=kurtosis(f07);c(3)=kurtosis(f08);c(4)=kurtosis(c06);c(5)=kurtosis(c07); c(6)=kurtosis(c08);
5.2 不同专业各等级论文数面积图 [filename,path]=uigetfile('*.xls') file2006=[path,filename]; A6=xlsread(file2006); zy=A6(:,1)'; ty=A6(:,2)'; yx=A6(:,3)'; lh=A6(:,4)'; yb=A6(:,5)'; jc=A6(:,6)';
area(A6(:,[2 3 4 5 6]))
legend('特优','优秀','良好','一般','较差') title('不同专业各等级论文数面积图') 5.3省略表格2 复审 1 2 3 4 5 6 7 8 06年 78.625 83.5 75 78.33333 83.66667 07年 80.125 84.33333 79.8 76.85714 81.8 08年 82.125 87.5 71.33333 83.1 80 82.22222 - 30 -
初审 06年 77.27778 74.9375 78.09375 77.69444 77.66667 76.32895 07年 84 86.72222 85.05263 82.16667 86.20833 87 08年 83.8 88.5 77.25 84.45 83.8 79 84.0625 85.925 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
83.83333 89 78.5 78.5 77.875 86.33333 79.2 85.3 84.125 84.5 81 83.5 84.625 79.66667 82.33333 87.2 75.2 83 84.25 81.25 83.66667 81.625 75.375 83.5 85.83333 90 78.83333 84.07143 83.625 86.4 81.33333 88 86.2 83.3 80.44444 85 77 78.16667 84.1 88.8 80.6 83.55556 81.91667 82.25 84.85714 86 75.5 85 84.16667 89 84.21429 83.375 83.6 82.5 78.2 84.11111 80.8 80.55556 84.83333 74.375 80.25 76 80.44444 88.66667 82.5 84.44444 84 85.90909 83.25 84.3625 80.4 79.5 76.15 78 78.625 76.91667 77.4569 74.25 75.4 78.03125 78.4375 78 76.48438 76.21667 76.82407 76.47059 78.22222 76.72222 78.175 76.08333 75.95 76.6875 76.9 76.6875 77.8125 75.9375 88.65 90.8 87.59091 87.12069 86.47143 87.57143 83.85 87.7875 86.3 85.02083 83.65385 86.18519 86.51786 82.68182 90.3 89.16667 83.1 84.425 87.31875 86.68182 88.3 85.6 86.05 81.95 89.6 87.1 86.4 88.975 85.89063 85.57143 85.02778 89.3629 87.83333 86.04 84.39286 86.41379 85.87037 83.25 86.5 89.3 87.65625 86.61111 84.325 86.64706 86.07692 89.3 87.11111 87.11111 86.25 - 31 -
百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读,免费范文网,提供经典小说综合文库硕士论文质量评价问题在线全文阅读。
相关推荐: