1 确定评估指标
各个时代不同教育阶段的人所拥有的信息素养能力是有所不同的,而医学研究生学术信息素质教育也存在专业性和特殊性。运用专家德尔菲法则制定学术信息素养评估一级指标、二级指标、三级指标,并用DHA法确定了各指标权重，通过预调查信效度和项目分析，以科学性、典型性、灵活性、可操作性为原则，不断改进实施过程中存在的问题，最后确定医学研究生学术信息素养评价指标体系。
2编制专家咨询表
筛选平时在研究生教育上均有广泛接触并且临床科研信息领域经验丰富的专家对指标重要性、重要赋值评价。指标重要性的评分范围为 1～5 分，包括非常重要、重要、一般重要、不重要和完全不重要；利用问卷星编制专家咨询问卷通过线上发放问卷
3专家积极程度
二轮参与咨询专家数15人，问卷回收数15人，二轮咨询问卷回收度为100%，积极性为100%，
4专家意见集中程度
专家意见集中程度可用指标重要性赋值均数和变异系数两项参数来描述。表中一级指标、二级指标、三级指标重要性赋值均数大于4.1，变异系数CV不超过0.16，满分率除了三级指标A555了解各类信息产生途径、呈现形式、交流方式的多元化，A344通过各种方式在不同场合或环境中分享和交流成果等于40%.其他指标均大于46%，所有指标均超过咨询指标界值，说明专家意见集中程度集中.
5 专家协调性
通过对Kendall协调系数检验研究评价一致性情况，得出 Kendall协调系数检验呈现出显著性 (p=0.000<0.05)，说明评价具有一致性。同时Kendall协调系数为0.594， 处于0.4 ~0.6之间，说明评价一致性程度中等，P小于0.05说明问卷可信