在开展的数据分析和应用工作过程中,一些问题暴露出来:
业务部门数据利用的意识欠缺
业务部门往往对信息化的意愿不强,主动性不够。对于业务部门来说,利用信息化手段辅助加快业务进程、简化业务过程、保障数据安全,有效提高工作水平已经达到了自身的预期,而对数据的综合分析,特别是深层次的利用由于过程不直观、成效不明显而动力不足。特别是在当前的行政体系架构下,学校每个部门主要负责自身的业务职能,对有效完成这些业务流程、并进一步提高和完善关乎其自身利益,有较高的积极性;而对于一些数据挖掘、利用产生的效果能影响到其他部门的,由于没有对本部门产生明确的效益而态度消极。
数据的规模不足、形式单一
尽管信息化校园产生了大量的数据,但从实际展示和分析应用中,绝大多数使用的都是结构化业务数据,非结构化数据的应用还未真正得到重视。非结构化数据有各种文档、课程资料、科研数据、创作素材、网络日志、用户发表的网络言论等,往往在校园网和系统运行、师生利用校园网进行教学科研过程中产生,数据量巨大而形式混杂,在传统的IT技术体系中很难找到良好的方式方法来有效管理。而如果缺失这些很能反映师生用户在校园网的工作、学习和生活方面行为的非结构化数据,那么在数据分析和应用过程中仅能使用有限的业务数据,必然降低了数据利用的价值,局限数据应用和服务手段的发展。
数据挖掘、研究层次亟待提升
在很多数据的分析、利用过程中,信息化工作者和业务部门往往满足于对数据的简单分析,即只对能分析出简单的因果关系的数据产生兴趣,例如对一卡通的消费情况进行统计,能很简单地发现学生的住校情况、确认贫困生的消费情况等,这对学工部门的学生工作无疑是起到作用的。然而对于更深层次数据挖掘,例如将学生一卡通消费情况和学习成绩挂钩,却很少能有业务部门能意识到其中存在的相关关系。复旦大学曾经尝试做过研究,发现了使用一卡通消费按时吃早餐的学生人群相对不按时吃早餐的学生人群学习成绩绩点有明显差别。这两者之间虽然没有简单、直观的因果关系,却存在某种必然联系,而该现象没有得到有关部门的充分重视,无法对业务的调整产生良性反馈。
大数据时代的到来为陷入瓶颈的信息化校园数据利用提供了新的出路。大数据技术与应用的一般观点认为:重视数据的全面性而非精确性,将海量数据作为量化事物和行为的一种基本手段,以此可发现事物之间的相关关系,并用于改造流程和优化服务。大数据的特点有四个层面:1、数据体量大,数据量从TB级别跃升到PB级别;2、数据类型多。如网络运行日志、公开课视频、课程资源图片、无线网或物联网的定位信息等等,除了结构化数据以外,还有规模庞大的非结构化数据。3、单体价值低,整体价值高。以网络日志为例,连续不间断网络行为中,单一的一个或几个网络行为不能说明任何问题,但大量的、整体的日志则可描绘整个网络访问的趋势。第四,处理效率高。与传统数据处理方式有区别,大数据在处理过程中尽量简化复杂度,不强求数据的连续完整,而尽量高效快捷。
大数据将全面、多源的数据作为一种优化服务的手段纳入视野,对高校信息化服务的发展将产生巨大的影响。在数字校园建设阶段,学校信息化重视的是业务系统的建设、业务流程的完善和业务数据的积累,这个阶段的数据以结构化为主,采用关系数据库存储,数据利用以数据的共享、展示、统计为主。数据的准确性和安全性是这个阶段数据管理追求的目标。随着高校信息化建设进入智慧校园阶段,用户对服务的要求越来越高,迫使信息化部门对服务的精细化进行深入考虑。智慧校园以个性化服务为目的,势必要求信息化管理者对用户的服务需求进行深层次的发现和挖掘。例如,校园网、物联网、无线网、一卡通、eLearning系统、MOOCs、社交平台、生活服务平台、预约系统的日志记录等反映了用户的日常网络使用行为、消费能力、喜好和学习习惯,对于实施“一站式”服务,优化管理环节,以期提升用户使用体验,具有重要意义。相对于传统的数字校园的业务数据,这些能反映“人”的属性的数据数量巨大而且持续不断在产生,大部分是非结构化数据,结构千差万别难以用关系型数据保存和处理。因此以Hadoop为代表的许多开源或商业分布式大数据处理架构和MangoDB、Cassandra等NoSQL数据库进入了校园信息化视野,这类基础应用着重于分布式协同和结构可扩展性的研究,适合于非结构化数据的存储。在智慧校园建设阶段,对数据的保存和利用将以多源、海量的结构化和非结构化数据为主,基础设施的成熟和完善,将为大数据的处理和分析创造基本条件,从此校园信息化建设将可以从宏观上具备对用户行为和属性的描述能力,这对信息化服务的预测和评估提供了基本依据。
业务部门数据利用的意识欠缺
业务部门往往对信息化的意愿不强,主动性不够。对于业务部门来说,利用信息化手段辅助加快业务进程、简化业务过程、保障数据安全,有效提高工作水平已经达到了自身的预期,而对数据的综合分析,特别是深层次的利用由于过程不直观、成效不明显而动力不足。特别是在当前的行政体系架构下,学校每个部门主要负责自身的业务职能,对有效完成这些业务流程、并进一步提高和完善关乎其自身利益,有较高的积极性;而对于一些数据挖掘、利用产生的效果能影响到其他部门的,由于没有对本部门产生明确的效益而态度消极。
数据的规模不足、形式单一
尽管信息化校园产生了大量的数据,但从实际展示和分析应用中,绝大多数使用的都是结构化业务数据,非结构化数据的应用还未真正得到重视。非结构化数据有各种文档、课程资料、科研数据、创作素材、网络日志、用户发表的网络言论等,往往在校园网和系统运行、师生利用校园网进行教学科研过程中产生,数据量巨大而形式混杂,在传统的IT技术体系中很难找到良好的方式方法来有效管理。而如果缺失这些很能反映师生用户在校园网的工作、学习和生活方面行为的非结构化数据,那么在数据分析和应用过程中仅能使用有限的业务数据,必然降低了数据利用的价值,局限数据应用和服务手段的发展。
数据挖掘、研究层次亟待提升
在很多数据的分析、利用过程中,信息化工作者和业务部门往往满足于对数据的简单分析,即只对能分析出简单的因果关系的数据产生兴趣,例如对一卡通的消费情况进行统计,能很简单地发现学生的住校情况、确认贫困生的消费情况等,这对学工部门的学生工作无疑是起到作用的。然而对于更深层次数据挖掘,例如将学生一卡通消费情况和学习成绩挂钩,却很少能有业务部门能意识到其中存在的相关关系。复旦大学曾经尝试做过研究,发现了使用一卡通消费按时吃早餐的学生人群相对不按时吃早餐的学生人群学习成绩绩点有明显差别。这两者之间虽然没有简单、直观的因果关系,却存在某种必然联系,而该现象没有得到有关部门的充分重视,无法对业务的调整产生良性反馈。
大数据时代的到来为陷入瓶颈的信息化校园数据利用提供了新的出路。大数据技术与应用的一般观点认为:重视数据的全面性而非精确性,将海量数据作为量化事物和行为的一种基本手段,以此可发现事物之间的相关关系,并用于改造流程和优化服务。大数据的特点有四个层面:1、数据体量大,数据量从TB级别跃升到PB级别;2、数据类型多。如网络运行日志、公开课视频、课程资源图片、无线网或物联网的定位信息等等,除了结构化数据以外,还有规模庞大的非结构化数据。3、单体价值低,整体价值高。以网络日志为例,连续不间断网络行为中,单一的一个或几个网络行为不能说明任何问题,但大量的、整体的日志则可描绘整个网络访问的趋势。第四,处理效率高。与传统数据处理方式有区别,大数据在处理过程中尽量简化复杂度,不强求数据的连续完整,而尽量高效快捷。
大数据将全面、多源的数据作为一种优化服务的手段纳入视野,对高校信息化服务的发展将产生巨大的影响。在数字校园建设阶段,学校信息化重视的是业务系统的建设、业务流程的完善和业务数据的积累,这个阶段的数据以结构化为主,采用关系数据库存储,数据利用以数据的共享、展示、统计为主。数据的准确性和安全性是这个阶段数据管理追求的目标。随着高校信息化建设进入智慧校园阶段,用户对服务的要求越来越高,迫使信息化部门对服务的精细化进行深入考虑。智慧校园以个性化服务为目的,势必要求信息化管理者对用户的服务需求进行深层次的发现和挖掘。例如,校园网、物联网、无线网、一卡通、eLearning系统、MOOCs、社交平台、生活服务平台、预约系统的日志记录等反映了用户的日常网络使用行为、消费能力、喜好和学习习惯,对于实施“一站式”服务,优化管理环节,以期提升用户使用体验,具有重要意义。相对于传统的数字校园的业务数据,这些能反映“人”的属性的数据数量巨大而且持续不断在产生,大部分是非结构化数据,结构千差万别难以用关系型数据保存和处理。因此以Hadoop为代表的许多开源或商业分布式大数据处理架构和MangoDB、Cassandra等NoSQL数据库进入了校园信息化视野,这类基础应用着重于分布式协同和结构可扩展性的研究,适合于非结构化数据的存储。在智慧校园建设阶段,对数据的保存和利用将以多源、海量的结构化和非结构化数据为主,基础设施的成熟和完善,将为大数据的处理和分析创造基本条件,从此校园信息化建设将可以从宏观上具备对用户行为和属性的描述能力,这对信息化服务的预测和评估提供了基本依据。









