2011年5月,大数据的概念在麦肯锡公司的工作报告中首次提出。大数据又被称为巨量资料,具体是指其资料数据量已经超出了普通处理软件的管理、分析、处置的能力,从而不能帮助企业、个人等主体完成决策。大数据具有很明显的“5V”特征,即:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)以及Veracity(真实性)[1]。从这五个特征中我们可以发现,大数据中蕴含着大量的财富等待我们去挖掘,而由于普通技术的局限性,无法实现价值变现,于是便产生大数据技术。
大数据技术是一种针对大数据资源开发、挖掘、分析、利用的技术形式,它能够以更为高效、快速的方式,挖掘出大数据资源内的价值,最终满足主体的需求。当前大数据技术已经被广泛应用于各行各业当中,如信息检索、商业竞争、图书馆建设、数据分析、云计算和金融等领域。在信息检索领域,Waqar Ahmed[2]在对WEB3.0的介绍中提出,Web3.0是机器人技术的应用,即人工智能与人类之间的双向交流,人们可以通过对语义web的检索,穿越网络和数据库的限制,进行深入地挖掘,最终以智能图标的形式出现的应用程序呈现于桌面上。在商业竞争方面,杜攀旭[3]则认为,企业只有深入利用数据资源来进行全面、多层次、跨领域的情报战,尽可能多地抢夺数据资源,深入挖掘数据,才能在企业的情报竞争过程中取得先机和胜利。在图书馆建设方面,自动借还系统、人脸识别系统、物联网技术、互联网技术、决策辅助系统等都得到了较为成熟的应用。苏新宁[4]提出大数据时代要加强中国的数字图书馆建设,要具备一定的大数据思维,在技术应用方面,要提高对语义技术的重视程度,深入研究聚类、数据分析、信息检索技术的实际应用,树立多层次服务的理念。何海波[5]提出高校图书馆要运用大数据的思维与技术,与时俱进,创新服务理念,优化数字资源建设,加强学科服务,建立微信公众平台,深化个性化信息推荐服务,探讨改革与创新信息服务的途径和方法。在云计算领域,贺德方[6]介绍了以科学文献为对象的基于云计算构架上的能支持海量用户同时使用的搜索引擎,该引擎能够为政府、企业、高校、科研机构提供强大的云搜索支持。
大数据技术在多种金融领域方面也得到充分应用。在金融知识服务方面,唐晓波和刘广超等[7]基于两层知识融合的金融知识服务模型,引入机器学习和语义Web方法,对多源异构信息进行处理,描述了针对多源异构数据的知识融合和针对多源异构分布式知识库的知识融合,并运用本体知识库和Web挖掘方法,构建了基于用户特征和用户需求的用户偏好模型。在风险控制方面,金融投资企业通过大数据征信的方式,来获得被投资企业的全方位数据,这些数据不仅局限于融资标的的相关金融信息,还包括了其生活消费等各方面数据,通过对投资标的的“信用画像”来准确判断被投资标的的信用情况,以帮助其评估该投资的潜在风险。在金融决策方面,大数据技术被广泛应用于证券投资辅助决策当中去,并开发出相关的AI人工智能辅助决策软件,帮助投资者分析投资标的的具体信息,综合主力资金流动等信息,计算投资标的的波动趋势、捕捉投资机会。同时,很多研究所也会为投资者提供数据挖掘服务,从相关的金融或非金融信息中挖掘出其内在价值,从而为投资者的投资行为提供有价值指导,帮助用户筛选纷繁复杂的信息,为其相关的金融投资行为提供建议。