大数据时代，不少研究者在大数据与数字图书馆结合方面做了很多研究。美国加州大学伯克利分校图书馆Huwe[[[] Huwe T K. Building Digital Libraries: Toward a New Perspective on Library Space[J]. Computers in Libraries, 2015, 35(8): 9-11.]]在《构建数字图书馆》一文中指出：大数据与图书馆是天作之合，图书馆员对用户进行研究的项目尤其适合大数据，希望能够加强数字图书馆对用户行为信息的采集。加州大学尔湾分校的 Renaud、麻省理工学的Britton 等人[[[] Renaud J，Britton S，Wang D， et al．Mining library and university data to understand library use patterns［J］.The Electronic Library，2015，33( 3) : 355－372．]]借助大数据技术，对使用大学数字图书馆用户的行为进行深度挖掘，并帮助学校对学生阅读行为及相关信息进行关联分析。Williams等学者已经开始关注数字图书馆对大数据中学术信息的采集、处理、关联[[[] Williams K，Wu J，Choudhury SR，et al．Scholarly big data information extraction and integration in the CiteSeerx digital library［C］/ /Data Engineering Workshops ( ICDEW) ，2014 IEEE 30th International Conference,2014:68－73．]]，使数字图书馆更好地融于互联网，更好地利用大数据。
图书馆必须借助大数据时代这一机遇，转变原有的对资源、资源组织、技术、服务以及职能等方面的认识，重新架构这些数字资源。未来图书馆的核心资产将是对大数据的综合掌握，大数据为图书馆的数据分析和处理带来了机会和挑战。Hadoop是一个由 Apache 基金会所开发的分布式系统基础架构[[[] Hashem I A T, Yaqoob I, Anuar N B, et al. The rise of “big data” on cloud computing: Review and open research issues[J]. Information Systems, 2015, 47: 98-115.]]，实现了一个分布式文件系统 ( Hadoop Distributed File System，简称 HDFS) ，用户可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速运算和存储。HDFS 具有高可靠性、高可扩展性及高容错性的特点，并且设计用来部署在低廉的硬件设备上，同时，它支持以高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序[[[] Ghazi M R, Gangodkar D. Hadoop, MapReduce and HDFS: a developers perspective[J]. Procedia Computer Science, 2015, 48: 45-50.]]。2004 年，Google 公司提出的 MapReduce 编程模型，解决了大型分布式计算中的编程模型问题