海量小文件归档和数据管理系统(1/2)

当今互联网，数据呈现爆炸式增长，不光是社交网络、移动通信、网络视频、电子商务等各种应用往往能产生亿级甚至十亿、百亿级的海量小文件，就是在许多企业内部同样会产生海量小文件，doc文件和excel文件等数百万个文件的应用已经很容易就见到了。这些数据在复制和删除过程中就会面临访问性能、存储效率等许多方面巨大的挑战，海量小文件问题成为了业界公认的难题。

具体表现举例子 ,比如复制一个文件夹的时候开始的速度快,然后越来越慢,复制 500GB的数据 就要好几个小时了,如果是10TB数据 则要2-3天,最要命的是中途一旦中断了,不知道从哪里接续,即使中途没有中断,复制后的数据出错的可能性依然存在。其他诸如删除文件也是面临同样的问题。耗费时间巨大。

 

业界的一些知名互联网公司，也对海量小文件提出了解决方案，例如：著名的社交网站Facebook，存储了超过600亿张图片，专门推出了Haystack系统，针对海量小图片进行定制优化的存储。

 

Facebook的Haystack对小文件的解决办法是合并小文件。将小文件数据依次追加到数据文件中，并且生成索引文件，通过索引来查找小文件在数据文件中的offset和size，对文件进行读取。

 

Haystack面临的问题：

Facebook的Haystack特点是将文件的完整key都加载到内存中，进行文件定位。机器内存足够大的情况下，Facebook完整的8字节key可以全部加载到内存中。内存小的时候问题就来了。

 

我们目前针对海量小文件的数据管理问题，推出自己的解决方案，并将速度提升到100MB/s 的水平上来，更多详细情况和测试报告，请看第2部分

http://ssst.ltd/node/s/acronis/97.html