技术存储备份

第3卷第4期北华大学学报(自然科学版)Vol.
3No.
42002年8月JOURNALOFBEIHUAUNIVERSITY(NaturalScience)Aug.
,2002文章编号:1009-4822(2002)04-0364-05存储技术在数字图书馆中的应用苏瑞竹(广西民族学院图书馆,广西南宁530006)摘要:论述了数字图书馆的存储技术,包括直接存储和网络存储技术,并对其发展趋势作了一些探讨.
关键词:存储技术;数字图书馆;存储器;网络存储;压缩中图分类号:TP333文献标识码:A收稿日期:2002-03-16作者简介:苏瑞竹(1963-),女,副研究馆员,主要从事计算机在图书馆中的应用研究.
数字图书馆是电子化信息的仓储,能够存储大量各种形式的数字化信息,用户可以通过网络方便地访问它,以获得这些信息,并且其信息存储和用户访问不受地域限制.
它将包括多媒体在内的各种信息的数据化、存储管理、查询和发布集成于一体,使这些信息得以在网络上传播,从而最大限度地利用这些信息.
数字图书馆利用多媒体数据库技术、超媒体技术,并可针对各种媒体的特性加以优化,在图像检索、视频点播和文献资料检索等方面提出了一套有效可行的实现方案,是一套完善的媒体资产管理系统.
1数字图书馆资源的存贮技术1.
1直接存储技术1.
1.
1光盘塔技术多年来,为提供大量的存档数据,厂家提供了CD塔与连接光盘.
这些海量存储装置既可为用户提供近线存储又可以为用户提供在线存储.
在线存储装置通过多读设备提供已存储的所有数据的即刻存取.
近线存储装置仅供少量数据的即刻存取,这些被存取的数据在某一片刻被存储在可以立即存取的驱动器中,但这种存储可以迅速改变,从而使用户没有觉察到自己的等待.
例如,200CD塔就是一例,该塔可以容纳200个CD-ROM,但仅有8个CD-ROM驱动器就可以满足8到200个CD-ROM的即刻存取.
由于CD-ROM与DVD-ROM/RAM驱动器的物理结构十分类似,CD塔与连接光盘的相同机械装置可用于DVD-ROM/RAM塔与连接光盘,这为存取而存储提供了极大方便.
一个容纳66个CD-ROM装置的CD塔,通过厂家转换就可以成为容纳66个DVD-RAM或DVD-ROM的驱动装置,费用省去了10%,而使DVD-ROM比原系统装置高出4~7倍容量.
由此可见,DVD利用CD原有的存储装置可以达到更大规模的存储与存取能力.
这一技术对数字图书馆的升级改造具有重大意义.
目前已建成或正在建的规模较小的数字图书馆大都把数字化馆藏资料存放在光盘中,将光盘放在光盘服务器中挂接在网上,以便随时调用里面的信息.
1.
1.
2SCSI技术服务器的直接连接存储技术一直和SCSI技术的发展紧密关联,数字图书馆资源的存储也不例外.
Ultra3SCSI技术是当前直接连接存储的主流技术.
因为SCSI-3协议增加了能满足特殊设备协议所需要的命令集,使得SCSI协议既适应传统的并行传输设备,又能适应最新出现的一些串行设备的通信需要,如光纤通道协议(FCP)、串行存储协议(SSP)、串行总线协议等.
随着传输速度的提高,信号传输过程中的信号衰减和干扰问题显得越来越突出,终结器(俗称堵头)在一定程度上可以起到降低信号波反射,改善信号质量的作用.
LVD(Low-VoltageDifferential)技术可以很好地抵抗传输干扰,延长信号的传输距离.
同时,Ultra2SCSI和Ultra3SCSI模式也通过采用专用的双绞型SCSI电缆来提高信号传输的质量,使得Ultra3LVDSCSI的硬盘访问速度在理论上达到160MB/s.
这些主流技术给数字图书馆的存储提供了技术保障.
1.
1.
3磁盘阵列技术由于数字图书馆在资源达到相当规模以后,不仅要求资源本身以分布的方式存储,而且需要快速调度资源,快速搜索分布式的资源,并将查询检索结果快速整合后提供给用户,还要保证数据的安全.
而硬盘的运行速度要比光盘高出许多,硬盘保存数据也比光盘寿命要长一些.
因此在条件允许的情况下,一般还是以用硬盘为好.
在这种情况下,人们一方面仍在不断地改进存储设备,提高存储容量和速度,另一方面则把目光转向了由多个存储设备构成的并行存储系统,希望藉此增大容量和提高带宽,因此并行存储系统的研究势必获得广泛的支持,并面临新的挑战,磁盘阵列技术由此而生.
当今磁盘阵列RAID(RedundantArraysofInexpensiveDisks)是由多个廉价磁盘构成的冗余阵列,以确保高传输率与高可靠性.
通过将文件散布到多个磁盘中,实现多个磁盘的并发传输,以达到提高数据传输率与I/O请求速率的目的.
此外,通过冗余磁盘来确保数据安全,即当有磁盘损坏时,能通过数据重建手段来恢复丢失的数据,所以可靠性也非常高.
将一次由单个磁盘传输的数据改为由多个磁盘并行传输,利用了整个磁盘阵列系统的传输频带,减少了传输时间,但是由于在小数据量传输时,也需要分散到整个阵列中去反而增大了传输时间.
RAID由于采用数据分块技术,即在多个磁盘上交叉存放数据,使得多盘可以并行操作,I/O响应时间得到改善.
同时,采用冗余容错技术,极大地提高了磁盘阵列的可靠性和可用性.
RAID技术是一种工业标准,各厂商对RAID级别的定义也不尽相同.
目前对RAID级别的定义可以获得业界广泛认同的只有4种,RAID0、RAID1、RAID0+1和RAID5.
RAID5是目前应用最广泛的RAID技术.
各块独立硬盘进行条带化分割,相同的条带区进行奇偶校验,校验数据平均分布在每块硬盘上.
以n块硬盘构建的RAID5阵列可以有n-1块硬盘的容量,存储空间利用率非常高.
任何一块硬盘上数据丢失,均可以通过校验数据推算出来,它具有数据安全、读写速度快、空间利用率高等优点,应用非常广泛.
由于磁盘阵列(RAID5)具有容量大、数据传输速率高、功耗小、体积小、成本低和便于维护的特点,使其成为数字图书馆存贮数据的首选技术.
目前已建成或正在建的较具规模的数字图书馆大都把数字化馆藏资料存放在磁盘阵列中,通过服务器可方便存取磁盘阵列中的数据.
1.
1.
4磁带库技术磁带库作为集中式网络数据备份的主要设备,越来越受到重视,它是一种可将多台磁带机整合到一个封闭机构中的箱式磁带备份设备.
一般由数台磁带机、机械手和十到数十盒磁带构成,并可由机械手臂自动实现磁带拆卸和装填,存储容量可达到数百PB(1PB=1*106GB),可以实现连续备份、自动搜索磁带,也可以在驱动管理软件控制下实现智能恢复、实时监控和统计,整个数据存储备份过程完全摆脱了人工干涉.
所以,磁带库实际上就像一个将磁带塞到磁带机中的机器人,因而可以达到高速度、高效率、高存储容量的要求,且系统的扩展能力也很强,对存储备份作业的安全性可提供极高的保障.
磁带库不仅数据存储量大得多,而且备份效率和人工占用方面拥有无可比拟的优势.
在网络系统中,磁带库通过SAN(StorageAreaNetwork)系统可形成网络存储系统,可为企业存储提供有力保障,很容易完成远程数据访问、数据备份,或通过磁带镜像技术实现多磁带库备份,无疑是数字图书馆网络应用的良好存储设备.
目前,最先进的磁带存储技术当推LTO(LinearTapeOpen:线性磁带开放协议),它具有两种存储格式:高速开放磁带格式Ultrium和快速访问开放磁带格式Accelis,定制两种格式是因为并不是所有的用户都要求相同的特性和功能性.
一些应用程序强调重点在"读",要求快速的数据访问速度.
而另一些应用程序则重点在于"写",要求最高的磁带存储能力.
Ultrium磁带格式除了具有高可靠性的LTO技术,还具有大容量的特点.
它能够单独操作也可以在自动操作环境中使用.
通过使用单卷轮介质,实现了高容量和高性能的优化.
适合于备份、存储和归档应用,并将为大容量数据存储建立新的基准,能满足数字图书馆存储的需要.
Accelis磁带格式则主要侧重于快速数据存储.
它在磁盘中装载了双轨磁带存储器以减少存取时间,提高速度.
Accelis格式能够很好地适用于自动操作环境,可处理广泛的在线数据和恢复应用.
这两种格式都使用同样的磁头、介质磁道面、通道365第4期苏瑞竹:存储技术在数字图书馆中的应用和服务技术,并共享许多普通的代码部分.
因为目前存储用户更偏重于对存储容量的需求,因此,两种格式相比较而言,Ultrium格式是当今存储业界更值得关注的技术之一.
Ultrium格式的另一大优势是它的发展前景.
现已设计了四代产品,每一代产品的性能和存储能力都要比上一代高一倍.
第一代产品中一盘磁带将具有200GB(2∶1压缩比例)存储容量,传输速度为12~20MB/s.
在未来的十年内,一盘磁带的存储容量将达到惊人的1.
6TB,传输速度达80~160MB/s.
因而Utrium格式不仅能满足当前数据保护的需要,也能满足未来发展的需要.
1.
2网络存贮技术由于网络越来越广泛和多样化的使用,所以对用户而言,能够从网络上有效地访问和存储数据变得越来越重要.
目前,网络存储技术的研发和应用主要集中在以下两方面:1.
2.
1网络存储(Storage-areanetworks,SAN)存储网络技术是近年来出现并高速发展的最新技术,具有很高的安全性,动态扩展能力极强.
但由于业界缺乏统一的标准,存储网络技术还不统一,各厂商也基本以解决方案的方式来提供,如SAN.
许多基于工业标准的网络存储方案已经开始得以应用,较有代表性的有光纤通道技术FC(FibreChannel)和分布式网络存储ES(EtherStorage).
目前基于FCl的应用方案最多,成熟的产品也很多.
分布式网络存储则是基于标准以太网的低价存储网络解决方案,利用现有以太网和SCSI技术就可以构建,现行的各类数字图书馆大多以这种方式存储.
FibreChannel中的Fibre并不特指"光纤(Fiber)",而是一种传输协议.
目前常用的FC存储多采用铜线传输,只有远距离传输时,才必须使用真正的光纤.
铜线最长可支持30m的传输距离,多模光纤(MMF)可以支持到2km,而单模光纤(SMF)则可以支持长达10km的传输距离.
虽然目前FC的峰值传输速度(2Gbit/s)还略低于Ultra320的峰值传输速度,但由于FC支持全双工工作方式,尤其是在多主机访问存储器时,实际访问速度和工作效率要比SCSI接口高得多,其串行结构和支持远距离传输的特性使其成为构建SAN的理想选择.
SAN让多主机访问存储器和主机间互相访问一样方便.
实际上,SAN是通过专用的网络集线器或转换器将各种存储设备(如硬盘、磁盘阵列、磁带驱动器等)连接在一起的.
用户能通过高速光纤通道或SCSI(小型计算机系统接口)连接来访问存储区中的数据.
由于光纤能在更长的距离内以更高的速率来传输数据,所以其运用越来越普及.
从本质上来说,SAN从LAN(局域网)中将存储设备剥离出来,把它们放入他们自己的网络,从而允许用户更容易地访问和存取数据,并减少LAN通道堵塞,因而大受数字图书馆建设者的青睐,一些技术力量较强的图书馆已做了这方面的尝试.
1.
2.
2网络附加存储设备(Network-attachedstorage,NAS)对小型的数字图书馆而言,尽管SAN有各种益处,但要将SAN作为一个附加网络,其技术和管理依然是一个困难的挑战.
因此在某些情况下,使用网络附加存储设备(NAS)对他们而言更容易些.
这种NAS设备是可用于存储而又独立于网络服务器的外设,它将联网所需的单元集成在硬盘部件中,因此它能够直接而方便地连接到以太网集线器上.
NAS设备能连接在一个网络的任何地方.
它们拥有自己独立的OS核心和嵌入式管理能力,不须设置NAS设备以使其能和网络OS或驱动程序兼容,所以很容易安装,而不必忍受升级WindowsNT或NetWare服务器的复杂过程.
而且,由于其独立的OS核心和嵌入式管理能力,因此即使网络文件服务器崩溃,用户仍然能够访问NAS设备里的数据.
添加NAS设备比升级服务器或硬盘更加经济而且不需暂停网络服务.
此外,用户也可以很简单通过增加更多的NAS设备来扩展其存储容量,从而避免了由于增添驱动器而导致的服务器或RAID系统的过载.
这对海量的数字图书馆数据而言是最佳的选择,这种技术在相当长的时间内仍然是改善数字图书馆存储性能,尤其是我国数字图书馆存储性能的好方案.
2数字图书馆存贮技术的发展趋势2.
1存储器技术2.
1.
1克服超磁针极限由于以磁性存储为基础的存储设备继续增加其容量而缩小其体积时,它们将最终达到超磁极限,即当366北华大学学报(自然科学版)第3卷存储在磁盘上的磁性数据位变得越来越小,此时,轻微的温度波动也能改变其正负定向,从而破坏所存储数据,这时就达到了超磁极限.
以现有的工艺技术,超磁极限可高达约1.
94GB/cm2(12.
5GB/英寸2).
但硬盘驱动器制造商能在5a内达到这种超磁极限,从而需要技术开发已生产更高容量的硬盘.
目前,有人正在计划开发几种新的磁性存储技术,从而可使磁盘区域存储密度能高达约3.
88GB/cm2(25GB/英寸2).
2.
1.
2磁光整合系统磁光整合系统一方面通过使用改进现存的磁盘驱动器技术,使其在磁盘上的存储位变得更小,并保持这种小的存储位磁定向的稳定性,另一方面通过改进激光技术,以便能阅读较小存储位的数据.
例如,TeraStor公司已经开发了一种近场存储系统,其读写头与磁盘之间的距离比一般的驱动器要近得多,从而使激光能更精确地聚焦到较小的存储位上以读取数据.
该系统的固态浸入式透镜使激光具有更高的聚焦度.
2.
1.
3全息存贮全息存储系统基本上是按照全息图像的产生原理来存储数据映像.
一个全息存储系统通过将2进制的0和1转换成一个电位流来编码数据,这些电位流可通过激光投射进光敏晶体中,从而将电位流数据贮存为一种全息映像.
在同一光敏晶体中,可以存储多幅数据全息映像,从而使其具有非常高的存储容量.
当读取存储的数据时,全息存储系统通过将激光照射到光敏晶体中,从而产生一个全息映像,再通过一个影像解析装置将全息图数据读出.
激光投射进晶体的角度决定了特定的全息数据图被解读出来.
全息存储系统可同时存储和解读多幅数据映像,这将比通过串口或并口的方式存取数据要快得多.
2.
1.
4激光磁带由于激光磁带使用光学介质,所以它比标准的磁性磁带有更高的存储容量.
激光磁带有高达每立方英尺80TB的存储密度.
一盒激光磁带可存储1TB的数据.
因此,这是倍受人们关注的存贮技术.
2.
1.
5光盘技术的改进采用短波激光和大数值孔径的物镜,可使道间距减小,比特长度减小,从而可提高光盘的刻录密度;采用脉宽调制,可显著提高记录效率.
国内外传统相变介质材料设计都是基于激光的热效应,介质在经历几十万次的写/擦循环后会出现信噪比下降的热疲劳.
新的材料设计基于激光的光效应,对半导体类型介质来讲,写入一个比特只要几十皮秒,使记录速率获得数量级的提高.
这种基于非线性光学双稳态变化效应的记录介质称为光双稳态记录介质,它可以是无机材料,也可以是有机材料或无机-有机复合材料.
无论是VCD或DVD光盘都可以利用自动换盘系统,组成光盘库、光盘塔、光盘阵列,实现提高整个系统的容量、数据传输率及多数据存储的可靠性.
如果将光盘库、光盘塔及光盘阵列与自动换盘系统有机结合,可以大大提高系统容量、数据传输率和显著改善存储数据的可靠性.
这些技术为数字图书馆的存储提供了更广阔的空间.
选用设计有特色的电荷转移有机分子体系作为信息存储的介质,利用其电学双稳态的特性实现信息的存储,在分子尺度上存储时具有稳定性、重复性和可擦除性好的独特优点.
我国科学家已研制出比现有光盘信息容量高100万倍的高密度信息存储技术,能将信息存储点的大小减少到1nm左右,并可进行信息点的擦除,这样一张光盘的存储量相当于100万张用传统技术和工艺生产的光盘的存储量,足以存储美国国会图书馆中所有的信息.
不过,这项技术的产业化还需要15a左右.
但这项技术的研制成功,将意味着数字图书馆存储的灿烂前景.
2.
2直接存储技术更高安全性的、从RAID控制器开始镜像的RAID以及更快读写速度的、为构成RAID的每块硬盘配置CPU和Cache的RAID等技术正在不断地被推出.
此外,用IDE硬盘构建RAID的技术是一个技术方向,对市场影响也较大,其突出优点就是构建RAID阵列非常廉价.
目前IDERAID可以支持RAID0、RAID1和RAID0+1三个级别,最多支持4块IDE硬盘.
然而,由于受IDE设备扩展性的限制,以及IDE设备缺乏热可替换技术的支持,IDERAID的应用还不多.
2.
3网络存储技术SAN技术现今已开始广泛运用,但由于缺乏SAN的相关标准,目前不同生产厂家的SAN设备并不总是兼容的.
因此SAN生产厂家正同美国存储网络工业协会(SNIA)一道为SAN网络集线器、网关、SAN367第4期苏瑞竹:存储技术在数字图书馆中的应用服务器和其它的相关部件制定通用的工业标准.
SAN技术正日趋走向标准化,为扩大SAN的应用领域,一些厂商又推出了基于WindowsNT/2000的SAN解决方案,把SAN作为构建跨平台存储网络的最佳选择.
参考文献:[1]韩德志,兰军端.
网络存储技术的探讨[J].
微型电脑应用,2000,16(3):5~8.
HanDezhi,LanJunrui.
ResearchonNetworkStorageTechnology[J].
MicrocomputerApplications,2000,16(3):5~8.
[2]陈磊.
RAID存储技术必备的方案[J].
软件世界,2000,(12):124~125.
ChenLei.
TheNecessaryCaseofRAIDStorageTechnology[J].
SoftwareWorld,2000,(12):124~125.
[3]周可,黄永峰,张江陵.
网络存储技术研究[J].
电子计算机与外部设备,2001,24(2):12~22.
ZhouKe,HuangYongfeng,ZhangJiangling.
ResearchonNetworkStorageTechnology[J].
ElectronicComputerandPeripheralEquipment,2001,24(2):12~22.
[4]白成林.
分布式多媒体信息处理技术[J].
电子技术,2000,27(8):19~22.
BaiChenglin.
DistributedofAMultimediaInformationProcessTechnologyPart1[J].
ElectronicTechnology,2000,27(8):19~22.
ApplicationofStorageTechnologyonDigitalLibrarySuRuizhu(LibraryofGuangxiUniversityforNationalities,Nanning530006,China)Abstract:Storagetechnologyfordigitallibraryisdiscussed,includingthememorytechnologyandstoragetechnology(immediacystorageandnetworkstorage),andstoragetechnology'sdevelopmenttrendisdiscussed.
Keywords:Storagetechnology;Digitallibrary;Memory;Networkstorage;Compression368北华大学学报(自然科学版)第3卷