IPFS和Filecoin最近越来越火

有人说，IPFS是互联网世界的未来

还有人说，IPFS分布式存储或成为未来趋势

IPFS到底有什么神奇之处？

今天小编姐姐带来IPFS爱好者必读手册

带大家一探究竟

啥是IPFS？

IPFS是一个面向全球的、点对点的分布式版本文件系统，也可以看成是一种去中心化的超媒体分发协议。

啥是Filecoin？

Filecoin是一个由区块链和原生代币构成的去中心化存储网络，Filecoin是IPFS的唯一代币，是运行在IPFS上面的激励层，用以确保IPFS文件系统所存储的数据安全可靠。

IPFS作为分布式存储的新兴场景，与传统的分布式存储场景有着较大的区别，主要分为性能、可靠性、容量、供应、价格、易维护性这几个方面的需求。

在性能上主要分为三部分挑战。

1、sealing大文件大带宽的封装写入

2、windowpost针对所有sector的随机读抽查

3、winingpost出块权，针对赢filecoin的sector进行检验

在sector sealing阶段，因IPFS庞大的数据封装写入，有大带宽的写入需求，每个文件大小为32G，业内优化做的比较好，且与浪潮合作的厂商，如加密矩阵、星河华讯等，能实现单worker每日封装2TB-6TB，而每个存储集群可接入几十上百个worker，故整体对存储集群的大文件顺序写入有极高的要求。

在windowpost阶段，需要在一天的48个窗口内，对所有的partition进行随机抽查，并且在规定的时间内提交完成，对存储读取的要求，通常需要在3-4分钟内完成。集群总容量3.5PB以内，每个partition有2349个sector需要进行随机检查，而随着集群规模的继续增大，每个partition所含有的sector也会进行增长，每增加3.5PB容量，单partition会增加2349个sector，而对要求提交的时间却仍然为3-4分钟，故大规模矿池存储集群下，windowpost的随机读压力对存储也是有极高的挑战。

在winningpost阶段，针对出块的sector，需要进行随机的抽查，要求在3S左右完成对随机小块数据的读取，通常为单线程处理，对存储小IO随机读取的时延有非常高的挑战要求。

在可靠性方面，为了防止sector因节点/硬盘/机柜等硬件故障而丢失，高可靠的存储是区块链服务供应商保证收益的重中之重，一方面是为了保证现有算力的维持，另一方面避免因丢失sector而带来的抵押币损失。

随着IPFS行业的发展，主流区块链服务供应商已经逐步从原始的组装机+JBOD的方案转向专业的企业级分布式存储，通过纠删码、快速重构、高可靠硬件等技术，实现大规模sector封装的零丢失，零惩罚。故障出现后，为保证算力封装的效率和POST检查的通过，不仅要求数据不丢失，同时在集群降级情况下，不影响业务的正常使用，并在短时间内能恢复。

在容量方面，截止2021年1月6日，单账户最大封装的容量已达到72PB，预计未来在IPFS场景下百PB级集群将会越来越多，这要求存储在容量上支持百PB级，甚至EB级规模，因此横向扩展、在线扩容方面，同样对存储提出了极高的要求和挑战。

在供应方面，主要包含两大块。

1、设备的生产供应

2、维保/实施等服务的供应

首先，因资金的时间成本，数据量写入量大，最终用户的时间要求等因素，IPFS区块链服务供应商通常要求存储的供应商能够在接到订单的1-2周内完成发货和实施。因IPFS场景通常每次订单的规模少则几十个，多则上百个节点，对应单次订单所需要的大容量硬盘数量是以千计的，在供应和生产上也是非常考验存储厂商的基本功。

其次，因机房的分布情况不同，同一家可能在中国各地有对应的设备，一旦出现故障，需要有全国范围内的服务支持体系去协助排查和解决问题。

在价格方面，为保证足够高的投资回报率，IPFS服务供应商对存储每TB价格提出了极高的要求，这要求存储厂商在满足基本性能的情况下，针对IPFS场景的IO模型进行调优，并尽可能降低硬件配置，实现最优性价比的方案。

在易维护性方面，因数据量和设备量巨大，涉及到多套存储集群的统一管理和运维，要求存储集群能够提供智能化的运维管理工具，降低运维压力和成本。

浪潮针对IPFS场景独特的大文件写入，小块随机读的IO模型进行了深入的优化，在大带宽持续写入，并在降级重构时，实现了3分钟内完成windowpost读取，3S内完成winingpost读取的成果，平均单个IO时延响应在35ms以下。

首先，通过针对Ubuntu 18.04和20.04操作系统进行优化，缩短标准协议的IO路径，并降低因用户态和内核态转换所带来的上下文切换开销，相比于通常传统的挂载延时降低50%，带宽提升80%，大幅降低时空证明读取时间，并提高sealing写入速度。

其次，通过读写优先级优化，避免在大带宽写入时，对时空证明的时延影响，保证时空证明的顺利进行，降低抵押币损失风险。

再次，基于NVMe SSD直接裸设备管理机制，在缩短IO路径的同时提高了数据组织管理效率，实现数据与元数据的彻底分离，解决了日志叠加日志的设计，降低写放大。并优化底层的流控机制，降低IOPS、时延抖动。写性能翻倍，时延降低50%。

最后，通过分布式重构以及数据恢复QOS技术，保证在重构时sealing和时空证明不受影响，并快速恢复集群至正常状态。

浪潮针对IPFS IO模型独特优化和设计后，形成了差异化领先的IPFS存储解决方案，为客户提供更具性价比的方案，在保证性能满足的情况下，综合成本每TB下降10%-20%。

一方面，借助极致的性能技术，极限优化配置，降低不必要的CPU、内存、SSD、导轨等开销，提升单位容量的性价比。

浪潮分布式存储AS13000G5-M60高密节点（4U60）

另一方面，通过业内独有的4U60高密分布式存储节点，相比于传统的4U36机型，单盘平均功耗下降13%，空间利用率提升66%，并提供13类部件的热维护，显著提高运维效率，降低成本。

浪潮分布式存储在底层硬件上采用通用的X86服务器，但在firmware上进行了独特的加固处理，优化异常情况的处理，降低异常处理风险。同时，在生产上，通过独特的筛盘机制，从成千上万块硬盘中，筛选出最符合要求的硬盘，用于分布式存储的部件，大幅降低机械硬盘的故障率。

除此之外，在软件上，通过纠删码、RAS架构、慢盘检测等技术，大幅提升系统可靠性，已累计部署超1000套，经受过市场的检验，并在金融、能源、通信等核心领域广泛应用。在IPFS业内也与如冰河实验室、星宫数据等厂商有合作，可满足IPFS场景下的存储需求，方案成熟稳定。

浪潮依托于中国第一，世界前三的服务产量规模，能为客户提供全球主要国家地区的服务和维保。同时，依托于全球化的供应链、智能工厂体系，满足客户在短期内大批量的采购需求，实现资金的高效运转。

同时，浪潮支持远程的POC测试环境，针对产品的实际表现若存在疑虑，可申请免费的远程测试资源，快速完成验证，避免设备借物带来的运输、时间上的开销。

免费赠送Inview智能管理平台，实现多套存储集群的统一监控管理，支持历史性能统计、磁盘故障预测、性能趋势预测、容量趋势预测等功能，并能提供北向API接口被集成。大幅提升客户的易用性，并降低运维成本。

浪潮InView智能管理平台

未来，随着5G、AI、大数据、区块链等新技术的加速普及和商用，数据的产生量、产生方式、处理方式将不断发生巨大变化，分布式存储的发展革新必将成为新数据时代下新存储解决之道。

正是由于在新存储产业领域、新行业应用场景的深厚积累和不断探索，浪潮存储收获了第三方机构的高度认可，多次入选Gartner魔力象限和用户评测报告。浪潮存储将继续敞开胸怀，探索新兴场景下的分布式存储技术，以新存储之道释放数据要素价值，在数据存储领域助力各行业领域业务创新，驱动智慧化转型升级。