EOS 是欧洲核子中心开发的专门用来提供可靠的 PB 级数据存储技术的软件解决方案, 目前在 LHC 和其他一些场景都有实例在运行. EOS 的核心是 XrootD 框架, 其提供了非常多的远程访问协议。本文是 EOS 的一个简单安装配置过程。
Continue reading
EOS 是欧洲核子中心开发的专门用来提供可靠的 PB 级数据存储技术的软件解决方案, 目前在 LHC 和其他一些场景都有实例在运行. EOS 的核心是 XrootD 框架, 其提供了非常多的远程访问协议。本文是 EOS 的一个简单安装配置过程。
Continue reading从 2015 年的 Jewel
版本开始, Ceph 引入了 RBD 的 Mirror
功能, 其主要目的是对 Ceph 进行异地防灾备份和故障自动恢复.
块设备 (block device) 是一系列的数据块序列。基于数据块的存储接口是最常用的用来存储 硬盘
, CD
, 软盘
, 磁盘
等数据的方式。正因为这种普适性,虚拟块设备成了与大容量数据存储系统交互的非常理想的选择。
Hexo 是非常棒的一个静态博客生成软件,使用也非常方便。但有时候会有一些小问题,比如不会生成 index.html
文件等。
在 Ceph 中,我们可以对一个 Pool 的空间大小
和文件数
设置配额大小, 对 RBD
的 image/volume
也可心进行在线调整大小, 十分方便.
数据库的备份与恢复对数据安全是极为重要的, 特别是对于存储 EOS 元数据的 QuarkDB 数据库。 虽然 QuarkDB 集群有多副本保证元数据的安全, 但按时备份 QuarkDB 集群仍是一个良好的习惯。
Continue readingRedis 是一个开源的、轻量级的、高性能的、基于 键-值
对的缓存与存储系统,非常适合用来缓存和存储服务和消息队列、任务队列等。
QuarkDB 是一个由 Cern
的 IT-ST
部门开发的高可用的 键-值
存储的内存数据库, 其实现了 redis
命令集的一个小的子集. QuarkDB 建立在 rocksdb 之上, rocksdb
则是一个强一致性的嵌入式的 键-值
存储系统. QuarkDB
的高可用性是由多副本节点和 raft 分布一致性算法保证的.
Ceph 提供了一些特性和接口, 可以让我们很方便地实现 集群的备份与恢复. 一种是 通过集群镜像,可以做到实时备份, 但是这个对网络要求比较高, 运行一个镜像集群资源消耗也比较大. 还有一种就是通过 RBD
的快照技术, 实现对 RBD
的数据备份与恢复.
工作中,有时候我们需要知道某个文件是否被修改了, 被哪个程序修改了. Linux 下可以很方便地监控某个文件被修改的记录. 根据目的不同, Linux 下有不同的监视文件或文件夹的方案.
Continue readingWhatever doesn’t kill you makes you stranger
Research Assistant