MFS 分布式存储配置

MFS 文件系统的组成：

1、元数据服务器。在整个体系中负责管理管理文件系统，目前MFS 只支持一个元数据服务器

master，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS 能支持多个

master 服务器，进一步提高系统的可靠性。

2、数据存储服务器chunkserver。真正存储用户数据的服务器，存储文件时，首先把文件 分成块，然后这些块在数据服务器chunkserver之间复制(复制份数可以手工指定，建议设 置副本数为3，数据服务器可以是多个，并且数量越多，可使用的\磁盘空间\越小，可靠性 也越高。

3、元数据日志服务器metalogger。负责备份master 服务器的变化日志文件，文件类型为 changelog_ml.*.mfs，以便于在master server 出问题的时候接替其进行工作，在1.6 版中 新增加的功能。

4、客户端。使用MFS 文件系统来存储和访问的主机称为MFS 的客户端，成功挂载MFS 文件系

统以后，就可以像以前使用NFS 一样共享这个虚拟性的存储了。

搭建过程：

mfsmaster:192.168.1.11 mfschunk01:192.168.1.12 mfschunk02:192.168.1.13

mfsmetalogger:192.168.1.14 client:192.168.1.15

注意：都要关闭防火墙和Selinux 首先搭建master [root@master opt]# ls

mfs-1.6.26-1.el6.rf.x86_64.rpm mfs-cgi-1.6.26-1.el6.rf.x86_64.rpm

[root@master opt]# rpm -ivh mfs-1.6.26-1.el6.rf.x86_64.rpm [root@master opt]# rpm -ivh mfs-cgi-1.6.26-1.el6.rf.x86_64.rpm [root@master opt]# ls -l /etc/mfs total 24

-rw-r--r--. 1 root root 509 Mar 21 2013 mfschunkserver.cfg.dist -rw-r--r--. 1 root root 0 Mar 10 10:14 mfsexports.cfg -rw-r--r--. 1 root root 4060 Mar 21 2013mfsexports.cfg.dist -rw-r--r--. 1 root root 57 Mar 21 2013mfshdd.cfg.dist -rw-r--r--. 1 root root 0 Mar 10 10:13 mfsmaster.cfg

-rw-r--r--. 1 root root 879 Mar 21 2013 mfsmaster.cfg.dist -rw-r--r--. 1 root root 409 Mar 21 2013 mfsmetalogger.cfg.dist -rw-r--r--. 1 root root 1123 Mar 21 2013mfstopology.cfg.dist [root@master opt]# cd /etc/mfs/

[root@mastermfs]# cpmfsmaster.cfg.distmfsmaster.cfg [root@mastermfs]# cpmfsexports.cfg.distmfsexports.cfg

上面两个无需更改

[root@mastermfs]# cp /var/mfs/metadata.mfs.empty /var/mfs/metadata.mfs [root@mastermfs]# /etc/init.d/mfsmaster start Starting mfsmaster:

[root@mastermfs]# netstat -lanput|grepmfs

tcp 0 0 0.0.0.0:9419 0.0.0.0:* 1275/mfsmaster

tcp 0 0 0.0.0.0:9420 0.0.0.0:* 1275/mfsmaster

tcp 0 0 0.0.0.0:9421 0.0.0.0:* 1275/mfsmaster

[root@mastermfs]# chkconfigmfsmaster on

metalogger配置

[root@metalogger ~]# ls

anaconda-ks.cfg install.log mfs-1.6.26-1.el6.rf.x86_64.rpm Discuz_X2_SC_UTF8.zip install.log.syslog

[root@metalogger ~]# rpm -ivh mfs-1.6.26-1.el6.rf.x86_64.rpm [root@metalogger ~]# cd /etc/mfs/ [root@metaloggermfs]# ls

mfschunkserver.cfg.distmfshdd.cfg.distmfsmetalogger.cfg.dist

LISTEN LISTEN LISTEN mfsexports.cfg.distmfsmaster.cfg.distmfstopology.cfg.dist

[root@metaloggermfs]# cpmfsmetalogger.cfg.dist ./mfsmetalogger.cfg [root@metaloggermfs]# vimmfsmetalogger.cfg 15 # MASTER_HOST = mfsmaster 16 MASTER_HOST = 192.168.1.11 17 # MASTER_PORT = 9419

[root@metaloggermfs]# /etc/init.d/mfsmetalogger start Starting mfsmetalogger:

[root@metaloggermfs]# netstat -lanput|grepmfs

tcp 0 0 192.168.1.14:50544 192.168.1.11:9419 ESTABLISHED 1553/mfsmetalogger

[root@metaloggermfs]# chkconfigmfsmetaloggeron

client01配置

[root@chunkserver01 ~]# rpm -ivh mfs-1.6.26-1.el6.rf.x86_64.rpm [root@chunkserver01 ~]# cd /etc/mfs/ [root@chunkserver01 mfs]# ls

mfschunkserver.cfg.distmfshdd.cfg.distmfsmetalogger.cfg.dist mfsexports.cfg.distmfsmaster.cfg.distmfstopology.cfg.dist [root@chunkserver01 mfs]# ls /dev/sd*

/dev/sda /dev/sda2 /dev/sda4 /dev/sdb /dev/sda1 /dev/sda3 /dev/sda5 /dev/sdb1 [root@chunkserver01 mfs]# vimmfschunkserver.cfg 12 # MASTER_HOST = mfsmaster

13 MASTER_HOST = 192.168.1.11 master的ip [root@chunkserver01 mfs]# tail -n 1 mfshdd.cfg /data创建并且要挂在的目录 [root@chunkserver01 mfs]# df

Filesystem 1K-blocks Used Available Use% Mounted on /dev/sda2 10079084 2893460 6673624 31% /

tmpfs 189864 22576 167288 12% /dev/shm /dev/sda1 198337 33891 154206 19% /boot /dev/sda5 9351388 6679728 2196628 76% /opt /dev/sr0 3632776 3632776 0 100% /iso /dev/sdb1 2063504 1216656 742028 63% /data [root@chunkserver01 mfs]# cat>> /etc/fstab< /dev/sdb1 /data ext4 defaults 1 2 > EOF

[root@chunkserver01 mfs]# tail -n 1 /etc/fstab /dev/sdb1 /data ext4 defaults 1 2

[root@chunkserver01 mfs]# /etc/init.d/mfschunkserver start Starting mfschunkserver:

[root@chunkserver01 mfs]# chkconfigmfschunkserver on [root@chunkserver01 mfs]# netstat -lanput|grepmfs

tcp 0 0 0.0.0.0:9422 0.0.0.0:* LISTEN 2480/mfschunkserver

tcp 0 0 192.168.1.12:54588 192.168.1.11:9420 ESTABLISHED 2480/mfschunkserver [root@chunkserver01 mfs]# ls /data

00 0F 1E 2D 3C 4B 5A 69 78 87 96 A5 B4 C3 D2 E1 F0 FF

01 10 1F 2E 3D 4C 5B 6A 79 88 97 A6 B5 C4 D3 E2 F1 lost+found 02 11 20 2F 3E 4D 5C 6B 7A 89 98 A7 B6 C5 D4 E3 F2 03 12 21 30 3F 4E 5D 6C 7B 8A 99 A8 B7 C6 D5 E4 F3 04 13 22 31 40 4F 5E 6D 7C 8B 9A A9 B8 C7 D6 E5 F4 05 14 23 32 41 50 5F 6E 7D 8C 9B AA B9 C8 D7 E6 F5 06 15 24 33 42 51 60 6F 7E 8D 9C AB BA C9 D8 E7 F6 07 16 25 34 43 52 61 70 7F 8E 9D AC BB CA D9 E8 F7 08 17 26 35 44 53 62 71 80 8F 9E AD BC CB DA E9 F8 09 18 27 36 45 54 63 72 81 90 9F AE BD CC DB EA F9 0A 19 28 37 46 55 64 73 82 91 A0 AF BE CD DC EB FA 0B 1A 29 38 47 56 65 74 83 92 A1 B0 BF CE DD EC FB 0C 1B 2A 39 48 57 66 75 84 93 A2 B1 C0 CF DE ED FC 0D 1C 2B 3A 49 58 67 76 85 94 A3 B2 C1 D0 DF EE FD 0E 1D 2C 3B 4A 59 68 77 86 95 A4 B3 C2 D1 E0 EF FE

chunk02也是一样的配置

client的配置

[root@client mfs-1.6.27]# ls ~/

anaconda-ks.cfginstall.log.syslog mfs-1.6.27

install.logiso mfs-1.6.27-1.tar.gz [root@client mfs-1.6.27]# tar -xvf mfs-1.6.27-1.tar.gz [root@client mfs-1.6.27]# ls

aclocal.m4 configure.ac ltmain.shmfsdata README

config.guess COPYING m4 mfsmaster rpm config.hdebianMakefilemfsmetadump stamp-h1

config.h.indepcomp Makefile.am mfsmetalogger UPGRADE config.log doc Makefile.in mfsmetarestore config.status INSTALLmfscgimfsmount

config.sub install-shmfschunkserver missing configurelibtoolmfscommon NEWS

[root@client mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --enable-mfsmount [root@client mfs-1.6.27]# make&& make install [root@client mfs-1.6.27]# vim /root/.bash_profile PATH=/usr/local/mfs/bin:$PATH:$HOME/bin

[root@client mfs-1.6.27]# source /root/.bash_profile

[root@client mfs-1.6.27]# df -h