全球主机交流论坛

标题: 有人研究分布式文件系统么？ [打印本页]

作者: lsylsy2 时间: 2012-2-5 12:00
标题: 有人研究分布式文件系统么？
本帖最后由 lsylsy2 于 2012-2-5 17:28 编辑

RT，看了几家，貌似对单点依赖都挺严重，要么就是太大规模了受不了……
有想法自己写个Nginx的插件，然后可以分布在4~5个不同机房VPS上……
有人有想法或软件么

PS：主要想法是数据能分散在多个机房的机器，一个挂了以后能继续运作【数据有备份无缝切换】
同时一台机器上可以只存放部分数据【因为数据量应该会超过一台VPS硬盘，同时不同机房硬盘大小又不一样】
可以有一台机器做总控制端，但是在每台机器上都能搭建http服务器对外提供下载【不同机器不同机房】
可以忍受自己开发模块接口、插件等

作者: 0x59 时间: 2012-2-5 12:02
反向代理

作者: 0x59 时间: 2012-2-5 12:04
反向代理

作者: lsylsy2 时间: 2012-2-5 12:26

0x59 发表于 2012-2-5 12:02
反向代理

但是文件要分布式存储而且有分散备份

作者: Kokgog 时间: 2012-2-5 12:29
rsync应该是最廉价最平民的分布式FS的处理方案了...

作者: 0x59 时间: 2012-2-5 12:54

Kokgog 发表于 2012-2-5 12:29
rsync应该是最廉价最平民的分布式FS的处理方案了...

看看盛大云的那个

作者: 0x59 时间: 2012-2-5 12:57
MongoDB

作者: sowahkhoo 时间: 2012-2-5 13:01
提示: 作者被禁止或删除内容自动屏蔽

作者: lsylsy2 时间: 2012-2-5 13:30

Kokgog 发表于 2012-2-5 12:29
rsync应该是最廉价最平民的分布式FS的处理方案了...

rsync没法达到类似RAID5那样的效果……

作者: domin 时间: 2012-2-5 13:31

lsylsy2 发表于 2012-2-5 13:30
rsync没法达到类似RAID5那样的效果……

要那样的效果先考虑节点之间的速度

作者: lsylsy2 时间: 2012-2-5 13:55

domin 发表于 2012-2-5 13:31
要那样的效果先考虑节点之间的速度

我是做大量中等大小文件下载（几M）
一次写入之后基本不修改

作者: domin 时间: 2012-2-5 14:34

lsylsy2 发表于 2012-2-5 13:55
我是做大量中等大小文件下载（几M）
一次写入之后基本不修改

最简单就rsync. 没必要做什么RAID5效果.

作者: tobeychan 时间: 2012-2-5 14:58
MongoDB 是数据库....你妹?

作者: tobeychan 时间: 2012-2-5 14:58
可以做分布式挂载用vps没意思....

作者: oldghost 时间: 2012-2-5 15:01
学习

作者: Kokgog 时间: 2012-2-5 15:04

tobeychan 发表于 2012-2-5 14:58
MongoDB 是数据库....你妹?

mongodb有gridfs.......大多数分布式fs都是基于k-v或者文档数据库的.....

作者: howie 时间: 2012-2-5 15:33
想直接使用VPS实现所谓的分布式系统根本就是浮云。

作者: yculer 时间: 2012-2-5 16:25
呵呵，好心告诉lz
nginx proxy_store

作者: Zeddicus 时间: 2012-2-5 16:26
有的

作者: lsylsy2 时间: 2012-2-5 17:22

yculer 发表于 2012-2-5 16:25
呵呵，好心告诉lz
nginx proxy_store

我想做数据去中心的……反代的话还依赖于一个单独节点

作者: lsylsy2 时间: 2012-2-5 17:24

Zeddicus 发表于 2012-2-5 16:26
有的

求名字
能不依赖中心节点么？可以有控制节点，但最好能多个数据节点

作者: houniao 时间: 2012-2-5 18:13
gfs ? (google filesystem)

作者: lsylsy2 时间: 2012-2-5 18:23

houniao 发表于 2012-2-5 18:13
gfs ? (google filesystem)

太复杂了……

作者: houniao 时间: 2012-2-5 18:46

lsylsy2 发表于 2012-2-5 18:23
太复杂了……

FastDFS ?

作者: lsylsy2 时间: 2012-2-5 20:37

houniao 发表于 2012-2-5 18:46
FastDFS ?

正在研究=A=
貌似我的要求木有那么高=A=也许会自己写

作者: Kokgog 时间: 2012-2-5 20:38
其他都好办,但是没有中心节点怎么处理文件同名问题...........

作者: lsylsy2 时间: 2012-2-5 20:59

Kokgog 发表于 2012-2-5 20:38
其他都好办,但是没有中心节点怎么处理文件同名问题...........

保证文件名字唯一

作者: lxfy 时间: 2012-2-5 22:18
Apache Hadoop

作者: lsylsy2 时间: 2012-2-5 23:13

360111697 发表于 2012-2-5 22:30
智能dns+反向代理+缓存

不能有中心数据节点，这个蛋疼

欢迎光临全球主机交流论坛 (https://sunk.eu.org/)