分类： 未分类

下午偶然发现有IP来访异常，如下图, 前面6个IP都被封过了:

经查询，前面几个IP是阿里云的。

在apache的日志中查看对应IP的记录，发现user-agent是YisouSpider，属于阿里一个叫“一搜”的产品。

它是做电影搜索的，但我的网站: http://www.fachun.net只提供音乐内容。

这些爬虫的访问不会给我带来任何好处，还占用系统资源和带宽。可以禁止它抓取页面。

在robots.txt中编辑:

User-agent: YisouSpider   
Disallow: /

然后到urls.py中添加对应的url:

url(r'^robots.txt$', TemplateView.as_view(template_name="robots.txt",
content_type='text/plain; charset=UTF-8')),

重启apache即可。 http://www.fachun.net/robots.txt

实际上，更加自律的爬虫，一般都是晚上服务器空闲的时候，才会来大量抓取内容。

一搜的爬虫似乎应该更加自律一点。

最近几天我在向自己的网盘上传几百GB的文件，用作分享。

自己在杭州的住处使用12M ADSL，下行速率可以达到1.5M/s，但上传速率仅仅200kb/s左右。

传了两三天，发现实在受不了，于是买了个廉价的美国VPS用作上传。

简单对比各家网盘:

	360云盘	百度网盘	DropBox	华为网盘	腾讯微云
容量	36 TB	2 TB	>50 GB	大约30 GB	10TB
上传  速率	150 kb/s	100 kb/s	> 2M/s	250 kb/s	100kb/s以下
离线  下载	http(最大并发10任务)	http/bt
外链  分享	方便	较方便	方便	不太方便	较方便
优点	容量大、编程获取链接方便	下载快、BT离线下载、  秒传、容量大	上传快，分享方便	中庸
缺点	上传慢、下载速度一般	上传慢	容量非常小、收费高

总结一下:

1. 印象很深的是，我位于洛杉矶机房的VPS，dropBox上载速率超过2M/s，其他网盘远不可及

2. 如果是http资源离线下载，360网盘的效率高于百度网盘，目测5倍左右。 当然，我下载的资源是别人没有下过的

3. 国内这些网盘把自己的容量吹嘘得很大，实际上都对上传速率做了限制的。

想想看，上传200GB的文件就要传半个月才能传完！那他给你10个TB有什么用？

也只能是存一些像电影的大文件罢了，

像这种热门资源，云端是不需要为每个人都分别保存一份的，只是一个指向对应资源的链接。

仅此而已。