www.fachun.net是我做的一个音乐资源站，因为资源丰富，容易成为他人抓取的目标。
被抓取资源事小，另一方面，爬虫的频繁访问还会严重占用服务器资源。
前期写代码的时候，我已经考虑到防爬问题，做了一些简单的事，比如避免使用数字ID，而是ID + 名字。
例如一个歌手的名字是ABC，ID是36，最终的URL就是:
http://www.fachun.net/musician/36-ABC/
这是爬虫难以直接猜解的。
今天我再写一些额外的代码来限制单个IP请求的频率，实现防爬。有几个要点:
1. 使用MySQL Memory数据库引擎来存储用户IP地址，
因为多了个过滤层，响应时间必然增加。应该尽量减小这个影响，把IP放在内存中可以节省查找时间。
原来的应用是InnoDB引擎，所以，需要新建数据库，并在settings.DATABASES中添加它。
2. 目前我的过滤条件是10分钟内请求超过100次(已改为60次)，封IP十分钟。
3. 搜索引擎百度、Google等的爬虫应该不受过滤，因此，需要特别处理搜索引擎的爬虫。
设IP白名单会再次影响效率，我不希望设用白名单来筛选。
只是检查REMOTE_HOST是否包含googlebot.com、crawl.baidu.com等字符串
1. 修改配置文件,增加数据库
首先新建一个app，我这里命名为robotkiller，执行：
manage.py startapp robotkiller
然后在工程settings.py文件中添加一个数据库，我仍然用同名的robotkiller，并在INSTALLED_APPS中添加robotkiller。
DATABASES = {
'default': {...},
'robotkiller': {
'ENGINE': 'django.db.backends.mysql',
'NAME': 'robotkiller',
'USER': 'your_user',
'PASSWORD': 'your_pass',
'HOST': '127.0.0.1',
'PORT': '3306',
'OPTIONS': {
"init_command": "SET storage_engine=MEMORY",
}
}
}
models.py中的内容是这样的:
from django.db import models
class RobotKiller(models.Model):
id = models.IntegerField(primary_key=True)
ip = models.CharField(max_length=16) #IP地址
visits = models.IntegerField() #请求次数
time = models.DateTimeField() #第一次发起请求的时间
class Meta:
db_table = 'robotkiller'
记得为ip字段建一个索引(让MySQL为内存数据库再维护个索引，是对是错，暂不深究):
我在settings.py中设置了时区为’Asia/chongqing’，所以，取得时间差，不应该直接用datetime，
而是用django.utils.timezone。下面是我的视图函数:
from models import RobotKiller
from django.utils import timezone
max_visits = 100
min_seconds = 600
def filterIP(request):
domain = request.META.get('REMOTE_HOST')
white_list = ['googlebot.com', 'crawl.baidu.com', 'sogou.com', 'bing.com', 'yahoo.com']
for bot_domain in white_list:
if domain.find(bot_domain) > 0:
return bot_domain
user_ip = request.META['REMOTE_ADDR']
try:
record = RobotKiller.objects.using('robotkiller').get(ip=user_ip)
except RobotKiller.DoesNotExist:
RobotKiller.objects.using('robotkiller').create(ip=user_ip, visits=1, time=timezone.now())
return
passed_seconds = (timezone.now() - record.time).seconds
if record.visits > max_visits and passed_seconds < min_seconds:
raise Exception('user ip banned.')
else:
if passed_seconds < min_seconds:
record.visits = record.visits + 1
record.save()
else:
record.visits = 1
record.time = timezone.now()
record.save()
上述代码就是基本的过滤逻辑。在urls.py中添加:
from robotkiller import filterIP
然后在需要防爬取的对应app的views.py中添加该函数:
def checkIP(request):
try:
filterIP(request)
except Exception, e:
if unicode(e) == 'user ip banned.':
raise PermissionDenied()
接着，在所有视图函数的第一行添加checkIP(request) 就可以过滤所有页面的请求了。
当用户在10分钟内请求了超过100个页面，会得到一个403错误。
可以在模板文件夹下新建一个403.html，自定义出错提示了。
