Nodejs, MemCacheD 在实际项目中的使用

时间:2021-07-01 20:40:19

今天试着把MemCacheD集成到Nodejs的项目,总的来说还是比较顺利的。


我先尝试了最近刚更新的Cacher库,作者的想法非常好,以express中间件的形式,Cache所有的HTTP 请求,但是实际用下来,发现错误率比较多。粗略看了下,作者的源代码,应该是提供了一个自定义的res.write函数,截获了next rounter生成的response内容,然后把body, header全部cache起来,但那个作者用到了2个key,一个正常一个带stale后缀,没太搞懂,而且这样做,问题多多,所以也就不再研究下去了。接着尝试了稍微成熟一点的memcached库,(其实cacher也依赖于这个库的)。


这个库提供的功能主要是get/set操作,外加cas, increase, decrease, create。作者考虑的比较周到的是对connection进行了管理。虽然使用下来也不是很顺畅,但总之是可以用用了。(作者原版在connection管理上有重大缺陷,我通过npm安装的版本不能解决那些问题,后来跑到github上(https://github.com/3rd-Eden/node-memcached),看到有2个approved pull reqeust,下载下来更新下,用起来就舒服多了)。


好,现在就看代码,代码很简单,我自己写了一个简单的wrapper:

var Memcached = require('memcached');

dummy: function dummy(error, ok) { }

module.exports = {

    init: function ctor(server, opt) {
        console.log("memcached is initialized");
        memcached = new Memcached('localhost:11211', { debug: true });

        //memcached.on("failure", function (detail) {})
        //         .on('connect', function (detail) {})
        //         .on('reconnect', function (detail) {})
        //         .on('reconnecting', function (detail) {})
        //         .on('remove', function (detail) {})
        //         .on('issue', function (detail) {});
    },

    set: function addToCache(key, val, expire, callback) {
        if (!expire) expire = 5 * 60; //sec
        if (!callback) callback = dummy;
        memcached.set(key, val, expire, callback);
    },

    get: function getFromCache(key, callback) {
        if (!callback) callback = dummy;
        memcached.get(key, callback);
    },
};

注意,上面那个dummy不能省略,如果不写,set不会起作用,也不报错,一开始碰到这个问题,浪费了不少我时间。

上面注释掉的是,作者用以监控connection状态的事件,在处理你的请求的时候,假如server断了,"issue"事件会被触发,然后他会尝试重新连接memcached server,照他文档说,一旦超过最大重试次数,会触发failure事件,但是我没截获到。还有一个问题就是,在服务失效之后的第一次请求,callback不会被触发,所以这里会有一个小问题。另外,我的web server很有可能运行在一台没有安装MemCacheD的服务器上,那么每次server起来,用户的第一次请求都失败,不是很好,所以我在程序里面,自己触发一次,代码如下,里面的5是对象的生存期是5秒的意思。注意,这里用的是我封装过的memcached对象,不是库里面的那个:

http.createServer(app).listen(app.get('port'), function () {
    console.log('Express server listening on port ' + app.get('port'));

    // Trigger a MemCaheD to test the MemCacheD server
    memcahced.set("dummy", "dummy", 5);
});

在实际函数中的使用:

/*private*/
function getServiceData(partialUrl, params, useCache, callback) {
    assert(params.productId, "Missing parameter: productId");
    assert(params.weekId, "Missing parameter: weekId");
    var url = cerRestApi.getRequestUrl(partialUrl, params);
    console.log(url);

    if (!useCache) {
        cerRestApi.getCall(url, callback);
        return;
    }

    memcahced.get(url, function (errCache, result) {
        if (!result) {
            cerRestApi.getCall(url, function (err, data) {
                if (!err && !errCache) {
                    memcahced.set(url, data);
                }
                console.log(data);
                callback(err, data);
            });
        }
        else {
            callback(false, result);
        }
    });
}

首先尝试从cache中取数据,如果失败,即result是false或者undefined,就从backend的WebService里面取数据, 数据取得成功给后,就写入cache。下一次,就可以直接从cache里面取得数据了。


总的来说,MemCacheD用起来还是很方便的,就是nodeJs的库不太给力,哈哈。