最近对Lua很感兴趣,以下是本阶段学习的总结,包含三部分,一部分是基础语法,一部分是扩展和解释器嵌入,最后一部分是Lua小练习。
知识涉及:Lua语言编程基础;Lua&C++:Lua扩展、嵌入Lua解释器、裸写C++扩展、借助swig写C++扩展。平台:Linux、gcc4.8.2
一、基础语法
1、print("Hello World")
Lua中不需要分号,也不需要python那样的严格格式;
单引号跟双引号等价,多行文本使用两个中括号扩起来:[[multi line]];
代码中的注释:--开头的一行,或者是--[[ 多行注释 --]];
Lua关键字:and break do else elseif end false for function if in local nil not or repeat return then true until while;
所有变量默认是全局变量,除非加上local 关键字;
支持多参数赋值:a, b = 1, 2;
Lua中的变量是对值的引用;
and和or都是short-cut-evaluation,a = 4 and 5, a是5; a = 4 or 5,a是4;
Lua不支持:switch-case、continue、i++、++i;
Lua将false、nil视为假,将其它视为真;
在Lua5.2之后,全局表为_ENV是一个table,这里包含了所有能使用的函数、类型、全局变量;
package.loaded 这也是个table,保存了所有加载的模块,如果写扩展(Lua脚本或者C模块),可以通过修改_ENV表或者package.loaded来手动添加扩展模块;
2、数据类型
(1)常用数据类型:number、string、table、function、bool、nil;
(2)不常用数据类型:userdata、thread;
注意:table也就是key--value键值对;function也是一种类型;thread也是一种类型,与协程相关;userdata用于表示自定义类型。
3、连接字符串
a..b,变量a跟变量b的值连在一起,a和b是number或者string;
eg:
a = b = 'world' print(a..b) --输出:123world
4、table变量的定义
(1)a = {} 变量a指向空的table
(2)a = {1, "2"} 变量a指向 {1, "2"} table
(3)a = {} a["a"] = 1 a["x"] = 2 变量a指向空的table,接着通过a对这个table赋值
(4)a = {["x"] = 1, y = 2, [1] = "a"} table构造的方式1
(5) a = {[{}] = "x", b = {}} table构造的方式2
table可以作为数组,如上面的(2),也可以是map,如上面的(3)和(4)。
key可以是任何数据类型:number、string、table、function,value也可以是任何数据类型。
这也许就是动态类型带来的极大随意性吧。
5、table变量的使用
a[1] 或者是 a["b"],总之就是用map的方式去索引,table也用来表示数组(数组也只能用table表示),数组table的key为数字。
6、获取数组的长度
function tablelength(T)
local count =0
for _ in pairs(T) do
count = count +1
end
return count
end
7、if--else语句
a =
if a == then
print("a is 1")
elseif a == then
print('a is 2')
end
-- 不等于号:~=
8、while语句
a =
while a ~= do
a = a +
print(a)
end
注意:没有continue、i++
9、for语句
for语句有两种使用方式:
(1) for 开始数字、终止数字、步长 do ...
for k = , , do
print(k)
end -- 输出:1 3 5 7 9
(2) pair 和 ipair
a = {'a', 'b', 'c'}
for k, v in ipairs(a) do
print(k, v)
end
--[[
输出:
1 a
2 b
3 c
--]] a = {b='b', a='a'}
for k, v in pairs(a) do
print(k, v)
end
--[[
输出:
a a
b b
--]]
ipair只能用在数字为key的table上,且遍历从1开始,直到对应key的value为nil,pair则没有这个限制。
10、repeat语句
a =
repeat
a = a +
print(a)
until a ==
11、函数
function add(a, b)
return a + b
end
function nothing(a, b)
return a, b
end
括号不能随便加,多个返回值再加上括号,就只返回一个:
print(nothing(, )): --输出1 2
print((nothing(, ))): -- 输出1
如果参数是一个table,则可以省略括号:
function add(a)
return a.a + a.b
end print(add({a = , b = })) --
print(add{a = , b = }) --
支持可变参数:
function test1( ... )
for i = , select('#', ...) do
local arg = select(i, ...)
print(arg)
end
end function test2( ... )-- 这种方式不推荐,会导致nil参数把参数列表截断
for i, v in ipairs{...} do
print(v)
end
end test1('a', nil, 'c')
--[[
输出:
a
nil
c
--]] test2('a', nil, 'c')
--[[
输出:
a
--]]
12、闭包(closure)
闭包对于C++程序员来说是个新奇的概念(三年前我就觉得它很新奇),举个栗子:
test = function(a)
first = ; --这个变量可以被嵌套在test函数中的函数访问,这个在Lua中也称为upvalue
return function(b)
tmp, first = first, b
return tmp + b end
end add = test();
print(add()); -- 4
print(add()); -- 5
闭包也是实现泛型for的原理(就是有个地方保存着变量),闭包还可以实现私有变量。
15、require引入扩展库
require('math')
print(math.pi)
16、IO操作
--读文件:
local file = assert(io.open('file_path', 'r'))
for line in file:lines() do print(line)
end
file:close()
--写文件:
f_w = assert(io.open('file_path', 'w'))
f_w:write('xxx')
f_w:close()
17、table库,可以对数组做各种操作
注意,是数组。
(1)数组元素连接:table.concat, : a = {"a", "b"} print(table.concat(a)) 输出:ab
(2)数组元素插入: table.insert, : a = {"a", "b"} table.insert("c")
(3)数组元素最大序号:table.maxn, : a = {"a", "b", [100] = "z"} print(table.maxn(a))
(4)数组元素删除:table.remove, : a = {"a", "b"} table.remove(a, 1): 删除到序号为1的元素“a”
(5)数组元素排序:table.sort, :默认会根据元素的值从小到大排序,也可以自定义排序lambda函数:
a = {"b", "", "z", "a"}
table.sort(a, function(a, b) return a > b end)
print(table.concat(a))
18、string库可以对数组做各种操作,有类正则表达式的功能
string.gfind string.gmatch string.gsub string.len
eg:
a = 'abc123'
b = string.match(a, '[a-z]([a-z])')
print(b) --输出:b b = string.gmatch(a, '[a-z]')
for item in b do print(item) end --输出:a b c local _, count = string.gsub(a, "[a-z]", "X")
print(_) -- 输出:XXX123
print(count) --输出:3 print(string.len(a)) --输出:7
19、协同程序
这是个有趣的功能,简单说就是让一个函数执行到一半就停下来去干别的,接着由于某些事件触发它继续往下走。控制者和被控制者在同一线程中执行,所以协程是单个线程上的设计,设计的初衷可能是为了在执行IO操作时交出控制权,之后再通过状态切换/事件通知的方式让程序继续往下执行,减少CPU的空闲等待浪费。
lua上的demo:
co = coroutine.create(function() print("hi") end)
coroutine.resume(co)
协程这个知识很多语言都有,甚至在Linux C++中,都有人为网络服务实现了协程,做法是对阻塞的socket API做hook,调用这个函数时,应用程序切换去做其它事情,直到有通知触发,才继续从阻塞处往下执行。
扩展阅读:http://www.udpwork.com/item/12045.html;腾讯开源的libco库:http://code.tencent.com/libco.html
协程的关键是,在执行耗时IO操作时,系统可以让出控制权,让用户去干别的事情。这跟异步API很像,不同的是异步API的使用会要求有回调函数,所以我们实现一个功能的时候,会有异步API调用+回调函数,这样就有两部分代码(当然,有些语言可以有lambda函数,这样代码就放在一块了),而如果使用协程,代码是可以放在一起的,好像在使用同步API写代码一样(调用到关键API时会主动停下来,交出控制权,后面能拿到控制权继续往下执行)。
扩展阅读:http://blog.****.net/kobejayandy/article/details/11856735
在Lua中,通过协程可以实现主程跟协程的数据交换:
function foo (a)
for i=, do
print('I get from outsite:'..coroutine.yield('I sent to outsite:'..( * a)))
end
end co = coroutine.create(foo)
print(coroutine.resume(co, )) --[[ 输出:
I get from outsite:1
true I sent to outsite:2
--]]
20、Lua的扩展模块加载路径
require('xxx'),可以加载xxx扩展模块,如果require找不到Lua文件就会去找C程序库,Lua文件跟C程序库是两种可能的Lua扩展方式。
在Lua解释器中执行下面两个语句:
print(package.path) --这是Lua脚本模块可加载地址
print(package.cpath) --这是C程序库可加载地址
Lua脚本模块加载路径格式举例:.\?.lua;C:\Program Files (x86)\Lua\5.1\lua\?.lua; 其中?是通配符,表示任意名字。
Lua扩展C程序库加载路径格式举例:.\?.dll;.\?51.dll; 如果在Linux下这是?.so.
在Linux下可以通过修改设置LUA_PATH、CLUA_PATH两环境变量来设置对应的加载路径,eg:
export LUA_PATH='/home/work/cswuyg/install/lua-lua/lib/md5/?.lua;./?.lua'
export LUA_CPATH='/home/work/cswuyg/install/lua-so/?.so;./?.so'
21、元表和元方法
对象可以指定元表,元表里包含有元方法,元方法可以做很多高级的事情。
print(xx.yy),如果xx变量没有yy字段,那么就会去查找xx是否有元表,如果xx有元表,就去查xx的元表中是否有__index元方法,如果有元方法,就从元方法中获取yy字段的值。
mt = {} -- 元表
a = {}
setmetatable(a, mt)
mt.__index = {['x']=}
print(a.x)
-- 输出:1
mt = {}
mt.__newindex = {}
a = {}
setmetatable(a, mt)
a.x =
for k, v in pairs(mt.__newindex) do
print(k, v)
end
--[[
输出:
x 10
注意到,x并没有保存在a中,而是保存在a的元表的__newindex字段所指向的table里。
--]]
a = {['a'] = 'xx'}
print(rawget(a, 'a')) --输出xx
使用元表.__index元方法设置元素的默认值
--设置table的默认值:
function set_defalut(table, value)
local key = {}
table[key] = value
local mt = {__index = function(table) return table[key] end}
setmetatable(table, mt)
end table = {}
set_defalut(table, )
print(table.x) --输出100 --当table中不存在x时,会去找__index字段保存的函数。
function to_string(a)
local ret = ''
for k, v in pairs(a) do
ret = ret..k..':'..v..'\n'
end
return ret
end function add_to_string(a)
mt = {__tostring=to_string}
setmetatable(a, mt)
end table = {['a'] = 'a', ['b'] = 'b'}
add_to_string(table)
print(table) --[[输出:
a:a
b:b
--]]
22、点号跟冒号的区别
A = {["b"]="b"}
function A:next(info)
print(info, self.b)
end function A:first(x)
A:next("call from A:first")
end A:first('x')
--[[
输出:call from A:first b
--]]
23、Lua匹配UTF8汉字
demo: head = string.match(line, '([%z\1-\127\194-\244][\128-\191]*).*')
%z表示0,
%z\1-\127\194-\244][\128-\191]* 这是一个汉字的UTF8正则表示,
整个句子是用于获取line的第一个汉字。
二、扩展&C++
1、使用Lua语言写Lua扩展模块,实现两个数组的并集,并能序列化输出
模块的实现:mod.lua
module(..., package.seeall) function union(t1, t2)
local ret = {}
for k, v in pairs(t1) do
ret[v] = true
end
for k, v in pairs(t2) do
ret[v] = true
end
mt = {__tostring=__tostring}
setmetatable(ret, mt) return ret
end function __tostring(t)
ret = ''
for k, v in pairs(t) do
ret = ret..k..'\n'
end
return ret
end
模块的使用 user.lua:
require('mod') t1 = {'a', 'b'}
t2 = {'b', 'c'} print(mod.union(t1, t2)) --[[
输出:
a
b
c
----]]
上面模块的代码,涉及到的知识:扩展模块编写、元表\元方法、table遍历、字符串连接
2、嵌入Lua解释器
Lua语言天生是为嵌入存在,嵌入也是很简单的事情。
让你的可执行程序能够执行Lua脚本代码,举个栗子:
下载:首先要到官网下载Lua源码:http://www.lua.org/download.html,我下载了最新的Lua-5.3.2版本。
编译:如果Linux环境下出现错误:libreadline.so: undefined reference to `PC,需要修改、src/Makefile,增加-lncurses;可能还需要修改Makefile里的安装目录,装到自己目录下。
然后就可以开始写测试代码了:
makefile:
OBJ=test.o
CC=g++
CFLAGS=
ROOTDIR=./../
LUADIR=/home/users/cswuyg/install/lua/
LIBS=-llua -ldl test: $(OBJ)
$(CC) $(CFLAGS) -o test $(OBJ) -L$(LUADIR)lib $(LIBS) test.o: test.cpp
$(CC) $(CFLAGS) -c test.cpp -I$(LUADIR)include
test.cpp
/**
* @file test.cpp
* @author cswuyg
* @date 2015/12/20 12:44:38
* @brief 嵌入Lua解释器
*
**/
extern "C"
{
#include "lua.h"
#include "lualib.h"
#include "lauxlib.h"
}
#include <iostream>
#include <string>
#include <iostream>
#include <string>
#include <fstream>
#include <sstream> //测试 luaL_dofile函数
void test_dofile(lua_State* L, const std::string& file_path) {
luaL_dofile(L, "test.lua");
std::string lua_ret = lua_tostring(L, );
std::cout << "lua ret:" << lua_ret << std::endl;
} //测试 luaL_dostring函数
void test_dostring(lua_State* L, const std::string& file_path) {
std::ifstream ifs;
ifs.open(file_path.c_str());
if (!ifs.is_open()) {
return ;
}
std::stringstream buffer;
buffer << ifs.rdbuf();
std::string file_info(buffer.str());
luaL_dostring(L, file_info.c_str());
std::string lua_ret = lua_tostring(L, );
std::cout << "lua ret:" << lua_ret << std::endl;
} int main(int argc, char* argv[]) {
lua_State* L = luaL_newstate();
luaL_openlibs(L);
test_dostring(L, "test.lua");
test_dofile(L, "test.lua");
lua_close(L);
return ;
}
test.lua
function add(a, b)
return a + b
end c = add(, )
return "10 + 20 is: "..c
从上面的test.cpp demo中可以看到关键函数:luaL_dostring 或者 luaL_dofile。
嵌入Lua解释器之后产生的ELF文件,strip(Linux strip命令)之后只有204KB。
Lua解释器的效率非常高,对于hello world类的demo,只需要200微秒(在我的机器上),而对应的采用V8解释器执行js hello world需要2毫秒。
对于存在大量重复调用的demo代码,上了LuaJIT性能可以提高几倍(如果代码不存在多次调用,JIT很难提高性能,除非是运行时的其它处理能达到代码优化效果。测试了一次lua add函数调用,LuaJIT性能没有提高)。以下是多次重复Lua函数调用测试代码:
function add(a, b)
return a + b
end for k = , do
c = add(, k)
end
return "10 + 20 is: "..c
Lua耗时:10700微秒;
LuaJIT耗时:617微秒;
LuaJIT对于热点代码能极大提高运行效率,因为这些热点代码被执行后,会被以机器码的形式保存,后续的多次调用不需要再走转换流程,直接执行机器码,性能提高许多。
JIT结合了静态编译和动态解析的好处,在执行动态语言时,会将翻译过的代码以机器码缓存起来,后续的使用就不需要再次翻译,更多参考JIT知识:https://en.wikipedia.org/wiki/Just-in-time_compilation
如果要使用LuaJIT,源码下载地址:http://luajit.org/download.html,我上面测试使用的是LuaJIT-2.0.4;使用方式跟非JIT Lua方式一致,使用JIT的ELF文件比非JIT的大200KB。
3、使用C++语言写Lua扩展模块
以下内容可能会比较碎,解决问题的方法不是不唯一的。
Lua调用C++函数,或者C++函数调用Lua,最重要的技术点就是两种语言的‘沟通’,Lua的C++语言跟Lua语言数据交互是通过一个叫做Lua 状态机(lua_State)的东西来做的,可以把它看作一个‘栈’。
我在练习写扩展模块的时候,基本按照这样的层次来写:实现层、包装层、注册层。这对业务功能做了划分,也对脚本语言层面的扩展做了划分,后续有新业务功能开发,或者新脚本语言扩展,已经有的业务功能实现不需要改动。
在用C++为Lua写扩展时,有两种使用方式,一种是提供一个so,Lua程序去require后使用,另一种是我写的扩展类型可以跟Lua的内置类型一样使用。我做了第二种实现的demo,如果要修改为使用so导出,只要增加一个生成so的makefile就可以。
C++写扩展的demo代码见github:自定义C++类加入Lua,注:这个例子是将Lua解释器嵌入到应用程序中,由我的应用程序去执行Lua脚本代码。
至少有两种方式可以将自定义函数/类型加入到全局表中,
方式1:
//把lib->func执行的结果作为lib->name的value保存到package.loaded 中
luaL_requiref(L, lib->name, lib->func, );
//清空状态机L
lua_settop(L, );
方式2:
lib->func(L);//执行注册,L栈顶是注册了函数的table
lua_setglobal(L, lib->name); //把栈顶的table作为value,以lib->name 作为key保存到全局表中。
详细代码见这里。
在编写Lua扩展时,如果有需要在扩展模块中保存数据状态,可以使用1、全局数据状态,关键字:LUA_REGISTRYINDEX;2、模块环境,关键字:LUA_ENVIRONINDEX;3、闭包函数,关键字:lua_pushcclosure;学习资料:http://www.cnblogs.com/stephen-liu74/archive/2012/07/25/2470025.html
4、借助swig框架实现Lua扩展模块
swig:http://nchc.dl.sourceforge.net/project/swig/swig/swig-3.0.7/swig-3.0.7.tar.gz,下载之后配置--prefix,做编译安装即可。
文档:http://www.swig.org/Doc2.0/Lua.html
以下为demo,由两部分组成:我们的实现代码;xxx.i文件,用于给swig生成框架。
my_module.i (生成wrapper文档命令行:swig -c++ -lua my_module.i)
%module my_module
%include "std_string.i"
%{
#include "my_module.h"
%}
%include "my_module.h"
注意到上面的std_string.i,必须有它才能导出std::string类型,更多的其它类型在这里swig的github。
my_module.h
/**
* @file my_module.h
* @author cswuyg
* @date 2015/12/20 18:05:05
* @brief 我的测试模块
*
**/
#ifndef __MY_MODULE_H_
#define __MY_MODULE_H_ #include <string> int add(int a, int b); class Hello {
public:
std::string get_info();
bool set_test(Hello* p);
Hello* get_test();
private:
Hello* _test_p;
}; #endif //__MY_MODULE_H_ /* vim: set expandtab ts=4 sw=4 sts=4 tw=100: */
test.lua
a = my_module.Hello()
b = my_module.Hello()
a:set_test(b);
c = a:get_test();
print(c:get_info()); print(my_module.add(, ))
完整代码见github:利用swig做封装。注:这个例子是将Lua解释器嵌入到应用程序中,由我的应用程序去执行Lua脚本代码。
使用swig框架可以让开发者把精力放在业务层面,省力不少,除了swig,还有Luabind、LuaPlus...等一堆框架/工具。我选择swig做,是因为swig也支持Python、JavaScript...
三、Lua练手
1、遍历成语词典,获取某个字开头的成语,用到了MongoDB第三方lua驱动,它的代码很简短,文章最后有介绍。
--[[
生成某个字开头的所有成语
cswuyg 2015.12.1
思路:
1、先在外面把成语词典转换为UTF8格式;
2、使用正则表达式剔除非四字成语;
3、使用正则找出四字成语的首字
----]]
require('math')
mongo = require "mongo" client = mongo.client{ host = 'xxxx host', port='' }
insert_to_mongo = function(t) --这里是单条写入,批量写入会快点,但mongo驱动在批量写入时有core,暂不使用批量
client.idioms_solitaire_dataxx.head:insert(t)
local r = client:runCommand('getLastError', , 'w', )
end -- 操作控制
idioms_ctrl = {
idioms_path = nil , -- 成语词典路径
idioms = {}, -- 内存成语词典
idioms_len = , -- 成语词典长度
head_table = {}
} --建立head 词典
function idioms_ctrl:build_head_dict()
self.head_table = {}
for k, v in ipairs(self.idioms) do
head = string.match(v, '([%z\1-\127\194-\244][\128-\191]*).*')
if self.head_table[head] then
table.insert(self.head_table[head], v)
else
self.head_table[head] = {v}
end
end
end -- 加载字典到idioms中,并创建head_dict
function idioms_ctrl:load_dict()
local file = assert(io.open(self.idioms_path, 'r'))
for line in file:lines() do
local idiom = {}
local_, count = string.gsub(line, "[^\128-\193]", "") --统计有多少汉字
if count == then --只保留4字成语
for uchar in string.gmatch(line, "[%z\1-\127\194-\244][\128-\191]*") do
table.insert(idiom, uchar)
end
item = table.concat(idiom)
if string.len(item) > then
table.insert(self.idioms, table.concat(idiom))
self.idioms_len = self.idioms_len +
end
end
end
idioms_ctrl:build_head_dict()
end -- 写到mongodb和文件
function idioms_ctrl:write_all_head()
self.f_w = assert(io.open(self.result_path, 'w'))
for head, idioms in pairs(self.head_table) do
idioms_ctrl:write_result(head, idioms)
end
end -- 写入结果到结果文件
function idioms_ctrl:write_result(head, list)
self.f_w:write(head..':'..table.concat(list, ',')..' len:'..#list..'\n')
info = table.concat(list, ',')
xx = {['_id']=head, ['data']=info, ['len']=#list}
insert_to_mongo(xx)
return false
end -- 全部跑
function run(idioms_dict_path, result_path)
print('dict :'..idioms_dict_path)
idioms_ctrl.result_path = result_path
idioms_ctrl.idioms_path = idioms_dict_path
idioms_ctrl:load_dict()
idioms_ctrl:write_all_head()
end -- 主函数
function main()
math.randomseed( tonumber(tostring(os.time()):reverse():sub(,)) ) local s = os.clock()
if not arg[] or not arg[] then
print('input format: lua xx.lua [idioms_dict_path] [result_path]')
return false
end
print('arg[1]:'..arg[])
print('arg[2]:'..arg[])
run(arg[], arg[])
local e = os.clock()
print('cost second:'..e-s)
end main()
补充:
1、Lua5.1版本的string.gfind,在5.2版本中更换为string.gmatch.
2、luaL_register函数可以将C函数注册到Lua语言环境的package.loaded中,这个函数在Lua5.2中被废弃,不再支持直接注册到全局表中,一般更换为使用:luaL_newlib,将函数注册到堆栈顶的table,然后再另行处理(如使用lua_setglobal)。
3、Lua的MD5库,到github上找一个,然后设置到LUA_PATH上即可,用过的MD5库:https://github.com/kikito/md5.lua。
后续工作重点已经不在Lua上,但会不定期更新。
本文所在:http://www.cnblogs.com/cswuyg/p/5049935.html
学习资料推荐:
1、《Lua程序设计》
2、http://www.jellythink.com/archives/category/language/lua
3、http://www.lua.org/manual/5.2/manual.html
4、云风的MongoDB Lua驱动,代码精致可读:https://github.com/cloudwu/lua-mongo/,编译时需要Lua5.2版本,可能需要修改makefile文件