量化交易回测系统---RQalpha、qstrade学习笔记

时间:2024-04-11 19:32:40

一、RQalpha

github 地址  https://github.com/ricequant/rqalpha

1、运行test.py文件,显示 No module named 'logbook.base'。

解决先卸载再安装: pip uninstall logbook   pip install logbook

2、出现:RuntimeError: 请设置账户及初始资金。

解决:

二、Zipline

github地址  https://github.com/quantopian/zipline     Zipline学习资料      http://www.zipline.io/

zipline代码比较多,不好复制

三、qstrade

github地址  https://github.com/mhallsmoore/qstrader

听从朋友建议,暂时学习qstrade。代码少,上手快。

测试:

Could not subscribe ticker SPY as no data CSV found for pricing.
Could not subscribe ticker AGG as no data CSV found for pricing.
Traceback (most recent call last):
File "E:/qstrader-master/examples/monthly_liquidate_rebalance_backtest.py", line 108, in <module>
run(config, testing, tickers, filename)
File "E:/qstrader-master/examples/monthly_liquidate_rebalance_backtest.py", line 94, in run

在策略代码后面添加如下即可:

import os
from munch import munchify
os.chdir('E:\\qstrader-master')
config = munchify({"CSV_DATA_DIR": "data", "OUTPUT_DIR": "out", 'testing': True})

保存图片需要修改:

将trading_session.py文件最后部分,倒数第二行self.statistics.plot_results()-------->self.statistics.save()

将tearsheet.py文件最后部分,self.plot_results()---------->self.plot_results(filename)

 

学习问题汇总:

1、运行buy_and_hold_backtest.py文件时出错。

File "E:\qstrader-master\qstrader\price_handler\yahoo_daily_csv_bar.py", line 68, in _merge_sort_ticker_data
df = pd.concat(self.tickers_data.values()).sort_index()
File "D:\Anaconda3\lib\site-packages\pandas\core\reshape\concat.py", line 206, in concat
copy=copy)
File "D:\Anaconda3\lib\site-packages\pandas\core\reshape\concat.py", line 239, in __init__
raise ValueError('No objects to concatenate')
ValueError: No objects to concatenate

1、self.tickers_data 是什么内容?-->self.csv_dir=csv_dir,csv_dir在哪里?-->

2、出错位置在:backtest=TradingSession(config,strategy,tickers,initial_equity,start_date,end_date,events_queue,title=title)  为实例化,

参数如下:

config -->    TEST==munchify({"CSV_DATA_DIR":"data","OUTPUT_DIR":"out"})

strategy -->实例化,BuyAndHoldStrategy(tickers[0],events_queue)

tickers -->['SPY']

initial_equity -->10000

start_date -->datetime.datetime(2000,1,1)

end_date -->datetime.datetime(2014,1,1)

events_queue -->queue.Queue()

title -->['Buy and Hold Example on SPY']

进一步查看,错误地点在 qstrader\trading_session.py ,交易阶段。为什么/如何  进入这一阶段?

还是要细心看代码,在__init__下面有self._config_session(),启动了该方法。功能是初始化回测期间必须类。

-->   def _config_session(self):    -->self.price_handler=YahooDailyCsvBarPriceHandler(self.config.CSV_DATA_DIR,self.events_queue,self.tickers,

start_date=self.start_date,end_date=self.end_date)

“”“设计去读取csv文件、开-高-低-收-交易量(OHLCV),for each requested financial instrument and stream those to the provided events queue as BarEvents"""

-->self.subscribe_ticker(ticker)  订阅ticker  -->订阅之前 self._open_ticker_price_csv(ticker)

-->self._merge_sort_ticker_data() 合并ticker

debug后,发现代码错误位于读取SPY.csv文件部分。代码如下:

ticker_path=os.path.join(self.csv_dir,'%s.csv"%ticker)

self.tickers_data[ticker]=pd.io.parser.read_csv(ticker_path,....) ,好奇怪,这里debug下一步,ticker_path没有了。

进一步发现是路径的问题,buy_and_hold_backtest.py是在examples路径下面,即:

import os
os.getcwd()
Out[7]: 'E:\\qstrader-master\\examples'

而文件在路径为:'E:\qstrader-master\data',ticker_path='data\\SPY.csv'。

即文件读取位置为:'E:\qstrader-master\examples\data\SPY.csv' ,所有读取不到文件,可以如下修改:

一、可以在buy_and_hold_backtest.py 文件中加入: import os  os.chdir('E:\\qstrader-master')

二、在python console中运行buy_and_hold_backtest.py文件, run examples\buy_and_hold_backtest.py

run examples\buy_and_hold_backtest.py
Backend Qt5Agg is interactive backend. Turning interactive mode on.
ticker: SPY self.tickers: {}
ticker_path: data\SPY.csv
Running Backtest...
---------------------------------
Backtest complete.
Sharpe Ratio: 0.25
Max Drawdown: 79.59%

 

2、后面debug过程中,循环的流程为:

trading_session.py  只有一个类:TradingSession(object)  

注意:在 __init__时,运行了self._config_session()

方法有4个:1、 _config_session(self):   2、_continue_loop_condition(self) 3、_run_session(self) 4、start_trading(self,testing=False)

在buy_and_hold_backtest.py中先TradingSession实例化,再运行start_trading方法,流程如下

self._config_session()---->

self.start_trading()----->self._run_session()---->self._continue_loop_condition

运行到方法3、_run_session(self)中

while self._continue_loop_condition():

  try:

    event=self.events_queue.get(False)

  except queue.Empty:

    self.price_handler.stream_next()

  else:

    if event is not None:

      if (event.type==EventType.TICK or event.type==EventType.BAR): 。。。。

                      #dir(event)  -->有6个属性  action print_order quantity ticker type typename  --->event.type=EventType.ORDER,不满足条件进入elif

      elif event.type==EventType.ORDER:

        self.execution_handler.execute_order(event)

        

---->

def _continue_loop_condition(self):

  if self.session_type=='backtest':

    return self.price_handler.continue_backtest

  else:

    return datetime.now()<self.end_session_time

查看可知:self.price_handler来自:qstrader.price_handler.yahoo_daily_csv_bar.YahooDailyCsvBarPriceHandler object

debug   self.price_handler.continue_backtest 为True,继续,

-->

self.execution_handler.execute_order(event)  来自于:qstrader/execution_handler/ib_simulated.py

def execute_order(self,event):

  if event.type==EventType.ORDER:

    #obtain values from the OrderEvent

    timestamp=self.price_handler.get_last_timestamp(event.ticker)

    ticker=event.ticker

    action=event.action

    quantity=event.quantity

    #obtain the fill price

    if self.price_handler.istick():

      bid,ask=self.price_handler.get_best_bid_ask(ticker)

      fill_price=ask if event.action=="BOT" elst bid

    else:

      close_price=self.price_handler.get_last_close(ticker)

      fill_price=close_price

    #set a dummy exchange and calculate trade commission    dummy:模拟交易

    exchange='ARCA'

    commission=self.calculate_ib_commission(quantity,fill_price) 

    #create the FillEvent and place on the events queue

    fill_event=FillEvent(timestamp,ticker,action,quantity,exchange,fill_price,commission)    #实例化FillEvent类  

    self.events_queue.put(fill_event)

    if self.compliance is not None:

      self.compliance.record_trade(fill_event) 

 

---->

self.price_handler  来自于:qstrader/price_handler/base.py ,包含三个类:

1、AbstractPriceHandler(object) 类   2、AbstractTickPriceHandler(AbstractPriceHandler) 类    3、AbstractBarPriceHandler(AbstractPriceHandler)类

self.price_handler.get_last_timestamp()为AbstractPriceHandler(object)类中方法,

def get_last_timestamp(self,ticker):

  if ticker in self.tickers:

    timestamp=self.tickers[ticker]["timestamp"]

    return timestamp

self.price_handler.istick()  类:AbstractBarPriceHandler(AbstractPriceHandler)    方法:istick    

def istick(self):

  return False  

def isbar(self):

  return True

self.price_handler.get_last_close(self,ticker) 为 AbstractBarPriceHandler(AbstractPriceHandler)类中的方法

def get_last_clost(self,ticker):  #ticker:‘SPY’

  if ticker in self.tickers:    #self.tickers为:{'SPY': {'close': 1454375000, 'adj_close': 1058253320, 'timestamp': Timestamp('2000-01-03 00:00:00')}}

    close_price=self.tickers[ticker]['close']  #self.tickers[ticker]为字典

    return close_price  #在ib_similated.py中得到close_price

----->

ticker=event.ticker   action=event.action  event来自于: qstrader.event.OrderEvent  位置 qstrader/event.py

event.py内容如下:总共有7个类,一个基础类Event。

from enum import Enum

EventType=Enum("EventType","TICK BAR SIGNAL ORDER FILL SENTIMENT")

1、Event(object): 2、TickEvent(Event) 3、BarEvent(Event) 4、SignalEvent(Event) 5、OrderEvent(Event) 6、FillEvent(Event) 7、SentimentEvent(Event)

fill_event=FillEvent(timestamp,ticker,action,quantity,exchange,fill_price,commission)

干的活不多,就只是进入类,带入属性值

---->

self.calculate_ib_commission(quantity,fill_price) 来自于:execution_handler/ib_simulated.py

包含一个类:IBSimulatedExecutionHandler(AbstractExecutionHandler)

def __init__(self,events_queue,price_handler,compliance=None):

def calculate_ib_commission(self,quantity,fill_price):

  commission=min(0.5*fill_price*quantity,max(1.0,0.005*quantity))

  return PriceParser.parse(commission)

----->

self.compliance.record_trade(fill_event) 来自于:qstrader/compliance/example.py文件,只有一个类

from .base import AbstractCompliance   来自于:qstrader/compliance/base.py  没啥内容

类:ExampleCompliance(AbstractCompliance)   # 

保存交易记录的

 

 3、debug查看运行流程

一、交易之前创建投资过清单。

run(config,testing,tickers,filename)---->

title/initial_equity/start_date/end_date/events_queue/strategy,加载策略类(MonthlyLiquidateRebalanceStrategy(tickers,events_queue)----->

tickers_invested:{'SPY': False, 'AGG': False},初始化投资过的股票代码,----->

ticker_weights/position_sizer,加载头寸数量类(LiquidateRebalancePositionSizer(ticker_weights))------->

qstrader/position_sizer/rebalance.py-----position_sizer-----得到initial_order----------->

建立回测backtest=TradingSession(config,strategy,tickers,initial_equity,start_date,end_date,events_queue,position_sizer=position_sizer,title,

benchmark=tickers[0])--------->

开始回测 results=backtest.start_trading(testing=testing)------------->

前面工作都干完了,现在开始回测,backtest是实例化,start_trading调用实例化的方法。------->

self._config_session(),初始化回测期间必须类,self.price_handler=YahooDailyCsvBarPriceHandler(self.config.CSV_DATA_DIR,self.events_queue,

self.tickers,start_date=self.start_date,end_date=self.end_date)----->

event=self.events_queue.get(False)获得队列中的事件,每个bar事件--------->

self.strategy.calculate_signals(event),加载策略,计算信号----->

self.portfolio_handler.update_portfolio_value(),更新组合价值,------>

self.statistics.update(event.time,self.portfolio_handler),统计更新------->

返回结果 return results

 

 4、思考问题,复杂的看不太懂地方

一、event.py中EventType,EventType=Enum('EventTye','TICK BAR SIGNAL FILL')

TICK BAR 分别对应TICK BAR数据事件,SIGNAL FILL作用是什么?各个事件运行的流程是怎样的?

以buy_and_hold_backtest.py debug来看,事件流程如下:

---->

 

buy_and_hold_backtest.py  功能:calculate_signals(self,event) 

signal=SignalEvent(self.ticker,'BOT',suggested_quantity=self.base_quantity)

self.events_queue.put(signal)                              ----------------------->    trading_session.py  self.portfolio_handler.on_signal(event)

 

portfolio_handler.py 功能:on_signal(self,signal_event)

#从单个信号事件中创建初始订单列表

initial_order=self._create_order_from_signal(signal_event)

#从初始的订单中设置买卖数量

sized_order=self.position_sizer.size_order(self.portfolio,initial_order)

#从整体风控角度重新修改或者消除订单

order_events=self.risk_manager.refine_orders(self.portfolio,sized_order)

#把订单放入事件队列

self._place_orders_onto_queue(order_events)

 

二、如何复制一个简易版本回测系统?

 去除掉不需要部分,哪些是不需要的,需要看懂整体运行流程和各个部分功能。

1、去掉risk_manager   完成

2、去掉  ORDER事件,直接从SIGNAL事件到FILL事件

ORDER事件干了什么事情,1、order_event---->fill_event 2、self.compliance.record_trade(fill_event)

 3、修改trading_session.py中的self.position_sizer文件,(1)、trading_session.py中self.position_sizer有点重复;(2)、产生信号的时候直接生成需要的order参数,tick、action、quantity、

现在问题是什么呢?是带入SIGNAL中的问题,1、有信号要交易,立即生成交易需要参数(代码量比较大,可以写入策略模板)

这样有个问题是在portfolio_handler.py中,在生成order_events时加载了一下self.position_sizer,已经被我删除了。写法如下:

order_events=self.position_sizer.size_order(self.portfolio,initial_order)

可以在portfolio_handler.py 中on_signal中修改,带入需要参数。

现在问题是,主策略中quantity数量为0,又没有加载position_sizer修改数量,

 

4、先分析portfolio.py、postition.py、tearsheet.py文件,了解各个文件功能。

portfolio.py要传入两个参数,price_handler和cash;price_handler也是portfolio_handler.py、trading_session.py参数,在trading_session.py中入参。

self.price_handler=YahooDailyCsvBarPriceHandler(self.config.CSV_DATA_DIR,self.events_quue,self.tickers,start_date=self.start_date,end_date=self.end_date)

参数传递过程:buy_and_hold_backtest.py initial_equity----> trading_session self.equity=PriceParser.parse(equity)---->portfolio_handler.py self.initial_cash=initial_cash ---->Portfolio.py self.init_cash=cash

portfolio.py 参数设置:

self.price_handler=price_handler  self.init_cash=cash self.equity=cash self.cur_cash=cash self.position={} self.closed_positions=[] self.realised_pnl=0

 

5、修改掉乘以1000万部分,看着好奇怪。

 

三、问题是:TradingSession类中的属性(self.price_handler self.suggested_order self.position_size self.portfolio_handler self.compliance self.statistics)定义为另一个类的实例化对象,该属性在实例化的过程中,该如何输入参数?为什么要这样写,有没有别的写法呢?

解答:本质上类时数据结构,实例化后的对象也是一个参数,所以是可以的。它的主要作用是:在父级对象内直接使用子级对象的功能和参数。

子级对象实例化过程中传参可以直接使用父级全局变量参数,子级对象实例化传入的参数可为另一子级实例化的属性,如下图所示:self.portfolio_handler为类PortfolioHandler实例化对象,为trading_session的属性之一,self.portfolio_handler又为TearsheetStatistics实例化过程中的参数。

 量化交易回测系统---RQalpha、qstrade学习笔记

 

 

 四、修改

1、重写position.py transact_shares函数

2、position中整除修改为除,在price_parser.py中保留两位小数  44行 round(x,2)

将ib_simulated.py中commission设置为0,print发现quantity非常大,中间有bug

解决:使用vnpy中数据调整函数,如下所示,复制到price_parser.py文件中,再修改一个地方:一、compliance文件中,record_trade方法下display,删去参数4即可。

量化交易回测系统---RQalpha、qstrade学习笔记

 

3、