storm shell命令源码分析-shell_submission.clj

时间:2023-03-09 16:41:53
storm shell命令源码分析-shell_submission.clj

当我们在shell里执行storm shell命令时会调用shell_submission.clj里的main函数。shell_submission.clj如下:

shell_submission.clj
;; ns函数声明一个命名空间“backtype.storm.command.shell-submission”
(ns backtype.storm.command.shell-submission
 ;; :import引用backtype.storm中的StormSubmitter类
 (:import [backtype.storm StormSubmitter])
 ;; :use引用backtype.storm thrift命名空间中的thrift、util、config和log,并建立连接,这样调用thrift、util、config和log中函数就可以直接使用函数名称不需要加完全限定名
 (:use [backtype.storm thrift util config log])
 ;; :require引用clojure.string,并使用别名str代替完全限定名clojure.string
 (:require [clojure.string :as str])
 ;; :gen-class生成java类
 (:gen-class))
 ;; storm shell命令所执行的main函数,gen-class的默认前缀"-",-main函数可以看成public函数,^String是类型提示符,用于声明参数tmpjarpath是一个字符串,-main函数可以接受多个实参,第一个参数赋值给tmpjarpath,其他参数全部保存在args中,args一个"序列"
 (defn -main [^String tmpjarpath & args]
 ;; conf绑定集群配置信息map,read-storm-config函数定义在backtype.storm.config命令空间,用于读取集群配置信息,返回包含集群配置信息的map,read-storm-config函数参见其定义部分
 (let [conf (read-storm-config)
       ;; 从集群配置信息中获取nimbus主机
       host (conf NIMBUS-HOST)
       ;; 从集群配置信息中获取nimbus thrift server的端口
       port (conf NIMBUS-THRIFT-PORT)
       ;; 调用StormSubmitter类的静态方法submitJar,将tmpjarpath所标识的jar文件上传到nimbus服务器上,jarpath保存jar文件在nimbus服务器上的路径,submitJar方法参见其定义部分
       jarpath (StormSubmitter/submitJar conf tmpjarpath)
       ;; concat函数将[host port jarpath]和args进行合并,并保存在args中
       args (concat args [host port jarpath])]
   ;; str/join将args中的参数用空格进行连接后,作为参数传递给exec-command!函数,执行jar文件中的main方法
   (exec-command! (str/join " " args))
   ))

当Clojure源文件做为脚本执行时,它们将在运行时被编译为java字节码。它们同样可以提前编译为java字节码(AOT编译)。这改善了Clojure应用的启动时间,并生产了可以运用于java中的.class文件。如果编译过的命名空间中拥有一个叫做-main的函数,那么它就能够作为一个Java应用运行。命令行参数会作为参数传递给这个函数。

read-storm-config函数
;; read-storm-config函数调用Utils类的readStormConfig方法读取集群配置信息,并过滤掉信息中非法配置
(defn read-storm-config
 []
 ;; readStormConfig方法参见其定义部分
 (let [conf (clojurify-structure (Utils/readStormConfig))]
   ;; 调用validate-configs-with-schemas函数验证配置信息的正确性并删除不正确的配置信息
   (validate-configs-with-schemas conf)
   conf))
readStormConfig方法
public static Map readStormConfig() {
       // 调用readDefaultConfig方法从defaults.yaml配置文件读取集群默认配置信息存入一个map对象ret中
       Map ret = readDefaultConfig();
       // confFile保存系统变量"storm.conf.file"的值,系统变量"storm.conf.file"保存了用户自定义配置文件的路径
       String confFile = System.getProperty("storm.conf.file");
       Map storm;
       // 如果没有用户自定义配置文件,那么调用findAndReadConfigFile方法读取"storm.yaml"配置文件,将配置信息保存在storm中,否则读取用户自定义配置文件
       if (confFile==null || confFile.equals("")) {
           storm = findAndReadConfigFile("storm.yaml", false);
       } else {
           storm = findAndReadConfigFile(confFile, true);
       }
       // 将"storm.yaml"配置文件或用户自定义的配置文件信息覆盖添加到默认配置信息ret中
       ret.putAll(storm);
       // 读取命令行提供的配置信息,并覆盖添加到之前的map对象中
       ret.putAll(readCommandLineOpts());
       // 返回保存了配置信息的map对象
       return ret;
   }
submitJar方法

submitJar方法调用了StormSubmitter类的重载方法submitJar

/**
    * Submit jar file
    * @param conf the topology-specific configuration. See {@link Config}.
    * @param localJar file path of the jar file to submit
    * @return the remote location of the submitted jar
    */
   public static String submitJar(Map conf, String localJar) {
       return submitJar(conf, localJar, null);
   }
重载方法submitJar

submitJar通过thrift client调用nimbus thrift server中的beginFileUpload函数获取目标路径,然后将jar上传到nimbus的目标路径上

;
           ) break;
               // 调用nimbus thrift server中的uploadChunk函数将jar文件上传nimbus服务器,uploadChunk函数参见其定义部分
               client.getClient().uploadChunk(uploadLocation, ByteBuffer.wrap(toSubmit));
           }
           // 调用nimbus thrift server中的finishFileUpload完成jar文件上传,finishFileUpload函数参见其定义部分
           client.getClient().finishFileUpload(uploadLocation);

if (listener != null) {
               listener.onCompleted(localJar, uploadLocation, totalSize);
           }

LOG.info("Successfully uploaded topology jar to assigned location: " + uploadLocation);
           // 返回jar文件上传nimbus的路径
           return uploadLocation;
       } catch(Exception e) {
           throw new RuntimeException(e);            
       } finally {
           client.close();
       }
   }

beginFileUpload函数
(beginFileUpload [this]
               ;; fileloc就是jar上传到nimbus上的目录"{storm.local.dir}/nimubs/inbox/stormjar-(uuid).jar",storm.local.dir是在配置信息中设置的
       (let [fileloc (str (inbox nimbus) "/stormjar-" (uuid) ".jar")]
         ;; (:uploaders nimbus)获取nimbus元数据中的TimeCacheMap,关于TimeCacheMap将在以后博客详细分析,将fileloc及其对应的FileOutputStream放入TimeCacheMap
         (.put (:uploaders nimbus)
               fileloc
               (Channels/newChannel (FileOutputStream. fileloc)))
         (log-message "Uploading file from client to " fileloc)
         ;; 返回上传路径
         fileloc
         ))

shell_submission.clj就分析到这里了,分析过程只列举了一些重要的函数,还有一些辅助函数没有列出,感兴趣的可以自己查看下。