知识不清楚的问题汇总

时间:2023-02-22 14:20:23

1. Set的并发集合有哪些? 如何使用? 请给出例子.


2. 关于Storm中,数据实时产生,其使用流式数据,表现为一个个窗口,如何保证数据一致性? 这个非常有意思的问题。


3. 数据一致性以及data race, 数据一致性的强弱如何判断? 如何处理?如何形式化表达? 在事务中如何应用? 非常有趣的问题!


4. 关于Java命令在linux下的执行流程:

 如Giraph, 有两种方式,一种使用ToolRunner的方式,一种是在benchmark中设置选项,这里使用toolrunner方式遇到问题,无瑕解决,暂时记录下:

[liuqiang2@mu02 bin]$ giraph ../giraph-examples-1.1.0.jar org.apache.giraph.examples.SimpleCheckpoint.SimpleCheckpointComputation  -vif org.apache.giraph.io.formats.LongIntFloatTextInputFormat  -vip /test/youTube.txt  -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /output  -w 4 
HADOOP_CONF_DIR=/opt/hadoop-1.2.1/conf
17/01/19 14:52:07 INFO utils.ConfigurationUtils: No edge input format specified. Ensure your InputFormat does not require one.
17/01/19 14:52:07 INFO utils.ConfigurationUtils: No edge output format specified. Ensure your OutputFormat does not require one.
Exception in thread "main" java.lang.ClassNotFoundException: org.apache.giraph.examples.SimpleCheckpoint.SimpleCheckpointComputation
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:191)
        at org.apache.giraph.utils.ConfigurationUtils.handleComputationClass(ConfigurationUtils.java:491)
        at org.apache.giraph.utils.ConfigurationUtils.populateGiraphConfiguration(ConfigurationUtils.java:474)
        at org.apache.giraph.utils.ConfigurationUtils.parseArgs(ConfigurationUtils.java:215)
        at org.apache.giraph.GiraphRunner.run(GiraphRunner.java:74)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
        at org.apache.giraph.GiraphRunner.main(GiraphRunner.java:124)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:160)


5.Linux 脚本,能够对多台分布式节点执行如siostat -t -d -x 1 > 5.txt或者sar 等命令, 并对结果进行过滤,然后求其列对应的平均值。


6.lustre挂载NFS,数据流向是怎样的?比如加上NIS服务呢?即把用户账户挂载lustre,启动后登陆节点加载lustre上的集群用户密码数据库。

没理清楚。