1. Set的并发集合有哪些? 如何使用? 请给出例子.
2. 关于Storm中,数据实时产生,其使用流式数据,表现为一个个窗口,如何保证数据一致性? 这个非常有意思的问题。
3. 数据一致性以及data race, 数据一致性的强弱如何判断? 如何处理?如何形式化表达? 在事务中如何应用? 非常有趣的问题!
4. 关于Java命令在linux下的执行流程:
如Giraph, 有两种方式,一种使用ToolRunner的方式,一种是在benchmark中设置选项,这里使用toolrunner方式遇到问题,无瑕解决,暂时记录下:
[liuqiang2@mu02 bin]$ giraph ../giraph-examples-1.1.0.jar org.apache.giraph.examples.SimpleCheckpoint.SimpleCheckpointComputation -vif org.apache.giraph.io.formats.LongIntFloatTextInputFormat -vip /test/youTube.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /output -w 4 HADOOP_CONF_DIR=/opt/hadoop-1.2.1/conf 17/01/19 14:52:07 INFO utils.ConfigurationUtils: No edge input format specified. Ensure your InputFormat does not require one. 17/01/19 14:52:07 INFO utils.ConfigurationUtils: No edge output format specified. Ensure your OutputFormat does not require one. Exception in thread "main" java.lang.ClassNotFoundException: org.apache.giraph.examples.SimpleCheckpoint.SimpleCheckpointComputation at java.net.URLClassLoader$1.run(URLClassLoader.java:366) at java.net.URLClassLoader$1.run(URLClassLoader.java:355) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:354) at java.lang.ClassLoader.loadClass(ClassLoader.java:425) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) at java.lang.ClassLoader.loadClass(ClassLoader.java:358) at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:191) at org.apache.giraph.utils.ConfigurationUtils.handleComputationClass(ConfigurationUtils.java:491) at org.apache.giraph.utils.ConfigurationUtils.populateGiraphConfiguration(ConfigurationUtils.java:474) at org.apache.giraph.utils.ConfigurationUtils.parseArgs(ConfigurationUtils.java:215) at org.apache.giraph.GiraphRunner.run(GiraphRunner.java:74) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79) at org.apache.giraph.GiraphRunner.main(GiraphRunner.java:124) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.util.RunJar.main(RunJar.java:160)
5.Linux 脚本,能够对多台分布式节点执行如siostat -t -d -x 1 > 5.txt或者sar 等命令, 并对结果进行过滤,然后求其列对应的平均值。
6.lustre挂载NFS,数据流向是怎样的?比如加上NIS服务呢?即把用户账户挂载lustre,启动后登陆节点加载lustre上的集群用户密码数据库。
没理清楚。