HDFS--unable to create new native thread

时间:2021-07-06 21:00:16
  • Exception展示
unable to create native thread
引发,
读取block,stream closed
引发,
发生一系列io异常
引发,
namenode kill datanode
  • 分析
发生此种情况,因为需要写入hdfs的进程数多于linux分配给hdfs可操作的进程数,分配的进程数都被占用了,不够重新创建。
现在提供两种解决思路:
    (1):程序中同时有大量的非正常文件正在写入。针对此情况需要梳理代码。
    (2):确实需要同时又大量的文件写入的话,可以调节linux分配给hdfs的进程数。

注:有关数据仓库等问题,有兴趣的同学可以联系我。TEL/微信:18310801089