Java API操作Hadoop报错EOFException
今天在调用Java API向Hadoop上传文件的时候，碰到个问题：
java.io.EOFException: Unexpected EOF while trying to read response from server
具体如下：
1234562021-03-02 11:22:37,367 INFO (DataStreamer.java:1791)- Exception in createBlockOutputStream blk_1073741842_1018java.io.EOFException: Unexpected EOF while trying to read response from server at org.apache.hadoop.hdfs.protocolPB.PBHelperClient.vintPrefixed(PBHelperClient.java:551) at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1763) ...
Hadoop 3.x File XXX could only be written to 0 of the 1 minReplication
今天在用Java API 操作Hadoop 3.2.2 的时候，碰到一个错误，如下：
File XXX could only be written to 0 of the 1 minReplication nodes…
123例如：org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/test2.txt could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
网上搜索的解决方案：
原因大致有几种：
原因一：NameNode ClusterID 与 DataNode ClusterID 不一致解决方案：
（1）将DataNode的版本，修改到与NameNode一致。
（2）重启集群。注意，千万不要执行namenode的格式化。
原因二：DataNode空间没有了解决方案：
（1）清理提供 ...
C#仿SnowFlake算法
我们的项目需要在本地生成一个唯一的ID，于是考虑到用SnowFlake算法来实现，经过调研，Github上找到了一个开源库，用起来十分方便。使用方法分享如下：
Github地址RobThree/IdGen
使用说明1. 引入在NuGet中查找IdGen.Configuration，并导入项目
2. 修改配置文件(App.config)添加如下配置（注意：configSections要放在最前面）：
1234567891011121314151617<?xml version="1.0" encoding="utf-8"?><configuration> <configSections> <section name="idGenSection" type="IdGen.Configuration.IdGeneratorsSection, IdGen.Configuration" /> </configSections> <idGen ...
MongoDB两表联合查询
MongoDB里面有两个Collection，一个是cutting_tool_template(刀具模板)，一个是cutting_tool(刀具)，每把刀具隶属于一个模板，因此一个模板拥有多把刀具。现在页面需要展示该刀具模板有多少把刀具。
有很多种实现方法：第一：把刀具集合作为模板的一个列表；
第二：模板增加一个变量（tool_count），增加一把刀具则+1，删除一把刀具则-1;
第三：每次查询模板数据的时候，联合查询刀具表，进行一个mysql里面的count操作。
这里采用了第三种方法。通过cutting_tool.template._id与cutting_tool.template_id进行关联。
MongoDB通过lookup函数来实现两个collection的联合查询。描述如下：
123456789101112/** * from: The target collection. 目标集合，即本案例中的[刀具]表 * localField: The local join field. 本地联合变量：即本案例中的[模板表]的ID * foreignField: The ...
hugo-step-by-step
1. 安装Hugo安装环境：Win10
1.1 建立文件夹
建立文件夹D:\Hugo
建立子文件夹：D:\Hugo\bin，D:\Hugo\Sites
1.2 下载二进制安装文件
进入页面：https://github.com/gohugoio/hugo/releases
选择对应版本，目前最新版本：hugo_0.71.0_Windows-64bit.zip
解压后放到D:\Hugo\bin目录下，如下
1234567D:.├─bin│ hugo.exe│ LICENSE│ README.md│└─Sites
将D:\Hugo\bin添加到环境变量
12rem 如果下面步骤有问题，需要手动重启cmd，或者直接手动添加set PATH=%PATH%;D:\Hugo\bin
验证安装
D:\Hugo\Sites>hugo versionHugo Static Site Generator v0.71.0-06150C87 windows/amd64 BuildDate: 2020-05-18T16:08:31Z
2. 创建站点2.1 ...
Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
Quick StartCreate a new post1$ hexo new "My New Post"
More info: Writing
Run server1$ hexo server
More info: Server
Generate static files1$ hexo generate
More info: Generating
Deploy to remote sites1$ hexo deploy
More info: Deployment