recvReduceSend() reduce-scatter 本地实现

1
2
3
4
  __device__ __forceinline__ void recvReduceSend(intptr_t inpIx, int eltN, bool postOp=false) {
    genericOp<0, 0, 1, 1, Input, -1>(inpIx, -1, eltN, postOp);
	// DirectRecv1, DirectSend1, Recv, Send, SrcBuf, DstBuf
}

direct 这里指的是可以直接访问到 peer 的 gpu 显存，但是这里并不一定是远程 gpu 可能是同一个 server 内部的不同 gpu 设备