表題のとおりですが、地味にハマったので報告します。
この場合は、一つ上のコンポーネントでuseFieldArrayを使って、戻り値をそれぞれのコンポーネントで使えば良いです。
もしくは親で操作すれば良いです。