ReactJS
O React não é um framework, ele é uma biblioteca, um famework é um conjunto de várias bibliotecas e definição de arquitetura. No caso o react é apenas uma biblioteca e não tem regras de estrutura de pastas ou arquitetura definida. Por conta disso é necessário instalar várias outras bibliotecas para compor o React, como o React Router e entre outros.
NextJS
O NextJS sim já é um framework robusto, bem estabelecido no mercado e amplamente utilizado pela comunidade ao ponto de ser recomendado até na documentação oficial do React, além de ser mantido por uma empresa consolidada a Vercel que também fornece um serviço altamente compativel e preparado para o NextJS além de qualquer projeto front-end estático ou dinamico.