Infelizmente poderá ser prejudicado sim.
Porque como não constará recolhimento no CNIS o INSS irá considerar como salário de contribuição o valor do salário mínimo.
E se o seu salário de remuneração era bem superior ao salário mínimo o INSS estará fazendo os cálculos de maneira incorreta e isso poderá fazer que o valor de sua aposentadoria seja menor do que realmente deveria ser.
Por isso a importância de se fazer um planejamento previdenciário em que poderá ser verificado possíveis erros.
Consulte sempre um profissional especializado na área!