Infelizmente poderá ser prejudicado sim. Porque como não constará recolhimento no CNIS o INSS irá considerar como salário de contribuição o valor do salário mínimo. E se o seu salário de remuneração era bem superior ao salário mínimo o INSS estará fazendo os cálculos de maneira incorreta e isso poderá fazer que o valor de sua aposentadoria seja menor do que realmente deveria ser. Por isso a importância de se fazer um planejamento previdenciário em que poderá ser verificado possíveis erros. Consulte sempre um profissional especializado na área!