Segundo o Ciberdúvidas, devemos colocar ponto (.) nos numerais ordinais.
Exemplos: 1.º dia, 2.ª pessoa; 10.º classificado; 3.ª feira; Art. 3.º; 2.º andar…

Atenção: A representação da abreviatura terá de ser obrigatoriamente número + ponto  + terminação «o» ou «a». O uso de sublinhado que alguns tipos de letra permitem é uma opção de natureza gráfica que não dispensa o uso do ponto.
Segundo a Academia Brasileira de Letras, no Brasil, não deve ser usado o ponto (.) nos numerais ordinais: 1º dia, 2ª pessoa; 10º classificado; 3ª feira; Art. 3º; 2º andar…