L'expression à poil vient du vocabulaire de l'équitation, où elle est synonyme de à cru. Ainsi monter son cheval à poil signifiait simplement monter sans selle, à même la peau (les poils) de l'animal.

On comprends ensuite facilement comment cette expression est passée dans le langage courant.