Hi CrystalMaiden,

It is just the way it is in French,

For having done something becomes pour avoir fait quelque chose. You use the past infinitive , in this case 'avoir' as faire  uses avoir.

It is the same after the preposition de as in the following examples-

Merci de m'avoir prévenue (Thank you for letting me know in advance)

Merci d'être resté après le discours (Thank you for staying after the talk)

Je suis heureux d'avoir fait votre connaissance (I am happy for meeting you/ to have met you/ to meet you) 

Hope this helps!