It was silly of me not to attend the party.
=I was silly not to attend the party.
以上二句意思相同，只不过侧重点稍有不同。
I was silly: 突出表语silly。
It was silly of me: 突出me。
不定式并非真的主语，而是silly的方面状语——主语的silly体目前哪一方面。
这个句型中没有不定式复合结构，而是to do不定式形式作方面状语，所以介词不可以用for。
该句型的表语都是表述人的特点的形容词，逻辑上需要主语是人。
置于it是不是形式主语，答案是，不是一般意义上的形式主语。由于it作形式主语，一般真的主语为不定式、动名词或主语从句。这个句型中不定式并非真的主语，该句型的表语都是描述人的特点的形容词，逻辑上需要主语是人。所以，it不是一般意义上的形式主语。但这里it显然更不是人称代词，是虚指的。由于要突出主语 I，主语移到表语后，of me成了状语，主语的地方空缺，所以用it填补主语的空缺。可以把it 粗略地剖析为虚指主语即可，不必再细扣。