of 不可以去掉

speak of 意为“谈到，说起” 这里的speak 是不及物动词，必须加介词。

这句话里of 的宾语是 it

I heard it spoken of in the next room.（我听见它被谈起）

=I heard somebody speak of it in the next room. 我听到隔壁房间有人谈到它。

这里的两个介词分属不同的短语，并列在一起没关系的。