They all had on the kind of hats that you knew that they didn't reallylive in New York.
这应该是一个定语从句，不了解为何用了that而不是in which这里应该也不可以互换?
你对句子结构理解错误。缘由有三。第一，你只看句子的结构形式，不考虑句子表达的逻辑意义；第二，你不太知道that可以引导结果状语从句；第三，that假如引导定语从句，that是要在从句中作成分的。可是这个that在后面从句中作成分了吗？
have the hat on —— have on the hat . 这里on 为副词小品词，可以坐落于名词后，也可以用于名词前。that=so that, 引导结果状语从句。他们都戴着那种礼帽，所以你了解他们其实并不住在纽约。