确实，军人档案由部队统一管理，一般不会迁至地方。但如果您的问题是指退役军人的档案管理，可以这样理解：

对于转业军官，根据安置工作的级别，档案主要由当地党委组织部或政府人事部门负责管理。具体来说，如果军官是通过计划分配的方式安置，档案将由组织部负责；若通过自主择业的方式安置，则由人事部门管理。

对于符合安置条件的退伍士兵，一旦完成安置工作，其档案将由劳动部门接手管理。这主要是因为劳动部门负责就业和社会保障相关事务，因此退伍士兵的档案管理与就业和社会保障紧密相关。

至于农村退伍士兵，其档案通常由退役军人事务局管理。退役军人事务局负责退役军人的优抚安置、就业培训和社会保障等工作，因此，农村退伍士兵的档案管理属于其职责范围。

总的来说，退役军人档案的管理根据个人安置情况和安置工作的具体性质而有所不同，但都由相关部门负责，确保退役军人权益得到有效保障。