浙江最难的方言排名是温州话、台州话、衢州话、丽水话、义乌话。

1、温州话

温州话，是一种吴语方言，亦被民间称为瓯语，为中国浙江省温州市一带汉族本地居民所使用之汉语方言，属于汉藏语系-汉语语族-吴语-瓯江片，属于南部吴语。温州话发音、用词和语法等方面都与普通话有极大差别，和北部吴语也无法沟通。

2、台州话

台州话是吴语的一种方言，为浙江东南沿海台州市居民所讲的一种吴语方言，在发音和用词、语法等方面和都与普通话有较大差别。临海话因为兼具南台和北台的特点以及临海历史上的台州府城地位，为台州片的代表方言。但台州话的变化也很多，甚至各个县市之间的发音也有较大差异。

3、衢州话

衢州话，属吴语-金衢片，指浙江省衢州市区的方言，通行于衢州市区、巨化生活区及近郊，使用人口约50万。衢州话保留了中古全浊声母，声母分清音不送气、送气和浊音三组，清浊对立，保留平上去入的平仄音韵。此外衢州话的词汇有自身特色。

4、丽水话

丽水方言是一个非常具有价值的方言。汉语方言复杂，东南沿海各省尤甚。丽水是个多方言地区，种类之多，差异之大，可称全国之最。

5、义乌话

义乌话，是一种吴语方言，属于吴语金衢片，使用地区主要为浙江省义乌市，以义乌城里（原稠城镇）方言为代表。义乌市全境内用义乌话交流没有任何困难。

以上内容参考：百度百科-义乌话