无缚鸡之力，又怎么可能从防守严密的官府库房多次偷银子出来呢？钱塘人却是多为不信的。后来又有消息传出，剩余的其他库银是在此荒宅中找到的，同时还在此院宅中发现一条大青蛇和许多的骷髅头，于是有传闻说是府银是被妖怪所盗，只不过上头为了安抚民心，被栽到了许仙这个老实人头上罢了。这次杨知县大张旗鼓地招道士来此捉妖就是明证。
不过也有传闻说，那许仙曾在堂上供应他的银子是他的娘子送他的，而她的娘子就是住在此大宅中。还说两人是在西湖相遇，同舟共渡一回，第二天就被招为了上门女婿，云云。不过人们大都是不信的，哪会有这样的好样落在他这个连功名都没有的穷书生的头上？而且如果真是他伙同歹人偷的库银，又哪会最后只判了个发配苏州？他姐夫也只不过是个不入流的小吏而已，又不是什么官宦子弟！