Если крутят пальцем у виска, значит, мягко намекают собеседнику, что он дурак. А если покрутить виском у пальца?
Скорее всего, дураком признают крутящего.
Вот что получается: в обоих случаях и висок, и палец производят одинаковые вращательные движения относительно друг друга. От чего ж такая пропасть в восприятии?