조선이 건국된 후 '불사이군'(不事二君, 두 임금을 섬기지 않는다)이라며 고향인 전북 부안으로 이동하던 중 연기군 양화리에 터를 잡았으며 이후 600여 년이 넘도록 후손들이 집성촌을 이뤄 살았다. 임시현의 할아버지도 젊은 시절까지 연기군에 거주하다가 이후 임시현 선수의 아버지가 3살 무렵 강릉으로 이사를 갔으며 이후 강릉에서 자리를 잡고 살게 되었다고 전해진다. 임시현 선수의 큰아버지 등 일가친척들은 이후에도 계속 세종시에 남아 거주하고 있는 것으로 알려졌다.