平治の乱(１１５９年)に敗れた源氏の一族、大畠某が桑島の地にのがれてきて、集落の東方「尾の上」と称するところに城をかまえて居住していた。その妻女が機織りの業に長じており、集落の婦女子に機織りを伝えたのが、起源とも伝えられている。牛首紬は天然絹糸をその原料としているため、養蚕の盛衰は必然的に牛首紬の生産に影響を及ぼすことはいなめない。古くからこの地では養蚕が盛んに行われていたらしく、衣服の自給自足により繭を原料とした紬などの衣料の生産が祖先の手によって工夫されていたらしい。