源為義の嫡男義賢は仁平三年（一一五三年）に上野国へ下向し、現在の高崎市山名町から吉井町一帯とされる多胡郡に拠点を築きます。これは廃嫡された兄義朝が南関東に勢力を扶植したのに対抗する意図があったとされます。為義・義賢父子は摂関家に仕えたのに対し、義朝は後白河院に接近し下野国の受領に昇任しました。このままでは関東一円を義朝に支配されると危惧した為義が、失態により官職を解任された義賢を北関東へ送り込み、義朝の支配圏拡大に待ったをかけたのです。
多胡郡の地下武者を郎等化した義賢は、武蔵国最大の武士団とされる秩父平氏の家督だった重隆の養君となって武蔵国比企郡の大蔵館に移り住み、義朝の嫡男義平が支配する南関東へ勢力拡大を図りました。鎌倉の亀ヶ谷にあった源氏相伝の館に住む義平は、突如兵を率いて大蔵館へ攻め入り、義賢と重隆を殺害します。
この時、赤子だった義賢の男児は、母に抱えられて難を逃れ信濃国で養育されました。後の木曽義仲です。義仲が平家打倒を目指して挙兵した時、多胡郡の地下武者たちはかつて結んだ義賢との宿縁を忘れず、すぐさま義仲に加勢しました。
多胡郡は奈良時代初めの和銅四年（一一七年）に上野国14番目の郡として設立されました。これを記念して建てられた石碑が現存することで有名です。