天平年間（７２９年～４９年）のこと、厳しい修行の末に体得した空飛ぶ術を使って、一人の仙人が空を飛んでいた。

すると眼下に流れる小川のほとりで、若い娘が洗濯をしていた。
前の川面を見ると娘の白いすねが映え、仙人は思わず見とれてしまった。

その瞬間、術は破れて、あっという間に娘の前の川中に墜落していた。
術を失った仙人は、その後、娘を妻にして、平凡な人夫暮らしをしていた。

ある日、仙人の前身を知った役人が、仙術で大量の材木を山から飛ばして運んで欲しい、と難題をもちかけた。
これに発奮した仙人は、７日７晩の断食をして術を取りもどし、見事に巨木を運んでしまったという。

この功績により天皇から賜（たまわ）った田地を、仙人は久米寺に寄進した。

現在、久米仙人が墜落したと伝えられる久米寺近くの芋洗（いもあらい）川には、芋洗地蔵がまつられている。