Yaiba Kurogane, es pequeño niño que quiere convertirse en el mejor samurái. Desde muy pequeño, se entrenó en una remota isla con su padre, Kenjuro Kurogane. Para aprender a ser un verdadero samurái, regresa a casa junto con sus mascotas, un tigre llamado Kagetora y un buitre llamado Shonosuke. Es allí donde conoce al rival de su padre y a su hija, Sayaka Mine. Un día, Yaiba se acerca al instituto de Sayaka y conoce a Takeshi Onimaru, capitán del equipo de kendo de un instituto, con quien se reta para mostrar quien es el más fuerte. Yaiba gana el combate.

Takeshi, cegado por su derrota frente a Yaiba, decide usar una espada legendaria, herencia de su familia, en la cual está encerrado el espíritu del Dios del Viento, dejándose poseer por él y convirtiéndose así en un demonio. Ante esto, Yaiba es fácilmente derrotado. Por ello, decide marchar al monte en busca de la espada del Dios del Trueno para contrarrestar a Takeshi, pero sin seguir el camino de éste, sino que en vez de dejarse dominar por el Dios decide dominar él a la bestia y así controlar el poder, gracias al entrenamiento que le realiza Musashi Miyamoto, un legendario samurái.

Siguiendo las aventuras de Yaiba aparecen más esferas de poder diferentes que acopladas al agujero de su espada del Dios del Trueno le proporcionarán la ayuda necesaria para poder encarar nuevos retos y derrotar a enemigos más poderosos, hasta que finalmente consiga la esfera definitiva, la del "Dios Dragon".