1932년, 이나모리 가즈오는 일본 가고시마의 가난한 집안에서 태어났다. 형제가 많았고, 집안 형편은 넉넉하지 않았다. 중학교 입시에 두 번 떨어졌고, 청소년기에는 결핵을 앓았다. 폐결핵으로 죽을 고비를 넘겼다는 이야기도 전해진다. 청년기의 이런 실패와 병치레는 그를 크게 흔들었다.