Prasejarah Jepun bermula sekitar tahun 12000 SM sehingga 800 SM , ia dikenali sebagai zaman Jōmon. Zaman ini mendapat namanya daripada penghasilan tembikar yang dicipta menggunakan tanah liat.Tembikar itu kemudian akan dihiasi dengan corak yang dibuat dengan tali dan simpulan tali; teknik ini dipanggil "Jōmon".
Kegiatan manusia pada zaman Jōmon tertumpu pada pemburu dan pengumpul jenis tanaman yang boleh dimakan. Perbuatan pertanian bermula pada Zaman Yayoi (300SM-250SM). Zaman ini mencatatkan permulaan penggunaan sawah padi untuk bercucuk tanam serta permulaan pembentukan kelas sosial/ sistem hierarki di Jepun. Pada zaman ini, negara Jepun dikenali sebagai negara 'Wa'.

Ketika Jepun dikenali sebagai negara 'Wa', pemerintah ditentukan dengan pertempuran dan peperangan. Mengikut rekod purba Cina, selepas 70 tahun peperangan berterusan (dikenali sebagai Perang Sivil Wa) , rakyatnya beｒhasrat untuk berdamai dan menginginkan seorang pemimpin wanita setelah merasakan pemimpin lelaki hanya membawa keganasan dan peperangan. Rakyat negara Wa ketika itu terpukau dengan bakat seorang wanita muda, Himiko, untuk meramal nasib dan ilmu ghaibnya, lantas melantik beliau sebagai Ratu negara tersebut. Himiko menjadi pemimpin untuk negara yang dipanggil 'Yamatai'. Para sejarahwan berpendapat bahawa kuasa ghaib dan upacara mistik Himiko adalah akar kepada adat dan upacara "Shintō". Rekod Negara Cina menyatakan bagaimana beliau berjaya menyatukan beberapa negara/koloni kecil yang terdapat di dalam Wa.
Himiko dan pengaruh kuasa 'Yamatai' dibawahnya dipenuhi misteri kerana terdapat pelbagai rekod dan teori berlainan akan bagaimana beliau memerintah negara Wa ketika itu.

Jepun kemudiannya bersatu menjadi sebuah negara dipanggil "Yamato", dimana ianya diperintah oleh sistem monarki tertua di dunia. Maharaja Jepun pada hari ini adalah keturunan kerajaan zaman tersebut. Tahun 538 menjadi penanda permulaan Zaman Asuka, dimana agama Buddha tersebar ke Jepun melalui kepulauan Korea Selatan. Agama Buddha tersebar secar meluas dan penganutnya bertambah dengan pantas. Antara penganut agama Buddha yang berpengaruh adalah Putera Shōtoku. Di bawah pemerintahannya, Jepun telah dikenali sebagai Jepun, iaitu negara matahari terbit,nihon. Perkara ini dapat dikenal pasti ketika beliau menggelarkan dirinya sebagai Negara Matahari Terbit ketika menulis surat ke Cina, yang digelarnya Negara Matahari Terbenam.
Putera Shotoku menjalinkan hubungan dengan Puak Buddha Soga yang sangat berpengaruh ketika zaman itu sehingga mampu mempengaruhi tindakan Maharaja. Selepas seketika, puak tersebut tidak berpuas hati akan kuasanya di bawah maharaja dan mula menunjukkan pengaruhnya kuasanya dengan membuktikan bahawa mereka bukan lah pihak diperintah. Mereka mula tinggal di rumah yang mewah dan mula membina makam yang besar untuk keluarga mereka. Selepas kemangkatan Putera Shotoku, rampasan kuasa bergelar Kejadian Isshi terjadi dan Ketua Puak Soga yang dikenali sebagai Soga no Iruka telah dibunuh oleh masyarakat yang tidak tahan akan keangkuhan mereka.
Selepas kejadian itu, Maharaja Kotoku telah menggubal sebuah perlembagaan dan kepercayaan dikenali sebagai "Revolusi Taika". Ini menjadikan negara Jepun berperintah secara pusat melalui Mahkamah Imperial seperti dahulu dan juga memfokuskan penggunaan falsafah Cina.

Revolusi Taika adalah satu titik permulaan untuk reformasi politik Jepun. Sepanjang Zaman Nara (710-794), Mahkamah Imperial telah berusaha untuk menubuhkan rangka politik Jepun berdasarkan undang-undang "Ritsuryo" yang berasal dari Dinasti Tang, Cina. Undang-undang ini merangkumi kod jenayah, pertubuhan jawatan rasmi untuk ahli mahkamah dan pelbagai peraturan mengenai kerajaan dan pentadbiran. Ini menyebabkan masyarakat Zaman Nara dipengaruhi kuat oleh Dinasti Tang, sambil mempunyai hubungan diplomatik yang kuat dan aktif bersama negara Cina. Bahan bertulis tertua Jepun, Kojiki dan Nihonshoki juga ditulis pada awal Zaman Nara, ia bertujuan untuk mengukuhkan pengaruh Maharaja Jepun dalam pentadbiran negara.
Zaman ini juga merupakan zaman kegemilangan agama Buddha. Terdapat banyak kuil Buddha dibinakan, Contohnya Daian-ji, Kofuku-ji, dan Todai-ji, serta Patung Buddha Gergasi, Daibutsu di Nara.

Zaman kegemilangan Mahkamah Imperial bertahan sehingga tahun 1185, pelbagai karya seni dan sastera diterbitkan pada zaman tersebut. Novel pertama di dunia, "Genji Monogatari", telah ditulis ketika Zaman Nara oleh Murasaki Shikibu. Begitu juga dengan "Buku Bantal" yang ditulis oleh Sei Shōnagon, Ia menceritakan pengalaman hidupnya ketika berada di Mahkamah Imperial. Pelbagai idea yang menjadi sumber kepada tradisi Jepun bermula disini, contohnya "Ohaguro", tradisi menghitamkan gigi dan tulisan "Hiragana". Namun yang paling sukar dilupakan pada zaman ini adalah kecantikan gadis aristokrat. Mereka memakai Kimono 12-lapis dipanggil Jūnihitoe yang anggun, biasanya berwarna cerah dan disertai rambut panjang dan hitam berkilau.
Walaupun berjaya membentuk pelbagai budaya dan adat yang unik, Pengaruh Keluarga Imperial mengalami konflik kerana masalah dalaman. Kemajuan Jepun dalam bidang seni telah menyebabkan golongan bangsawan dan pemerintah mereka lebih cenderung kepada bidang seni daripada menguatkuasakan sistem Ritsuryō. Mengambil kesempatan peluang ini, ramai golongan aristokrat dan kuil berpengaruh menubuhkan tentera samurai mereka sendiri.

Ketidakstabilan kuasa politik di Jepun menyebabkan pihak tentera memperolehi kuasa sedikit demi sedikit. Peperangan berlaku ketika adanya perebutan kuasa semasa pewarisan takhta, Ia terjadi diantara askar Keluarga Taira (juga dikenali sebagai Heike) dan Keluarga Minamoto. Peperangan ini berada dikemuncaknya pada Perang Genpei (1180-1185) dimana Keluarga Taira ditewaskan sebaik sahaja mereka mengambil alih kuasa. Keganasan peperangan ini telah dijadikan tema dalam karya sastera "Kisah Heike" yang ditulis pada tahun 1330.
Selepas peperangan tamat, Minamoto no Yoritomo, ketua kepada keluarga/puak Yoritomo telah menjadi pemerintah mutlak Jepun, menguasai badan mahkamah dan membina sebuah kerajaan feudal digelar "Bakufu". Kerajaan ini juga dikenali sebagai kerajaan Shogun. Kuasa pemerintahan Jepun telah berubah daripada Maharaja kepada Shogun, yang bermaksud general dalam bahasa Jepun. Negara Jepun jauh daripada merasai keamanan, Pelbagai puak/keluarga ketika ini berperang antara satu sama lain kerana perebutan kuasa. Keadaan yang huru hara ini digelar Zaman Sengoku atau Zaman Warring States (Negeri Berperang) (1467-1603).

Semasa Zaman Shogun, tiga jeneral perang telah memainkan peranan penting dalam pembentukkan Jepun. Terdapat juga bangsawan dikenali sebagai "Daimyo". Mereka mempunyai askar dan orang bawahan sendiri. Penipuan dan pembelotan kuasa merupakan strategi yang kerap dilakukan. Sebagai contoh, pembunuhan Oda Nobunaga oleh orang bawahannya, Mitsuhide Akechi sangat terkenal di dunia sejarah. Ia dikenali sebagai peristiwa di Honnoji. Oda Nobunaga hampir menyatukan Jepun dengan mengabungkan wilayah-wilayah tetapi dibelot dan dibunuh oleh Mitsuhide Akechi. Walaubagaimanapun, pembelotan Akechi tidak mendatangkan hasil apabila dia juga terbunuh oleh penyokong/orang kanan Oda, Toyotomi Hideyoshi. Toyotomi berhasrat untuk menyambung cita-cita Oda untuk menyatukan Jepun.

Toyotomi, bersama-sama Tokugawa Ieyasu berjaya menumpaskan ancaman terakhir terhadap kuasanya iaitu puak Hojo ketika peristiwa pengepungan Istana Odawara. Selepas menyatukan negara, Toyotomi yang sakit tenat telah menyerahkan kuasanya kepada Majlis Lima Tairo (Council of the Five Elders) sebelum menyerahkannya kembali setelah anaknya, Hideyori cukup matang untuk memerintah. Tokugawa Ieyasu adalah salah seorang ahli majlis tersebut.

Selepas Toyotomi meninggal dunia pada 1958, Tokugawa memberontak dan menyerang Istana Osaka, yang merupakan pangkalan tentera anak Toyotomi. Tindakan ini menyebabkan kerajaan terbelah kepada dua; mereka yang menyokong Tokugawa dan mereka yang menyokong Ishida Mitsunari, seorang Daimyo yang berpengaruh. Mereka bertembung pada tahun 1600, di pertarungan Sekigahara yang amat terkenal. Disebabkan oleh beberapa kelemahan di bahagian Ishida, Tokugawa telah memenangi petarungan tersebut dan beliau telah menubuhkan Shogun Tokugawa pada 1603.

Pada Zaman Edo, ibu negera Jepun telah dipindahkan daripada Kyoto, lokasi Keluarga Imperial ke, Edo, bandar yang dikenali kita sebagai Tokyo pada hari ini. Tahun 1603 melambangkan permulaan Zaman Edo, kebanyakkan budaya Jepun tercipta seperti lukisan Ukie, teater Kabuki dan pakaian Kimono. Disebabkan keadaan yang aman dan damai, negara jepun juga maju dari segi teknologi dan karya seni yang dahulunya hanya untuk golongan atasan boleh dinikmati oleh kesemua lapisan masyarakat.

Tahun 1853 melambangkan kejatuhan Zaman Edo yang aman. Ini adalah tahun dimana Kapal Hitam atau "Kurofune" tiba di pelabuhan Edo. Ia merupakan sekumpulan kapal perang Tentera Laut Amerika yang diketuai Komander Perry. Panggilan Kapal Hitam itu merujuk kepada asap hitam yang dikeluarkan oleh kapal-kapal tersebut. Asap hitam boleh dilihat dari jauh dan ia menakutkan rakyat dan pemimpin Jepun ketika itu. Komander Perry membawa utusan daripada Presiden Millard Fillmore, President ke-13 Amerika Syarikat. Beliau mahu berunding dengan kerajaan Jepun untuk mengakhiri polisi perdagangan antarabangsa mereka yang menolak perdagangan bersama negara asing. Beliau juga mahu menubuhkan persetujuan ekonomi antara kedua negara tersebut.
Di bawah tekanan kuasa militari Amerika, pihak Shogun tiada pilihan untuk menolak tawaran itu dan menandatangangi Persetujuan Kanagawa (Nichibei Washin Jōyaku) pada tahun berikutnya. Tidak semua pihak bersetuju akan tindakan ini tetapi negara Jepun tiada pilihan dan sekali lagi akan mula terlibat dengan peperangan.

Konflik Kurofune menyebabkan terciptanya gerakan untuk menjadikan Maharaja Jepun kembali berkuasa untuk menghalang campur kuasa dan mengusir kuasa Barat daripada Jepun. Gerakan ini diketuai oleh golongan nasionalisme pro-imperial Ishin-shishi, dan mereka menentang askar-askar Shogun yang taat kepada kerajaan militari yang dipimpin oleh Jeneral Shogun. Ketegangan diantara dua kumpulan ini menyebabkan terjadinya Perang Boshin, dimana kedua-dua pihak bertentangan antara satu sama lain dalam pelbagai konflik. Selepas pertempuran sengit berlaku, akhirnya gerakan imperial berjaya menggulingkan kerajaan militari dan menyebabkan askar Shogun menyerah kalah pada tahun 1868, yang dikenali kini sebagai Pemulihan Meiji; menjadikan Maharaja Jepun kembali sebagai satu-satunya pemerintah dan menghapuskan sama sekali sistem kerajaan militari daripada negara Jepun.
Zaman baru yang dikenali sebagai Zaman Meiji juga membawa pelbagai perubahan budaya. Terutamanya di dalam bidang fesyen, rakyat Jepun mula memakai pakaian Barat seperti Sut, Seluar dan 'dress'/gown kerana pengaruh Barat. Stail rambut samurai 'chonmage'; kepala separuh botak juga sudah jarang kelihatan. Seperti membiasakan diri dengan pakaian Barat dengan pantas, Jepun juga telah menuju ke arah pemodenan industri yang sangat cepat berkembang pada ketika itu.

Perkembangan teknologi yang pantas juga telah menyebabkan Jepun mampu bersaing dengan kuasa barat di dalam beberapa dekad sahaja. Di Perang Dunia Pertama pada 1914, Jepun merupakan sekutu kepada "Triple Entente" yang terdiri daripada Perancis, Kerajaan Great Britain dan Rusia, dimana mereka menentang Jerman dan gabungan Austria-Hungary. Jepun berjaya menawan daerah Pasifik daripada pihak Jerman dan sekaligus memartabatkan negara mereka dari segi politik dan militari.
Apabila Perang Dunia Kedua berlaku, Jepun merupakan anggota Axis, bersama dengan Hitler negara Jerman dan Mussolini negara Itali. Walaupun mereka berjaya menakluk sebahagian besar negara-negara Asia, mereka telah ditewaskan pihak Amerika dan menyerah kalah pada tahun 1945. Setelah bertahun-tahun megamalkan budaya pekerjaan dan demokrasi, Jepun menyertai "Western Bloc" pada tahun 1952 dan mengalami pertumbuhan ekonomi yang mendadak sekitar tahun 60-an dan 70-an. Mereka berjaya menjadi sebuah negara yang mempunyai ekonomi pesat di dunia sekali lagi. Produk keluaran Jepun sering dipandang tinggi dari segi kualiti dan mutu sehinggalah ke hari ini.