K-On! bercerita mengenai 4 orang siswi sekolah di Jepang yang tergabung dalam sebuah klub musik ringan / pop yang sudah hampir ditutup. Meskipun hanya mereka anggota dari klub itu, namun pada dasarnya mereka bukanlah orang-orang yang berpengalaman dalam bidang musik. Sejak saat itu, Yui, Mio Akiyama bassist, Ritsu Tainaka drummer dan Tsumugi Kotobuki keyboardis menghabiskan waktu sekolah merkea dengan latihan, pertunjukkan, atau hanya jalan-jalan bersama. Klub ini diawasi oleh guru musik Sawako Yamanaka, yang pada akhirnya menjadi wali kelas...
