K-On! bercerita mengenai 4 orang siswi sekolah di Jepang yang tergabung dalam sebuah klub musik ringan / pop yang sudah hampir ditutup. Meskipun hanya mereka anggota dari klub itu, namun pada dasarnya mereka bukanlah orang-orang yang berpengalaman dalam bidang musik. Sejak saat itu, Yui, Mio Akiyama bassist, Ritsu Tainaka drummer dan Tsumugi Kotobuki keyboardis menghabiskan waktu sekolah merkea dengan latihan, pertunjukkan, atau hanya jalan-jalan bersama. Klub ini diawasi oleh guru musik Sawako Yamanaka, yang pada akhirnya menjadi wali kelas mereka pada akhir tahun mereka di SMA. Pada kelas 2 SMA mereka, klub ini mendapat tambahan gitaris baru, bernama Azusa Nakano. Setelah Azusa bergabung, klub ini semakin terstruktur dan lebih sering berlatih. Cerita ini berakhir pada akhir tahun ke-3 anggota senior klub ini. Mereka setuju untuk masuk ke universitas yang sama dan memercayakan klub pada Azusa setelah mereka lulus. Adik perempuan Yui, Ui, dan temannya Jun kemudian bergabung dengan klub bersama-sama dengan Azusa.
