На поч. лютого 1954 р. міністр внутрішніх справ СРСР Сергій Круглов у доповідній записці Президії КПРС запропонував відділити оперативно-чекістські управління та відділи з Міністерства внутрішніх справ (всього їх було 16 із 40 структурних підрозділів) та на їх основі створити Комітет державної безпеки (КДБ) при Раді Міністрів СРСР. В результаті обговорення доповідної записки 13 березня 1954 р. Президія Верховної Ради СРСР прийняла указ про створення КДБ, а його головою став генерал-полковник Іван Сєров.
Структура нового відомства була визначена указом голови КДБ від 18 березня 1954 р.: 1-е Головне управління – «розвідка за кордоном», 2-е Головне управління – «контррозвідка», 3-є Головне управління – «військова контррозвідка», 8-е Головне управління – «шифрувально-дешифрувальне», 4-е управління – «боротьба з антирадянським підпіллям, націоналістичними формуваннями та ворожими елементами», 5-е управління – «контррозвідуальна робота на особливо важливих об’єктах», 6-е управління – «транспортне», 7-е управління – «зовнішнє спостереження», 9-е управління – «охорона керівників партії та уряду», 10-е управління – «коменданта московського Кремля». Загалом ця структура відображає завдання та функції нового союзно-республіканського відомства.
2 квітня 1957 р. КДБ при Раді Міністрів СРСР були передані зі структури МВС прикордонним військам. Для управління ними було створене Головне управління прикордонних військ (ГУПВ). Окрім цього, КДБ мало забезпечувати Центральний комітет КПРС (до 16 травня 1991 р.) і вищих органів державної влади та управління СРСР інформацією про державну безпеку та оборону країни, соціально-економічне становище у Радянському Союзі, питання зовнішньополітичної та зовнішньоекономічної діяльності радянської держави та комуністичної партії. Тоді ж чисельність особового складу радянських органів державної безпеки була скорочена більше ніж на 50 % порівняно з 1954 р.
Примітно, що КДБ був перетворений не в якості центрального органу державного управління, яким були його попередники – МДБ та МВС, – а лише в статусі відомства при радянському уряді. Деякі історики вбачають в цьому намагання партійно-радянської верхівки позбавити органи державної безпеки самостійності, цілком підпорядкувавши їх діяльності апарату комуністичної партії. Водночас в рамках подолання наслідків сталінізму ЦК КПРС заборонив збирати компрометуючі матеріали на представників партійно-радянської та профспілкової номенклатури, що заклало початок корупції та організованої злочинності в СРСР. У систему КДБ СРСР входило 14 республіканських комітетів державної безпеки на території республік СРСР.
У червні 1957 р. на Всесоюзній нараді керівних працівників КДБ перший секретар ЦК КПРС Михайло Хрущов сформулював такі завдання радянської спецслужби: «У найкоротший термін ліквідувати наслідки ворожої діяльності Берії (керівник радянських органів державної безпеки 1938–1953 рр. – ред.) і добитися перетворення органів держбезпеки в гостру зброю нашої партії, спрямованої проти справжніх ворогів нашої соціалістичної держави». В 1950-их рр. КДБ був залучений до ліквідації антирадянського націоналістичного підпілля в Україні, в 1960–1980 рр. – до переслідування інакодумців та дисидентів, а також до боротьби проти різних «ідеологічних диверсій».
КДБ СРСР залишався єдиним органом у сфері державної безпеки аж до розпаду Країни Рад в 1991 р., будучи органічним продовженням ВНК-ДПУ-НКВС-МДБ та одним з найгірших проявів карально-репресивної машини СРСР.
