斯大林认为主要实施“无产阶级专政”和“社会主义进攻”的机构——内务人民委员部的工作远远不能满足高速、坚决、无情镇压的需要。于是,在1936年9月25日,斯大林和日丹诺夫从索契给卡冈诺维奇等政治局委员发了一封电报,其中说:“我们认为任命叶若夫同志为内务人民委员是十分必需的和迫切的事。雅果达在揭发托洛茨基―季诺维也夫联盟案中明显地表现出了不称职。国家政治保卫总局破获此案件延误了4年。内务人民委员部的全体党的干部以及内务部多数州的代表都持这种意见。”1936年9月26日亨里希·格里戈里耶维奇·雅果达被免去苏联内务人民委员一职,尼古拉·伊万诺维奇·叶若夫随后于1937年1月27日被任命为苏联内务人民委员和联共(布)中央政治局候补委员兼中央监察委员会主席。这位矮个子已经大权在握:他掌握着全国党政干部的分配权、统领内务部的军队、掌控全部党政监察机构、指挥边防和社会安全部队、负责党和国家领导人的安全、操纵全部情报间谍系统。政治局决议还要求叶若夫要将自己十分之九的时间用于内务人民委员会中。 对叶若夫的任命事实上在中央政治局中引起了震动,委员们对此不是噤若寒蝉,就是奉承有加,极尽曲躬逢迎之能事的是卡冈诺维奇。 ,卡冈诺维奇在给Г·奥尔忠尼启则的信中是这样表述的:“我们的最最重要的消息是叶若夫的任命。‘我们的父亲"这一卓越、英明的决定酝酿成熟并得到党内和国内的良好反应。国家政治保卫总局在这件事情上耽搁了好几年,没有及时防止对基洛夫的卑鄙暗杀。叶若夫来干,情况一定会好。”叶若夫从斯大林那里接受的第一个任务就是调查并领导对他的老上司亨里希·格里戈里耶维奇·雅果达的审判工作,对此他完成得很圆满:捏造必要的证据使亨里希·格里戈里耶维奇·雅果达被以叛国罪判了死刑。 叶若夫接手内务人民委员部工作后,就连续干了几件“很起劲”的大事:在1937-38年间至少有130万人被逮捕,而且至少681,692人被判“叛国罪”而处决。在古拉格服刑的人数上升至685,201人。另有大批囚犯(至少140,000人)死于前往古拉格和流放地的路上。1937年2―3月间,叶若夫组织了对布哈林和李可夫的“专案”(即著名的莫斯科第三次大审判);7月,亲自起草了关于镇压前富农分子和反苏维埃分子的命令,开展了一场大规模镇压这些已经被迁徙到边缘地区的人们的战斗;8―9月间,亲自起草了将朝鲜居民迁离边境地区的决议并主持了这项工作 。1937年2月27日,叶若夫在中央全会上对布哈林和李可夫的指控是罗织罪名、编造冤假错案的典型例证。叶若夫在讲话中,用了一条“如果怎样,就必定怎样”的推论,并以此推论为基础提出对布哈林和李可夫的“政治指控”。叶若夫说:“我们指控布哈林和李可夫为达到其推翻列宁斯大林的领导的目的,而直接同托洛茨基、季诺维也夫分子、‘左派"、左派革命党人、孟什维克以及其他早就被粉碎的派别集团结成联盟。”因此,叶若夫得出了对他们的另一项指控——“他们是仍然没有放下武器的敌人,他们向所有在我们苏联的以及国外的敌对势力发出信号。”叶若夫的罗织罪名到了无所不用其极的地步,甚至说列宁逝世时,布哈林在场都是布哈林及其一伙编造的谎言。他在全会上声嘶力竭地说:“为了替自己辩护,他拉列宁做证人,为的是一方面求得怜悯,另一方面想说明,列宁是在他的看护下去世的。他在给中央委员会的声明里写道,伊里奇是在他的看护下去世的。胡说八道!谎言!全是撒谎!”布哈林只是辩护了几句:“伊里奇去世时,我确实在场,我那时住在哥尔克!”叶若夫更是破口大骂,说布哈林的辩护“是政治娼妓行为”。在这样的权力掌控之下,除了斯大林,还存在着对叶若夫的个人崇拜。这种崇拜与对斯大林的个人崇拜一样,是最露骨的。随着叶若夫仕途上的飞黄腾达,落在他头上的桂冠和花环就越多。如“荣誉肃反工作人员”称号、“苏联人民最喜爱的人”。在西伯利亚有几座小城(包括那个后来因为百姓起义被武力镇压而出名的大学城切尔卡斯克)被以叶若夫的名字命名(这也是常例)。叶若夫事业的顶峰是在1937年12月20日,联共(布)为庆祝内务人民委员部成立20周年纪念日而特别在Bolshoi大剧院举办了盛大宴会。在堆满鲜花的舞台上,叶若夫的画像和斯大林的画像并排摆放在一起。阿纳斯塔斯·米高扬——他此时身着一件深色高加索式短上衣,打着皮带——表扬了叶若夫的勤奋工作“学习了斯大林的工作方式”。他继续说道:“从叶若夫同志这里学习——正如他向斯大林同志学习一样。”这句话的核心意思是每个苏联公民都应该追求学习斯大林主义的正统观念——就像内务部的组织一样。当叶若夫出场的时候,他受到了雷鸣般的掌声的欢迎。斯大林也出席了,并从他的私人包厢观看着此情此景。叶若夫此时没准已经感觉到了他所处的危险境地——斯大林不会容忍任何功高震主的人,他总是深深的怀疑着其下属的忠诚度。