Beneficjent „Wielkiej Czystki”
W lutym 1939 r. Sierow objął stanowisko zastępcy Naczelnika Milicji, a jeszcze w tym samym miesiącu został szefem tej formacji, liczącej 160 tys. ludzi. 2 września 1939 r., po zaledwie nieco półrocznym stażu w aparacie bezpieczeństwa, został mianowany na stanowisko szefa NKWD Ukraińskiej SRS.
Planował doskonalić się w rzemiośle wojskowym, ale wydarzenia z przełomu lat 1938 - 1939 zweryfikowały jego plany. Mowa o następstwach „Wielkiej Czystki” w Ludowym Komisariacie Spraw Wewnętrznych ZSRS (NKWD ZSRS). Zakończenie masowego terroru (zwanego „Wielką Czystką”) w 1938 r. skutkowało wymianą szefa resortu spraw wewnętrznych: w listopadzie tego roku Nikołaja Jeżowa zastąpił Ławrentij Beria. Nowy narkom natychmiast przystąpił do „oczyszczania” Komisariatu z ludzi Jeżowa, a procesowi temu nadał tak wielki rozmach, że po kilku miesiącach wiele kierowniczych stanowisk w NKWD było nieobsadzonych. Ponieważ rezerwy fachowych czekistów zostały wyczerpane, sięgnięto po ludzi do pracy w „organach” nieprzygotowanych – między innymi absolwentów akademii wojskowych. Jednym z nich był Iwan Sierow, którego niechęć do pracy w aparacie bezpieczeństwa przełamywać musiał sam Beria. W lutym 1939 r. Sierow objął stanowisko zastępcy Naczelnika Milicji, a jeszcze w tym samym miesiącu został szefem tej formacji, liczącej 160 tys. ludzi. Początek II wojny światowej przyniósł mu kolejny awans: 2 września 1939 r., po zaledwie nieco półrocznym stażu w aparacie bezpieczeństwa, został mianowany na stanowisko szefa NKWD Ukraińskiej SRS.
Aresztowania na „Zachodniej Ukrainie”
W połowie września 1939 Sierow udał się do Tarnopola, skąd kierował działalnością grup operacyjnych na terenie Małopolski Wschodniej. Grupy te do początku października 1939 r. uwięziły blisko 4 tys. policjantów, oficerów Wojska Polskiego, właścicieli fabryk, posiadaczy ziemskich i innych „kontrrewolucjonistów”.
Objęcie tego stanowiska szybko okazało się przysłowiowym skokiem na głęboką wodę. W kilka dni potem Związek Sowiecki rozpoczął przygotowania do wojny z Polską, w które kierowany przez Sierowa aparat NKWD Ukrainy również został zaangażowany. Już 8 września 1939 r. Ludowy Komisarz USRS otrzymał od Berii polecenie zorganizowania 5 grup operacyjnych, które postępując za frontem miały przeprowadzać aresztowania osób uznanych za wrogów władzy sowieckiej. W połowie września Sierow opuścił Kijów i udał się do Tarnopola, skąd kierował działalnością grup operacyjnych na terenie Małopolski Wschodniej, w sowieckiej nomenklaturze nazywanej Zachodnią Ukrainą. Grupy te działały bardzo sprawnie: do początku października 1939 r. uwięziły blisko 4 tys. policjantów, oficerów Wojska Polskiego, właścicieli fabryk, posiadaczy ziemskich i innych „kontrrewolucjonistów”. W grudniu 1940 r. na rozkaz Moskwy Sierow zarządził akcję aresztowania kadrowych oficerów Wojska Polskiego, której ofiarą na podlegającym mu terenie „Zachodniej Ukrainy” padło 1 057 osób.
Niewątpliwym wyzwaniem dla sowieckiego okupanta był rozwój ruchu oporu na okupowanych Kresach. Sierow nie tylko nadzorował jego zwalczanie przez podległy mu aparat terroru, ale osobiście uczestniczył w likwidacji antysowieckiej działalności. Kiedy 21 stycznia 1940 r. w Czortkowie doszło do zbrojnego wystąpienia polskiej konspiracji skierowanego ,przeciwko sowieckiemu okupantowi, Ludowy Komisarz Spraw Wewnętrznych USRS zjawił się na miejscu, by pacyfikować zbuntowane miasto. W czasie jego pobytu w Czortkowie aresztowano 128 osób.
Łącznie do końca 1940 r. podwładni Sierowa zlikwidowali na terenie Małopolski Wschodniej 332 polskie organizacje konspiracyjne i aresztowali blisko 10 tys. ich członków. Niedługo przed zakończeniem działalności Sierowa w charakterze szefa NKWD Ukrainy odnotowali oni znaczący sukces, jakim było aresztowanie 21 stycznia 1940 r. we Lwowie płk. Leopolda Okulickiego – komendanta Obszaru nr 3 Lwów Związku Walki Zbrojnej. Z uwagi na znaczenie więźnia Sierow osobiście go przesłuchał i zdecydował wysłać do moskiewskiej centrali NKWD.
Na polecenie Berii Sierow organizował przewiezienie 3 000 osób cywilnych z więzień w Małopolsce Wschodniej na egzekucję do więzień w Kijowie, Charkowie i Chersoniu. Ludzi tych rozstrzelał nie kto inny, jak podlegli mu funkcjonariusze NKWD Ukrainy.
Zbrodnia Katyńska i deportacje
W połowie lat 50 – tych Sierow już „nie pamiętał”, że miał swój udział w dokonaniu Zbrodni Katyńskiej i za jej sprawców uważał „białoruskich czekistów”. A jednak to on – na polecenie Berii – organizował przewiezienie 3 000 osób cywilnych z więzień w Małopolsce Wschodniej na egzekucję do więzień w Kijowie, Charkowie i Chersoniu. Ludzi tych rozstrzelał nie kto inny, jak podlegli mu funkcjonariusze NKWD Ukrainy.
Na polecenie Moskwy Sierow kierował także deportacjami obywateli polskich z terenów tzw. Zachodniej Ukrainy. Jeśli chodzi o przeprowadzoną 10 lutego 1940 r. deportację osadników leśników wraz z rodzinami, Sierow opracował plan całej akcji i przybył z Kijowa do Lwowa, by nadzorować przebieg jego realizacji. Rezultat lutowej deportacji to blisko ponad 89 tys. osób wywiezionych w głąb ZSRS z Małopolski Wschodniej. Osobistym nadzorem objął Sierow także dwie kolejne wywózki przeprowadzone w 1940 r.: deportację rodzin jeńców wojennych i aresztowanych z kwietnia, która objęła ponad 31 tys. osób, oraz deportację uchodźców z zachodniej i centralnej Polski z czerwca 1940 r., której ofiarą padło blisko 58 tys. osób.
Sprawność, z jaką po 17 września 1939 r. Sierow pacyfikował południowo-wschodnie Kresy Rzeczypospolitej została doceniano przez „najwyższe czynniki” Związku Sowieckiego: 25 lutego 1941 r. otrzymał awans na stanowisko pierwszego zastępcy Ludowego Komisarza Bezpieczeństwa Państwowego ZSRS w Moskwie.