一九六四年六月，罗瑞卿陪同毛泽东检阅北京、济南军区的军事汇报表演。
把一位高级将领从解放战争的战场上召回来，委以组建中华人民共和国公安部和公安部队的重任，可见当时保卫新生政权安全的任务是多么急迫，全国社会治安状况是多么严重。
党中央决定让罗瑞卿担任新中国首任公安部长，不仅因为他既能征善战，又懂政治工作，而且早在红军时期就担任红一军团和红一方面军保卫局局长，长征中一路保卫党中央，任八路军野战政治部主任时曾领导开展锄奸侦察工作，显示了卓越的保卫工作才干。
开国大将罗瑞卿，面临的是共和国成立之初，我们现在难以想象的复杂社会局面。
毛泽东在香山双清别墅一见罗瑞卿就说：“听说你不愿意干公安部长，还要去打仗？现在要建立新的国家政权了，我们都不干，都还去打仗，那行吗？”
1949年4月，时任华北军区政治部主任兼第十九兵团政委、太原前线总前委第一副书记的罗瑞卿，与周士第一起，代理病中的徐向前指挥部队解放了太原。5月中旬，部队正准备挥师续征时，毛泽东致电罗瑞卿“请来中央一叙”。6月初，罗瑞卿向继任政委李志民交代了工作，与司令员杨得志等话别，与赴青岛休养的徐向前同乘火车到达北平。
几天后，周恩来找他谈话，要他出任即将成立的中央人民政府的公安部长（政府建立之前归军委建制）。罗瑞卿提出，希望随军作战，认为由中共中央社会部部长李克农出任更合适。周恩来对他说：“各人有各人的事，李克农有李克农的事（中共中央和中央军委不久决定取消中央社会部，另成立情报、公安两部）。”并告诉他，此事中央已经决定，“今晚毛主席还要接见你，你就不要再提上前线的事了”。
毛泽东在香山双清别墅一见罗瑞卿就说：“听说你不愿意干公安部长，还要去打仗？现在要建立新的国家政权了，我们都不干，都还去打仗，那行吗？”
7月6日，罗瑞卿就任中央军委公安部长。他按照周恩来的指示，在李克农的协助下，立即着手组建公安部。先以中央社会部的部分机构和华北局社会部全体人员为基础，随即，中共中央和中央军委抽调了数百名军队高、中级干部，及大批各地党委干部和青年知识分子进入公安部。
10月5日至11月1日，罗瑞卿在北京主持召开了第一次全国公安会议，毛泽东主席、周恩来总理等接见了与会人员并作了重要指示，朱德总司令作了报告。周恩来说：“军队与保卫部门是政权的主要的两个支柱。你们是国家安危，系于一半。军队是备而不用，你们是天天要用的。”
在组建公安部的同时，罗瑞卿已开始着手组建新中国的公安部队（不设宪兵、警备队）。率先成立的中国人民公安中央纵队，在建国初期社会治安极其复杂的情况下，保障了党中央和北平市的安全。
按照1949年9月通过的《中国人民政治协商会议共同纲领》和1950年4月中共中央政治局的决定，人民解放军统编为国防军和公安部队。罗瑞卿任公安部队司令员兼政治委员，程世才为副司令员，李天焕为副政委，吴烈、熊伯涛为正副参谋长。至1951年10月，组成正规公安部队20个师又23个团，共18万余人。此后，全国内卫、边防、地方公安部队都统一整编为人民解放军公安部队，总定额近54万人，受中央军委统一领导。
公安部队在罗瑞卿领导的十年间，协同有关方面平息了反革命暴乱和武装叛乱340起；建国初期配合国防军剿匪220万人，50年代末基本肃清国内残匪；捕歼、击沉、击伤和缴获敌船58艘，击落、击伤敌机4架。公安部队还赴朝鲜执行了抗美援朝作战中的后方警卫任务，包括维持战地和后方治安、看押俘虏和警卫板门店谈判等。
1953年7月16日，当时的国民党凑集了1.2万余人的军队，配备飞机、舰艇、坦克，由敌十九军军长指挥，从金门出动，一个伞兵大队由台湾新竹出发配合，向边防公安部队八○团守备的福建东山岛进犯，扬言要以此揭开“反攻大陆”的序幕。八○团进行了英勇激烈的阻击，激战两昼夜，坚守主阵地，直到国防军援兵到达，敌军遭重创，残部狼狈逃窜。毛主席对此做出高度评价，指出：“此次反击战，打破了国民党‘反攻大陆’的梦想，美帝国主义也挨了当头一棒。”
荡涤旧社会的污泥浊水
罗瑞卿在公安部会议上讲话。
建国初期，国民党残余势力活动猖狂，流氓地痞、恶霸盗匪继续为非作歹，青楼妓院、烟馆赌场等依然存在，对新生的共和国起着严重的破坏作用。罗瑞卿一上任，即着手清扫这些旧社会遗留下来的污泥浊水。
首先是进行反动党团骨干限期登记。罗瑞卿说，“对反动党团骨干分子、特务、宪兵等采取限期登记自首的政策，在于解散反动组织，禁止他们的反动活动”。他严格强调政策界限，党团骨干只登记区分部委员以上，以免打击面过宽；对服从登记、坦白罪恶，交出名单、武器、通讯器材的，一般不予逮捕；对抗拒登记或登记后继续从事反动活动者，则逮捕管训，以“教育多数，打击少数”。罗瑞卿当时兼任北京市公安局长。北京的登记工作进行了三个月，反动党团特组织基本上被摧毁。
接着是严厉打击城市盗匪。北京、上海等13个大城市至1950年6月，共缉捕盗匪5477名，盗匪案件急剧下降。到1950年底，大城市盗匪活动已基本消灭。
与此同时，罗瑞卿还指示从严打击流氓阿飞活动。北京市解放初期，有“三星团”、“攮子队”等团伙，经常身带木棒、匕首出没于天安门、西单、西四等地，打群架，调戏妇女。还有所谓“搂包”、“锣车”、“猴车”等封建行会性质的团伙，或独霸车站客运，敲诈勒索，聚众行凶；或混迹三轮车队，强拉旅客敲诈，结伙行窃旅客货物；或解放前为外国人“拉皮条”，解放后仍诱迫妇女卖淫、勒索暗娼。各地对流氓的打击得到了广大群众的拥护，赞扬人民政府给人民除了大害。北京处决东郊大流氓孙起后，当地群众拍手称快：“这一下可晴了天了。”上海处决罪孽深重、继续作恶的流氓恶霸“码头春宝”、“江北大亨”时，刑场周围群众放鞭炮庆贺。
从19世纪开始祸害中国人的鸦片烟毒，当时在新解放的城市仍然弥漫。重庆刚解放时，有制毒者330家，烟馆3084家，每天卖出烟土达3400两。成千上万的瘾君子卖房卖地、卖妻女为娼。罗瑞卿指示对贩毒、售毒、制毒、运毒的大犯、惯犯及开烟馆的大业主、大窝主要坚决打击，发现和破获重大毒品案件他亲自过问、具体指导。如破获大毒贩庞辅臣勾结天津市禁烟局干部套购大量烟土，又勾结民警掩护装船，运往上海销售案。上海市从解放初至1952年上半年的三年中，共逮捕惩治毒品犯1.23万余人。一些毒犯转入地下，并与境外国民党残余势力勾结，继续向内地偷运毒品。衡阳铁路局在三反运动中查出走私鸦片、海洛因、吗啡共157万两。中央决定，再进行一次群众性禁毒运动，从1952年8月至11月的三个月中，全国又挖出毒犯36万人，缴获大量各种毒品，成百部又上万套制毒机，及一批贩毒武装的枪、炮、发报机。至1952年底，终于清除了烟毒。广大群众赞道：“毒害百余年，只有共产党才能解决这个问题！”
娼妓的存在是城市中社会丑恶现象之一。罗瑞卿决心切除这个毒瘤。他先从北京做起。1949年11月12日，他在北京市公安局集体办公会议上说，妓院是藏污纳垢、压迫妇女、损害社会健康的地方。妓院老板是城市的封建势力。“为了彻底消灭城市封建势力，解放妇女，建立一个健康的新社会，我们对妓院必须坚决封闭取缔，并依法惩办那些罪大恶极或有血债的妓院老板。”会上起草了向市人代会呈送的议案。11月21日下午，北京市各界人民代表会议做出封闭妓院的决定，当天下午5时30分，市公安局立即出动干警和公安总队官兵2400人，在市民政局、市妇联配合下，一夜之间将全市224家妓院全部封闭。妓女被送往妇女生产教养院，教养院对她们进行教育、体检、治病，然后对有家可归者遣送回家，有对象者助其结婚，其余的组织学习生产技术，让她们能够独立谋生；对454名妓院老板、领家，则集中清查罪行。
继北京后，全国各大中城市均相继开展了行动。当时妓院最多的城市是上海。1951年3月，罗瑞卿到上海视察工作，微服察访仍在社会黑势力控制下的“大世界”。当他看到每层楼站满了由老鸨看管的妓女后，激愤地说：“这些老鸨吸血鬼、这些流氓恶霸，统统要消灭掉。我们要从这些坏蛋手里解放那些不幸的人。”1952年4月至9月，上海市公安局在民政等部门配合下，采取多次行动查封妓院、取缔娼妓，并将“大世界”改造成健康的人民乐园。
到1953年，除西藏外，千百年来吃人的娼妓制度在大陆上被埋葬，解救了成千上万沉沦苦海的妇女。人民群众说：“旧社会把人变成了鬼，新社会把鬼变成了人。”
1952年12月毛泽东复信：“可能空降特务的山区，设立武装便衣侦察据点，专门对付敌人空降特务，没有事生产和学习，有事报信捉特务。”
罗瑞卿上任之时，正值年轻的共和国百废待兴、秩序尚未建立之际。敌对势力企图将新中国扼杀在摇篮之中，不断谋划暗杀和各种破坏活动，恶性案件时有发生。1950年9月，美军在朝鲜仁川登陆后，他们以为第三次世界大战快打起来了，蒋介石“反攻大陆”时机已到，组织了形形色色的地下军，委任了各路司令和大批的主席、专员、县长，潜伏的敌人也企图里应外合，准备美军到达后“接收”政权。他们在各地制造谣言，破坏交通，抢劫财物，焚烧仓库，杀害干部。统计资料显示，这一年，竟有4万名干部和群众积极分子被反革命分子杀害。国家部长级以上的领导人和重要的民主人士也全被列入暗杀名单。
10月9日，在中央一次研究抗美援朝问题的会议上，面对这些敌情，毛泽东问罗瑞卿，准备怎么办。罗瑞卿道：“现在反革命分子活动十分猖獗，人民批评我们宽大无边，要求我们镇压反革命。”毛泽东点点头说：“我赞成你们的意见。现在美国已经把战火烧到了我们家门口。我们要把房子打扫干净，以便更好地对付帝国主义。”毛泽东让彭真、罗瑞卿等连夜起草在全国范围内开展镇压反革命的群众运动的指示。10月10日凌晨2时，指示草稿呈送毛泽东，毛泽东只字未改，当日下发执行。“双十指示”要求全面贯彻党的“镇压与宽大相结合”的政策，重点打击土匪、特务、恶霸、反动党团骨干和反动会道门头子等五方面分子，“首恶必办，胁从不问，抗拒从严，坦白从宽，立功者受奖”，粉碎他们的复辟阴谋。
国民党特务机关退踞台湾后，组建了以美国为主导的特务统一体和环大陆的特务网。1953年，国民党专管心理作战的“第六组”和美国以“西方企业公司”为代号的心理作战机构联合组成了“心理作战部”。美国还向中国大陆直接派遣特务，尤以“44海外观测队”及“自由中国运动”活动最嚣张。
罗瑞卿根据中共七届二中全会精神，提出“我们要组织一个与隐蔽敌人作斗争的队伍”，“必须大力加强侦察工作，加强秘密的打入敌人内部的工作，加强秘密的专案侦察工作”。20世纪50年代，公安机关通过各种渠道，采取多种方法，对在大陆周边地区活动的国民党特务机构的动向，特别是重大行动的动向，能够大体掌握，及时防范，因而粉碎了一个又一个的暗害阴谋。
罗瑞卿对于图谋暗害的重要案件都是亲自处理，部署战斗，将企图到广州谋害叶剑英的赵一帆，企图利用旧关系伺机混入中央机关内部暗害中央领导人的高元龙，妄图在上海暗杀陈毅的刘金德等国民党杀手，一一侦破被擒。
1954年，台湾保密局和在台美国特务布置行动，特务段云鹏再次从台湾潜入北京，利用他熟悉中南海的地形和社会关系，企图行刺毛泽东、刘少奇、周恩来等党和国家领导人。段云鹏自幼习武，解放前曾是平津一带有名的飞贼，北平解放前夕，他在劝说傅作义走和平道路的前北平市长何思源家里安放定时炸弹，炸死何家一个女儿，何思源夫妇受重伤。1949年8月至1950年10月，他曾三次潜入京津地区，发展特务，组成特别行动组和情报暗杀团，策划了北京火药库爆炸案和天津无轨电车爆炸案。京、津两市公安局进行了大量调查，逐步清除了他的爪牙。1954年6月，段云鹏进入香港。罗瑞卿得悉后，指示必须严密布防，妥设圈套，将段匪诱而歼之。9月，段云鹏在一次偷渡失败后，放弃了再次偷渡的打算，在公安部门“内线”的诱导下，完全按照为其设计的线路潜入广州，落进预设的圈套就擒。罗瑞卿向毛泽东报告时，毛泽东说：“他不是飞贼吗？让他飞一个样子看看嘛！”
50年代中期，台湾特务机关在美国间谍机关的支持下，训练了数以百计的行动者，制定了各式各样的爆破计划，准备在“五一”、“十一”等节日到处搞破坏。罗瑞卿得悉后立即下令：“炸弹不准过韶关！”陆续运入大陆的定时炸弹和纵火器等400余件，行动特务600余人，或被捕获，或投案自首。有些特务不敢到大陆来，便在与大陆交界处的香港、澳门一侧引爆几颗炸弹，只要港澳报纸一登，就可向台湾特务机关“邀功请赏”。
朝鲜战争爆发后，美蒋特务机关为了搜集情报，不断空投武装特务。罗瑞卿向毛泽东写了报告，1952年12月毛泽东复信：“可能空降特务的山区，设立武装便衣侦察据点，专门对付敌人空降特务，没有事生产和学习，有事报信捉特务。”罗瑞卿立即部署反空降特务的斗争。公安部队在长白山、大小兴安岭、武夷山、天目山、十万大山、瑶山、大巴山、秦岭、川西北等地区，建立了154个武装便衣据点，发动民兵和群众，发现空降特务后，村村鸣锣报警，层层包围追捕，出动人员成千上万，包围圈达100余里，美蒋空降特务一落地就陷入人民战争的天罗地网，随降随歼。
