帕尔梅遇刺后，曾有人先后给驻伦敦的一家通讯社、瑞典驻波恩大使馆和瑞典律师协会以及《瑞典快报》等一些单位打过匿名电话，声称此举是同联邦德国红军派有联系的“霍尔格·迈因斯突击队”和“基督教克拉尔突击队”干的，但是瑞典警方分析研究了16个国际恐怖组织，都没有发现它们同此案有任何的联系。土耳其的一家报纸曾推测总部设在叙利亚的大马士革的库尔德工人党可能同此事有瓜葛，因为帕尔梅曾拒绝它的一位领导人到瑞典避难。但是该组织很快出面否认了这一消息，瑞典警方也认为此种说法没有根据。早些时候，瑞典警方曾怀疑克罗地亚分裂分子可能与此事有牵连，但并无证据，又排除了这种揣测。
从得知首相被刺杀起，瑞典警方根据目击者的描述，调动了所有能够调动的力量在全国范围内进行搜查。包括300名侦探在内的瑞典有史以来最为庞大的搜捕队伍，几乎将整个瑞典都翻了个底朝天。根据目击证人的证词，警方先后检查了200多辆在瑞典注册的大众牌“帕萨特”型蓝色小轿车，并拘捕了30多人，但经审讯，又陆续放走了这些所谓的嫌疑人。
根据瑞典警方的通报，丹麦警方也加入了侦破工作，他们于3月6日在从瑞典到丹麦的渡轮上逮捕了两名嫌疑犯，这两名嫌疑犯一名居住在联邦德国，另一名居住在美国。被捕时，他们乘坐一辆联邦德国牌照的豪华型轿车从瑞典前往丹麦。其中一人同瑞典公布的嫌疑犯相貌挺像，但经审讯，证实他们与帕尔梅被杀毫无关系。
在线索极其稀少并且清晰线索更加凤毛麟角的情况下，警方不得不转回到现场证物上。他们研究了现场找到的两颗子弹后发现，那绝对不是他们所熟悉的枪弹。在瑞典警方库存的500种子弹中，没有这种型号的子弹。警方立刻将案发现场找到的两枚子弹分别送到联邦德国警察总部和美国联邦调查局去进行技术检查。经过鉴定，凶手当时射杀帕尔梅的子弹是0.357毫米穿甲弹，是一种很具杀伤力的子弹。
在警方调查子弹期间，又有一名嫌疑犯被捕。这个在3月12日被瑞典警察逮捕的人叫做贡纳松，32岁，瑞典人，曾经是一直反对帕尔梅首相的右翼政党“欧洲工人党”的成员。他曾经被看到出现在案发现场，而且当时的他穿着打扮都像极了女画家描述的那个人。
3月17日，瑞典检察长斯文松发表一项公报，要求斯德哥尔摩地方法院允许对这名嫌疑犯正式拘留审查，直到把所有疑点调查清楚。公报列举了这名瑞典人被指控与谋杀帕尔梅首相案件有关的根据是从这个人家里查收的材料看，他仇视帕尔梅。证人说，在1986年2月初的一次电话中，这个人说过：“帕尔梅已被列在死亡名单上”、“血将流在斯德哥尔摩大街上”之类的话；帕尔梅遇害时，这个人也在现场附近，他穿的外衣与目击者提供的情况相符；在前几天的拘留中，他的辩解前后矛盾，漏洞百出。从各个方面来看，他都具有最大的嫌疑。
但后来贡纳松在同一位关键证人对证时，证人没能提供出证据，因此整个起诉就不能成立。3月19日下午，瑞典警方因为所掌握的证据不足以起诉贡纳松，只能将他释放。
3年多来，警方把举报凶手的悬赏从8.5万美元上升到850万美金。他们拘留审查了几十个嫌疑犯，分析了1.4万多条线索，耗用经费约1600万美元。即使这样，案情依然毫无进展。
自从帕尔梅遇难后，瑞典人民一直都很关心这一案情的调查情况。为了帮助早日破案，人们不断向警方提供侦破方案和线索，有的人甚至把晚上做的梦也当成线索报告。然而到10月中旬，瑞典报界透露，调查工作已经陷入困境。一些专家认为，在谋杀现场发现的两枚子弹头是凶手专门放置的，并不是真正射向帕尔梅的子弹的弹头。两枚弹头是在距现场几米之外的地铁车站入口处发现的，它们应该首先撞在墙上，然后才落在那里，但在附近的墙上并没有发现弹痕。
随着时间的推移，警方迟迟无法找到关于凶手的确切消息，甚至于是连凶手的姓名和长相都无法调查清楚，这就使得民间对于帕尔梅被刺杀一案产生了诸多推测。
有人推测说凶手的幕后主使就是瑞典的情报组织，因为帕尔梅生前曾经对情报组织做过许多限制，这就激发起了情报组织的报复情绪。
也有人说帕尔梅的死跟他限制军火交易有关系。要知道，尽管瑞典是个军火出口大国，但帕尔梅生前却对军火出口做过严格的规定，其中有一条规定让很多瑞典军火商感到恼火，特别是瑞典最大的军火公司——博福斯公司。这条规定的内容是：军火不能出售给正在交战的任何一方。而在两伊战争打响的时候，博福斯公司曾经向其中一方出售过激光制导地对空导弹，就在帕尔梅遇刺的前一周，博福斯公司的执行董事被迫辞职。于是，人们不禁猜测，帕尔梅的死是不是遭到了军火商的报复。
1986年12月初，参加帕尔梅遇刺案调查工作的12名经验丰富的警察自动提出辞职，辞职的原因是警方内部出现了分歧。1987年2月4日，卡尔松首相在同反对党领袖经过十多个小时的紧张磋商后宣布，由于侦破工作没有取得进展，瑞典政府决定撤换帕尔梅遇刺案调查工作的负责人，正式授权国家警察总监霍尔格·罗曼德和国家助理检察官阿克塞尔·穆拉特负责调查凶手的工作。
在帕尔梅遇刺后的一年里，警方的侦察记录已达2.9万份，并已向1万多证人做了调查，但调查结果同帕尔梅遇刺后的第二天所掌握的情况相比没什么大的差别。
面对警方的黔驴技穷，当时的司法大臣安娜·格雷诺做了一个十分大胆的决定——绕过情报组织、警方以及所有政府机构，雇佣私家侦探调查案件。被安娜所雇佣的私家侦探名叫艾博·卡尔松，是帕尔梅生前的好友。为此，艾博得到一个银行家约34万美元的资助。在得到巨额的侦查资金后，艾博·卡尔松即刻开始秘密调查帕尔梅案件。作为帕尔梅首相亲密无间的朋友，卡尔松也想尽快查出这个杀害了自己挚友的凶手的真面目，以及在这起谋杀案的背后，是不是还隐藏着什么不为人知的秘密。
1988年5月，艾博·卡尔松带着安娜·格雷塔的介绍信前往英国伦敦找到了英国军情六处的官员，并在那里的档案室翻阅了相关的机密情报资料。在他的强烈要求下，军情六处破例让他查阅了1985年8月库尔德工人党在大马士革召开的一次会议的记录。
根据军情六处的档案记载，在这次会议上，库尔德工人党收到了伊朗秘密情报机构关于暗杀帕尔梅的密令。而根据从以色列情报机构“摩萨德”得到线索，他们显然已经成功地窃听了这次重要会议的内容。
对于库尔德人，卡尔松有过一些了解：他们是一个散居在西亚和中东诸国的民族，其中的极端主义分子不仅与国际恐怖组织有密切联系，内部还分裂成几个帮派，相互残杀。在瑞典，也有少部分库尔德人的存在，而在帕尔梅任首相期间，曾多次下令把这些犯罪分子驱逐出境，因此遭到他们的极度怨恨。
根据这份情报，卡尔松渐渐对刺杀案的背景有了一些了解。他明白，伊朗之所以要采取这一暗杀行动是因为帕尔梅多次重申要禁止瑞典有关公司向伊朗出口军事武器。而在两伊战争打响的时候，博福斯公司曾经向其中一方出售过激光制导地对空导弹，就在帕尔梅遇刺的前一周，博福斯公司的执行董事被迫辞职。那么，难道真如民间关于军火商报复的猜测一样，刺杀帕尔梅一事，和瑞典的军火商有关？因为处于对帕尔梅的不满和愤恨，所以在伊朗准备刺杀帕尔梅的计划时，向他们提供了帮助？当然，这仅仅只是卡尔松的一种猜测，具体如何，他决定要继续调查下去。
在军情六处对于秘密档案的调查中，卡尔松还查到，瑞典情报机构在帕尔梅遇刺前就得知伊朗给库尔德工人党下达的这项密令，但是却没有采取任何行动来加强对帕尔梅的保护。这一点让他感到非常怀疑，难道瑞典情报机构也参与了这起谋杀事件？但因为没有任何真凭实据能够证明瑞典情报机构的居心叵测，所以这个猜测也之前关于军火商的猜测一样，只能算是卡尔松在调查经过时候得出的一种猜想，需要以切实的证据去证明它的存在或者是不存在。
由于瑞典情报机构并没有采取措施来加强对帕尔梅的保护，最终导致他被杀害，英国军情六处感到非常不满，再也不想跟瑞典情的报机构打交道。这次卡尔松去英国查阅相关资料，军情六处之所以配合，完全是看在“司法大臣的面子上”。
离开英国后，根据从军情六处得到的情报，卡尔松又马不停蹄地赶往法国黎巴嫩并会见了伊朗前总统巴尼萨德尔。然而，这件事很快就没瑞典的媒体知晓，并在第一时间被曝光。报道立刻引起轰动效应，在瑞典政府也引起了强烈反响，瑞典执政的社会民主党、情报机构、国家警察局和司法部都围绕着帕尔梅之死的责任和调查问题开始相互指责，舌战不休。
反对党指责安娜·格雷塔居然背着议会，授权私人侦探调查这一要案。要求她立即辞职，否则将在议会上对政府提出不信任动议。为了保证社民党能在接下来的大选中继续胜出，安娜不得不辞去了司法大臣的职务。英瓦尔·卡尔松首相对安娜·格雷塔的辞职表示遗憾，他在记者招待会上不无惋惜地说：“她太冒险了，犯了一个大错。”
不过，安娜的这个举动并非完全没有收到效果。由于她自作主张而使得刺杀帕尔梅的案情得到新的进展，这一点让政府感到了危机，而卡尔松从军情六处得到的情报被媒体曝光后，在瑞典国内也掀起了轩然大波。为了给民众一个交代，政府不得不在情报机构内部来了次大彻查，将一些涉嫌渎职罪的右翼分子扫地出门。之后，瑞典情报机构的办事效率得到了不少提高，对于帕尔梅一案的多多少少又有了一些进展，虽然这些进展显得有些微不足道。
尽管案情进展缓慢，但调查依旧在进行中。对于这种线索稀缺，而且主要线索都非常模糊的案件，想要查清楚的确非常棘手。随着调查的深入，关于帕尔梅遇刺前的秘密活动也逐渐被公众所知。
在遇刺前的那些日子里，帕尔梅和伊朗的关系已渐趋恶化。就在他被害的那一天，帕尔梅接见了伊拉克大使。大使告知他，巴格达对瑞典把性能优越的武器出售给伊朗深感不安。帕尔梅答应对方，他会干预此事的。
实际上他已经采取行动阻止博福斯公司经第三国出售武器给伊朗。尽管在他遇刺后，新闻界对帕尔梅的最后一天已做了详尽报道，但却丝毫没有提及这次会晤，这说明此事确有蹊跷。此外，在帕尔梅遇刺的前一周，他还会见了伊朗大使，可能也是讨论这事的。
1988年12月14日，在经过漫长的调查后，案情终于又有了进一步的进展。瑞典警方拘留了一个瑞典国籍的41岁男子，这个男子名叫克里斯特·彼得森，无正当职业，有不少不良前科——盗窃、吸毒、暴力甚至是走私武器。他曾因谋杀未遂被判过刑。第一次判刑是在1966年，第二次是在1970年12月。警方在斯德哥尔摩郊外他的住所发现了各种各样的凶器，还有适合各种武器使用的弹药。另外，警方还有确切情报证明此人拥有一件大口径武器，但没有找到。在帕尔梅遇刺前的几分钟，曾经有人看到他尾随首相夫妇一直到遇难地。
按照瑞典法律规定，未向法院正式起诉前嫌疑犯最多只能被拘留5周。因此
在逮捕彼得森一个月后，瑞典警方就起诉了他。这是自1986年2月28日帕尔梅遇刺两年零十个月后，瑞典当局正式逮捕的第一名嫌疑犯。
1989年5月29日，彼德森在斯德哥尔摩地方法院被起诉。起诉书指控他杀害了帕尔梅，并企图杀害其夫人丽丝贝特·帕尔梅，尽管彼得森一直在喊冤，但所有的证词都对他不利——有人能证实这位嫌疑人在案发之前曾对帕尔梅夫妇进行过跟踪，而且帕尔梅夫人丽丝贝特在见到彼得森的时候几乎是喊叫着告诉警方：“就是他！就是他！他的脸型、眼睛和令人生厌的外表，跟我以前说的是一样的，只是我记得那时他没留胡子。”
另一位证人是在斯维亚大街上走在帕尔梅夫妇之后的一名男子。他看到在他前面走着三个人，他以为他们是一伙的。他作证说：“我突然听见两声枪响，随即看到中间的男人倒下去了。”他是所有证人中最靠近凶手的，但他却没看见凶手的脸。
还有一名证人是嫌疑犯的熟人。嫌疑犯声称出事那天夜里他未到过现场，但这位熟人证明在格兰德影院外曾见到他，当时两人相隔不过2米。另据嫌疑犯的朋友揭发，他曾谈到帕尔梅夫人在她丈夫被刺时是怎样尖叫的。
接下来，又有多位证人出庭作证，他们也都证明了彼得森曾经跟踪首相夫妇。但是，彼得森却一直不肯认罪。
1989年6月5日上午，彼得森接受了斯德哥尔摩地方法院的审判。由安德斯·赫林检察官宣读了起诉状，审判是以半公开的形式举行的。6月19日，帕尔梅夫人丽丝贝特到庭作证。她回忆当时情景说，当她同帕尔梅从电影院出来时，她发觉有一个人在暗中盯着她看。当他们走到出事地点时，她听到一声枪响，帕尔梅随即便倒在地上。接着，她又听到第二声枪响，她看到了旁边站着先前见到的那个男子。帕尔梅遇刺之后刹那间她注意观察了周围的一切，并记住了那个男子的脸。
