潘世偉自2012年9月29日接任勞委會主委職務，
債務更生失敗
，一直到勞委會改為勞動部，
個別協商
，在這個職位不到兩年，
萬華抓漏工程
，卻因桃色危機可能下台。潘世偉從馬英九總統競選時，
醫美專用修護保養品牌
，勞工政策白皮書的執筆人，
室內裝潢設計
，到今年2月17日成為首位勞動部部長，
臨時包裝員
，潘世偉平步青雲的仕途，
債務調解
，羨煞許多人，
夏令營
，但現今潘世偉似乎已揮別過往的順遂，遇上仕途上一大挫折。
潘世偉小時候因為父親是保警，必須經常轉調，小學換過四間學校，就讀東海大學政治系時，半工半讀，當過學校掃廁所的清潔工、大夜班總機等。他因為接觸工會，一頭栽入勞資關係和工會研究領域。
出身基層，雖是部會首長，但身邊沒有隨扈侍從，意圖展現親民作風，同時擁有中國文化大學勞工研究所碩士、美國康乃爾大學產勞關係博士專業背景的潘世偉，似乎不太受勞工團體青睞。勞動部前廣場的抗議活動，可說是相當頻繁，從關廠工人、勞動部升格，以及近來的分區基本工資，和外勞人數節節高升造成本勞低薪的爭議，都讓他的首任部長寶座搖搖欲墜。
如今緋聞可能成為壓倒潘世偉的最後一根稻草，儘管當事人否認，但政壇上常有的「逼退」與「知所進退」的聲音四起，潘能否度過這次危機，不讓自己成為最短命的部長，正考驗著潘世偉的智慧。，