Lokasi geografis Kota Balikpapan yang strategis sebagai pintu gerbang Pulau Kalimantan dengan fasilitas Bandar Udara Internasional, Pelabuhan Laut Internasional, Zona Industri, dan berbagai fasilitas lainnya telah menjadikan kota Balikpapan sebagai pusat bisnis untuk wilayah Kalimantan.

Melimpahnya sumberdaya energi dan sumberdaya alam yang terdapat di Pulau Kalimatan telah menarik berbagai perusahaan baik Nasional maupun Multinasional untuk beroperasi di salah satu pulau terbesar di dunia ini. Karena lokasinya yang strategis dan memiliki fasilitas penunjang yang memadai, maka banyak perusahaan-perusahaan tersebut membuka kantor pusat atau perwakilannya di Balikpapan, sehingga Kota Balikpapan tumbuh dan berkembang sebagai Kota Jasa, Industri, Pariwisata dan Perdagangan.

Pembangunan di Kawasan Timur Indonesia, khususnya Kalimantan Timur sangat membutuhkan dukungan human capital yang berkualifikasi High Skill dan Middle Skill yang siap bekerja dengan jumlah yang cukup besar. Sejalan dengan hal tersebut, maka Rencana Strategis, Visi, dan Misi Pemerintah Kota Balikpapan dalam membangun dan mengembangkan Sumber Daya Manusia (SDM) daerah diarahkan dalam empat strategi yaitu: High Science 20%, High skill 30%, Middle Skill 30% dan Low Skill 20%. Untuk mencapai tujuan dalam pemenuhan tenaga kerja di level High Skill maka didirikanlah Politeknik Balikpapan pada tahun 2002.

Pendirian Politeknik Balikpapan oleh Pemerintah Kota Balikpapan melalui Yayasan Pendidikan Pemerintah Kota Balikpapan merupakan hasil dari suatu proses pemikiran panjang untuk mengantisipasi kemajuan kota Balikpapan sebagai bagian dari Provinsi Kalimantan Timur yang merupakan salah satu pusat industri pertambangan dan migas di tanah air. Pemerintah Kota menyadari bahwa Balikpapan tidak memiliki lembaga pendidikan yang dapat menghasilkan sumber daya manusia yang memadai, sehingga kebutuhan tenaga kerja pada level high skill banyak dipenuhi oleh pendatang dari luar daerah.

Menyadari hal tersebut, maka pada tahun 2000 Pemerintah Kota Balikpapan mengadakan suatu Seminar Pembangunan Kota dengan mengundang para pakar pembangunan. Salah satu rekomendasi yang diajukan yaitu untuk pengembangan sumber daya manusia di kota ini dalam rangka memenuhi kebutuhan tenaga kerja adalah menyelenggarakan pendidikan yang menghasilkan tenaga Ahli Madya di bidang keahlian tertentu.

Selanjutnya, dalam penyampaian Visi dan Misinya, H. Imdaad Hamid, SE bersama Mukmin Faisyal selaku Calon Walikota dan Calon Wakil Walikota pada Pemilukada tahun 2001 menyatakan akan Menjadikan Warga Balikpapan Menjadi Tuan di Rumah Sendiri. Dengan kata lain Balikpapan ingin agar putra-putri Balikapapan memiliki kemampuan yang memadai untuk dapat bekerja pada perusahaan-perusahaan besar/multi nasional yang ada di Balikpapan khususnya dan Kalimantan Timur pada umumnya.

Setelah pembentukan Yayasan Pendidikan Pemerintah Kota Balikpapan dengan Akte Notaris Mohamad Rasjid Umar, SH No. 14/2000 dengan susunan pengurus Pembina Drs. H. Sarjono, MSi dan Ketua Harian Dra, H. Hernawati, M.Si dan melalui proses yang cukup panjang berupa Studi Kelayakan dilanjutkan pengajuan permohonan Izin Pendirian, maka pada tanggal 2 Agustus 2002 keluarlah Izin Pendirian Politeknik Balikpapan berdasarkan Keputusan Direktur Jendral Pendidikan Tinggi No.168/D/O/2002 dan dapat menyelenggarakan empat program studi yaitu Teknik Mesin Alat Berat, Teknik Elektronika, Teknik Sipil, dan Tata Boga.

Pada awal berdirinya,  Politeknik Balikpapan menyelenggarakan proses pembelajarannya dengan model multi Kampus. Kantor pusat administrasi bertempat di SMP Negeri 12 Balikpapan, Kampus I di SMK Negeri I Balikpapan untuk program studi Teknik Mesin Alat Berat, Teknik Elektronika dan Teknik Sipil, dan Kampus II di SMK Negeri 4 Balikpapan untuk pelaksanaan program studi Tata Boga.

Untuk mengantisipasi perkembangan Politeknik Balikappan, Pemerintah Kota Balikpapan secara bertahap sejak tahun 2004 telah melakukan upaya pembebasan lahan seluas 15 Ha yang berlokasi di Jalan Soekarno–Hatta Km. 8, yang merupakan cikal bakal kampus Politeknik Balikpapan saat ini. Perencanaan pengembangan kawasan kampus Politeknik telah tersusun dalam masterplan yang disusun bekerjasama dengan LAPI-ITB Bandung. Realisasi masterplan diawali dengan peletakan batu pertama pembangunan Kampus Politeknik Balikpapan yang dilakukan oleh Menteri Pendidikan Nasional Prof. Dr. Bambang Sudibyo pada tanggal 10 Februari 2007 bertepatan dengan peresmian Kota Balikpapan sebagai Kota Vokasi.

Pada tahun 2008 Kampus baru Politeknik Balikpapan di Jalan Soekarno – Hatta Km. 8 telah mulai ditempati. Proses pembangunan dilanjutkan dengan pembangunan gedung kuliah untuk Program Studi Elektronika pada tahun 2009. Pada tahun 2010 dibangun gedung Workshop untuk Program Studi Mesin Alat Berat. Sejak saat itu kampus pusat dan hampir seluruh perkuliahan dipindah ke kampus yang baru sedangkan untuk kegiatan praktek teknik mesin Alat Berat masih menggunakan fasilitas SMK Negeri 1 Balikpapan dan praktek untuk Tata Boga menggunakan SMK Negeri 4 Balikpapan.

Dalam perjalanannya Politeknik Balikpapan telah mengadakan kerjasama dengan Central Queensland Institute of TAFE (CQIT),  Institut Teknologi 10 Nopember Surabaya (ITS) dan Institut Tehnologi Bandung (ITB) dalam rangka standarisasi tenaga pengajar, transfer manajemen Perguruan Tinggi, peningkatan mutu kegiatan Tri Dharma Perguruan Tinggi dan upaya penjaminan mutu internal. Selama 5 tahun yaitu dari tahun 2006 s.d. 2010. Direktur Politeknik Balikpapan dijabat Dosen ITB yang merupakan salah satu realisasi dari kerjasama tersebut. Juga dijalin kerjasama dengan dunia usaha dan dunia industri di kota Balikpapan dan sekitarnya.

Pada tahun 2010, Politeknik Balikpapan telah membuktikan kelaikanya dalam melaksanakan sistem penjaminan mutu internal dengan penilaian dari Badan Akreditasi Nasional Perguruan Tinggi BAN-PT untuk semua program studi yang ada saat itu. yaitu: Teknik Mesin Alat Berat Terakreditasi B dengan nilai 313 (berdasarkan Keputusan BAN-PT No.002/BAN-PT/Ak-X/Dpl-III/V/2010), Tata Boga Terakreditasi B dengan nilai 320, Teknik Elektronika Terakreditasi C dengan nilai 293, Teknik Sipil Terakreditasi C dengan nilai 283 (berdasakan Keputusan BAN-PT No.001/BAN-PT/Ak-X/Dpl-III/V/2010).

Usulan penegerian Politeknik Balikpapan telah disampaikan sejak tahun 2006, namun karena ada persyaratan yang belum dipenuhi hal tersebut belum dapat disetujui dan baru pada tahun 2010 setelah mendapatkan akreditasi serta bimbingan dari Direktorat Jendral Pendidikan Tinggi Kementerian Pendidikan Nasional serta dukungan penuh dari Bapak Gubernur dan Ketua DPRD Provinsi Kalimantan Timur serta Ketua DPRD Kota Balikpapan, usulan penegerian diajukan kembali. Kemudian usulan ditindaklanjuti dengan tahap visitasi oleh Tim Visitasi Kementerian Pendidikan Nasional untuk melakukan verifikasi ke lapangan pada tanggal 20 mei 2011 dan dilanjutkan dengan serah terima aset dari Pemerintah Kota Balikpapan dan Yayasan Pendidikan Pemerintah Kota Balikpapan kepada Kementerian Pendidikan Nasional, sebagai bagian dari proses penegerian Politeknik Balikpapan pada tanggal 29 Mei 2011.

Dan puncak proses penegerian yang merupakan tonggak baru sejarah Politeknik Balikpapan adalah pada tanggal 9 September 2011 dengan ditandatanganinya Permendiknas Nomor 41 Tahun 2011 tentang Pendirian Organisasi dan Tata Kerja Politeknik Negeri Balikpapan. Dalam masa transisi Politeknik Negeri Balikpapan tetap akan mendapatkan bantuan biaya operasional dan bantuan lainya dari pemerintah Kota Balikpapan dan Pemerintah Provinsi Kalimantan Timur sebagaimana tertuang dalam surat komitmen pembiayaan yang ditandatangani oleh Walikota Balikpapan, Ketua DPRD Kota Balikpapan, Gubernur Provinsi Kalimantan Timur dan Ketua DPRD Kalimantan Timur.