jquery - как соль, перец, лаврушка в борще. Обработать пару моментов на сайте [меню/превью/слайдер] всегда пожалуйста, достаточно легко, быстро и непринужденно. Чуть пересолишь и сайт начинает безбожно тормозить, особенно заметно на старых девайсах. Если нужно что-то серьезнее борща, то лучше использовать другой набор специй.
От jQuery никогда сайт тормозить не будет, это как вы правильно подметили универсальный и сбалансированный набор приправ - которые к любому блюду будут кстати (если конечно это не то блюдо где нужно только соль/перец/vanilla), но стоит подключится к проекту долбоебу который ставит на один и тот же сайт несколько слайдеров (ибо с тем что стоял раньше работать он не умеет) или плюсом mootools/prototype/react и т.п. сайт превращается в говно. Из этого принцип, не умеешь не берись, и не хуй подключать лишние библиотеки. Только вот почему то все засирают jQuery, хотя имхо одна из лучших библиотек и все замалчивают про сраный бустрап которые 90% говноверстальщиков подлючают целиком и совершенно не важно что в реальности они используют только grid/modal/alert, а все остальное им задаром не нужно. Нужно больше скриптов, а еще круче подключить jquery.ui ради datepicker - да и желательно целиком, вдруг что потом пригодится - в итоге мегабайт скриптов, сайт грузит 3 секунды, но все же заебись бекенд же только для получения ответа нужен ;)
Библиотеки как и шрифты можно пересобрать.
http://getbootstrap.ru/docs/3.3.7/customize/
Причем не обязательно это делать на этапе разработки, это можно сделать перед продакшеном, когда точно знаешь что использовал.
В том же бутстрапе 46 компонентов, в font-awesome больше пол сотни шрифтов, я никогда не видел чтобы использовалась хотя бы половина в рамках проекта.
Если нужно подключить только модалку, то для этого не нужно подключать бустрап вообще, этот блин как чтобы прикурить машину, построить ядерный реактор, для этого есть куча других инструментов