Государство Караханидов было поделено на множество больших и малых уделов. Владетели уделов, в зависимости от положения, носили разные титулы: илек, тегин, тамгач и др. В исторической литературе наиболее распространен титул илекхан, который означает "правитель малого владения", "удельный правитель". Илекханы избирались только из представителей правящей династии, так как вся территория государства считалась как бы собственностью членов правящего дома. Каждый илекхан самостоятельно управлял своим уделом и имел право чеканить от своего имени монету. Удельные ханы были между собой в постоянной вражде, боролись за увеличение владений. Одним из главных уделов государства был Мавераннахр. Столица его находилась сначала в Узгене, а в XI веке была перенесена в Самарканд. Тогда город Узген стал столицей Ферганского удела.

Хотя удельная система Караханидов сильно отличалась от централизованного управления при Саманидах, однако бюрократия сохранила прежнее значение. При илекханах состояли визири (управляющие), сахиби бариды (начальники почты), мустауфи (казначеи) и другие чиновники. Города управлялись хакимами, раисами, мухтасибами. Особенно высок был в это время авторитет духовных лиц: сейидов, садров, шейхов и имамов. Караханиды в целях укрепления своей власти в стране установили тесные отношения с мусульманским духовенством.

Караханидские правители тюрков-кочевников, которые еще не перешли к оседлой жизни, хорошо понимали культурное значение земледельческих областей, особенно городов. Вероятно, потому и некоторые города — Самарканд, Бухара, Узген, Тараз, Бала-сагун и Кашгар, где ханы проводили зимние месяцы и где были воздвигнуты дворцы, мечети, медресе, минареты и другие монументальные сооружения, становились в разные годы временными столицами государства.