In the work, the intensity and phase modulation methods are compared for different versions of the wavelength division multiplexing (WDM) system. Binary and multilevel code formats are evaluated numerically, with OptSim simulation software at the bit rate of 10 and 40 Gbit/s, using long-fiber spans and dispersion compensation technique. The problems to be overcome at exploitation of multiterabit WDM systems based on 40 Gbit/s optical transmissions are: chromatic dispersion (CD), polarization-mode dispersion (PMD), dispersion slope, and nonlinear effects of the transmission line. We have investigated the potentialities of modulation formats for 40 Gbit/s WDM networks where most of the listed problems are avoided. It is shown that Duobinary and differential phase shift keying (DPSK) modulation formats are perfectly suitable for ultra-high spectral efficient WDM systems and possess high resistance to dispersion and nonlinear optical effects (NOE). Darbā pētītas un salīdzinātas intensitātes un fāzes modulācijas metodes optiskajās spektrālās blīvēšanas (WDM) sistēmās. Binārie un daudzlīmeņu kodēšanas formāti ir skaitliski novērtēti ar simulācijas programmatūras OptSim palīdzību pie 10 Gbit/s un 40 Gbit/s pārraides ātrumiem, izmantojot garas optiskās šķiedras līnijas un dispersijas kompensēšanas tehniku. Galvenās problēmas, kas ekspluatācijas laikā ir jāņem vērā sistēmās ar pārraides ātrumu līdz 40 Gbit/s, ir hromatiskā dispersija (CD), polarizācijas - modu dispersija (PMD), dispersijas slīpums un pārraides līnijas nelineārie efekti. Novērtēti perspektīvākie modulācijas formāti 40 Gbit/s WDM sistēmām. Pētījumā uzskatāmi demonstrēts, ka daudzlīmeņu modulācijas un diferenciālās fāzes manipulācijas (DPSK) formāti ir atbilstošākie liela ātruma spektrāli efektīvām sistēmām. Tos var raksturot ar augstu noturības līmeni pret dispersiju un nelineārajiem optiskajiem efektiem (NOE).