コラーゲン蛋白質のペプチド鎖を構成するアミノ酸は、"―(グリシン)―(アミノ酸X)―(アミノ酸Y)―" と、グリシンが3残基ごとに繰り返す一次構造を有する。この配列は、コラーゲン様配列と呼ばれ、コラーゲン蛋白質の特徴である。例えば、I型コラーゲンでは、この "―(グリシン)―(アミノ酸X)―(アミノ酸Y)―" が1014アミノ酸残基繰返す配列を持っている。(アミノ酸X) としてプロリン、(アミノ酸Y) として、4(R)ヒドロキシプロリン（プロリンが酵素によって修飾されたもの）が多く存在する。この1本のペプチド鎖はα鎖と呼ばれ、分子量は10万程度である。
多くの型のコラーゲンでは、このペプチド鎖が3本集まり、縄をなうようにお互いに巻きついて、らせん構造を形成する。これがコラーゲンの構成単位であり、トロポコラーゲンと呼ばれる。トロポコラーゲンを作る際、1本1本のペプチド鎖は、左巻きのポリプロリンII型様の二次構造をとり、3本のペプチド鎖は、お互いに1残基分ずつずれて、グリシンが中央に来るようなゆるい右巻きのらせん構造を形成する。I型コラーゲンの場合、その長さはおよそ300nm、太さは1.5 nmほどである。
このトロポコラーゲンが、少しずつずれてたくさん集まり、より太く長い線維を作る場合があり、これはコラーゲン細線維 (collagen fibril) と呼ばれる。例えば、骨や軟骨の中のコラーゲンは、このコラーゲン細線維をつくっており、骨基質、軟骨基質にびっしりと詰まっている。コラーゲン細線維は透過型電子顕微鏡で観察することができる。コラーゲン細線維には、ほぼ65 nm周期の縞模様が観察される。コラーゲン細線維の太さは通常、数十～百数十 nm程度である。この太さは、そのコラーゲン細線維を作っているコラ－ゲンの各型の割合などによって決まることがわかっている。
コラーゲン細線維は、更に多くが寄り集まって、結合組織内で強大な線維を形成する場合がある。これがコラーゲン線維（膠原線維;こうげんせんい、collagen fiber）である。コラーゲン線維の太さは数μm～数十μm程度で、適切な染色をおこなうと、光学顕微鏡でも観察することができる。コラーゲン線維は皮膚の真皮や腱などにはびっしりとつまっている。