グループ番号ではなく名前付きグループを参照する場合は${name}とします。　先の例を名前付きグループを使ったものに書き換えると次のようになります。

名前付きグループの置換文字列を使ってmm/dd/yyyy形式の日付をyyyy-mm-dd形式に置換する
Imports System
Imports System.Text.RegularExpressions

Class Sample
  Shared Sub Main()
    Dim text As String = "02/29/2016 00:00:00"

    Console.WriteLine(text)

    ' mm/dd/yyyy形式の日付 (月日年の正規表現をそれぞれグループ名m, d, yでグループ化)
    Dim pattern As String = "(?<m>\d{2})/(?<d>\d{2})/(?<y>\d{4})"

    ' mm/dd/yyyy形式の日付をyyyy-mm-ddの形式に置換して表示
    Console.WriteLine(Regex.Replace(text, pattern, "${y}-${m}-${d}"))
  End Sub
End Class
実行結果
02/29/2016 00:00:00
2016-02-29 00:00:00

$nや${name}の他にも置換文字列にはいくつか種類があります。　詳しくは.NET Frameworkで使用できる正規表現 §.置換を参照してください。