1964年10月1日に、東京オリンピックの開催に合わせて東海道新幹線が開業した。
併せて専用の0系が開発され、営業に投入された(→1964年10月1日国鉄ダイヤ改正も参照)。
なお、開通に先立つ同年4月22日からアメリカのニューヨーク市で開催されたニューヨーク万国博覧会の日本館に実物大モックアップが展示され、日本の技術力を誇示した。
開業当初の営業最高速度は200km/h(東京 - 新大阪間「ひかり」4時間、「こだま」5時間)。
路盤の安定を待って翌年に210km/h運転(同「ひかり」3時間10分、「こだま」4時間)を開始した(→1965年10月1日・11月1日国鉄ダイヤ改正も参照)。
日本の二大都市である東京 - 大阪間は、1958年から在来線の特急で日帰り可能になっていたものの滞在時間がわずか2時間余りしか取れなかった。
しかし新幹線の開通により、日帰りでも滞在時間を充分取れるようになり、社会構造に著しい変化を及ぼした。
ビジネスやレジャーの新しい需要を喚起し、東海道新幹線においては当初の12両編成が、1970年の大阪万博の開幕を機に16両編成まで拡大され、高速大量輸送機関としての確固たる地位を確立した。
その一方で、新幹線の建設や特急・急行列車の増発、さらには都市部における通勤輸送増強(通勤五方面作戦など)などの設備投資に追われたことから、新幹線の開業した1964年度から国鉄収支は赤字に転落し、以後それは拡大する一方となって、結果的に新幹線建設は国鉄破綻の1つの原因となったと言われる。
これに対し、JR東海の葛西敬之会長は著書の中で「東海道新幹線はあくまで内部留保された資金と借金で建設資金をまかない、それらを運賃・料金収入のみですべて回収したものであり、新幹線建設が国鉄破綻の引き金を引いたという認識は誤りだ」と指摘している。
いずれにせよ、以後の国鉄において、新幹線は重要な収入源ともなっていく。
その後、東海道新幹線に続いて、同じように需要の増加していた山陽本線の抜本的輸送力改善と高速化を目的として、1967年に東海道新幹線を延伸する形で山陽新幹線が着工され、1972年3月15日に岡山まで、1975年3月10日には博多まで開業した(→1972年3月15日国鉄ダイヤ改正・1975年3月10日国鉄ダイヤ改正も参照)。
「ひかりは西へ」がそのキャッチコピーであった。
さらに東北方面への延伸も計画された。
1971年に東北新幹線と上越新幹線が着工され、1974年には建設中の成田空港へのアクセス路線として成田新幹線も工事に入った。
折しも田中角栄内閣総理大臣によって、国土開発を促進する「日本列島改造論」が提唱され、整備は順調に進むかに見えた。
だが、実際には反対運動による用地買収の難航やトンネル工事での異常出水などがあり、前者2つの新幹線は予定より工事が5年も遅れ、成田新幹線に至っては工事中止となってしまった(ただし、後にJR東日本と京成電鉄の成田空港乗り入れの際にこの新幹線建設で作られた設備が生かされることになる)。
また、新幹線沿線での騒音・振動による公害問題がこの頃深刻化した(名古屋新幹線公害など)。
さらに国鉄財政の悪化に伴う運賃・料金値上げの繰り返し、労働紛争によるストライキの頻発化などから、既存新幹線の乗客が減少傾向に陥った。
そして経営問題と労働紛争の影響から技術革新も見られなくなり、新幹線の発展・発達は一時停滞した。
1982年に大宮発着という暫定的な形で東北新幹線と上越新幹線は開業し(→1982年11月15日国鉄ダイヤ改正・新幹線リレー号も参照)、1985年には用地買収の関係で遅れていた都心(上野)乗り入れを果たした(→1985年3月14日国鉄ダイヤ改正も参照)。
これにより東北・上越地方における鉄道シェアは大幅に拡大した。
だが、国鉄財政はそれら新幹線の建設費負担も重なって遂に破局的状態となり、中曽根内閣の下で断行された1987年の国鉄分割民営化に至るのである。
国鉄の分割・民営化後、東北・上越新幹線はJR東日本、東海道新幹線はJR東海、山陽新幹線はJR西日本の運営とされたが、当初設備は第3種鉄道事業者の「新幹線保有機構」が保有し、各会社が第2種鉄道事業者として路線を借り受けて運営する形とした。
新幹線の保守費用は各社が負担し、新幹線保有機構は設備の貸し代だけを受け取るもので、利益の出る新幹線事業によって赤字となる他地域JR会社への補填を行うのが目的であった。
しかし、前記JR3社の経営が安定化して、東京証券取引所などへの上場が視野に入ると、輸送量に応じて貸し賃が変わるこの制度のままでは会社の営業努力が反映されないことや、各社の資産・債務の額が確定できないことなどが問題視され、結局1991年に制度を変更し、各鉄道会社が新幹線資産を新幹線保有機構を改編した鉄道整備基金から60年賦で買い取ることにした。
分割・民営化後、技術・営業面で停滞していた新幹線も新型車両の登場、新形態など積極的な流れが見られるようになった。
後者の代表として、JR東日本は新幹線規格(フル規格)の線路を新規に建設することなく、既存の在来線を改良し、専用の車両を新造したうえで、新幹線と在来線が直通運転できるようにしたミニ新幹線を整備した。
1992年に400系を新造し、山形新幹線として奥羽本線の福島駅 - 山形駅が、1997年にE3系を新造し、秋田新幹線として田沢湖線・奥羽本線の盛岡駅 - 秋田駅が、1999年にE3系1000番台を増備し、山形新幹線の延伸として奥羽本線の山形駅 - 新庄駅が、それぞれ順次営業運転を開始した。
JR西日本は山陽新幹線博多総合車両所への車庫線を旅客線化し、1990年に博多南線として博多駅 - 博多南駅を、こだま号に使用される車両を用いる在来線特急という形態で営業運転を開始した。
また最高速度は210km/hの時代が長く続いたが、国鉄末期頃(→1985年3月14日国鉄ダイヤ改正・1986年11月1日国鉄ダイヤ改正も参照)から次第に向上されるようになり、2008年現在では東海道新幹線で270km/h、東北新幹線区間で275km/h、山陽新幹線区間で300km/hに至っている。
また時速アップ以外にも、停車駅での停車時間の短縮や、停車駅間の速度を出来るだけ高速度で維持するなどして、僅かな分単位ながら主要駅間の時間短縮を図る工夫もされている。
国鉄末期に建設が凍結されていた整備新幹線は工事が再開され、東北新幹線(盛岡 - 八戸・2002年)・北陸新幹線(長野新幹線・1997年)・九州新幹線(新八代 - 鹿児島中央・2004年)が部分開業し、残った区間や未開業の北海道新幹線なども工事が次第に進みつつある。
また20世紀末以降、新幹線による通勤・通学が増加しつつある。
これは、いわゆるバブル以降の大都市における地価の高騰で、新幹線で通勤・通学が可能な郊外(主に東京への通勤・通学を目的に栃木県、群馬県、静岡県東部が多い)の住宅に住む人が増えたためである。
1983年2月の新幹線定期乗車券販売開始をきっかけに、新幹線通勤定期券を支給する企業の増加、さらに企業が支給する通勤定期券代の所得税非課税限度額の引き上げがそれに輪をかけた。
朝・夕の新幹線においては通勤客で混雑が激しくなり、通勤客向けのダイヤも設定されるようになった。
これに対応してJR東日本ではMaxという多座席型の2階建車両を投入し、1列車あたりの定員を大幅に増やした。