Timothy Dai Departemen Ilmu Komputer Universitas Stanford Stanford, CA, AS & amp; Kate Maher Departemen Ilmu Sistem Bumi Universitas Stanford Stanford, CA, AS ⅳZach Perzan Departemen Geosains Universitas Nevada, Las Vegas Las Vegas, NV, AS Balasan dari penulis Kepada: zach. perzan@unlv. edu .
Model hidrologi berbasis proses merupakan alat yang berharga untuk memahami siklus air terestrial dan mengatasi permasalahan sumber daya air kontemporer. Namun, banyak model hidrologi yang memerlukan komputasi mahal, dan bergantung pada resolusi dan skala, penyelesaian simulasi dapat memakan waktu berjam-jam atau bahkan berhari-hari. Metode seperti kuantifikasi dan optimalisasi ketidakpastian telah menjadi alat yang berharga untuk mendukung pengambilan keputusan pengelolaan, namun analisis ini biasanya memerlukan ratusan simulasi model, dan secara komputasi terlalu mahal untuk diterapkan dalam model hidrologi berbasis proses. Untuk mengatasi kesenjangan ini, model berbasis proses digunakan untuk menghasilkan serangkaian simulasi awal dan model pengganti pembelajaran mesin (ML) dilatih untuk melakukan sisa simulasi yang diperlukan untuk analisis hilir. Sebagai studi kasus, alur kerja ini diterapkan untuk mensimulasikan fluktuasi aliran air tanah jenuh di calon lokasi pengisian akuifer yang dikelola (MAR). Kami membandingkan akurasi dan efisiensi komputasi beberapa arsitektur ML, termasuk jaringan konvolusional dalam, jaringan neural berulang, transformator visi, dan jaringan yang menggunakan transformasi Fourier. Hasilnya menunjukkan bahwa model pengganti ML mencapai persentase kesalahan absolut rata-rata kurang dari 10% dan dapat mengurangi waktu eksekusi sebesar urutan besarnya dibandingkan model berbasis pemrosesan. Kami juga memberikan rekomendasi praktis untuk melatih model pengganti hidrologi.
Kata kunci Hidrologi… Pembelajaran mesin… Pemodelan pengganti… Pengisian ulang akuifer yang dikelola… Emulator… Air tanah
Ketahanan air di masa depan bergantung pada pengelolaan sumber daya air yang efektif. Model transportasi hidrologi dan reaktif berbasis proses yang mensimulasikan aliran air dan transportasi zat terlarut untuk memprediksi perubahan siklus air di masa depan dan mengoptimalkan strategi pengelolaan air (Xu dan Singh, 2004; Devia et al., 2015; Steefel et al. Dikombinasikan dengan kuantifikasi ketidakpastian dan teknik estimasi parameter, model-model ini dapat digunakan untuk meningkatkan prediksi banjir, transportasi polutan, ketersediaan nutrisi, dan pengelolaan pengisian ulang akuifer (MAR), dll. Namun, metode ini seringkali memerlukan ratusan simulasi model, dengan parameter masukan yang tidak pasti dan bervariasi secara acak antar simulasi. Simulasi individual bersifat deterministik dan menghasilkan satu keluaran tetap untuk serangkaian parameter masukan tertentu, sedangkan simulasi gabungan bersifat stokastik karena masukan model bervariasi secara acak ketika dijalankan pada skala dan resolusi yang diperlukan untuk keputusan kebijakan lokal (Wood et al., 2011), pendekatan probabilistik seperti itu menimbulkan beban komputasi yang besar bahkan pada superkomputer modern. Keamanan air di masa depan bergantung pada pengelolaan sumber daya air yang efektif strategi. Berdasarkan model transportasi hidrologi dan reaktif (Xu dan Singh, 2004; Devia et al., 2015; Steefel et al. Metode-metode ini dapat mendukung pengambilan keputusan dalam beragam skenario, seperti transportasi material, ketersediaan nutrisi, dan pengelolaan pengisian ulang akuifer ( Namun, metode ini memerlukan parameter masukan yang tidak pasti untuk setiap simulasi. Seringkali diperlukan ratusan simulasi model yang parameternya bervariasi secara acak, meskipun setiap simulasi bersifat deterministik dan menghasilkan satu keluaran tetap untuk sekumpulan parameter masukan tertentu kumpulan simulasi bersifat stokastik karena masukan model bervariasi secara acak (Wood et al., 2011, menimbulkan beban komputasi yang besar bahkan pada superkomputer terbaru. Ketahanan air di masa depan bergantung pada pengelolaan sumber daya air yang efektif. Model transportasi hidrologi dan reaktif berbasis proses yang mensimulasikan aliran air dan transportasi zat terlarut untuk memprediksi perubahan siklus air di masa depan dan mengoptimalkan strategi pengelolaan air (Xu dan Singh, 2004; Devia et al., 2015; Steefel et al. Dikombinasikan dengan kuantifikasi ketidakpastian dan teknik estimasi parameter, model-model ini dapat digunakan untuk meningkatkan prediksi banjir, transportasi polutan, ketersediaan nutrisi, dan pengelolaan pengisian ulang akuifer (MAR), dll. Namun, metode ini seringkali memerlukan ratusan simulasi model, dengan parameter input yang tidak pasti dan bervariasi secara acak antar simulasi. Simulasi individual bersifat deterministik dan menghasilkan satu keluaran tetap untuk serangkaian parameter masukan tertentu, sedangkan simulasi gabungan bersifat stokastik karena masukan model bervariasi secara acak ketika dijalankan pada skala dan resolusi yang diperlukan untuk keputusan kebijakan lokal (Wood et al., 2011), pendekatan probabilistik seperti itu menimbulkan beban komputasi yang signifikan bahkan pada superkomputer modern.
Untuk mengisi kesenjangan ini, penelitian terbaru mengusulkan alur kerja pemodelan hibrida yang memanfaatkan akurasi tinggi model kalimat air berbasis proses dan model pembelajaran mesin terbaru (ML) (Asher et al., 2015; Tran et al., 2021; Dalam alur kerja ini, batch awal simulasi dihasilkan menggunakan model kalimat air berbasis proses. ML Salogate dipelajari dalam set simulasi awal ini dan digunakan untuk menjalankan model yang tersisa. Misalnya, Maxwell et al. Masalah uji benchmark (Di Giammarco et al., 1996) mensimulasikan lahan dua dimensi yang menunjukkan aliran air yang melewati area yang disederhanakan yang terdiri dari dua bidang miring yang berkumpul di jalur air pusat. Para penulis telah mengubah enam parameter input mereka yang tidak pasti pada curah hujan dan kebocoran permukaan secara keseluruhan, tetapi semuanya seragam di spasial di seluruh area. Di antara enam arsitektur yang diuji, arsitektur dengan informasi waktu eksplisit selama pelatihan menunjukkan kinerja tertinggi, tetapi simulasi set tes berisi distribusi parameter yang berbeda dari set pelatihan. Setelah mengembangkan penelitian ini, Tran dan lainnya (2021) melatih jaringan berulang dan jaringan jalan raya (Wang et al.< < < 0.1 0.1 0.1 0.1 ) relative bias for streamflow and total groundwater storage and can produce simulations 42 times faster.
Penelitian awal ini menyoroti kemungkinan mempercepat simulasi literatur air oleh model Salogate ML, tetapi banyak praktisi yang ingin menerapkan emulator ML untuk masalah sumber daya air. Misalnya, berapa banyak simulasi berbasis proses yang Anda butuhkan untuk mempelajari model Salogate yang sangat setia? Mempertimbangkan sifat tingg i-dimensi yang terkait dengan ketidakpastian spasial, akankah ukuran pelatihan minimum berubah jika parameter input yang secara spasial tidak berpengalaman dalam simulasi stokastik? Bagaimana pemilihan fungsi kerugian mempengaruhi kinerja? Seberapa penting normalisasi data? Juga, mengingat biaya perhitungan yang terkait dengan pembelajaran banyak arsitektur ML, apa masalah simulasi lebih baik jika Anda simulasi hanya dengan kode air berbasis proses ali h-alih ML Salogate?
Dalam makalah ini, kami akan memeriksa pertanyaan seperti itu dan menunjukkan pertimbangan praktis untuk menggunakan ML Salogates untuk menjalankan probabilitas air. Sebagai studi kasus, fokusnya adalah pada simulasi tig a-dimensi dari air tanah jenuh yang berfluktuasi ketika dengan sengaja mengisi kembali air ke lapisan bandwater yang kelelahan melalui pengelolaan lapisan air (MAR), yaitu, lapisan bandwater yang kelelahan melalui kolam yang dapat dibenarkan atau yang dapat dibenarkan atau kolam yang dapat dibenarkan atau yang dapat diangkat kembali atau kolam yang dapat dibenarkan kembali atau yang dapat dibenarkan kembali atau yang dapat diangkat kembali atau diarahkan kembali ke dalam pond yang dapat dibenarkan kembali atau yang dapat diangkat kembali ke dalam perancangan ulang atau pond yang dapat diangkat kembali atau diarahkan kembali ke reshargeable atau suntikan sumur. Kami mensurvei tujuh arsitektur model salon yang berbeda, dan mengevaluasi keakuratan masing-masing output Paralel Paralel (Parflow-CLM). Yang penting adalah bahwa dampak ketidakpastian spasial pada kinerja Salogate diperiksa dengan mengubah parameter antara seluruh wilayah dan simulasi. Selanjutnya, bandingkan kode kalimat air berbasis proses untuk mengevaluasi memori dan waktu eksekusi yang diperlukan untuk setiap arsitektur sarogat. Ini juga mengidentifikasi berbagai teknologi implementasi yang meningkatkan kinerja model, seperti normalisasi data, normalisasi kerugian, dan pengambilan sampel input dimensi tinggi menggunakan encoder otomatis.
Pada bagian ini, alur kerja pemodelan hibrida diselesaikan (§2. 1) dan studi kasus diperkenalkan (§2. 2). Selanjutnya, kami akan menjelaskan kode hidrogen berbasis proses (§2. 3) dan arsitektur model gerbang saro (§2. 4). Selanjutnya, kami akan menjelaskan preprocessing data (§2. 5) dan rincian pengaturan eksperimental (§2. 6) untuk belajar dan mengevaluasi setiap ml salogate. Akhirnya, model ML belajar untuk mengevaluasi pendekatan ini disebutkan dan merangkum percobaan (§ 2. 7).
Tujuan alur kerja hibrid ini adalah untuk memanfaatkan laju keluaran model ML yang cepat guna menghasilkan sejumlah besar simulasi secara efisien untuk analisis hidrologi hilir. Tugas kita adalah menjalankan N 𝑁 N simulasi dan menghasilkan N 𝑁 N keluaran simulasi dari N 𝑁 N masukan simulasi. Seperti yang ditunjukkan pada Gambar 1, model hidrologi berbasis pemrosesan tradisional (ParFlow-CLM) digunakan untuk menghasilkan set pelatihan 𝒟 subskrip kereta 𝒟 kereta 𝒟 kaligrafi_D start_POSTSUBSCRIPT kereta akhir_POSTSUBSCRIPT yang terdiri dari pasangan input dan output simulasi. Model pengganti ML kemudian dilatih berdasarkan contoh-contoh ini dan digunakan untuk menghasilkan output simulasi untuk N – |. 𝒟 train |. subskrip 𝒟 train N-|mathcal_& gt;| yang tersisa ｜mathcal_& gt;｜｜caligraphic_D start_POSTSUBSCRIPT train end_POSTSUBSCRIPT ｜ adalah ｜𝒟 train｜Subscript｜𝒟 train｜｜mathcal_& gt;｜caligraphic_D SCRIPT train end_POSTSUBSCRIPT | dengan sejumlah contoh. Jika pengganti ML memberikan akurasi yang sebanding dengan model berbasis proses, kelompok gabungan simulasi N ᵁ N italic_N dapat digunakan untuk analisis lebih lanjut seperti kuantifikasi ketidakpastian, estimasi parameter, dan optimalisasi sumber daya.
Aliran kerja hibrida ini diterapkan pada satu studi kasus yang mengevaluasi efisiensi budidaya di lokasi yang direncanakan lapisan air OBI (MAR) menggunakan simulasi kalimat air. MAR adalah strategi pengelolaan air di mana administrator tanah sengaja membanjiri divisi tanah atau menyuntikkan air ke dalam sumur untuk mengisi kembali air ke OBI bawah tanah. Studi terbaru menunjukkan bahwa MAR adalah cara yang berharga untuk mengurangi penipisan air tanah di banyak daerah di dunia (Dillon et al., 2019; Sprenger et al., 2017). Budidaya dapat memiliki dampak yang signifikan (Knight et al. Ini adalah alat yang efektif untuk mengukur hasil yang menarik perhatian di situs kandidat MAR, seperti, seperti. Waktu yang diperlukan untuk simulasi tunggal dapat berupa beberapa jam untuk Beberapa hari tergantung pada ukuran dan resolusi model, dan pemilihan situs MAR sangat dihitung.
Dalam studi kasus ini, ini adalah situs kandidat $ 800 Mar sebesar 800 m × 400 m × 800 m × 400 m di California _m end_arg × start_arg 400 end_arg start_arg Times end_arg start_arg roman_m end_arg. Titik ini ditutupi dengan zona badose tebal 45 m x 45 m, terdiri dari pasir, lumpur, dan lapisan tanah liat. Lapisan air yang tidak terasbur menyebar ke kedalaman 150 m x 150 m, dan di bawah kedalaman, lapisan air regional, tanah liat Kokoran, membatasi aliran vertikal (Mid-Kaweah GSA, 2019). Tujuan simulasi di situs ini adalah 0, 8 m x 0, 8 m 0, 8 TextMathrm start_arg 0. 8 end_arg start_arg Times end_arg start_arg roman_m end_m mengukur peningkatan jumlah tabungan zona Jepang.
Untuk mengevaluasi efisiensi pengisian ulang di situs ini, Perzan et al. Area model adalah 120 x 80 × 25 120 25 120kime 25 120 × 80 × 25 orthodus kisi mathrm $ kali $ 150text diskritase ke %). \ Start_arg 1200 end_arg start_arg Times start_arg start_arg 800 end_arg start_arg start_arg start_arg roman_m end_m rt_arg 150 end_arg start_arg time end_arg roman_m end_arg x arah, zasi sel horizontal ketebalan (1. M kali 1. 02 m 1. 02TexthRM start_arg 1. 02 art_arg Times end_arg start_arg roman_m end_arg di permukaan dan 9 m kali 9 m end_arg start_arg start_arg roman_m end_arg pada 90 m kali kedalaman 90 m). berada di sisi area yang diterapkan. Batas no n-aliran diimplementasikan di bagian bawah area, dan kecepatan aliran di area tersebut adalah 0, 5m/s atau kurang.
Wilayah ini dicirikan oleh alur kerja geofisika-geostatistik stokastik (Perzan et al. Area tersebut diparameterisasi menggunakan model resistivitas listrik bawah permukaan yang diperoleh dari survei tTEM. Sistem tTEM adalah sistem hidrolik yang dapat memetakan variasi tegangan listrik meter demi meter. resistivitas, suatu sifat yang berhubungan langsung dengan litologi endapan. Ini adalah alat fisik. Pertama, model resistivitas yang diperoleh dari tTEM dibuat untuk 600 grid menggunakan simulasi Gaussian sekuensial (metode stokastik). dihitung menggunakan model penetrasi kerucut. Bandingkan dengan distribusi jenis sedimen yang dikumpulkan dengan pengujian. Jelaskan proporsi sedimen berbutir kasar (pasir dan kerikil) dalam setiap sel grid menggunakan prosedur bootstrap dari Knight et al setiap realisasi resistivitas ke realisasi metrik berbutir kasar. Asumsikan bahwa sedimen yang tersisa di dalam sel berbutir halus (lanau dan tanah liat). Misalnya, sel dengan fraksi berbutir kasar 0, 5 adalah 50% material berbutir kasar (100% pasir, 100% kerikil, atau kombinasi keduanya) dan 50% material berbutir halus (kombinasi lanau dan tanah liat). modulus, porositas, dll) untuk masing-masing fraksi berbutir kasar, hanya ada dua jenis endapan (fraksi berbutir kasar dan berbutir halus) dalam satu area realisasi, dan setiap sel merupakan campuran dari kedua jenis tersebut. Kemudian, kami mengambil sampel dari distribusi yang luas untuk menetapkan nilai parameter pada setiap anggota akhir, dan menggunakan rata-rata tertimbang prosedur untuk menghitung nilai sel dengan campuran dua anggota akhir berasal dari kombinasi literatur dan data spesifik lokasi. Untuk informasi lebih lanjut tentang nilai parameter ini, lihat Perzan et al pengaruh dominan pada efisiensi pengisian ulang, kami menggunakan model resistivitas listrik bawah permukaan yang diperoleh dari survei penarik transien elektromagnetik (tTEM) di lokasi. Sistem tTEM adalah alat hidrofisika yang dapat memetakan variasi resistivitas listrik meter demi meter, sebuah properti secara langsung terkait dengan litologi sedimen) untuk membuat model resistivitas yang diperoleh dari tTEM untuk 600 grid. Distribusi vertikal resistivitas listrik kemudian dibandingkan dengan distribusi jenis sedimen yang dikumpulkan dengan uji penetrasi kerucut. Menggunakan prosedur bootstrapping dari Knight et al. Asumsikan sisa sedimen di dalam sel berbutir halus (lanau dan tanah liat). Misalnya, sel dengan kekasaran 0, 5 adalah 50% material kasar (100% pasir, 100% kerikil, atau kombinasi keduanya) dan 50% material halus (kombinasi lanau dan tanah liat). Untuk menetapkan parameter hidrogeologi (permeabilitas, porositas, dll.) pada setiap fraksi berbutir kasar, hanya dua jenis sedimen (fraksi berbutir kasar dan fraksi berbutir halus) yang ada di satu area realisasi, dan masing-masing Asumsikan bahwa sel merupakan campuran dari dua jenis. Kami kemudian mengambil sampel dari distribusi yang luas untuk menetapkan nilai parameter ke setiap anggota akhir, dan menggunakan prosedur rata-rata tertimbang untuk menghitung nilai sel dengan campuran dua anggota akhir. Distribusi parameter masukan diperoleh dari kombinasi literatur dan data spesifik lokasi. Untuk rincian nilai parameter ini, lihat Perzan dkk. Kami melakukan parameterisasi area tersebut menggunakan model resistivitas listrik bawah permukaan yang diperoleh dari survei towed transient electromagnet (tTEM) di lokasi tersebut, suatu properti yang berhubungan langsung dengan litologi endapan alat hidrofisika yang dapat memetakan perubahan resistivitas listrik dalam satuan meter. Pertama, model resistivitas yang diperoleh dari tTEM dibuat untuk 600 grid menggunakan simulasi Gaussian sekuensial (metode stokastik). dengan uji penetrasi kerucut menggunakan prosedur bootstrapping Knight et al. (2018) secara kasar dalam setiap sel grid. Ubah setiap realisasi resistivitas menjadi realisasi fraksi berbutir kasar, yang merupakan metrik yang menggambarkan proporsi sedimen berbutir (pasir dan kerikil). . Sedimen yang tersisa di dalam sel berbutir halus (lanau dan tanah liat). Misalnya, sel dengan kekasaran 0, 5 memiliki 50% material kasar (100% pasir, 100% kerikil, atau kombinasi keduanya) dan 50% material kasar. % material halus (lanau dan tanah liat). Untuk menentukan parameter hidrogeologi (permeabilitas, porositas, dll.) pada setiap fraksi berbutir kasar, hanya dua jenis sedimen (fraksi berbutir kasar dan fraksi berbutir halus) yang digunakan dalam satu fraksi. area realisasi., dan setiap sel adalah campuran dari dua jenis. Selanjutnya, kami mengambil sampel dari distribusi yang luas untuk menetapkan nilai parameter ke setiap anggota akhir, dan menghitung nilai untuk sel dengan campuran dua anggota akhir prosedur rata-rata untuk tujuan ini. Distribusi parameter masukan diperoleh dari kombinasi literatur dan data spesifik lokasi. Rincian lebih lanjut tentang nilai parameter ini dapat ditemukan di Perzan et al.
Setiap simulasi MAR terdiri dari tiga tahap berturut-turut. Pada Tahap 1, gaya pengisian ulang yang konstan sama dengan pengisian ulang alami jangka panjang diterapkan ke bagian atas domain selama 160. 000 hari (~serupa dengan sim~440 tahun), yang merupakan waktu yang cukup bagi setiap simulasi untuk mencapai kondisi tunak . Menerapkan. Langkah kedua menerapkan cuaca selama setahun dan tekanan irigasi diukur setiap jam di Lembah Tengah bagian selatan. Kedua tahap spin-up ini menginisialisasi kandungan air di zona badoz dan menetapkan profil kelembaban tanah yang realistis sebelum menerapkan pengisian ulang. Terakhir, pada tahap 3, kebun dibanjiri dengan 0, 8 m x 0, 8 m 0, 8textmathrm start_ARG 0, 8 end_ARG start_ARG kali end_ARG start_ARG roman_m end_ARG, periode tergenang dan tidak tergenang secara bergantian (1, 4, 8, atau 16 kali diterapkan dalam pengisian ulang terpisah). acara) untuk mensimulasikan pengisian ulang. Terapkan tekanan meteorologi dan irigasi ke wilayah atas selama peristiwa banjir.
Saat setiap simulasi menyelesaikan ketiga tahap, kami menghitung peningkatan penyimpanan zona saturasi yang disebabkan oleh MAR. Setiap simulasi terdiri dari input statis temporal dan variabel spasial (misalnya, input variabel spasial statis temporal (misalnya, 120 × 80 × 25). Jumlah langkah waktu keluaran diperoleh dari kombinasi bidang porositas 3D atau konduktivitas hidrolik jenuh diwakili oleh grid ortogonal) dan input yang bervariasi secara temporal dan seragam secara spasial (misalnya suhu sekitar) Resolusi waktu lebih baik tergantung pada tahapan, dengan tahap 1 mengeluarkan bidang tekanan setiap 1000 hari (160 langkah waktu keluaran) dan tahap 2 mengeluarkan keluaran. bidang tekanan setiap 2 hari (183 langkah waktu keluaran), Tahap 3 mengeluarkan bidang tekanan setiap 2 hari (366 langkah waktu keluaran). bidang tekanan. Perhatikan bahwa ini tidak mencerminkan resolusi temporal pemecah. Dari bidang tekanan transien tiga dimensi ini, keadaan sistem lainnya (misalnya, kandungan air dalam setiap sel grid) dapat dihitung dan volume penyimpanan zona jenuh dihitung mengubah.
Pada fase pertama dari kerangka kerja yang diusulkan (§2. 1), simulasi awal dihasilkan menggunakan model kalimat air berbasis proses, dan model Salogate ML dipelajari menggunakannya. Dalam studi kasus ini, simulasi berbasis proses dilakukan dengan menggunakan Parflow-CLM. Parflow-CLM menggabungkan Parflow Kode Air Terpadu dan Model Tanah Umum (CLM) untuk menyelesaikan persamaan identifikasi yang sama yang menggambarkan fluks di tanah dan air bawah tanah dan bawah tanah. Parflow menggunakan Proach Newton-Croov untuk menyelesaikan persamaan ritual bawah tanah jenuh variabel, dan menggunakan gelombang atletik … Di sisi lain, CLM menggunakan pendekatan pergerakan zat untuk menghitung fluks air dan energi pada permukaan tanah, seperti irigasi, mengukus, dan curah hujan (Maxwell dan Miller, 2005; Kollet dan Maxwell, 2008). Untuk secara akurat mensimulasikan dampak suhu siang hari dan fluktuasi pada fluks air pada permukaan tanah, Parflow-CLM dieksekusi setiap jam di tahap 2 dan 3. Untuk perincian tentang persamaan dominasi, silakan merujuk pada penelitian sebelumnya yang menggambarkan Parflow-CLM (Jones dan Woodward, 2001; Ashby dan Falgout, 1996; Kollet dan Maxwell, 2006; Maxwell LL dan Miller, 2005; Kollet dan Maxwell, 2008) .
Gambar 2: Penjelasan tiga jenis arsitektur model ML dibandingkan dalam penelitian ini. Setiap kubus biru mewakili satu tensor tiga dimensi. Model no n-intercourse (a) menerima input 4D (x, y, z, waktu) dan menghasilkan semua area tekanan waktu dari semua langkah waktu dengan lulus maju tunggal. Model satu langkah (b) mensimulasikan satu langkah waktu untuk setiap umpan maju, dan kemajuan saat menggunakan output dari langkah sebelumnya sebagai langkah selanjutnya dalam input. Model berulang (C) menggunakan prosedur yang sama sebagai model sat u-langkah, kecuali untuk sel memori yang memiliki keadaan tersembunyi antara umpan depan.
Tahap kedua (§2. 1) dari kerangka kerja hibrid ini adalah melatih pengganti ML pada rangkaian simulasi awal yang dihasilkan oleh model berbasis proses. Kami mengevaluasi total performa tujuh arsitektur model pengganti pembelajaran mesin yang berbeda. Arsitektur ini mencakup jaringan berulang dan jaringan jalan raya yang dikembangkan untuk prediksi spatiotemporal (Wang et al., 2018), transformator visual (Dosovitskiy et al., 2021), jaringan saraf konvolusional, dan transformasi Fourier. Ini mencakup jaringan berpasangan berbentuk U (Wen et al ., 2022; Zhou dkk., 2022; Kang dkk., 2023). Kami memilih arsitektur ini karena beberapa di antaranya telah berhasil diterapkan dalam studi pemodelan pengganti hidrologi sebelumnya (Tran et al.
Arsitektur pengganti ML dapat diklasifikasikan menjadi tiga jenis berdasarkan metode prediksinya (Tabel 1, Gambar 2). Pertama, model non-sekuensial mengemulasi seluruh simulasi dalam satu lintasan maju (yaitu, emulator menghasilkan bidang tekanan 3D untuk semua langkah waktu keluaran dalam satu kali pengoperasian model). Sebaliknya, model satu langkah mengemulasikan satu langkah waktu keluaran (menghasilkan bidang tekanan 3D tunggal) per lintasan maju. Model ini melakukan gerakan maju lainnya menggunakan keluaran langkah waktu sebelumnya dan mengulanginya hingga semua bidang tekanan 3D dihasilkan. Terakhir, model berulang mirip dengan model satu langkah karena model tersebut meniru satu langkah waktu keluaran per lintasan maju. Namun, karena sel memori digunakan untuk mempertahankan keadaan tersembunyi di antara lintasan maju, informasi dapat disimpan di antara langkah waktu keluaran. Seperti disebutkan di atas, frekuensi keluaran bervariasi antar tahapan model (lihat 2. 2). Sebagian besar arsitektur ML memerlukan tensor masukan bentuk yang konsisten di semua contoh pelatihan, sehingga arsitektur tersebut melatih pengganti terpisah untuk setiap tahap model. Ikhtisar model ML ditunjukkan di bawah ini, namun silakan merujuk ke materi tambahan (Bagian S1. 1) untuk detailnya.
Gambar 3: Alur kerja untuk melatih autoencoder (a) dan kemudian menggunakan autoencoder untuk melatih model pengganti (b).
Bagian ini menjelaskan pengaturan pelatihan yang digunakan untuk semua model pengganti, perangkat keras yang digunakan untuk menghitung efisiensi komputasi, dan kriteria evaluasi yang digunakan untuk mengukur kinerja model.
Setiap model menggunakan optimasi Adam (Kingma dan BA, 2015) untuk mempelajari sekitar 150 150 150 zaman dengan tingkat pembelajaran 0, 0001 0, 0001 0, 0001 0, 0001 0, 0001. Untuk kendala memori GPU, ukuran batch terbatas pada 1 1 1 1. Mengadopsi fungsi kehilangan L2 normalisasi:
Here, Y_ Italic_postsubscript Italic_i End_postSubscript is a grand trouser output for the number of learning cases. X Start_postsubscript Italic_i End_postSubscript is an i 𝑖 iTALIC_I number learning example Input, h (x I) ↪ 𝑖 𝑖 h (x_) Italic_h (italic_postsubscript italic_postsubscript) is output prediktif, w 𝑤 w 𝑤 w 𝑤 tentukan putaran, ｜ | Alasan untuk memilih fungsi kerugian reguler ini adalah bahwa itu sangat efektif ketika data besar, dan penelitian sebelumnya tentang pemodelan salogat sastra air menunjukkan bahwa konvergensi lebih cepat daripada kehilangan L1. , 2022). Karena efisiensi manajemen dari lapisan air yang terkontrol sangat didominasi oleh proses tak jenuh (Perzan et al., 2023), secara akurat mensimulasikan perubahan tekanan di zona badde adalah kedalaman zona jenuh. Oleh karena itu, kami mendefinisikan berat w 𝑤 w italic_w sehingga kesalahan tekanan yang lebih dekat ke permukaan lebih parah daripada bagian dalam (Gbr. S3).
Untuk menguji dampak pemilihan fungsi kerugian pada kinerja model, tambahkan CNN3D salogate dalam simulasi tahap 1 menggunakan kesalahan bilateral rat a-rata (yaitu, dua molekul Persamaan 2). Karena pembatasan perhitungan, tidak mungkin untuk melatih duplikasi setiap arsitektur Salogate menggunakan kesalahan bilateral rat a-rata, jadi kami hanya membandingkan dengan CNN3D, yang merupakan waktu pelatihan tercepat.
Kami menggunakan pemisahan pengujian-validasi-pelatihan 80%-10%-10% (217-28-28) secara acak, dan semua metrik kinerja dilaporkan berdasarkan set pengujian kecuali dinyatakan lain. Fitur dan label dinormalisasi menggunakan nilai minimum dan maksimum masing-masing pada set pelatihan. Tujuan dari normalisasi semua pemisahan dengan nilai minimum dan maksimum dari set pelatihan adalah untuk mencegah bias dalam validasi dan hasil pengujian yang disebabkan oleh distribusi informasi dari satu set ke set lainnya. Untuk mengevaluasi pengaruh normalisasi data pada akurasi model ML, kami melatih dua model CNN3d tahap 1 tambahan: satu dengan normalisasi skor Z dan satu lagi tanpa normalisasi data. Seperti disebutkan di atas, CNN3d memiliki waktu pelatihan yang singkat, sehingga pengujian ini hanya dilakukan dengan CNN3d.
Semua model ML dilatih pada satu unit pemrosesan grafis (GPU) NVIDIA A100 Tensor Core dengan memori 80 GB. Semua simulasi ParFlow-CLM dilakukan pada unit pemrosesan pusat (CPU) AMD Epyc 7543. Bergantung pada tahapan model, simulasi ParFlow-CLM dijalankan dengan peringkat 4MPI dengan 1 inti CPU per peringkat (Tahap 1 dan Tahap 3) atau peringkat 6MPI dengan 1 inti CPU per peringkat (Tahap 2).
Rata-rata persentase kesalahan absolut (MAPE) antara rangkaian waktu head tekanan yang diprediksi dan rangkaian waktu head tekanan kebenaran dasar (ParFlow-CLM) digunakan untuk mengevaluasi setiap model pengganti untuk setiap sel. Karena kami melatih pengganti yang berbeda pada setiap tahap pemodelan, kami melaporkan nilai MAPE yang berbeda pada setiap tahap. Mirip dengan fungsi kerugian, MAPE diberi bobot berdasarkan kedalaman untuk memastikan bahwa kinerja setiap model secara akurat mencerminkan kemampuannya untuk mensimulasikan aliran di zona Badoz ( Gambar S3 ). Selain itu, keluaran head tekanan akhir oleh pengganti tahap 1 menjadi head tekanan awal (bidang 16 pada Tabel 2. 5) yang digunakan dalam model pengganti tahap 2, dan keluaran head tekanan akhir tahap 2 menjadi head tekanan awal tahap 3. Kami juga mengevaluasi kinerja model ketika setiap pengganti dijalankan secara berurutan di ketiga tahap, sehingga Metode ini disebut evaluasi end-to-end (E2E). E2E memberikan evaluasi kinerja pengganti yang lebih realistis dalam aplikasi dunia nyata.
Untuk melatih Salogat ML yang akurat, Anda memerlukan set pelatihan yang cukup besar, tetapi pada satu titik, biaya meningkatkan ukuran set pelatihan dapat melebihi laba dengan meningkatkan kinerja prediksi. Untuk mengevaluasi hubungan ini dan memperkirakan jumlah minimum simulasi berbasis proses yang diperlukan untuk melatih salogat yang akurat, kami akan melatih beberapa versi dari setiap model sarogat Tahap 1 menggunakan set pelatihan yang lebih kecil. Selain 245 kasus ukuran pelatihan yang ditetapkan dari garis dasar yang digunakan untuk pelatihan (pelatihan dan verifikasi hingga 217-28), set tes dipertahankan dalam 28 kasus, sedangkan set pelatihan ukuran 196 (divisi 174-22), 147. Contoh (130-17), 98 kasus (87-11), 49 kasus (43-6), 25 kasus (22-3), 13 kasus (11-2), 8 kasus (7-1), 5 kasus ( 7-1) 4-1) Gunakan 3 kasus (2-1). Karena model ML biasanya menunjukkan hubungan antara kesalahan model dan ukuran set pelatihan (Hestness et al, 2017), kami menerapkan fungsi naik ke data ini (y = a m b 𝑦 𝑎 superscript 𝑚 y = am ^ italic_y = italic_m start_postsuperscript italic_b End_postsuperscript, m ↪ll_1d45a adalah jumlah contoh pelatihan, y 𝑦 ytalic_y adalah pengumpulan tes, ᵄ atalic_a dan b 𝑏 b Italic_b adalah koefisien regresi). Akhirnya, a m b 𝑎 𝑚 𝑚 italic_a italic_m start_postsuperscript italic_b end_postsuperscript berbeda, m 𝑚 m-ititalc_m 𝑏 1 abm^ italic_a italic_b Italic_m start_po
Selain evaluasi akurasi model ML, alur kerja pemodelan hibrida ini mengukur total waktu perhitungan yang diperlukan untuk menghasilkan simulasi. Waktu eksekusi model sangat bergantung pada perangkat keras yang dapat dieksekusi, jadi ketika mengevaluasi waktu eksekusi model, secara ketat mengikuti lingkungan perangkat keras yang dijelaskan dalam §2. 6. 2. Untuk menyederhanakan analisis dan meminimalkan pelatihan tambahan, bagian ini hanya mengambil model yang dilatih dalam simulasi Tahap 1.
Pertama, gunakan model kalimat air berbasis pemrosesan Parflow-Clm untuk menentukan waktu yang diperlukan untuk menghasilkan simulasi tahap 1 n 𝑁 N sebagai berikut, dan melakukan tolok ukur runtime.
| T PF = N t PF , subskrip 𝑇 PF T_& gt;=Nt_& gt;, miring_T start_POSTSUBSCRIPT PF end_POSTSUBSCRIPT = miring_N miring_t start_POSTSUBSCRIPT PF end_POSTSUBSCRIPT , | (3) |
Di sini, subskrip t PF 𝑡 PF t_& gt; italic_t start_POSTSUBSCRIPT PF end_POSTSUBSCRIPT adalah waktu CPU yang diperlukan ParFlow-CLM untuk menghasilkan satu simulasi Tahap 1 (yaitu, waktu CPU yang digunakan untuk simulasi paralel selama waktu jam dinding (waktu dikalikan). dengan jumlah inti). Waktu proses bervariasi tergantung pada simulasi stokastik ParFlow-CLM (1, 07-19, 37 waktu CPU untuk simulasi Tahap 1), namun di sini kita mengambil waktu proses rata-rata dari semua simulasi Tahap 1 (waktu CPU 4, 17) sebagai subskrip t PF 𝑡 PF t_& gt; PF Hitung end_POSTSUBSCRIPT.
Selain itu, dengan menggunakan model ML, atur jumlah jam GPU yang diperlukan untuk menghasilkan simulasi N 𝑁 N italic_N Tahap 1 sebagai berikut.
dimana T train subscript 𝑇 train T_& gt; italic_T start_POSTSUBSCRIPT train end_POSTSUBSCRIPT menunjukkan waktu pelatihan yang diperlukan untuk mencapai MAPE minimum pada set validasi, dan t ML subscript 𝑡 ML t_& gt; igraphic_D start_POSTSUBSCRIPT kereta end_POSTSUBSCRIPT adalah waktu yang dibutuhkan model ML untuk mencapai MAPE kurang dari 10 %% 10 %% Mewakili ukuran set pelatihan minimum. Karena perbedaan dalam setiap arsitektur model pengganti, ukuran set pelatihan minimum (𝒟 train subscript 𝒟 caligraphic_D start_POSTSUBSCRIPT train end_POSTSUBSCRIPT ) berbeda untuk setiap model. Untuk menemukan nilai ini, kami menggunakan pendekatan pencarian biner untuk melatih beberapa versi dari setiap model pengganti sambil memvariasikan ukuran set pelatihan. Set pengujian (28 simulasi) dijaga konstan selama langkah ini dan digunakan untuk mengevaluasi model, memastikan bahwa model tersebut berada di bawah ambang batas MAPE sebesar 10% persen. Selanjutnya, kita menghitung 𝒟 train subscript 𝒟 caligraphic_D start_POSTSUBSCRIPT train end_POSTSUBSCRIPT sebagai set pelatihan minimum sehingga MAPE set pengujian kurang dari atau sama dengan 10%. Namun, 𝒟 subskrip kereta 𝒟 caligraphic_D_D start_POSTSUBSCRIPT train end_POSTSUBSCRIPT mencakup contoh pelatihan dan validasi, dan MAPE set pengujian adalah 80%.
8 9 Berlangganan 𝒟 Kereta 𝒟<8>\Start_ARG 8 End_ARG Start_ARG 9 End_ARG ⋅ caligraphic_D start_POSTSUBSCRIPT train Verifikasi menggunakan contoh end_POSTSUBSCRIPT dan 1 9 ⋅ 𝒟 train ⋅.
1 9 subskrip 𝒟 kereta 𝒟<1>\Start_ARG 1 End_ARG Start_ARG 9 End_ARG ⋅ caligraphic_D start_POSTSUBSCRIPT train end_POSTSUBSCRIPT Verifikasi menggunakan contoh.
Mengingat set pelatihan dihasilkan oleh model berbasis proses, total waktu komputasi yang digunakan untuk menghasilkan simulasi N ᵁ N italic_N dalam alur kerja hibrid ini mencakup Persamaan 4 dan waktu untuk menghasilkan set pelatihan.
| T set pelatihan = ᵉ latih ⋅ t PF . subskrip 𝑇 set pelatihan ⋅ subskrip 𝒟 latih subskrip 𝑡 PF T_& gt;=𝑡 PF T_& gt;. italic_T start_POSTSUBSCRIPT set pelatihan end_POSTSUBSCRIPT = kaligrafi_D start_POSTSUBSCRIPT latih akhir_POSTSUBSCRIPT ⋅ miring_ t start_POSTSUBSCRIPT PF end_POSTSUBSCRIPT . | (5) |
Karena model ML dan model hidrologi berbasis proses dijalankan pada jenis prosesor yang berbeda, Persamaan 3, 4, dan 5 memiliki satuan yang berbeda (CPU-, GPU-, dan CPU-time). Bergantung pada sumber daya komputasi yang tersedia untuk masing-masing pemodel, unit-unit ini mungkin tidak setara. Namun demikian, penting untuk membandingkan waktu komputasi ini untuk menilai efisiensi model pengganti tertentu dibandingkan model berbasis proses tradisional. Dengan asumsi bahwa 1 jam GPU = 1 jam CPU 1 jam GPU 1 jam CPU 1 jam GPU = 1 jam CPU, waktu komputasi yang dihemat menggunakan alur kerja pemodelan hibrid ini adalah: Dihitung hingga.
di mana T menyimpan subskrip 𝑇 disimpan T_& gt; italic_T start_POSTSUBSCRIPT disimpan end_POSTSUBSCRIPT adalah waktu prosesor pada umumnya. Suku kemiringan pada Persamaan 6 menunjukkan bahwa waktu yang dihemat dengan menggunakan model pengganti ML lebih signifikan dibandingkan t PF subskrip 𝑡 PF t_& gt; italic_t start_POSTSUBSCRIPT PF end_POSTSUBSCRIPT Hal ini terlihat ketika nilainya rendah. Selain itu, istilah intersep menunjukkan bahwa, seperti yang diharapkan, penghematan waktu dimulai lebih awal, yaitu pada nilai N 𝑁 N italic_N yang kecil, ketika set pelatihan yang diperlukan kecil dan waktu pelatihan singkat.
Singkatnya, kami melatih enam kelompok model pengganti yang berbeda, masing-masing untuk eksperimen numerik yang berbeda:
CNN4D, U-FNO4D, CNN3D, VIT3D, U-FNO3D, PredRNN ++ (2, 4 ayat) berlatih dengan Tahap 1, Tahap 2, Tahap 3. Del Train. Juga, pelajari encoder otomatis untuk semua model Tahap 3. Ini adalah total 22 model pembelajaran.
Gunakan metode regularisasi data alternatif (§2. 6. 1) untuk melatih dua model CNN3D tahap 1 lagi. Salah satu model tambahan tidak menggunakan normalisasi data, dan yang lainnya adalah normalisasi z-score. Model CNN3D Tahap 1 dipilih dari tahap lain dan model untuk efisiensi pembelajaran dan evaluasi.
Menggunakan kombinasi fungsi kerugian dan regularisasi data, pelatihan tambahan dari enam tahap 1 model CNN3D dilatih (§2. 6. 1). Model CNN3D menggunakan kerugian Normalisasi L2 dan nilai minimum, skor Z, dan tidak ada normalisasi, dan tiga model CNN3D menggunakan kerugian kesalahan rat a-rat a-Double, minimum, skor z, dan normalisasi data.
Untuk mengevaluasi efek dari ukuran set pelatihan pada keakuratan model, seperti yang dijelaskan dalam Bagian 2. 6. 3, kami akan melatih semua tujuh model ML dalam sembilan tahap yang lebih kecil. Dalam percobaan ini, total 63 model yang dipelajari termasuk.
Untuk mengevaluasi efisiensi runtime dari model ML, ketujuh model ML mengubah ukuran set pelatihan Tahap 1, pelatihan ulang, dan temukan ukuran pelatihan terkecil untuk mencapainya.< < < 10% test MAPE. The number of models trained at this stage varies according to the efficiency of the search algorithm and the test MAPE results from previous experiments but ranged from 2 to 7 across the seven architectures. We then compare the runtimes of the seven models trained on their respective minimum Stage 1 training sets with the procedure described in §2.6.4 .
Kerangka pemodelan hibrida yang menyeimbangkan kecepatan dan akurasi mencapai keuntungan waktu eksekusi sambil meminimalkan akurasi perdaganga n-off. Dalam Bagian 3. 1, ukuran set pelatihan dan normalisasi akurasi model akurasi model dan stabilitas pelatihan menunjukkan akurasi prediksi setiap model ML saat pelatihan dengan pelatihan lengkap yang ditetapkan terlebih dahulu. Bagian 3. 2 membandingkan efisiensi perhitungan masin g-masing ML Salogate dengan pendekatan garis dasar yang hanya tergantung pada model kalimat air berbasis proses. Akhirnya, diskusikan pentingnya dan masalah interpretasi model (§3. 3), dan batas potensial (§3. 4) dari kerangka kerja ini.
Setiap model Salogate ML menciptakan bidang tekanan yang sama visual dengan yang dihasilkan oleh model kalimat air berbasis proses. Sebagai contoh, membandingkan Parflow dan PredRNN ++, dapat dilihat bahwa kedua model menghasilkan bentuk yang sama dari garis depan yang tidak berpengalaman selama tahap 1 (Gbr. 4), dan nilai tekanan di bawah bagian depan meningkat secara monoton. Ketika kesalahan absolut antara dua model antara kedua model diplot, perbedaannya adalah yang terbesar di dekat bagian depan basah (Gbr. 4 C). Namun, perbedaan tekanan absolut umumnya beberapa meter atau kurang, dan merupakan rentang yang masuk akal mengingat kemiringan renang dinamis yang cepat yang terjadi di dekat garis depan yang diresapi dan kelembaban.
Secara keseluruhan, Tahap 1 adalah yang terbesar untuk kesalahan prediksi, dan rat a-rata MAPE untuk semua model ML adalah 5, 6%, sedangkan tahap 2 dan 3 masin g-masing adalah 0, 13%dan 0, 42%. Pekerjaan pemodelan sebelumnya di situs ini menunjukkan bahwa efisiensi budidaya lapisan OBI yang dikendalikan adalah yang paling dikendalikan oleh kadar air zona Badde sebelum banjir (Perzan et al. Tahap 2 dan tahap 3). Kesalahan model kecil adalah bahwa tahap 2 dan Tahap 3 disediakan sebagai situs kepala tekanan awal selama pelatihan, dengan kebenaran di tanah output oleh Parflow-CLM di akhir tahap 1 dan tahap 2, masing-masing.
Atau, skala tinggi tahap 1 mungkin disebabkan oleh skala besar (§2. 2 dan 2. 5. 3). Tahap 2 dan tahap 3 masin g-masing adalah satu dan dua tahun, sedangkan tahap 1 telah lebih dari 400 tahun, dan perubahan tekanan antar output lebih dramatis. Perubahan kepala tekanan pada skala waktu yang besar lebih sulit dipelajari daripada perubahan yang lebih kecil, lebih progresif, dan mungkin menjadi salah satu penurunan kinerja model tahap satu.
Di sisi lain, prediksi E2E (ujung ke ujung) tidak menerima medan tekanan tanah antara tahapan, dan tekanan yang diprediksi pada akhir tahap tertentu digunakan sebagai input ML Salogate pada tahap berikutnya . Secara keseluruhan, peta prediksi E2E biasanya lebih rendah dari tahap 1 dan hampir sama dengan tahap 3 (Gbr. 5). Alasan mengapa kesalahan Tahap 3 dan E2E serupa mungkin karena kesalahan E2E sam a-sama rat a-rata di seluruh urutan kronologis, dan Tahap 3 memiliki langkah waktu terbanyak. Baik CNN3D dan CNN4D menunjukkan E2E MAPE lebih tinggi dari 1%, meningkat 3, 1 x 3, 1 waktu 3, 1 ×, 6, 6 × 6, 6 kali 6, 6 × dibandingkan dengan stadium 3 MAPE. Gambar 6 Merencanakan E2E Mape untuk setiap langkah waktu, menunjukkan bahwa CNN3D dan CNN4D memiliki langkah waktu tertinggi dalam model lain dari Tahap 3. Ukuran MAPE tahap 3 dalam evaluasi E2E dan MAPE Tahap 3 dapat menunjukkan bahwa baik CNN3D dan CNN4D sangat tergantung pada kepala tekanan awal pada awal tahap model. Karena kurva dari semua model lain melacak bentuk yang sama, disarankan bahwa mode l-model ini mungkin telah mempelajari pola yang sama dalam data Tahap 3, menghasilkan akurasi yang sama.
Sejalan dengan hasil bagian ini, model gerbang ML Salo menunjukkan bahwa ia dapat mensimulasikan aliran air tanah jenuh yang berfluktuasi dengan akurasi yang sama dengan model kalimat air berbasis proses, yang dapat direalisasikan dengan menerapkan kerangka pemodelan hibrida untuk kasus ini belajar.
PredRNN ++ memiliki kesalahan E2E terkecil, sedangkan sensitivitas untuk ukuran set pembelajaran adalah yang kedua. Gambar 7 menunjukkan bahwa model ML umumnya menunjukkan hubungan antara ukuran set pelatihan dan MAPE, yang khas untuk sebagian besar arsitektur pembelajaran yang mendalam (Hestness et al. Ini menunjukkan bahwa jika ukuran set pelatihan diperbesar di luar titik tertentu, pengurangan Panen akan dikurangi secara detail.
𝑑 mape 𝑑 𝑑 (m) Divide start_arg_d mape end_arg start_arg start_arg Italic_d Italic_m end_arg (Italic_m)). D mape d m (m)
MAPE PredRNN++ secara konsisten mendekati 0, dan MAPE ~5% dapat dicapai hanya dengan 25 contoh pelatihan (Gambar 7). Faktanya, dari 50 hingga 100 contoh pelatihan, hampir semua model menunjukkan nilai MAPE yang cukup konsisten. Meskipun model yang ditunjukkan pada Gambar 5 dilatih pada 245 contoh (pelatihan dan validasi dibagi 217-28), hasil ini menunjukkan bahwa praktisi di masa depan dapat mencapai kinerja serupa dengan melatih lebih sedikit contoh. Namun, hubungan antara ukuran set pelatihan dan MAPE sangat bergantung pada masalah spesifik yang menjadi perhatian, sehingga praktisi harus berhati-hati saat memperluas hasil ini ke lokasi lain dan skenario lain di masa mendatang.
Gambar 7: Rata-rata persentase kesalahan absolut (MAPE) pada prediksi tekanan tinggi yang dicapai oleh model yang dilatih pada set pelatihan dengan ukuran berbeda (a) dan perubahan MAPE per unit peningkatan ukuran set pelatihan (b). Titik-titik pada (a) mewakili MAPE dari setiap model yang dilatih, dan garis putus-putus menunjukkan hubungan hukum pangkat yang paling sesuai. Garis pada (b) dihitung sebagai kemiringan hubungan kekuasaan ini.
Normalisasi data min-maks dan fungsi kerugian yang dinormalisasi (§2. 6. 1) meningkatkan performa model, menurunkan MAPE, dan menghasilkan proses pembelajaran yang lebih stabil. Saat dilatih pada kumpulan data tahap 1 yang dinormalisasi dengan prosedur min-max, CNN3d mencapai 4, 8% MAPE, yang merupakan urutan besarnya lebih rendah dari CNN3d yang dilatih tanpa normalisasi (48, 9% MAPE), dan Z 3 kali lebih rendah dari model yang dilatih pada kumpulan data yang dinormalisasi skor (15, 3% MAPE; Gambar 8). Peningkatan kinerja ini disebabkan oleh variasi dalam kumpulan data masukan (Tabel 2. 5), yang berisi fitur-fitur yang mencakup beberapa kali lipat. Dalam kasus ini, normalisasi meningkatkan akurasi dengan membatasi fitur ke rentang yang konsisten. Selain itu, beberapa fitur masukan belum tentu terdistribusi secara normal. Normalisasi min-maks mempertahankan informasi distribusi, berbeda dengan normalisasi skor Z, yang menstandarkan setiap fitur masukan ke rata-rata 0 dan deviasi standar 1, sehingga memberikan informasi distribusi ini ke setiap model ML, dan akurasi model dapat ditingkatkan .
Sementara keakuratan model ditingkatkan dengan menormalkan data input, normalisasi kehilangan meningkatkan stabilitas pelatihan. Membandingkan MAPE dalam verifikasi yang ditetapkan atas semua zaman pelatihan, dapat dilihat bahwa penggunaan kerugian yang dinormalisasi umumnya mengurangi jumlah paku dalam MAPE. Ini menunjukkan bahwa kerugian yang dinormalisasi memungkinkan konvergensi pelatihan yang lebih stabil dan andal. Salah satu alasan mengapa normalisasi kehilangan memiliki dampak yang signifikan dalam hal ini adalah bahwa ukuran batch lebih kecil. Namun, jika ukuran batch kecil, kemiringan dihitung untuk contoh yang lebih kecil (dalam hal ini dalam hal ini, satu contoh), sehingga menjadi kurva kehilangan yang bising, dan kemungkinan bahwa gradien jatuh akan ditumpuk dengan minimum lokal 。 Normalisasi kerugian dapat membantu Anda mengimbangi kelemahan ini dengan membuat gradien ukuran yang konsisten di seluruh set pelatihan. Efek ini menunjukkan bahwa ini adalah model yang paling menonjol yang menggunakan normalisasi data apa pun atau normalisasi dat a-skor e-z, dan bahwa normalisasi kerugian adalah model yang paling efektif dengan normalisasi data yang tidak memadai.
Berdasarkan pembatasan perhitungan, analisis ini dilakukan hanya pada CNN3D. CNN3D memiliki lapisan regularisasi batch yang meningkatkan stabilitas pembelajaran, tetapi tidak dimasukkan dalam sebagian besar arsitektur lainnya. Secara keseluruhan, hasil ini menekankan bahwa normalisasi data dan normalisasi kehilangan penting dalam meningkatkan kinerja dan stabilitas pembelajaran model kalimat air.
Gambar 8: Tes set MAPE (b) pada Tahap 1 CNN3D Model Test Set Mape (A) dan model CNN3D tahap 1 yang dipelajari menggunakan berbagai fungsi kerugian yang dipelajari dalam berbagai kondisi regularisasi data. Normalisasi data minimum-maksimum berguna untuk mencapai MAPE yang lebih rendah, dan kehilangan normalisasi dapat digunakan untuk mencapai pembelajaran yang lebih stabil.
Setiap model gerbang ML Salo meningkatkan keakuratan model dengan menormalkan data input< < < 10 % percent 10 10\% 10 % MAPE, the models vary widely in the amount of time and memory they require to produce simulations. One attribute they share, however, is that all ML surrogate models offer significant runtime advantages over the process-based hydrologic model (Figure 9 ). Figure 9 reveals positive slopes across all lines. Recall that the slope for these plots are calculated as the difference in time taken by ParFlow-CLM and the ML model in generating a single Stage 1 simulation (Equation 6 ). All lines appear to exhibit identical slopes because each ML surrogate outputs simulations orders of magnitude faster than the process-based hydrologic model ( t PF = subscript 𝑡 PF absent t_>= Italic_t start_postsubscript pf end_postsubscript = 15. 017 cp u-detik/simulasi); Namun demikian, kecenderungan positif dalam semua baris berarti bahwa ketujuh model ML menghasilkan simulasi lebih cepat dari Parflow-CLM. Vit4D adalah yang paling curam dan menghasilkan simulasi tercepat (T mL = 0, 115 subskrip 𝑡 ml 0, 115 t_ & gt; = 0, 115 italic_t start_postscript ml pt = 0, 115 GPU detik/simulasi) Karena ukuran set yang besar, pengurangan waktu Vit4D muncul setelah 246 simulasi. X-𝑥 x-ititalc_ x-interceps diteliti bahwa enam dari tujuh model ml memiliki waktu eksekusi yang lebih baik daripada parflo w-clm ketika jumlah output simulasi sekecil 17. Tabel 2 menunjukkan tinjauan terperinci dari semua pengukuran waktu dan termasuk nilai yang jelas dari 𝒟 Subskrip Kereta 𝒟 Kereta 𝒟 Caligraphic_D StartubScript kereta end_postsubscript.< 10 % absent percent 10
Mempertimbangkan waktu belajar dan waktu simulasi ke depan, U-FNO4D adalah model ML yang paling efisien. Waktu prosesor yang diperlukan untuk U-FNO4D untuk mengeksekusi 500 kali adalah 13, 1 jam (total persamaan 4 dan persamaan 5), sedangkan predrnn ++, model ML paling efisien kedua, adalah 13, 3 jam. Waktu perhitungan ini lebih kecil dari waktu yang dibutuhkan untuk menghasilkan 500 simulasi hanya di Parflow-CLM (waktu prosesor 2090). Seperti yang ditunjukkan pada Gambar. 9, kerangka hibrida ini memiliki keuntungan konkret yang melampaui pendekatan sederhana yang hanya bergantung pada parflow-Clm. Kami percaya bahwa meningkatkan kecepatan perhitungan ini disebabkan oleh dua faktor. Pertama, Parflow-CLM menggunakan Newton-Crilov-Proch yang berulang untuk menyelesaikan sistem koalisi yang setara dengan pembukaan unilateral nonlinier pada setiap langkah waktu. ML Salogate hanya membutuhkan perhitungan tetap yang ditentukan oleh arsitektur model dan berat model. Kedua, karena sifatnya yang digerakkan oleh data, model Salogate ML dapat mengambil langkah waktu yang besar tanpa merusak konvergensi, tetapi Parflow-Clm adalah permukaan tanah yang didorong ke meteorologi. Harus menggunakan langkah waktu setiap jam. Model berbasis pemrosesan lainnya juga memiliki kendala yang sama, seperti kondisi Courant-Friedrichs-Lewy. U-FNO4D adalah model ML yang paling efisien, dengan mempertimbangkan waktu belajar
Selain predrnn ++, arsitektur ML lainnya terbukti ditafsirkan ketika diterapkan pada domain yang berbeda, dan dapat terbukti berguna untuk pemodelan pengganti sastra air. Sebagai contoh, penelitian sebelumnya menunjukkan bahwa lapisan hierarkis yang digunakan dalam CNN3D dapat mempelajari informasi gambar hierarkis (Zhou et al. Studi tentang mode l-model ini menunjukkan bahwa tindakan pencegahan dalam model ini juga dapat mempelajari informasi hierarki (Jain dan Wallace, 2019; Jawahar et al. arsitektur.
Setiap model ML dapat mereproduksi bidang tekanan transisi yang dihasilkan oleh model berbasis proses, tetapi di masa depan para peneliti harus dengan hat i-hati menyesuaikan model untuk menekan fluktuasi spasial dan waktu dari kinerja model. Misalnya, jika kerugiannya sam a-sama dihitung di seluruh area, model ML mungkin tidak dapat secara akurat mensimulasikan perubahan kepala tekanan di bagian terpenting dari wilayah tersebut. Gambar. 4 adalah visualisasi dari satu langkah waktu emulasi tahap 1 oleh predrnn ++, dan kesalahan model terutama terkonsentrasi pada bagian depan basah dan di atasnya. Meskipun tertimbang untuk lebih menghukum perubahan tekanan di zona Badde (Gbr. S3), Mape Tinggi di daerah ini masih memiliki kemiringan dinamis lengkap dari model ML di dekat bagian depan kelembaban. Di masa depan, ada kemungkinan bahwa setiap salogat akan mengadopsi fungsi bobot yang lebih rumit sehingga proses target dapat mensimulasikan proses target secara paling akurat.
Semua hasil yang menunjukkan kinerja model ML di semua tahap pada Gambar. 5 mengklarifikasi masalah serupa dalam menangkap perubahan waktu dari kepala tekanan. Dalam semua model, kinerja Tahap 1 secara konsisten tertunda di Tahap 2 dan Tahap 3. Taha p-tahap akhir ini mensimulasikan periode singkat (440 tahun di Tahap 1, 1 tahun di Tahap 2, 2 tahun di Tahap 3), sehingga perubahan kepala tekanan pada tahap model sangat luar biasa. untuk belajar. Oleh karena itu, studi kasus ini telah mencapai MAPE rendah, tetapi dalam aplikasi di masa depan, ketika mensimulasikan area model yang ditandai dengan perubahan kepala tekanan mendadak atau spasial, penelitian ini (strategi implementasi (misalnya, fungsi kerugian, metode regularisasi data , dan pemilihan fitur input) harus disesuaikan dengan cermat dengan masalah yang tertarik.
Model Pembelajaran Mesin Salar Gate Model memberikan pendekatan yang efisien untuk menghasilkan set simulasi air skala besar. Ketujuh model Salogate ML menghasilkan bidang tekanan transisi yang hampir sama dengan yang dihasilkan oleh kalimat air berbasis proses (rat a-rata kesalahan persentase absolut, MAPE atau kurang). Bidang tekanan normal yang tidak ditentukan ini dapat digunakan dalam pekerjaan hilir, seperti kuantifikasi perubahan penyimpanan air tanah. Prediksi Peningkatan Jaringan saraf berulang berulang (predRNN ++) menunjukkan akurasi tertinggi (0, 36% MAPE) ketika mensimulasikan ketiga tahap model, tetapi arsitektur lain menunjukkan hasil yang baik (0, 52-2, 4%. MAPE). Menariknya, model seragam yang memiliki parameter yang lebih dalam, lebih banyak dan menghitung tekanan dari semua langkah waktu pada saat yang sama, secara berurutan menghitung tekanan setiap langkah waktu dan tidak memiliki memori antara langka h-langkahnya.
Kerangka kerja pemodelan hibrida ini memiliki keunggulan besar dalam waktu eksekusi, meskipun kesalahan secara konsisten kurang dari 10%(3. 860 hingga 69. 700 detik/ simulasi prosesor saat menggunakan model basis proses untuk simulasi tahap 1, 0, 115. Ini membawa 2, 38 prosesor saat menggunakan prosesor stadium 1, 0, 115. detik/ simulasi). Mempertimbangkan waktu yang diperlukan untuk pelatihan masin g-masing model, enam dari tujuh ml model Salogate menunjukkan keunggulan waktu eksekusi ketika hanya menjalankan 17 simulasi air. Misalnya, ketika simulasi 500 dilakukan menggunakan U-FNO4D, kecepatan 159 x $ 2 meningkat.
Selain itu, kami mengidentifikasi metode penting untuk melatih model pengganti hidrologi yang akurat secara efisien dan menunjukkan bahwa normalisasi data min-maks dan normalisasi kerugian meningkatkan akurasi model pengganti dan stabilitas pelatihan. Di sisi lain, downsampling temporal dan spasial meningkatkan efisiensi komputasi dengan mengurangi memori yang diperlukan untuk melatih setiap model.
Secara keseluruhan, penelitian ini memberikan hasil yang menjanjikan untuk menerapkan model pengganti pembelajaran mesin pada masalah hidrologi dunia nyata dan mendukung kemajuan masa depan dalam teknik pemodelan dan simulasi hidrologi.
Kami berterima kasih kepada Pusat Komputasi Penelitian Universitas Stanford yang telah menyediakan sumber daya komputasi dan dukungan yang berkontribusi terhadap hasil penelitian ini. Materi ini disiapkan dengan dukungan dari National Science Foundation Graduate Research Fellowship (nomor hibah DGE-1656518). Pendanaan penelitian juga berasal dari Realizing Environmental Innovation Program (REIP) di Stanford Woods Institute for the Environment.
File tambahan ini berisi informasi lapis demi lapis untuk setiap model pengganti (§ S1. 1 ), ilustrasi inovasi arsitektur model terkini (§ S1. 2 ), dan detail autoencoder yang digunakan untuk mengompresi bidang tekanan 3D (§ Detail salah satu metode yang digunakan untuk mengembangkan setiap model pengganti ML disertakan, termasuk S1. 3). Kami juga menyajikan hasil tambahan yang disebutkan dalam teks, termasuk hasil MAPE lengkap di semua model dan semua tahapan (§ S2. 1 ), dan diskusi tentang kesalahan yang disebabkan oleh autoencoder (§ S2. 2).
Autoencoder adalah jaringan saraf konvolusional dengan empat lapisan dan sekitar 676. 000 parameter, menjadikan autoencoder jauh lebih kecil daripada setiap model pengganti. Dua dari empat lapisan mengkodekan lapisan konvolusional yang memampatkan masukan menjadi dimensi spasial yang kompak, dan dua lapisan sisanya mendekode lapisan konvolusional transposisi yang memulihkan resolusi spasial asli. Semua lapisan konvolusional berbentuk dua dimensi dan menggunakan dimensi z 𝑧 z italic_z sebagai dimensi saluran. Mereka menggunakan kernel konvolusi dengan ukuran (7, 7), langkah (2, 2), dan ukuran tersembunyi 128. Lapisan konvolusional dipisahkan oleh fungsi aktivasi ReLU dan lapisan normalisasi batch.
