<blockquote id="g5mpq"><rt id="g5mpq"></rt></blockquote>

    1. <pre id="g5mpq"></pre>
      <i id="g5mpq"><legend id="g5mpq"></legend></i>
      浪漫女家教主演:黛比地区:台湾 ,日本jiZz,爸爸的种子在线观看,特别的酒店2免费,哇嘎在线,荒野渔夫高清免费观看,新有菜在线免费观看,哇嘎美国
      網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

      翁明杰:智能行政中自動化決策拒絕權(quán)的證成與適用

      0
      分享至


      作者簡介:翁明杰,中國政法大學(xué)法學(xué)院博士研究生。文章來源:《財經(jīng)法學(xué)》2025年第1期,轉(zhuǎn)自財經(jīng)法學(xué)公號。注釋及參考文獻(xiàn)已略,引用請以原文為準(zhǔn)。

      摘要

      隨著數(shù)字技術(shù)的迭代更新,自動化決策的應(yīng)用范圍不斷擴(kuò)大、應(yīng)用程度不斷加深,給現(xiàn)代行政法治帶來新的挑戰(zhàn)?!秱€人信息保護(hù)法》第24條第3款規(guī)定的“自動化決策拒絕權(quán)”雖然構(gòu)造相對粗糙,條文設(shè)計彈性不足,但是該規(guī)定似乎給智能行政情境下研究如何保障行政相對人合法權(quán)益提供了新方向。在智能行政中嵌入自動化決策拒絕權(quán)不僅是權(quán)力與權(quán)利不對等的必要化解路徑、智能行政要求嵌入更高強(qiáng)度人工干預(yù)的必然舉措,還與自動化決策“人在回路”的治理路徑相契合。禁令路徑或權(quán)利路徑因不同程度上的局限被排除在自動化決策拒絕權(quán)的進(jìn)路選擇范圍之外。折中進(jìn)路以其宏觀性、弱對抗性和動態(tài)性的優(yōu)點(diǎn),彌補(bǔ)其他兩種路徑的局限,成為自動化決策拒絕權(quán)的進(jìn)路選擇。在折中進(jìn)路指引下,自動化決策拒絕權(quán)中的適用場域應(yīng)當(dāng)拓寬、“對個人利益有重大影響”的適用前提需要劃定、自動化決策拒絕權(quán)的適用銜接應(yīng)當(dāng)優(yōu)化。

      一、引言

      隨著大數(shù)據(jù)、人工智能、算法等數(shù)字技術(shù)的迭代更新,行政機(jī)關(guān)開始將數(shù)字技術(shù)深度應(yīng)用于行政處罰、行政決策、行政許可、行政登記等行政治理領(lǐng)域,給傳統(tǒng)行政活動方式帶來了深刻變革。行政機(jī)關(guān)對數(shù)字技術(shù)的依賴程度不斷加深,行政機(jī)關(guān)已然邁入智能行政時代。在智能行政時代,行政機(jī)關(guān)應(yīng)用數(shù)字技術(shù)在提升行政效率的同時也給依法行政原則、正當(dāng)程序原則、行政公開原則和行政公平原則等現(xiàn)代行政法治帶來嚴(yán)重挑戰(zhàn)。為此,學(xué)界紛紛為應(yīng)對算法、人工智能等數(shù)字技術(shù)給行政治理帶來的挑戰(zhàn)提出相應(yīng)舉措。

      自20世紀(jì)50年代起,算法自動化決策即開始應(yīng)用于政府的公共行政?!吨腥A人民共和國個人信息保護(hù)法》(以下簡稱《個人信息保護(hù)法》)第73條第2項對自動化決策作出界定:“自動化決策,是指通過計算機(jī)程序自動分析、評估個人的行為習(xí)慣、興趣愛好或者經(jīng)濟(jì)、健康、信用狀況等,并進(jìn)行決策的活動。”為避免智能行政中算法決策權(quán)的異化,學(xué)界從正當(dāng)程序展開釋義,要求行政機(jī)關(guān)建立起與行政相對人的“對話”機(jī)制,將“說明理由機(jī)制”“算法解釋權(quán)”等機(jī)制嵌入算法治理中,恪守正當(dāng)程序原則的底線?!秱€人信息保護(hù)法》作為一部公私法交融、超越單一部門法的個人信息保護(hù)法,其中的規(guī)定自然也成為行政機(jī)關(guān)處理個人信息時應(yīng)遵循的“信條”。《個人信息保護(hù)法》第24條第3款規(guī)定:“通過自動化決策方式作出對個人權(quán)益有重大影響的決定,個人有權(quán)要求個人信息處理者予以說明,并有權(quán)拒絕個人信息處理者僅通過自動化決策的方式作出決定?!痹摋l款賦予個人對行政機(jī)關(guān)通過自動決策處理個人信息說“不”的權(quán)利,在立法上確立起“自動化決策拒絕權(quán)”。盡管該條文規(guī)定個人可以拒絕信息處理者自動化處理個人信息,但是個人何時提出、如何提出、提出后信息處理者是必然引入人工審核還是繼續(xù)“自動化”路徑、個人如何救濟(jì)這些問題似乎都未在該條文中得到解釋。

      隨著智能行政的作用場域不斷擴(kuò)大,自動化決策拒絕權(quán)的適用場域能否不再局限于自動化行政決策的信息處理中,而進(jìn)一步擴(kuò)大到自動化行政決策的各個領(lǐng)域?《個人信息保護(hù)法》的條文能否為行政相對人對智能行政享有“自動化決策拒絕權(quán)”的論證提供新方向?這些問題都需要進(jìn)一步探討。為此,本文將從《個人信息保護(hù)法》第24條第3款出發(fā),分析“自動化決策拒絕權(quán)”的立法構(gòu)造,確認(rèn)自動化決策拒絕權(quán)到底是行政相對人的“權(quán)利”還是行政機(jī)關(guān)處理個人信息的“禁令”,研究“自動化決策拒絕權(quán)”的適用范圍能否擴(kuò)大到行政決策的各個領(lǐng)域,進(jìn)而分析“自動化決策拒絕權(quán)”的適用規(guī)則。

      二、自動化決策拒絕權(quán)的規(guī)范梳理與適用困境

      從現(xiàn)有法律規(guī)范來看,我國僅有《個人信息保護(hù)法》對自動化決策拒絕權(quán)作出規(guī)定。應(yīng)當(dāng)說,《個人信息保護(hù)法》的自動化決策拒絕權(quán)條款很大程度上借鑒了歐盟《通用數(shù)據(jù)保護(hù)條例》(GeneralDataProtectionRegulation,以下簡稱GDPR)第22條第1款的規(guī)定。因此,對個人信息保護(hù)法》中的自動化決策拒絕權(quán)的規(guī)范展開,除了需要依據(jù)現(xiàn)有法律規(guī)定、對比《中華人民共和國個人信息保護(hù)法(草案)》[以下簡稱《個人信息保護(hù)法(草案)》],還可以參考GDPR的相關(guān)規(guī)定。

      (一)《個人信息保護(hù)法》中自動化決策拒絕權(quán)的規(guī)范展開

      1.個人信息保護(hù)中的自動化決策拒絕權(quán)

      《中華人民共和國個人信息保護(hù)法釋義》指出,《個人信息保護(hù)法》第24條第3款有著兩層含義:一是賦予個人對重大自動化決策的要求解釋權(quán),這是個人行使選擇權(quán)和決定權(quán)的基礎(chǔ);二是賦予個人要求對自動化決策進(jìn)行人工干預(yù)的權(quán)利。從自動化決策拒絕權(quán)的角度來看,該條款從適用前提、適用范圍、適用階段對個人行使自動化決策拒絕權(quán)作出規(guī)定。(參見表1)

      表1《個人信息保護(hù)法》第24條第3款中的自動化決策拒絕權(quán)


      首先,個人只有在信息處理者通過自動決策方式對個人權(quán)益有重大影響前提下才可以行使該權(quán)利。換言之,個人對信息處理者能否行使自動化決策權(quán)的判斷標(biāo)準(zhǔn)是“重大影響”。至于如何界定“重大影響”,應(yīng)當(dāng)具體到個人信息處理的具體場景和個人的具體特征。從理論上來看,“重大影響”的判斷需要達(dá)到“可能侵害個人信息權(quán)益”的程度,”重大影響”的適用需要與一般意義上的拒絕權(quán)作區(qū)分。

      其次,自動化決策拒絕權(quán)的適用范圍是“僅通過自動化決策的方式”。數(shù)字技術(shù)并非以絕對穩(wěn)定的狀態(tài)嵌入個人信息活動中,它會根據(jù)數(shù)字技術(shù)的發(fā)展,不斷轉(zhuǎn)換適用深度與場景。有學(xué)者根據(jù)人與自動化系統(tǒng)的關(guān)系,將自動化分為完全自動化系統(tǒng)(fullyautomatedsystems)和混合自動化系統(tǒng)(mixedsystems)。結(jié)合《個人信息保護(hù)法》第73條第2項對“自動化決策”的規(guī)定,當(dāng)信息處理者通過“混合自動化決策”方式作出決定時,個人不得行使自動化決策拒絕權(quán)。

      最后,自動化決策拒絕權(quán)的適用階段是“作出決定”而非“作出的決定”。在個人信息處理活動中,信息處理者對個人信息的處理包括處理過程和處理結(jié)果。作出決定屬于單方行為,只要對個人采取具有一定程度約束力的態(tài)度/立場,或者可能根據(jù)這一態(tài)度/立場采取針對個人的活動,就可以將這一行為視為作出決定?!秱€人信息保護(hù)法》規(guī)定,個人認(rèn)為信息處理者自動化決策可能對個人權(quán)益有重大影響,就可以說“不”,不需要考慮/判斷該決定是否已經(jīng)作出。此時,“決定是否已經(jīng)作出無關(guān)緊要”。

      2.《個人信息保護(hù)法》中自動化決策拒絕權(quán)的規(guī)范不足

      應(yīng)當(dāng)說,自動化決策拒絕權(quán)是我國首次從法律層面對自動化決策作出的回應(yīng),進(jìn)一步加強(qiáng)了對個人信息的法律保障。但也有學(xué)者主張,《個人信息保護(hù)法》第24條第3款的構(gòu)造過于粗糙,條文設(shè)計彈性不足,需要進(jìn)一步補(bǔ)強(qiáng)。

      首先,《個人信息保護(hù)法》未對適用前提中“重大影響”的判斷標(biāo)準(zhǔn)作出規(guī)定。相較于《個人信息保護(hù)法(草案)》一審稿中的“個人認(rèn)為自動化決策對其權(quán)益造成重大影響的”適用前提,《個人信息保護(hù)法》做了“去主觀化”的處理,即刪除“個人認(rèn)為”的表述,保證法律規(guī)范對客觀法秩序的維護(hù)。但是《個人信息保護(hù)法》對自動化決策拒絕權(quán)的判斷標(biāo)準(zhǔn)仍然是一種較為模糊的立法表達(dá)?!吧鲜雠袛鄻?biāo)準(zhǔn)有待司法機(jī)關(guān)與實(shí)踐經(jīng)驗(yàn)的進(jìn)一步總結(jié)?!薄爸卮笥绊憽钡慕缍ㄟ^寬,可能會妨礙自動化決策技術(shù)的良性發(fā)展;“重大影響”的界定過窄,可能會侵害個人的相關(guān)合法權(quán)益。為此,亟須立法機(jī)關(guān)/司法機(jī)關(guān)對“重大影響”的判斷標(biāo)準(zhǔn)作進(jìn)一步釋明。

      其次,自動化決策拒絕權(quán)是否存在例外情形,仍需進(jìn)一步研究。歐盟GDPR規(guī)定了自動化決策拒絕權(quán)行使的例外情形,譬如數(shù)據(jù)主體明確同意、自動化決策是數(shù)據(jù)主體與數(shù)據(jù)控制者訂立等等。個人信息保護(hù)的實(shí)踐紛繁復(fù)雜,是否存在例外情形仍需進(jìn)一步探明,必要時可借鑒GDPR的有關(guān)規(guī)定。

      (二)智能行政中自動化決策拒絕權(quán)的適用困境

      隨著算法、人工智能、大數(shù)據(jù)等數(shù)字技術(shù)不斷革新,行政審批、治安監(jiān)控、交通執(zhí)法、信用評估、風(fēng)險預(yù)防等領(lǐng)域均受到數(shù)字技術(shù)的不斷滲入。數(shù)字技術(shù)借助其深度學(xué)習(xí)、大數(shù)據(jù)計算等優(yōu)勢對現(xiàn)有的社會治理模式進(jìn)行變革。《法治政府建設(shè)實(shí)施綱要(2021—2025)》(以下簡稱《綱要》)指出,要“堅持運(yùn)用互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)手段促進(jìn)依法行政,著力實(shí)現(xiàn)政府治理信息化與法治化深度融合,優(yōu)化革新政府治理流程和方式,大力提升法治政府建設(shè)數(shù)字化水平”,從而“全面建設(shè)數(shù)字法治政府”。全面建設(shè)數(shù)字法治政府,不僅要求國家事務(wù)和社會事務(wù)需要進(jìn)行大數(shù)據(jù)歸集和全流程在線通辦,也要求算法技術(shù)嵌入行政的深度與廣度不斷加深。行政機(jī)關(guān)越來越依賴將算法、人工智能等數(shù)字技術(shù)應(yīng)用于行政活動中,以此作出行政決策。自動化行政決策的縱深發(fā)展,在給治理、服務(wù)、決策模式帶來根本性改變的同時,也因“算法黑箱”“自動化裁量”等固有問題給行政相對人合法權(quán)益造成侵害?!秱€人信息保護(hù)法》第24條第3款“自動化決策拒絕權(quán)”的規(guī)定似乎給智能行政情境下研究如何保障行政相對人合法權(quán)益提供了新方向。但是,自動化決策拒絕權(quán)能否應(yīng)用于整個自動化行政決策場景中、自動化決策拒絕權(quán)的性質(zhì)如何界定等問題亟待進(jìn)一步厘清。

      1. 自動化決策拒絕權(quán)進(jìn)路選擇不清

      GDPR第22條規(guī)定的自動化決策拒絕權(quán)一直存在“禁令路徑”與“權(quán)利路徑”的爭論,給立法實(shí)踐帶來復(fù)雜的影響。盡管有學(xué)者認(rèn)為《個人信息保護(hù)法》第24條第3款不同于GDPR模棱兩可的規(guī)定,直接表達(dá)為一項權(quán)利,但是這種進(jìn)路忽視了“以賦權(quán)與救濟(jì)為核心的傳統(tǒng)法律制度體系在面對智能社會時出現(xiàn)的功能危機(jī)”。隨著數(shù)字技術(shù)的迭代更新,行政相對人可能無法獲知行政機(jī)關(guān)所作出的行政決策是否為“自動化決策”。畢竟,在這種情況下,算法技術(shù)完全可以不經(jīng)由個人知悉的情況下直接作出行政決策。如果對自動化決策拒絕權(quán)性質(zhì)界定采用權(quán)利進(jìn)路,行政相對人還可能面臨有權(quán)卻不知“何時、是否應(yīng)該”的權(quán)利行使困境。

      如果采用禁令路徑,行政機(jī)關(guān)就不能借助算法技術(shù)實(shí)施完全自動化決策。2009年德國《聯(lián)邦數(shù)據(jù)法》第6a節(jié)就是禁令路徑的直接呈現(xiàn)。禁令路徑的選擇保護(hù)了人免受算法的滋擾與操控,表達(dá)了立法者對創(chuàng)新技術(shù)發(fā)展的保守態(tài)度,但是可能阻礙算法技術(shù)的良性發(fā)展與合理應(yīng)用,還可能導(dǎo)致舉證責(zé)任的轉(zhuǎn)變———個人需要就自動化決策對其個人權(quán)益造成重大影響承擔(dān)舉證責(zé)任。從現(xiàn)有研究來看,在將自動化決策拒絕權(quán)應(yīng)用于智能行政前,我們需要先對自動化決策拒絕權(quán)研究進(jìn)路作出抉擇。

      2. 自動化決策拒絕權(quán)適用場域不明

      首先,自動化決策拒絕權(quán)全場域適用缺乏法律規(guī)范依據(jù),有待進(jìn)一步證成。行政決策是行政機(jī)關(guān)的一項行政活動,是行政機(jī)關(guān)及其公務(wù)員為了實(shí)現(xiàn)行政目標(biāo),依據(jù)既定政策和法律,就要解決的問題擬定并選擇活動方案的行為過程。行政決策包括行政機(jī)關(guān)依據(jù)法律、政策作出的各類行政活動。《個人信息保護(hù)法》規(guī)定了自動化決策拒絕權(quán),但是該條款僅適用于個人信息保護(hù)領(lǐng)域。行政相對人在行政機(jī)關(guān)的智能行政中能否行使該權(quán)利仍未得到理論上的證成。換言之,行政機(jī)關(guān)在行政審批、治安監(jiān)控、交通執(zhí)法、信用評估、風(fēng)險預(yù)防等領(lǐng)域借助數(shù)字技術(shù)對行政相對人作出行政處罰、行政許可、行政獎勵等行政行為時,行政相對人能否以行政機(jī)關(guān)自動化決策為由,拒絕行政機(jī)關(guān)基于算法等數(shù)字技術(shù)作出行政決策需要進(jìn)一步論證。

      其次,自動化決策拒絕權(quán)適用的決策類型能否進(jìn)一步擴(kuò)充需要充分澄清。當(dāng)前學(xué)界對智能行政的類型劃分除了前文提及的“二分法”外,還有“三分法”“四分法”?!叭址ā备鶕?jù)人工智能自我學(xué)習(xí)能力的強(qiáng)弱,將智能行政分為“信息收集的自動化”“流程或手續(xù)的自動化”“智能流程的自動化”。“四分法”以數(shù)字技術(shù)的發(fā)展水平和信息處理是否需要人工干預(yù)為標(biāo)準(zhǔn),將智能行政分為“自動化輔助行政”“部分自動化行政”“無裁量能力的完全自動化行政”“有裁量能力的完全自動化行政”?!秱€人信息保護(hù)法》將有人工干預(yù)的自動化決策排除在個人行使自動化決策拒絕權(quán)的決策類型外。在自動化決策中,盡管有人的實(shí)質(zhì)干預(yù),但如果決策者存在明顯偏見,仍然有可能在智能系統(tǒng)中嵌入有意或無意的甚至是不易被察覺的歧視。自動化決策拒絕權(quán)適用的決策類型是否要“刻舟求劍”———局限于完全自動化行政/無裁量能力的完全自動化行政和有裁量能力的完全自動化行政中,仍需進(jìn)一步研究。

      3. 自動化決策拒絕權(quán)適用前提不明

      首先,《個人信息保護(hù)法》第24條第3款對自動化決策拒絕權(quán)適用前提設(shè)定為“對個人權(quán)益有重大影響”,體現(xiàn)了極強(qiáng)的個人信息保護(hù)指向。但如果將自動化決策拒絕權(quán)適用于智能行政的全場域,自動化決策拒絕權(quán)是否只需要考慮“個人權(quán)益”還需要慎重對待。法律的終極目標(biāo)不僅需要保護(hù)個人的自由和權(quán)利,還需要兼顧整個社會的發(fā)展乃至人類的生存。〔28〕在智能行政中,行政機(jī)關(guān)借助算法等數(shù)字技術(shù)開展行政活動,不僅涉及個人信息的收集、處理,還涉及對行政相對人人身自由的限制、財產(chǎn)的剝奪等等。因此,在確認(rèn)自動化決策拒絕權(quán)適用場域的基礎(chǔ)上,還需要對自動化決策拒絕權(quán)適用前提中的“個人權(quán)益”作進(jìn)一步說明。

      其次,《個人信息保護(hù)法》第24條第3款中又一關(guān)鍵詞為“重大影響”。重大影響的范圍到底有多廣,本次立法未予以說明?!敝卮笥绊憽钡膬?nèi)涵與外延具有不確定性和可解釋性,在適用過程中需要個案衡量。GDPR規(guī)定了自動化決策拒絕權(quán)行使前提是“產(chǎn)生法律或類似的重大影響”。該前提的限制范圍過大,法律影響包括對民事權(quán)利產(chǎn)生的影響、有行政法意義的對行政相對人產(chǎn)生的影響、對刑法和憲法所保護(hù)的基本權(quán)利造成的侵害,這就使得該條款在適用過程中存在巨大的困難。在智能行政中,行政機(jī)關(guān)需要進(jìn)一步結(jié)合實(shí)踐考察,對“重大影響”作出科學(xué)化判斷,實(shí)現(xiàn)“在顧及數(shù)據(jù)主體權(quán)利前提下,有效平衡個人、社會和國家之間的利益”。

      4. 自動化決策拒絕權(quán)適用銜接不明

      在智能行政中,行政相對人的“對抗”舉措缺乏體系性構(gòu)建。首先,自動化決策拒絕權(quán)與其他權(quán)利之間缺乏銜接機(jī)制。智能行政在提高行政效率、便捷行政相對人的同時,也帶來諸多技術(shù)、倫理、法律問題。譬如行政相對人程序權(quán)益被忽視、程序價值被壓縮的問題愈發(fā)凸顯換言之,行政相對人的程序權(quán)益在智能行政中的保障明顯不足;又譬如,在算法設(shè)計和研發(fā)的過程中,計算機(jī)專家/算法工程師可能更關(guān)注有用性和實(shí)效性,而忽視追求目的的正當(dāng)性以及算法活動可能帶來的風(fēng)險;等等。在智能行政中,行政機(jī)關(guān)賦予行政相對人對抗算法的權(quán)利,根本目的是保障其合法權(quán)益,但是,自動化決策拒絕權(quán)并非應(yīng)對自動化決策的萬能權(quán)利,它需要與其他權(quán)利共同作用方可發(fā)揮最大的效用。行政機(jī)關(guān)需要保障行政相對人在智能行政中行使“知情權(quán)”“要求說明理由權(quán)”“參與權(quán)”“監(jiān)督權(quán)”“刪除權(quán)”等等。GDPR以序言第71條為核心展開,不以單一、個別權(quán)利為依托,而是齊頭并進(jìn)地構(gòu)建了貫穿自動化決策事前、事中和事后的全流程聯(lián)動體系,包括獲得人類干預(yù)的權(quán)利、表達(dá)異議和質(zhì)疑的權(quán)利、獲取相關(guān)解釋的權(quán)利,落實(shí)了數(shù)據(jù)保護(hù)的基本要求,充分保障了數(shù)據(jù)主體權(quán)益。我國智能行政中行政相對人權(quán)益保障聯(lián)動體系亟待進(jìn)一步構(gòu)建,以實(shí)現(xiàn)個人自動化決策拒絕權(quán)與其他權(quán)利的有效互動。

      其次,自動化決策拒絕權(quán)適用效果不彰。法律規(guī)范實(shí)施效果評價,一方面需要關(guān)注法律規(guī)范本身設(shè)計的“精巧度”、與實(shí)踐需求的“適配度”,另一方面需要關(guān)注法律規(guī)范的實(shí)施、適用效果。設(shè)置自動化決策拒絕權(quán),本質(zhì)上是“人工干預(yù)”的直接要求,也是機(jī)器人運(yùn)行中“機(jī)器人要讓位于人類”的必然規(guī)律。人類參與到行政決策中不可流于形式,必須是實(shí)質(zhì)參與,否則人類的行政參與將淪為“橡皮圖章式”角色定位。為了避免形式化參與,學(xué)者建議引入算法影響評估制度、算法審計制度,評價算法實(shí)施效果。個人向行政機(jī)關(guān)提出拒絕應(yīng)用自動化技術(shù)作出行政決策的要求后,行政機(jī)關(guān)作出的回應(yīng)由誰來監(jiān)督、如何開展監(jiān)督、如何追責(zé)等等,這些問題當(dāng)前缺乏進(jìn)一步探討,也無實(shí)踐案例作為例證,需要進(jìn)一步挖掘,以提升自動化決策拒絕權(quán)的適用效果。


      三、智能行政中自動化決策拒絕權(quán)的證成

      在智能行政中,個體在算法的操控下,呈現(xiàn)出被不斷系統(tǒng)化和數(shù)據(jù)化的特點(diǎn),逐步陷入喪失主體性的數(shù)字化生存困境?!案呒壢斯ぶ悄艿某霈F(xiàn)可能意味著人類的滅亡?!睘橛行?yīng)對這種“人讓位于機(jī)器、算法技術(shù)”的悖論出現(xiàn),有必要重新確立人在智能行政中的主體性定位。這一方面要求行政機(jī)關(guān)在行政活動中不能完全扮演“旁觀者”的角色,也要求行政相對人在行政活動中要“實(shí)質(zhì)參與”。欲紓解前文論及的自動化決策拒絕權(quán)適用困境,需要先在理論上證成自動化決策拒絕權(quán)在智能行政中有存在空間。

      (一)必要性:智能行政發(fā)展新階段的法治因應(yīng)

      1. 權(quán)力與權(quán)利不對等的必要化解路徑

      決策是人類的專屬活動,是人類運(yùn)用自身特有的認(rèn)知與邏輯思維能力,對一定信息和經(jīng)驗(yàn)進(jìn)行占有、分析,進(jìn)而將人們的思維過程和意志行動過程進(jìn)行結(jié)合的產(chǎn)物。決策從本質(zhì)上來看,其強(qiáng)調(diào)的是人與人之間的一種共情心與同理心。隨著數(shù)字技術(shù)的創(chuàng)新發(fā)展,算法、人工智能等被應(yīng)用于決策中,并逐步從輔助者、參與者轉(zhuǎn)變?yōu)橹鲗?dǎo)者。算法具有賦能、賦權(quán)與控制三重能力,這三重能力對被作用主體形成了一種兼具支配力、控制力和影響力的新型算法權(quán)力。這種算法權(quán)力逐步取代行政機(jī)關(guān),雖然提高了行政效率,有助于行政機(jī)關(guān)在更短時間作出行政決策,但是“瞬間完成的行政行為……克減了相對人事前要求告知、陳述申辯、舉行聽證的權(quán)利,壓縮甚至取消了行政機(jī)關(guān)說明理由的義務(wù),公眾參與存在被架空的危險。算法決策程序的迅速性、自主性,一定程度鉗制了個人表達(dá)的實(shí)現(xiàn),引發(fā)了個人在公共行政中的‘離場’”。傳統(tǒng)權(quán)利義務(wù)的對應(yīng)關(guān)系、平衡關(guān)系都被打破,自由、平等、公正和民主等原則都將遭遇挑戰(zhàn)?!肮妳⑴c是現(xiàn)代民主的重要形式?!痹跀?shù)字技術(shù)嵌入行政決策后,權(quán)力與權(quán)利本有的“隔閡”愈拉愈大,算法權(quán)力不斷擴(kuò)張,公眾的參與權(quán)利難以保障,公眾在沒有任何事前知情、發(fā)表意見、說明理由、介入的情況下就被動接受來自算法技術(shù)出具的行政決策,導(dǎo)致“一方權(quán)力被放大,另一方權(quán)利被削弱”,權(quán)利與權(quán)力的“天平”嚴(yán)重失衡。

      為實(shí)現(xiàn)“權(quán)力—權(quán)利”間的平衡,學(xué)界圍繞如何規(guī)制算法提出了算法公開、個人數(shù)據(jù)賦權(quán)與反算法歧視等路徑。算法公開要求行政機(jī)關(guān)通過解釋算法打破算法黑箱,實(shí)現(xiàn)“算法透明”;個人數(shù)據(jù)賦權(quán)要求對現(xiàn)有個人算法權(quán)利的類型與體系進(jìn)行改良,確保個人權(quán)利不被算法權(quán)力蠶食;反算法歧視則要求算法本身的設(shè)計、運(yùn)行“中立”,不可隱設(shè)身份歧視。這些規(guī)制路徑都在算法技術(shù)嵌入行政中提出“對話機(jī)制”,但是未從根本上允許行政相對人直接向智能行政說“不”。換言之,目前算法規(guī)制路徑的基本前提是智能行政應(yīng)然存在,也必然存在,行政相對人必須接受人工智能、算法等數(shù)字技術(shù)以全自動或半自動方式作出的行政決策。事實(shí)上,“這種內(nèi)嵌于正當(dāng)程序中的算法規(guī)制本質(zhì)上仍舊是針對算法的程序性控制”。自動化決策拒絕權(quán)允許行政相對人向自動化決策說“不”,而且不僅允許行政相對人對“作出的決定”說“不”,還允許行政相對人向“作出決定”這個行為說“不”。

      一方面將自動化決策拒絕權(quán)的適用階段貫徹自動化決策的始終,另一方面不再局限于程序規(guī)則內(nèi)部的“縫補(bǔ)”,而是直接讓行政相對人站在行政決策外部作出拒絕,通過補(bǔ)強(qiáng)“權(quán)利束”的要素來縮小權(quán)利與權(quán)力間的隔閡。由此可見,引入“自動化決策拒絕權(quán)”是化解智能行政中“權(quán)力—權(quán)利”不對等的必要路徑。

      2.嵌入更高強(qiáng)度人工干預(yù)的必然舉措

      隨著技術(shù)升級,自動化決策系統(tǒng)中的技術(shù)構(gòu)造也逐步從“人+自動化技術(shù)”轉(zhuǎn)變?yōu)椤叭詣踊夹g(shù)”構(gòu)造,忽視了人不受支配的主體地位。應(yīng)當(dāng)說,確立自動化決策拒絕權(quán)是智能行政要求嵌入更高強(qiáng)度人工干預(yù)的必然舉措。

      首先,行政機(jī)關(guān)應(yīng)當(dāng)在智能行政中重申人的主體地位。算法讓人陷入客體化的風(fēng)險中。算法權(quán)力是從客體的角度來看待個人的,強(qiáng)調(diào)個人是可以被計算、預(yù)測和控制的客體。在自動化決策中,算法系統(tǒng)通過“資格自動認(rèn)證系統(tǒng)、排名算法和風(fēng)險預(yù)測模型決定了哪些社區(qū)會受到治安巡查,哪些家庭能夠獲得所需資源,誰會被列入工作候選名單,誰又要接受欺詐調(diào)查”,從而形成智能化、自動化的行政方式。這個過程中,專家意見、民眾觀點(diǎn)均讓位于算法系統(tǒng),算法決策中的權(quán)威也從“人類”轉(zhuǎn)為“算法系統(tǒng)”。算法系統(tǒng)從最初的輔助者角色轉(zhuǎn)變?yōu)橹髟渍?,其通過不斷更新,與人類語言思維更為貼近,最終“創(chuàng)造世界”,動搖人類的主體地位?!斑@一主體地位不僅關(guān)乎于人生活的安全,也是人類文明開展的根基,其主體地位一旦動搖,政治、經(jīng)濟(jì)、文化、社會制度隨即分崩離析。”人是自我利益的最好判斷者,沒有誰能比利益者本人更了解自己的利益。自動化決策拒絕權(quán)的價值基礎(chǔ)就在于人的主體性的保證。而且,從機(jī)器和人類行為特點(diǎn)來看,前者更擅長重復(fù)性活動,后者則擅長復(fù)雜的、需要上下文分析的活動。應(yīng)當(dāng)說,無論人工智能更新到哪一階段,人所具有的語言思維都不可以被算法系統(tǒng)創(chuàng)設(shè)的語言思維所取代。行政決策的科學(xué)化與民主化是社會各階層利益多元化的必然要求。自動化決策系統(tǒng)只能是作出行政決策的載體,絕不可“反客為主”取代行政機(jī)關(guān)作出行政決策。

      其次,行政機(jī)關(guān)不僅需要在自動化決策系統(tǒng)中嵌入“人工干預(yù)機(jī)制”,還需要根據(jù)自動化決策系統(tǒng)發(fā)展的程度,嵌入更高強(qiáng)度的“人工干預(yù)機(jī)制”。確立自動化決策拒絕權(quán),本質(zhì)上是個人主體地位在智能行政中的重申,也是個人權(quán)利與行政權(quán)力適用順序優(yōu)化整合的結(jié)果。“權(quán)利的優(yōu)先性理念是一個根本要素,而在公平正義中,該理念作為公平正義觀點(diǎn)的一種形式具有其核心作用?!庇癸@個人權(quán)利在權(quán)力(利)位階排序中的地位,就需要在制度設(shè)計、規(guī)則構(gòu)造中落實(shí)位階排序的結(jié)果。前文論及,現(xiàn)有算法規(guī)制路徑本質(zhì)上是內(nèi)嵌于算法技術(shù)提出的優(yōu)化路徑,從未站在技術(shù)之外俯瞰技術(shù)。自動化決策拒絕權(quán)站在算法、人工智能等數(shù)字技術(shù)外,允許行政相對人在權(quán)益受到或可能受到侵害時,拒絕讓自動化決策系統(tǒng)直接作出行政決策。這種規(guī)制路徑相較于其他路徑而言,具有更高的強(qiáng)度,能達(dá)到更好的規(guī)制算法的結(jié)果。

      (二)可行性:自動化決策治理進(jìn)路的轉(zhuǎn)化

      面對完全自動化決策的風(fēng)險時,歐洲和美國選擇了兩條不同的進(jìn)路。美國選擇的是“計算中立”(computationneutrality)路徑,強(qiáng)調(diào)人與計算機(jī)之間應(yīng)當(dāng)保持一定的距離,盡可能實(shí)現(xiàn)自動化決策的準(zhǔn)確、公正與客觀?!坝嬎阒辛ⅰ钡闹卫砺窂綇?qiáng)調(diào)應(yīng)當(dāng)將正當(dāng)程序原則作為基礎(chǔ),通過程序上的補(bǔ)強(qiáng),增強(qiáng)數(shù)字技術(shù)的“透明度”“公眾參與度”等,最終建構(gòu)起“技術(shù)正當(dāng)程序”(technologicaldueprocess)框架。相反,歐洲認(rèn)為機(jī)器學(xué)習(xí)、自動駕駛、自動化武器及自動化決策等人工智能運(yùn)用場景中要求人類介入,即所謂的“人在回路”(human-in-the-loop)。換言之,即使數(shù)字技術(shù)已經(jīng)發(fā)展到足夠成熟的階段,完全無需依靠人為介入也可以得出結(jié)果,“人在回路”還是要求人類作為把關(guān)者。當(dāng)然,人的作用不僅局限于自動化行政的結(jié)果中,也包括在自動化行政前、自動化行政的過程中,對決策的全程產(chǎn)生“實(shí)質(zhì)影響”。歐洲選擇的“人在回路”的治理路徑在其立法中有所體現(xiàn)。譬如《德國聯(lián)邦程序法》第35a條和《德國聯(lián)邦數(shù)據(jù)法》第6a節(jié)對完全自動行政持禁止態(tài)度,GDPR第22條“完全自動化行政決策拒絕權(quán)”也采用“人在回路”的立法路徑。

      在“計算中立”的治理路徑中,智能行政中的“有裁量能力的完全自動化行政”完全有可能實(shí)現(xiàn)。在“人在回路”的自動化決策治理路徑中,”有裁量能力的完全自動化行政”就無法實(shí)現(xiàn),最多只能實(shí)現(xiàn)“混合自動化行政”,因?yàn)椤叭嗽诨芈贰币笕嗽谌魏我环N自動化決策中都要發(fā)揮實(shí)質(zhì)作用?!比嗽诨芈贰敝卫砺窂降幕炯俣ň褪?,人和機(jī)器都有各自擅長的事情,在混合自動化行政決策中,二者可以達(dá)到一種最佳狀態(tài)。隨著歐盟模式的全球化推廣,“人在回路”的治理路徑也逐漸滲透到各國的立法、制度設(shè)計中。我國的《個人信息保護(hù)法》《中華人民共和國電子商務(wù)法》《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》等法律規(guī)范中都選擇“人在回路”的算法治理路徑?!叭嗽诨芈贰泵媾R著“一味強(qiáng)調(diào)‘人的干預(yù)’,卻忽略人在何時干預(yù)、能否干預(yù)、干預(yù)效果、如何干預(yù)等技術(shù)操作問題”的詰問,也有學(xué)者主張,“計算中立”與“人在回路”并非互相替代的治理路徑,二者對應(yīng)智能行政發(fā)展的不同階段。從人工智能、算法、大數(shù)據(jù)等數(shù)字技術(shù)的發(fā)展來看,數(shù)字技術(shù)的高速發(fā)展已然超出預(yù)測范圍。2022年,OpenAI發(fā)布的深度學(xué)習(xí)技術(shù)的大型自然語言處理模型ChatGPT“通過學(xué)習(xí)大量的自然語言文本數(shù)據(jù),利用統(tǒng)計學(xué)方法和概率分布根據(jù)先前的輸入預(yù)測下一個可能出現(xiàn)的單詞或句子,生成流暢連貫、語法正確、邏輯通順的文本”。隨著這種數(shù)字技術(shù)的應(yīng)用,智能行政可能將步入“有裁量能力的完全自動化行政”階段,”算法黑箱”“算法歧視”變得更為隱蔽,或許無法再通過“計算中立”路徑中的“程序上補(bǔ)強(qiáng)”來達(dá)成治理效果。這時候就需要引入“人在回路”的治理路徑。盡管該路徑也有缺陷,但是可以通過制度設(shè)計、優(yōu)化來發(fā)揮更好的治理效果。

      智能行政時代,選擇“人在回路”的數(shù)字技術(shù)治理路徑已是大勢所趨。自動化決策拒絕權(quán)區(qū)別于要求說明理由、知情權(quán)等程序性權(quán)利,其契合“人在回路”的治理路徑,強(qiáng)調(diào)自動化決策中的“高強(qiáng)度人工干預(yù)”。因此,在智能行政中確立自動化決策拒絕權(quán)具有可行性。


      四、智能行政中自動化決策拒絕權(quán)的進(jìn)路選擇

      前文對自動化決策拒絕權(quán)能否應(yīng)用于智能行政中從正當(dāng)性與可行性兩方面展開了論證。下一步,需要確定自動化決策拒絕權(quán)的研究進(jìn)路。

      (一)自動化決策拒絕權(quán)的進(jìn)路選擇:禁令進(jìn)路抑或權(quán)利進(jìn)路?

      當(dāng)前學(xué)界圍繞自動化決策拒絕權(quán)的進(jìn)路選擇到底是權(quán)利進(jìn)路還是禁令進(jìn)路展開討論。這背后折射出不同的利益擇向,也直接影響了自動化決策制度構(gòu)建的具體編排。

      禁令進(jìn)路強(qiáng)調(diào)“禁止完全自動化決策”,即禁止行政機(jī)關(guān)對行政相對人實(shí)施完全自動化決策,除非這種決策屬于法律上明確的例外情形。由此可見,禁令進(jìn)路折射出立法者對自動化決策持以相對抵觸和謹(jǐn)慎的態(tài)度。這種進(jìn)路以“禁止自動化決策為主、例外適用為輔”為原則,本質(zhì)上是“事前預(yù)防”理念的落實(shí),從根源上預(yù)防自動化決策對行政相對人權(quán)益的侵犯。有學(xué)者從GDPR“解釋指南”出發(fā),認(rèn)為GDPR第22條是“一般性禁止”,而非個人的“反對權(quán)利”。GDPR認(rèn)為有人工干預(yù)/參與的行政決策因技術(shù)和理性避免了完全機(jī)器決策對個人尊嚴(yán)的減損,所以個人不得對這類決策行使自動化決策拒絕權(quán)。

      權(quán)利進(jìn)路強(qiáng)調(diào)“賦權(quán)”,即賦予行政相對人免受自動化決策侵?jǐn)_的權(quán)利。該種進(jìn)路變相承認(rèn)了完全自動化決策的存在,即行政機(jī)關(guān)在行政相對人拒絕前,仍可以通過自動化決策的方式對行政相對人作出行政決策,也強(qiáng)調(diào)行政相對人可以通過事后補(bǔ)救達(dá)成保護(hù)自我權(quán)益的目的。權(quán)利進(jìn)路事實(shí)上是在事前賦予行政相對人針對自動化決策權(quán)的反對權(quán),克服了事前與事中預(yù)警機(jī)制的不足,與自動化決策運(yùn)行中的知情權(quán)、表達(dá)權(quán)、提出異議權(quán)和自動決策運(yùn)行后的救濟(jì)權(quán)共同構(gòu)筑起一套算法風(fēng)險防范機(jī)制。譬如,有學(xué)者就主張,GDPR里的自動化決策拒絕權(quán)并非完全的“禁令”,它強(qiáng)調(diào)一種更高的人工介入程度,與“獲解釋權(quán)”“被遺忘權(quán)”同處于自動化決策的個人權(quán)利體系中,三者是層層遞進(jìn)的關(guān)系。還有學(xué)者從GDPR的體例編排出發(fā),認(rèn)為歐盟將自動化決策拒絕權(quán)放在權(quán)利主體權(quán)利的章節(jié)中,是權(quán)利進(jìn)路。

      (二)GDPR中自動化決策拒絕權(quán)進(jìn)路選擇的鏡鑒

      事實(shí)上,GDPR第22條自動化決策拒絕權(quán)到底采取何種立法進(jìn)路一直存在爭議,也影響了具體實(shí)踐。除了前述提及的“禁令進(jìn)路”和“權(quán)利進(jìn)路”,近來有學(xué)者主張GDPR第22條本質(zhì)上采取“嚴(yán)格禁令”與“積極權(quán)利”路徑的中間路線。歐盟的立法者著眼于全要素、全過程、多場景,面向數(shù)據(jù)流生命周期建立起了“知情、參與、反對、救濟(jì)”的一體化行權(quán)方案,形成了多層次、立體化的程序性聯(lián)動保護(hù)機(jī)制,從廣度和深度兩個層面為免受自動化決策約束權(quán)奠定了配套機(jī)制。遺憾的是,目前該條款設(shè)計有著限制過多、指引不明的缺陷。

      折中進(jìn)路認(rèn)為,GDPR第22條既可以解釋為禁令,也可以解釋為一種反對權(quán),這兩種解釋主要區(qū)別在于數(shù)據(jù)主體是否需要采取措施來限制自動化決策。一方面,折中進(jìn)路淡化自動化決策拒絕權(quán)的權(quán)利屬性,將其從權(quán)利保護(hù)的關(guān)系網(wǎng)中抽離出來,從數(shù)字技術(shù)的發(fā)展對行政相對人權(quán)益的影響出發(fā),要求個人可以主動干預(yù),提出拒絕適用自動化決策作出行政決策的要求。相反,采取權(quán)利進(jìn)路,無論是程序控制還是內(nèi)嵌實(shí)體賦權(quán),所缺失的都是在源頭處對算法進(jìn)入公共決策予以嚴(yán)格把控。另一方面,折中進(jìn)路又意識到對數(shù)字技術(shù)持以過分保守態(tài)度,不利于人工智能、大數(shù)據(jù)、算法的進(jìn)一步發(fā)展,允許行政機(jī)關(guān)在征求行政相對人同意且不存在違法的情況下,借助自動化決策系統(tǒng)作出行政決策。這種進(jìn)路克服了禁令進(jìn)路和權(quán)利進(jìn)路的“偏執(zhí)觀”和“絕對性”,實(shí)現(xiàn)“權(quán)利保護(hù)與產(chǎn)業(yè)發(fā)展間的精細(xì)平衡”。

      (三)自動化決策拒絕權(quán)的進(jìn)路選擇:一種折中的進(jìn)路

      不可否認(rèn),自動化決策依托算法技術(shù)的決策系統(tǒng)替代人類決策,能夠大幅提高行政效率、克服執(zhí)法的恣意、保證決策標(biāo)準(zhǔn)的統(tǒng)一。但是,在數(shù)字化技術(shù)的深度應(yīng)用中,作為規(guī)則的代碼對技術(shù)產(chǎn)生了規(guī)范與約束,個人權(quán)利也會為數(shù)字技術(shù)所綁架。前文提及的禁令進(jìn)路反映出立法者對數(shù)字技術(shù)的隱憂,推崇“以人為本”,擔(dān)心算法會蠶食個人權(quán)益。自動化決策是一種借助公式和程序計算獲得的機(jī)器判斷,缺乏可識別/解釋的規(guī)則作為依據(jù),可謂自治系統(tǒng)。自動化決策算法容易與“人本主義”相背離,一旦不當(dāng)應(yīng)用,就會禍害無窮。但是,一開始就對數(shù)字技術(shù)持有抵觸情緒,會直接影響數(shù)字技術(shù)的良性發(fā)展和合理應(yīng)用。權(quán)利進(jìn)路反映出立法者對數(shù)字技術(shù)抱有相對樂觀的態(tài)度,堅信“計算中立”??墒牵惴ǖ摹霸铩痹谟谄湓O(shè)計之初有意或無意地引入了某種簡化和誤差,而這在后續(xù)的更新迭代中被不可避免地放大。而且,”在雙方力量懸殊時,單純的賦權(quán)并不足以改變權(quán)力/權(quán)利之間的勢差”。由此可見,無論是禁令進(jìn)路還是權(quán)利進(jìn)路,都有一定的局限。GDPR中的折中進(jìn)路避免智能行政對個人權(quán)益的保護(hù)陷入兩種極端,即過分關(guān)注個人權(quán)益忽視信息技術(shù)發(fā)展的極端、過分關(guān)注信息技術(shù)發(fā)展忽視個人權(quán)益的極端。

      我國智能化行政可以選擇折中進(jìn)路,從根本上避免智能化行政對相對人權(quán)益保護(hù)陷入兩種極端。折中進(jìn)路并非權(quán)利進(jìn)路或禁令進(jìn)路在不同場景下的選擇,而是具有普通適用性的自動化決策拒絕權(quán)進(jìn)路選擇。我國要在智能行政中構(gòu)建起自動化決策拒絕權(quán)的制度體系,就需要恪守折中進(jìn)路中的“三性”,即宏觀性、弱對抗性和動態(tài)性,達(dá)成“一方面建立即時矯正異化的‘束狀權(quán)力結(jié)構(gòu)’,另一方面擴(kuò)充長效制衡權(quán)力的‘算法權(quán)利版圖’”的效果,真正發(fā)揮自動化決策拒絕權(quán)的作用。

      首先,自動化決策拒絕權(quán)制度體系的構(gòu)建需要遵循折中進(jìn)路中的宏觀性。傳統(tǒng)禁令進(jìn)路與權(quán)利進(jìn)路都將自動化決策權(quán)作為制度構(gòu)建的核心范疇,卻從未站在自動化決策拒絕權(quán)應(yīng)用于智能行政的場景來審視。這一方面導(dǎo)致自動化決策拒絕權(quán)閉門造車,停留在權(quán)利譜系中不停演繹。畢竟,”權(quán)利總是個別且列舉性的,難以將公法中的權(quán)限和程序所具有的制度性自我規(guī)制,以及對抽象的公民整體權(quán)利保護(hù)全部歸納入個人的權(quán)利體系中”。另一方面導(dǎo)致自動化決策拒絕權(quán)的研究停留在對完全自動化系統(tǒng)和混合自動化系統(tǒng)二元應(yīng)用場景的“圈地運(yùn)動”中。學(xué)界因禁令進(jìn)路的影響,對混合自動化系統(tǒng)持包容態(tài)度,而對完全自動化系統(tǒng)趕盡殺絕。自動化行政決策的最終發(fā)展階段應(yīng)當(dāng)是應(yīng)用完全自動化系統(tǒng)的階段。無限的“圈地運(yùn)動”,只會將完全自動化行政決策阻擋在算法技術(shù)發(fā)展的大門外。因此,自動化決策拒絕權(quán)的折中進(jìn)路就要求我們要在“算法決策大規(guī)模進(jìn)入公共領(lǐng)域這一現(xiàn)實(shí)背景下”構(gòu)建制度,確保研究視角的宏觀性。

      其次,自動化決策拒絕權(quán)制度體系的構(gòu)建需要遵循折中進(jìn)路中的弱對抗性。無論是禁令進(jìn)路還是權(quán)利進(jìn)路,都習(xí)慣將算法技術(shù)或個人權(quán)利中的某一方逼到“死角”。事實(shí)上,將自動化決策與人工行政決策的運(yùn)行邏輯對比來看,算法決策遵循數(shù)理邏輯,法律決策依據(jù)社會邏輯,二者處于完全不同的邏輯系統(tǒng),算法自動化決策僅能做到提高效率、減少工作重復(fù)和簡單的推理,若要將算法決策轉(zhuǎn)化為法律決策,擺在前面的技術(shù)障礙和理論阻卻難以突破。既然算法決策與法律決策屬于兩種不同的邏輯系統(tǒng),我們就更不應(yīng)當(dāng)將它們放置在刻度尺的兩端,相反,我們應(yīng)弱化二者的對抗性,挖掘各自的優(yōu)勢,實(shí)現(xiàn)個人、社會和國家利益間的平衡,實(shí)現(xiàn)個人利益保護(hù)與國家數(shù)據(jù)產(chǎn)業(yè)發(fā)展間的動態(tài)平衡。

      最后,自動化決策拒絕權(quán)制度體系的構(gòu)建需要遵循折中進(jìn)路中的動態(tài)性。禁令進(jìn)路強(qiáng)調(diào)行政相對人可以在自動化決策前就拒絕行政機(jī)關(guān)借助自動化系統(tǒng)作出決策。權(quán)利進(jìn)路克服禁令進(jìn)路的局限性,嘗試豐富權(quán)利譜系,將自動化決策拒絕權(quán)適用于自動化決策的全過程。盡管權(quán)利進(jìn)路相較于禁令進(jìn)路,關(guān)注到造成“權(quán)利—權(quán)力”失衡的某一方面原因,但是該進(jìn)路過份強(qiáng)調(diào)自動化決策拒絕權(quán)的適用,反而導(dǎo)致權(quán)利行使的形式化。折中進(jìn)路的動態(tài)性本質(zhì)上要求自動化決策拒絕權(quán)在制度構(gòu)建時增強(qiáng)制度彈性。一方面要求自動化決策拒絕權(quán)在不同適用場景中根據(jù)需要選擇不同強(qiáng)度的人工干預(yù),另一方面則要求自動化決策拒絕權(quán)在適用某一場景時,“建立特定時間段內(nèi)的流動性平衡,而非某個時間點(diǎn)上的時時平衡”。

      五、智能行政中自動化決策拒絕權(quán)的適用展開

      自動化決策拒絕權(quán)在適用中面臨著進(jìn)路選擇不清,適用場域、適用前提、適用銜接不明等困境。我國應(yīng)當(dāng)以折中進(jìn)路作為自動化決策拒絕權(quán)的進(jìn)路選擇,選擇折中進(jìn)路有助于克服禁令進(jìn)路和權(quán)利進(jìn)路的不足,還有助于將折中進(jìn)路的宏觀性、弱對抗性和動態(tài)性應(yīng)用于智能行政自動化決策拒絕權(quán)適用困境的化解中。在折中進(jìn)路的指引下,自動化決策拒絕權(quán)的適用場域、適用前提和適用銜接能進(jìn)一步明晰。

      (一)拓寬自動化決策拒絕權(quán)的適用場域

      當(dāng)下自動化決策拒絕權(quán)適用場域面臨的問題在于既無法確定其能否完全應(yīng)用于智能行政的各個場域,也無法確定其是否能夠應(yīng)用于完全自動化決策中。

      首先,自動化決策拒絕權(quán)應(yīng)當(dāng)適用于智能行政的各個場域。盡管《個人信息保護(hù)法》是一部橫跨公私兩域的法律,但是該法只對處理個人信息的決策活動作出規(guī)定,未涉及行政決策的其他領(lǐng)域。在傳統(tǒng)行政活動中,信息資源匱乏、信息收集緩慢且成本高昂、信息處理能力羸弱。隨著科技的發(fā)展,我國的“物理政府”也因?yàn)榛ヂ?lián)網(wǎng)、大數(shù)據(jù)、算法、人工智能等數(shù)字技術(shù)的促進(jìn)逐漸向“數(shù)字政府”轉(zhuǎn)型?!毒V要》提出的“全面建設(shè)數(shù)字法治政府”,更是將“數(shù)字政府”的建設(shè)提到更高的層面,即要實(shí)現(xiàn)法治與數(shù)字的深度耦合、法治政府的數(shù)字化轉(zhuǎn)型。運(yùn)用算法等數(shù)字技術(shù)進(jìn)行自動化決策是數(shù)字政府的核心。自動化決策不僅包括個人信息的收集,還包括運(yùn)用算法進(jìn)行模型構(gòu)建、風(fēng)險預(yù)測、網(wǎng)上流程管理、網(wǎng)上審批等等。自動化決策拒絕權(quán)相較于以往的“說明理由”“聽取意見”等程序權(quán)利具有“更強(qiáng)人工干預(yù)”的特點(diǎn)。雖然個人信息的保護(hù)強(qiáng)度直接影響個人利益的保障程度,但智能行政的法治化程度更是直接影響個人利益、社會利益和公共利益,還可能影響現(xiàn)代法治的發(fā)展程度和升級限度。因此,有必要在智能行政中引入自動化決策拒絕權(quán),調(diào)適“權(quán)力—權(quán)利”失衡的局面,營造良好數(shù)字生態(tài)。明確自動化決策拒絕權(quán)的廣泛適用場域與折中進(jìn)路中的宏觀性相契合。宏觀性要求我們對自動化決策權(quán)的研究站在智能行政的場景來審視,實(shí)現(xiàn)智能行政應(yīng)用情景與自動化決策拒絕權(quán)的深度融合。

      其次,自動化決策拒絕權(quán)不僅可以在混合自動化系統(tǒng)中適用,還可以在完全自動化系統(tǒng)中適用。折中進(jìn)路的宏觀性要求自動化決策拒絕權(quán)的適用擺脫智能行政的“二分法”“三分法”乃至“四分法”的局限,以宏觀視角剖析智能行政,沒有必要再對自動化決策拒絕權(quán)“進(jìn)行基于數(shù)據(jù)庫編碼的計算機(jī)自動化、基于機(jī)器學(xué)習(xí)的算法自動化和基于神經(jīng)網(wǎng)絡(luò)的超級自動化的場景劃分”。一方面,完全自動化系統(tǒng)可能一開始就攜帶“偏見、黑箱、高對話成本”,人在自動化決策的設(shè)計中,可能有意無意地將自身的價值追求、預(yù)期目標(biāo)置入算法中。以算法歧視為例,如果一開始嵌入自動化系統(tǒng)的海量訓(xùn)練數(shù)據(jù)就隱藏歧視,那無論智能系統(tǒng)如何更新迭代,算法歧視總會貫徹始終。另一方面,混合自動化系統(tǒng)可能早已成為完全自動化系統(tǒng)的外套??紤]到“人工智能算法在語言和思維層面愈來愈迫近人類”,行政機(jī)關(guān)的工作人員為減少自身思考,假借“盡到人工干預(yù)義務(wù)”之名,忽略“個別情況考慮義務(wù)”,將決策權(quán)全部托付給自動化決策系統(tǒng)。畢竟在算法等數(shù)字技術(shù)高歌猛進(jìn)的當(dāng)下,行政機(jī)關(guān)借助算法技術(shù)形成形式上的人工干預(yù)來規(guī)避“個人干預(yù)義務(wù)”的行使也非難事,但是這種人工干預(yù)對自動化決策不產(chǎn)生實(shí)質(zhì)性影響。在混合自動化系統(tǒng)與完全自動化系統(tǒng)之間界限愈發(fā)模糊的同時,個人對自動化決策也開始愈發(fā)秉持一種“不信任”的態(tài)度。如果個人一開始就對決策主體持懷疑態(tài)度、缺乏基本信任,那無論決策主體如何公開信息都會被排斥、決策結(jié)果如何合理都會被反對,決策也無法被執(zhí)行,更有甚者,決策的情境可能都無法啟動。

      《個人信息保護(hù)法》第23條第4款中的“僅通過自動化決策的方式”將自動化決策拒絕權(quán)適用場域限定于“自動化決策的方式”,但未限定為“完全自動化決策的方式”。本文不再拘泥于自動化決策方式的程度分類,而是根據(jù)自動化決策拒絕權(quán)適用的宏觀性主張自動化決策拒絕權(quán)的適用場域應(yīng)當(dāng)拓寬至智能行政的各個場域。該種在折中進(jìn)路指引下的規(guī)范闡釋并不會與《個人信息保護(hù)法》現(xiàn)有規(guī)定相齟齬。因此,出于對自動化系統(tǒng)運(yùn)行現(xiàn)狀的考量和個人利益、社會利益和國家利益保護(hù)的需求,自動化決策拒絕權(quán)應(yīng)當(dāng)全場景適用于智能行政中,且無需限定僅適用于完全自動化行政中,需要全面拓寬其適用場域。

      (二)劃定自動化決策拒絕權(quán)的適用前提

      《個人信息保護(hù)法》第24條第3款規(guī)定自動化決策拒絕權(quán)的適用前提是“對個人權(quán)益有重大影響”。但是,該規(guī)定存在適用模糊的困境。唯一可以確定的是,自動化決策拒絕權(quán)中的“個人”必須是智能行政中享有權(quán)益的行政相對人,而不是他人。“對個人利益有重大影響”的判斷還需要在折中進(jìn)路的引導(dǎo)下進(jìn)一步展開,避免對“對個人權(quán)益有重大影響”作擴(kuò)大、泛化解釋,導(dǎo)致行政相對人濫用自動化決策拒絕權(quán)。

      首先,應(yīng)當(dāng)將對“對個人權(quán)益有重大影響”的判斷置于一個動態(tài)的分析框架內(nèi)。一方面,可以通過“列舉+兜底”或“分級排序”的方式界定“重要影響”中的判斷要素。GDPR第22條將適用前提規(guī)定為“產(chǎn)生法律或類似的重大影響”,歐盟第29條數(shù)據(jù)保護(hù)小組認(rèn)為,重大影響是對數(shù)據(jù)主體產(chǎn)生長期或永久影響或在最極端的情況下導(dǎo)致對個人的排斥或歧視。我們可以從中提煉出重大影響的幾個共同要素,具體包括法律地位的失衡、影響的持續(xù)性、影響的極端性、合法權(quán)益的明顯侵害等等。這些要素可以作為列舉的要素。另一方面,重大影響的判斷標(biāo)準(zhǔn)需要有兜底情形,避免“判斷徹底量化”情形的出現(xiàn)。算法、人工智能、大數(shù)據(jù)等數(shù)字技術(shù)日新月異,對個人權(quán)益產(chǎn)生的影響也處在不斷變化中。譬如,新出現(xiàn)的生成式人工智能技術(shù)就塑造了人機(jī)共生的關(guān)系,區(qū)別于深度合成技術(shù)、智能交互技術(shù)、高風(fēng)險人工智能。這種技術(shù)應(yīng)用于自動化決策中,”對個人權(quán)益有重大影響”的判斷標(biāo)準(zhǔn)可能又有變化。如果直接以全面列舉的方式對適用前提作出界定,會難以適應(yīng)實(shí)踐的需求,影響判斷標(biāo)準(zhǔn)的實(shí)踐性。折中進(jìn)路的動態(tài)性不僅要求權(quán)利譜系的動態(tài)變化,也要求自動化決策拒絕權(quán)制度設(shè)計應(yīng)富有制度彈性,即動態(tài)、流動地滿足實(shí)踐需要。因此,重大影響的判斷標(biāo)準(zhǔn)還需要設(shè)計兜底情形,即“一般理性人”融合具體場景綜合考量、合理評估后認(rèn)為屬于重大影響的。如此一來,對“對個人權(quán)益有重大影響”的判斷就既有直接指向性,避免了模糊性缺陷,又有靈活性,能較好地適應(yīng)智能行政的發(fā)展變化。

      其次,”對個人權(quán)益有重大影響”中的“影響”既包括已經(jīng)發(fā)生的影響,也包括未發(fā)生的影響。重大影響的判斷本質(zhì)上涉及行政裁量,需要行政機(jī)關(guān)根據(jù)影響發(fā)生的階段、影響范圍等要素動態(tài)調(diào)適判斷標(biāo)準(zhǔn)的松緊:對已經(jīng)發(fā)生的影響采用相對“寬松”的判斷標(biāo)準(zhǔn),對未發(fā)生的影響采用相對“嚴(yán)格”的判斷標(biāo)準(zhǔn)。如果對未發(fā)生的影響采用過于寬松的標(biāo)準(zhǔn),有“矯枉過正”之嫌,無益于數(shù)字技術(shù)、產(chǎn)業(yè)的健康發(fā)展。傳統(tǒng)行政法學(xué)研究恪守依法行政原則,著眼于行政行為的病理性分析,缺乏“最佳行政”的分析視角。新的行政法的二維結(jié)構(gòu)應(yīng)當(dāng)是“合法行政”與“最佳行政”的二維互動。“合法行政”與“最佳行政”的互動強(qiáng)調(diào)行政的合理性,亦對行政機(jī)關(guān)與相對人之間的關(guān)系提出更高的要求,即高權(quán)行政活動的疆域應(yīng)適當(dāng)縮小。對“對個人權(quán)益有重大影響”的判斷既要遵循法律規(guī)范的基本要求,還要考慮判斷背后的“利益博弈”,強(qiáng)調(diào)行政機(jī)關(guān)與相對人之間的弱對抗性,尋求最佳方案,實(shí)現(xiàn)內(nèi)在利益的動態(tài)平衡,達(dá)成最佳行政的目標(biāo)。

      (三)優(yōu)化自動化決策拒絕權(quán)的適用銜接

      自動化決策拒絕權(quán)在全場域適用于智能行政后,還需要考慮如何實(shí)現(xiàn)自動化決策拒絕權(quán)的適用協(xié)調(diào),構(gòu)建起一個封閉周密的行政相對人合法權(quán)益保護(hù)網(wǎng),改善“權(quán)力—權(quán)利”失衡的局面,弱化個人與行政機(jī)關(guān)之間的對抗性,充分發(fā)揮自動化系統(tǒng)的優(yōu)勢,推進(jìn)數(shù)字技術(shù)產(chǎn)業(yè)的良性發(fā)展。優(yōu)化自動化決策拒絕權(quán)的適用銜接,需要從自動化決策拒絕權(quán)的適用階段和自動化決策拒絕權(quán)與其他權(quán)利有序銜接兩方面展開(參見圖1)。


      1. 確立自動化決策拒絕權(quán)適用階段

      第一,現(xiàn)有法律規(guī)范為自動化決策拒絕權(quán)適用階段的確立提供了依據(jù)。《個人信息保護(hù)法》第24條第3款將自動化決策拒絕權(quán)的適用階段規(guī)定為“作出決定”。前文提及,“作出決定”區(qū)別于“作出的決定”:前者強(qiáng)調(diào)行政機(jī)關(guān)借助自動化系統(tǒng)作出決策這一活動,更多的是行為上的宣示;后者強(qiáng)調(diào)行政機(jī)關(guān)借助自動化系統(tǒng)作出的決策,更關(guān)注“最終的決策”。因此,“作出決定”不在乎決定是否已經(jīng)作出,在乎的是行為會對個人產(chǎn)生的重大影響。而且《個人信息保護(hù)法》第24條第3款的“并”字說明“要求說明理由權(quán)”與“自動化決策拒絕權(quán)”之間沒有行使的前后順序。個人有權(quán)要求信息處理者對“作出的決定”說明理由,這在實(shí)踐上表示為作出決定后的說明。而自動化決策拒絕權(quán)不要求個人必須在信息處理者作出決定后才可行使。

      第二,自動化決策拒絕權(quán)可以在自動化決策的任何一個階段提出是自動化決策“人在回路”治理路徑的要求,是個人自決在數(shù)字時代的內(nèi)在要求。個人自決指的是,個人在面對某種可能性的時候,有作出從事或放棄決定的自由。在數(shù)字時代,“人可能將技術(shù)理性發(fā)展得非常完美,但其總會有所保留,而這個保留的東西就是人文”。這種“人文關(guān)懷”應(yīng)當(dāng)貫徹自動化決策的始終,不應(yīng)對個人的拒絕設(shè)定不合理的“門檻”;這種“人文關(guān)懷”也不應(yīng)當(dāng)有行使階段的限制,行政機(jī)關(guān)應(yīng)保護(hù)個人在認(rèn)為有“某種可能性”存在時就行使自動化決策拒絕權(quán)的自由。

      第三,自動化決策拒絕權(quán)的全階段適用是折中進(jìn)路中宏觀性的基本要求。折中進(jìn)路要求我們對自動化決策拒絕權(quán)的解釋不再停留在權(quán)利譜系中不停演繹。我們需要站在公民知情權(quán)、提出異議權(quán)、獲得解釋權(quán)等權(quán)利的外圍,瞰覽智能行政中的權(quán)利譜系。自動化決策拒絕權(quán)應(yīng)當(dāng)與知情權(quán)、提出異議權(quán)等權(quán)利相區(qū)別,不拘泥于適用階段片段性。

      2.構(gòu)建自動化決策中的全流程行權(quán)機(jī)制

      行政機(jī)關(guān)作出自動化決策可以分為作出前、作出中和作出后。為保障行政相對人在自動化決策中的合法權(quán)益,有必要在自動化決策的每一階段嵌入行政相對人的行權(quán)路徑、確定每一階段行政相對人的權(quán)利內(nèi)容,構(gòu)建起決策前的風(fēng)險識別預(yù)警機(jī)制、決策中的風(fēng)險抵御機(jī)制和決策后的風(fēng)險消弭機(jī)制。

      在決策前的風(fēng)險識別預(yù)警機(jī)制中,行政機(jī)關(guān)需要保證算法決策的公開、保證個人知情權(quán)的實(shí)現(xiàn)。在自動化決策系統(tǒng)中,行政機(jī)關(guān)會預(yù)先向其置入程序語言,組建起模擬人類思維模式的模型。囿于算法語言的理解門檻和自我的考量,行政機(jī)關(guān)一般不愿意向公眾公開算法決策內(nèi)部的利益權(quán)衡、規(guī)則內(nèi)容,從而會加大公眾與行政機(jī)關(guān)的“代溝”。這本質(zhì)上違反了行政公開原則。行政機(jī)關(guān)對“算法作出決策的基本規(guī)則和因素權(quán)重,應(yīng)該對公眾與社會公開”。從行政相對人的角度而言,其可以直接以行使“知情權(quán)”為由,要求行政機(jī)關(guān)主動以一般人可以理解的表達(dá)方式公開自動化決策系統(tǒng)內(nèi)部的規(guī)則、因素權(quán)重。

      在決策中的風(fēng)險抵御機(jī)制中,行政機(jī)關(guān)應(yīng)當(dāng)允許公眾對決策系統(tǒng)、決策提出異議,也應(yīng)當(dāng)保證行政相對人在自動化決策中實(shí)現(xiàn)“獲得解釋權(quán)”。個人在發(fā)現(xiàn)自動化決策系統(tǒng)中的算法存在歧視、利益衡量存在不公的時候就可以直接向行政機(jī)關(guān)提出異議。在傳統(tǒng)行政決策中,行政機(jī)關(guān)通過專家參與和公眾參與提高決策的科學(xué)性與民主性。在自動化決策中,專家和公眾在“黯然離場”中面臨著權(quán)益受到侵害的風(fēng)險。因此,個人可以對之前公開的決策基本規(guī)則和因素權(quán)重中存在的問題提出異議,調(diào)整其在自動化決策中的弱勢地位。這也算智能時代專家意見的主導(dǎo)地位讓位于數(shù)據(jù)與算法的補(bǔ)救措施。“獲得解釋權(quán)”可以理解為個人權(quán)利中的“權(quán)利束”,更多應(yīng)用于個人信息保護(hù)領(lǐng)域。“獲得解釋權(quán)”本質(zhì)上也是行政相對人提出異議權(quán)的延伸,可以紓解自動化決策中算法妨害等問題。

      在決策后的風(fēng)險消弭機(jī)制中,行政機(jī)關(guān)既可以允許行政相對人對行政決策提出異議、尋求權(quán)利上的救濟(jì),也應(yīng)當(dāng)對自動化決策系統(tǒng)中裁量事實(shí)、裁量結(jié)果、裁量事實(shí)與裁量結(jié)果之間的因果關(guān)系進(jìn)行說明?!秱€人信息保護(hù)法》第24條第3款對“要求說明理由權(quán)”作出了規(guī)定,明確行政相對人在自動化決策對個人權(quán)益造成重大影響時可以要求行政機(jī)關(guān)予以說明。此時,這種說明理由就成為行政機(jī)關(guān)的一項義務(wù),應(yīng)當(dāng)在“對個人權(quán)益有重大影響”的適用前提下嚴(yán)格遵循。

      在構(gòu)建決策前風(fēng)險預(yù)警機(jī)制、決策中風(fēng)險抵御機(jī)制和決策后風(fēng)險消弭機(jī)制后,還需要將自動化決策拒絕權(quán)嵌入自動化決策的各個階段,實(shí)現(xiàn)自動化決策中權(quán)利的有效聯(lián)動,搭建起一個立體化、全面化、動態(tài)化的行政相對人行權(quán)體系。

      結(jié)語

      在當(dāng)前的智能行政中,雖然有裁量能力的完全自動化行政暫無實(shí)例,但是隨著大數(shù)據(jù)、人工智能、算法等數(shù)字技術(shù)的高速發(fā)展、迭代更新,有裁量能力的完全自動化行政也將出現(xiàn)在不久的將來?!比斯ぶ悄芩惴í?dú)特的運(yùn)行邏輯導(dǎo)致法律賴以生成與存在的社會結(jié)構(gòu)性場景發(fā)生了重大變化,加劇了決策者與相對人之間的‘?dāng)?shù)字鴻溝’,造成個人權(quán)利與算法權(quán)力之間的失衡,從而誘發(fā)了一系列的倫理問題?!蔽覀儾荒芤?yàn)閿?shù)字技術(shù)存在的問題就對其秉持悲觀、消極的態(tài)度,選擇一味地否定,也不能因?yàn)閿?shù)字技術(shù)帶來的數(shù)字紅利,就允許人的主體性被數(shù)字技術(shù)消解。應(yīng)當(dāng)逐步摒棄“計算中立”的二分立場,選擇對“人在回路”的立場進(jìn)行改造,紓解“權(quán)力—權(quán)利”失衡的格局,明確在智能行政中“最終由人來面對每一位評價者,側(cè)耳傾聽他們發(fā)出的聲音”。自動化決策拒絕權(quán)作為人與數(shù)字技術(shù)對話的一次重要機(jī)會,不應(yīng)人為增強(qiáng)二者的對抗性,相反可以選擇一種折中進(jìn)路,允許人在自動化決策的任何階段發(fā)聲,捍衛(wèi)人在自動化決策乃至智能行政中的尊嚴(yán)與主體性地位。

      特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

      Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

      相關(guān)推薦
      熱點(diǎn)推薦
      新冠卷土重來?醫(yī)生建議:家中常備這5個東西,關(guān)鍵時刻能救命

      新冠卷土重來?醫(yī)生建議:家中常備這5個東西,關(guān)鍵時刻能救命

      健康之光
      2026-07-16 18:40:07
      美加墨世界杯最大贏家居然是曼聯(lián)!3大名帥全栽了,卡里克成香餑餑

      美加墨世界杯最大贏家居然是曼聯(lián)!3大名帥全栽了,卡里克成香餑餑

      卡靈頓分析師
      2026-07-17 20:20:55
      央視將播!40集歷史大劇來嘍!何冰、董勇領(lǐng)銜,我敢說:這劇要爆

      央視將播!40集歷史大劇來嘍!何冰、董勇領(lǐng)銜,我敢說:這劇要爆

      草本紀(jì)年
      2026-07-16 16:58:15
      法國:向中國訂購3萬臺空調(diào)!中國:勁使大了,3天半搞完2萬臺

      法國:向中國訂購3萬臺空調(diào)!中國:勁使大了,3天半搞完2萬臺

      大眼妹妹
      2026-07-16 13:09:00
      田亮一家四口四川游,森碟氣質(zhì)開掛,14歲弟弟竟比爸還老成!

      田亮一家四口四川游,森碟氣質(zhì)開掛,14歲弟弟竟比爸還老成!

      殘夢斷憶
      2026-07-17 14:49:22
      別只盯著3納米!歐洲空調(diào)荒揭露半導(dǎo)體真相:83%的芯片產(chǎn)能跑在成熟制程上

      別只盯著3納米!歐洲空調(diào)荒揭露半導(dǎo)體真相:83%的芯片產(chǎn)能跑在成熟制程上

      快科技
      2026-07-16 10:37:24
      她明明是喬冠華的千金,卻被繼母百般刁難,連保姆都敢給她罪受

      她明明是喬冠華的千金,卻被繼母百般刁難,連保姆都敢給她罪受

      落雪聽梅a
      2026-07-17 19:50:10
      董卿沒想到精心培養(yǎng)的12歲兒子竟被丈夫密春雷拖累

      董卿沒想到精心培養(yǎng)的12歲兒子竟被丈夫密春雷拖累

      流云隨風(fēng)去遠(yuǎn)方
      2026-07-17 23:41:04
      《功夫女足》票房高漲后,周星馳再亮兩張底牌,給張藝謀上了一課

      《功夫女足》票房高漲后,周星馳再亮兩張底牌,給張藝謀上了一課

      曉肂愛八卦
      2026-07-18 06:05:26
      單日市值蒸發(fā)超1000億元!A股“光模塊之王”,突發(fā)跳水!赴港IPO迎重大進(jìn)展

      單日市值蒸發(fā)超1000億元!A股“光模塊之王”,突發(fā)跳水!赴港IPO迎重大進(jìn)展

      上市之家
      2026-07-18 02:50:38
      21歲女孩遇害,兇手是親生父親

      21歲女孩遇害,兇手是親生父親

      南方都市報
      2026-07-17 20:31:57
      張元英又“正面剛”了!抱臂爭議后直接曬抱臂照,這操作太颯了

      張元英又“正面剛”了!抱臂爭議后直接曬抱臂照,這操作太颯了

      奮斗在韓國
      2026-07-17 16:37:09
      某奢侈品牌深陷輿論!旭旭寶寶穿上身被彈幕拷打拒不妥協(xié):我花錢買的還不能穿了?被迫換裝氣憤吐槽!

      某奢侈品牌深陷輿論!旭旭寶寶穿上身被彈幕拷打拒不妥協(xié):我花錢買的還不能穿了?被迫換裝氣憤吐槽!

      新浪財經(jīng)
      2026-07-17 14:06:03
      U16國足主帥下課!名記:早該下課了!好在總算是及時剎車止損

      U16國足主帥下課!名記:早該下課了!好在總算是及時剎車止損

      懂個球
      2026-07-18 03:11:07
      事關(guān)留神峪煤礦,違法違紀(jì)線索越挖越深,這次挖出“大魚”了

      事關(guān)留神峪煤礦,違法違紀(jì)線索越挖越深,這次挖出“大魚”了

      張嘴說財經(jīng)
      2026-07-17 14:12:45
      名導(dǎo)諾蘭新片口碑爆了!爛番茄98%創(chuàng)生涯最高

      名導(dǎo)諾蘭新片口碑爆了!爛番茄98%創(chuàng)生涯最高

      自愈小日子
      2026-07-16 01:06:15
      8位知名專家組成的調(diào)查組,為何還沒有兩個網(wǎng)友“明察秋毫”?

      8位知名專家組成的調(diào)查組,為何還沒有兩個網(wǎng)友“明察秋毫”?

      青鋒看點(diǎn)
      2026-07-16 08:30:11
      反華反俄的美女總理,身材苗條金發(fā)碧眼,曾掏錢為澤連斯基立雕像

      反華反俄的美女總理,身材苗條金發(fā)碧眼,曾掏錢為澤連斯基立雕像

      小陸搞笑日常
      2026-07-16 15:58:15
      尷尬!央視《豪門盛宴》女主持人誤將AI說成AV 接替馬凡舒主持天足

      尷尬!央視《豪門盛宴》女主持人誤將AI說成AV 接替馬凡舒主持天足

      風(fēng)過鄉(xiāng)
      2026-07-17 09:51:25
      德拉富恩特:我曾把盯防梅西染黃的球員換下,之后梅西15分鐘進(jìn)了四個

      德拉富恩特:我曾把盯防梅西染黃的球員換下,之后梅西15分鐘進(jìn)了四個

      懂球帝
      2026-07-18 07:51:09
      2026-07-18 08:52:50
      行政執(zhí)法研究 incentive-icons
      行政執(zhí)法研究
      萃取理論精華
      3195文章數(shù) 3861關(guān)注度
      往期回顧 全部

      財經(jīng)要聞

      梁文鋒不需要天才

      頭條要聞

      情侶住酒店遭陌生人突開房門急得蓋被子:我們沒穿衣服

      頭條要聞

      情侶住酒店遭陌生人突開房門急得蓋被子:我們沒穿衣服

      體育要聞

      30億歐對決,世界杯季軍戰(zhàn)毫無意義?

      娛樂要聞

      曲婉婷自爆患癌!全網(wǎng)喊“蒼天繞過誰”

      科技要聞

      WAIC2026看什么?這份"不迷路"攻略請收好

      汽車要聞

      把中國超跑賣到英國,比亞迪正在被世界看見

      態(tài)度原創(chuàng)

      旅游
      藝術(shù)
      健康
      公開課
      軍事航空

      旅游要聞

      研學(xué)日記|天壇訪學(xué)日志

      藝術(shù)要聞

      被遺忘的國家主席,書法寫得真好啊!

      刮痧也會刮出腦梗?講個真實(shí)案例

      公開課

      李玫瑾:為什么性格比能力更重要?

      軍事要聞

      伊朗議長:這是一場“生存之戰(zhàn)”

      無障礙瀏覽 進(jìn)入關(guān)懷版 主站蜘蛛池模板: 北方第二个国家级都市圈来了| 《爱我几何》免费| 军刺电视剧全集在线观看| 幻想万华镜2| 公之手中字5HD| 少年张三丰张卫健电视剧免费观看| 韩国电影需要爸爸播种| 我女朋友的新妈妈双字ID免费 | 夜夜电影| 小凤新婚电影手机在线免费观看| 韩剧要帅气的生活| 硅胶娃娃实战效果视频| 新水浒传26集| 映山红简谱| 深泽县| 地球上的星星电影免费观看| 霸道股评最新视频| 团鬼六美女绳地狱| 白日焰火免费完整版| 男生女生一愁愁愁电视剧在线观看30分钟 | 还好 璀璨人生| 真破血国语版高清免费看| 替身演员全集免费| 绝地反击电视剧免费完整版在线观看| 杰西简壮志凌云免费观看影视大全 | 陷入我们的热恋.| 美丽小蜜桃五| 新上海滩| 法国《卖百科全书的女人》| 名侦探柯南714| 禁忌满天星帕| 深海利剑电视剧| xl司令在线观看完整版动漫免费| 美好的时光电视剧| 密室大逃脱第一季免费观看 | 电视剧老女人6| 黄色仓库在线播放| 灵契动漫无删减第一季| 拔萝卜电影| 偷窥 莎朗斯通| 啊进去了| 《康体水疗》1978完整版视频| 斯诺克虎牙4| 八戒看免费高清电视剧大全| 牙医姐妹在线观看| 高清《如月车站Re:》电影| 漂亮的小姨韩剧免费观看| 长安三万里提前抢先看完整版| 落魄贵族琉璃川在线观看完整版| 胜女的代价 第2季| 繁华落尽40集免费播放| 黑名单第二季20集| 赤裸惊魂| 华丽一族电视剧免费全集| 一闪一闪亮星星在线观看| 特殊游泳教练在线观看整板| 春欲未删减版dvd| xl司令真人版第一季全集免费| 波多野结衣教师系列精品| 正在播放:【夏晴子&温芮欣】国风按摩院_年节双飞俏佳丽 | 爱有几何电影高清免费观看全集 | 诱惑:湿身代言| 黑白配hd1080完整版在 | 369看妳懂的电影在线观看| 血战丛林免费观看完整版电影中文| 高清《日本三国》电视剧| 日本少女恃殊按摩3| 我的青春恋爱物语果然有问题动漫| 森林深处的秘密花园| 新少女6少女1| 一个女孩和一个男孩 | 女超人:麦乐迪在线观看| 下女qvod| 深田咏美在线播放| 荷尔蒙6美国| 公媳在线观看| 武汉大学校花| 铜铜钢铿锵锵锵锵锵锵免费观看下拉| 大剑在线观看免费| 母亲 爱情的限度| 埃丽·诺娃《纯粹》满天星 | 《常盘贵子恶魔之吻》| 变脸印度电影| 看了下面会流水的视频| 西班牙掌中之物完整版在线| 打黑风暴在线观看| 夫人韩剧| 《法国航空4》完整版| 一笑随歌40集全免费播放| 李天熙老婆| 2019free 18HD| 上海皇帝之岁月风云老六片段| 抗日奇侠全集播放| 美式保罗1至4带中文| 桑叶无删减| 战火青春电视剧| 需要爸爸播种子HD中字_午夜电影全集_完整版免费在线观看-天天影院 | 永不磨灭的番号电视剧| 诱她曾辉短剧第二季| 高中(hsc1v1)校园宿舍| 蜡笔小新国语高清| 爱情公寓ii| 白嫖者联盟免费观看电视剧| 叶罗丽精灵梦第六季全集| 好特电影| 82版杨敏思版本1-5集免费观看| 发电俏娇娃在线观看| 上司来我家做客 完整版| 无所畏惧电视剧40集全| 6680电视剧免费观看| 蘑菇影视妈妈的职业 经典| 小花猫儿歌喵喵叫| 陪讨厌上司去出差旅在线播放| 朋友的老婆3| ボクの弥生さん| 水手服饲养1| 碟中谍3在线观看完整高清免费版| 《和讨厌的部长出差》电影| 正义之刃短剧免费观看完整版高清| 麦乐迪家庭矛盾电影在线观看中文 | 逆流而上的你全集免费观看| 笑傲江湖电影| 同学聚会2电影完整版结局在线看免费| 我爱张宝利国语版全集| 朋友互换| 新梁山泊与祝英台| 《年轻女教师2》在线播放| 恨锁金瓶在线观看3| 上司办公室在线观看| 机甲兽神第一部| 封神榜陈浩民版高清| 《手》在线观看电视剧免费| 电影《双女任务》完整版| 死亡笔记 日剧| 《八尺夫人》完整版免费看| 秘密潜入2完整版| 黑帮大佬和我的365天2| 老婆出差接待傲慢客户| 仙帝归来:都市只手遮天短剧全集 | 光绪皇帝电视剧| 名侦探柯南日语版免费观看| 丫鬟逆袭全集免费| 需要爸爸种子在线追剧| 赤坂丽电影未删版在线| 公主把奶尖放入侍卫口中| 和讨厌的部长一起出差在线观看 | 禁室培欲终结篇| 《二十一世纪爱情指南》免费观看俄 | 电影偷窥无罪| 私人航空电影在线观看完整版高清 | 隐秘的角落在线观看| 电影《需要爸爸播种美国》观看| 诀别书简谱| 热辣滚烫在线观看全集电影| 《辞职欢送温泉之| 爱情不ng高清完整版| 已婚女人想和你偷吃表现| 巜商务旅行戴绿色帽的电影| 蓝志什么脱口秀| 电影《典狱长》完整版| 妈妈的职业5完整版结局在线| 天使与龙的轮舞动漫免费| 大陆剧以法之名在线观看| 女版斯巴达在线观看| 维多利亚一号电影| 大峡谷遗宝| 欧式少女全集高清版观看视频在线| 杜拉拉之似水年华| 爱人 电影 2005| 众王驾到| 美国的忌讳1-5| 我出生在伊朗| 高头大马| 国王的演讲下载| 黑girl小蛮| 日剧《我,到点下班》| 新娘新婚第一集| 聊斋艳谭叶子楣| 海豚中最大的海豚种类是什么 | 坎贝奇第二部曲《品味人生》下载| 大夏龙帝短剧免费观看| 美国灭火宝贝电影 | 暴躁老妈高清免费观看电视剧| 把冰块一个一个挤出去| 台湾爱国人士| 美国灭火宝贝电影| 刺客联盟2高清| 麻辣隔壁第二集| 侏儒国语版免费观看全集| 四项公投是哪四项| 月升沧海在线观看免费完整版| 儿子爱上妈妈| 新楚留香任贤齐版高清| 末日之热浪来袭短剧| 阿尔涅的事件簿全集观看| 铜铜铜铜铜铜钢免费| 妈妈愿意让你c| 悬崖 电视剧| 白峰美羽主演的为父报仇在线观看视 | 我的绝色女房客| 绝品邪医的桃花劫短剧免费观看| 倚天屠龙记之九阳神功 电影| 年经保姆年经3| 庶女有毒:嫡姐避让全集免费| 金银瓶1-5手机| 第五元素| 1985G点原版完整版| 漂亮的保姆HD电影| 中国教育考试网官网登录入口| 巜人妻初次按摩2免费观看| 借种完整版| 年轻的母亲4先韩剧 | 韩剧《特殊游泳教练》免费观看全集| 书屋的激情性事| 马大姐新传| 《总统》(星克莱尔)在线观看 | 一路向西女演员| 辽宁卫视在线直播观看| 爱转角遇到爱全集| 鬼灭之刃游郭篇免费观看| 渔夫荒淫史在线| 我最好朋友的女朋友| 《灭火宝贝(高压监狱)》| 古代种田全集免费| 超级肥妻| 美国家庭禁忌结局5| 《和讨厌的部长出差》大结局免费看 | 良辰美景好时光西瓜影视| 大胸继拇特殊服务4| 山河故人免费| 最后的99天在线观看| 北辰区| 老公的私房钱电视剧剧情免费观看| 肉脯团电影完整版| 斗破苍穹163集完整版免费观看| 不雅空乘2在线观看| 牡丹夜叉1987台湾版剧情简介| 特邀送货员在线观看| 丽卡驯服2电影免费观看| 龚玥菲新金瓶bt种子| 热门影视| 求婚大作战日剧| 荷尔蒙6荷语中文版| 赌侠免费| 妈妈的职业5观看全集免费| 沧元图59集在线观看高清| 大牛影库战狼6在线观看| 外出2在线观看电影免费全集| 女超人法国电影未删减版在线观看| 老阿姨电影电视剧免费播放| 一个朋友的母亲中字ID英文| 欢乐颂3免费观看| 女超人麦迪乐版| 仙武传在线免费观看| 美国伦理《生殖按摩》在线播放| 天下长河电视剧在线观看完整版| 金牌销售的秘密| 海扁王2 下载| 甘城光辉游乐园在线观看| 末路天堂| 特殊的发型屋3完整版| 情靡短剧一口气看完| 深宅大院| 哇嘎免费观看完整版视频| 我是真的讨厌异地恋电影在线观看| 《画皮》丁程鑫版| 女超人麦乐迪无删减在线观看| 老公原谅我在线播放| 老公原谅我在线| 我不会爱你| 《玛丽!玛丽!》满天星中文| 浪漫玛丽国语版全集| 善良的嫂子2 电影| 姐妹医牙完整版| 韩国恶作剧之吻| 北非谍影免费| V酒店在线观看| 海豚中最大的海豚种类是什么| 刁蛮婆婆俏媳妇| 歌唱党的歌曲| 娃嘎电影网免费观看| 伯虎为卿狂国语| 华晨宇尚雯婕小星星| 草灯和灯电影免费观看| 不差钱电影| 三大队电影免费观看| 名侦探柯南722| 倔强退魔师1-4集在线观看免费| 喜爱夜蒲陈柏宇发型| 九品芝麻官| 法国经典电影女狱警》理论片高清在线观看 - 全集韩国剧 -南瓜...导演:William | 美丽小蜜蜂2美国版中文| 肖申克的救赎 电影| 游泳衣女式三角连体泳衣 | 奔跑吧3| 高达00第一季| 爱情面前谁怕谁分集剧情介绍| 风骚的邻居电影| 泽连斯基言论惹怒美国民众| 电视剧大唐荣耀| 美姐妹医生在线电影观看完整版高清| 超市特工第四季| 满江红电影张艺谋免费观看?| 动物世界性行为驴| 《幸福花园》双男主动漫免费看| 电波女与青春男第一季免费观看| 电视剧拜托小姐| 女版战狼6免费观看全片影院| 挺好的人生电视剧全集免费观看| 电竞国家集训队集体亮相| 玩弄三个高大的熟妇赶尸艳谈| 酒店1-50集| 《深情眼》电视剧免费观看| 生活有点甜 电视剧| 爱我几何电影在线观看| 别惹白鸽在线观看免费完整版| 黄种人粤语| 脱口秀第五季在线观看免费高清| 三年中国国语高清免费播放 | 陈明月微博| 品味人生在线观看免费高清电视剧坎 | 我是歌手| 我的妹妹最近有点怪真人电影原声配音| 相爱相亲| 老九门西瓜| 再见李可乐电影在线看免费| 《大兵的寝室》电影完整版在线观看 | 甄嬛传43集| 河西区| 魔力宝贝监狱1989在线观看 | 食物链2大尺寸片段| 高清《囚禁时间》电影免费观看全集 | 义姐是不是良女动漫全集免费播放| 我心不死| 地震瞬间丈夫飞奔上楼喊妻子| 地缚少年花子君2全集免费观看| 我女朋友妈妈双字id| 电视剧流水迢迢| 昌邑市| 除恶飞车党在线观看| 火云传奇| 女人的战争2新婚快乐| 《陈宝莲版武则天秘史》| 妻子的谎言电视剧免费播放| 德川幕府罚史三部曲之水月篇| 明日战记在线观看| 罚罪电视剧在线观看完整版免费| 钢琴课快播| 樱桃红红| 《法国空乘11》| 十七岁在线观看完整版高清| 贾旭明张康新闻联播| 法国少女农场2| 鉴证实录2| 《黄金瞳》在线观看| 电影《姐妹牙医》免费观看| 那金花和她的女婿46| 理伦三级我的女朋友妈妈三| 抵债的朋友高清完整版在线观看| 最新蛇片| xl司令免费全集观看| 《落翅女荒野》台湾版| 危情陈雅伦| 蜜桃5电影| 十七岁高清完整版在线观看日本| 我是特种兵第二部全集| 斗破苍穹107集免费观看| 义犬报火警| 波牛电影| 烧饼皇后下载| 保罗一家1-4在线观看| 薛平贵与王宝钏在线观看| 尖叫之夜免费观看2023年电影| 年的继拇4| 苏文茂相声| 阿西门的街| 新人肉叉烧包完整版| 2对1:三人一次体检电视剧| 夏目友人帐 第一季| 初代奥特曼国语全集| 插曲的痛30集全集免费播| 杨乃武与小白菜粤语版| 贤妻电视剧全集下载 | 蘑菇测试| 《变形金刚》| 风暴来临| 康体水疗电影1978完整版在线播放| 单亲妈妈与儿子| 美英空袭也门:夜空升起巨大火球 青柠在线观看免费高清电视剧下载 | 我是歌手 谭晶| 一又二分之一的夏天歌曲| 金装的维尔梅第6集| ⅹl上司第一季末增减| 夜蒲团2| 别让我看见 电视剧| 蛇姬| 悬崖上的金鱼姬普通话版免费观看| 新少年包拯电视剧免费观看| 《母亲》电影| 369你懂的电影永久入口| 艺人包装| 樱桃小丸子粤语版| 《禁忌》9大结局| 周生如故电视剧免费看| 神断狄仁杰| 印度空姐2全集观看完整版| 九龙城寨手机免费观看| 恰好是少年在线观看| 男与女电影| 遥控器控制女老板的电影 | 云南虫谷电视剧免费观看完整版| 羽生稀IPZ376在线播放观看| 为爱远嫁终成空短剧免费观看全集 | 黑帮大佬和我的365五天| 师宗县| 按摩店的待遇1电影在线观看| 《星际穿越》电影| 母亲8集在线动漫| 金银悔5| 小贤和橘子今天的最新视频| 不穿内裤的女教师在线观看| 恐怖电影免费高清在线观看| 爱我几何《莫妮卡》电影完整版在线| 川西剿匪记全集观看| 老阿姨电影电视剧免费播放| 曾志伟电影全集国语| 克莱尔《总统之夜》| 美乐加油全集| 熊出没之环游世界| 工作女郎韩国| 《邻の若妻森奈奈子在线播放》| 豺狼的日子电视剧| 原千岁全集免费观看| 女朋友的丰满妈咪| 荷尔蒙少女3高清完整版| 阿基米德大战| 泰版流星花园在线观看| 赤裸特工| 生活中的玛丽电影在线播放免费| 法国女超人HD版在线观看| 大唐诡事录2免费观看完整版| 变形金刚故事| 女空乘满天星1973| 私人家教 在线| 台州学院附中| 因为想你泰剧在线观看完整版免费| 肉蔻之香| 黑人男按摩师好爽| 无限地带23| 夺命速递| 伤痕 ali| 新女员工部长的教育| 三客优理论| 老农民60集完整版电视剧| 浦北县| 超清国语黄色仓库网vlp| 与凤行更新时间| 隋唐英雄108| 乩身全集观看| 三位少妇按摩计在线观看免费 | 《法国航空4》| 马戏之王| 魔宫魅影| 孤独的美食家第五季| 爱唯侦察9集完全版| 呼吸过度电影| 3d如蒲团| 《幸福花园/纤细的爱》| 插曲的痛免费观看完整版| 需要爸爸种子 - 在线追剧美国式禁忌| 好想告诉你电影版下载| 道德的火焰| 塞罗奥特曼电影版| 电影《急诊护士》完整版| 绝密押运优酷| 电视剧樱桃| 霜花店无删减版| 高压监狱在线观看完整免费高清满天星在线| 钢铁侠1| 白日焰火无删减版在线观看| 金枝玉叶延禧攻略2在线观看完整版| 公与三个媳HD| 丁宝桢40集电视剧免费下载| 年轻气盛| 我和我们在一起免费看| 地爆天星在线高清免费观看| 军妓慰安妇| 情深深雨蒙蒙25| 唯舞独尊mv| 午夜的太阳| 中圆村妓三级片国语| 纪录片枪| 飞影铠甲| 电影爱的躯壳| 1995年意大利版《人猿泰山》中字电影网| 樊哈儿传奇全集| 江苏卫视花样年华全集| 我老婆是学生会长第二季| 牙医电影完整版2000年| 买房人开始焦虑排不上队| 无尽的爱电影在线观看全集免费| 中国男篮进2024奥运会了吗| 七个世界一个星球| 宜昌保卫战| 按摩女人奶电影| flypaper百度影音| 邮差电影| 隐形帽子电影免费| 假日暖洋洋 电视剧| 电视剧薄冰| 神探默多克第一季| 黑白配高清国语免费视频 | 马大姐新传| 急救护士(成人版 | 三年在线观看免费完整版中文| 直到黎明| 《超级战舰》在线观看| 受戒电影完整版在线观看| 金琴英3比1张本美和亚锦赛夺冠| 中字和丈夫的下属相处之道| 高清轧戏| 疯狂大老千国语| 好妈妈韩国4中字韩国电影| 需要爸爸播种的视频| 新上海滩全集| 清镇市| 麦乐迪完整版免费观看| 中国维和警察 电视剧| 埃及猫原版动画| 吴清任上海市委副书记| 暴躁少女视频免费观看电视剧| 燃冬电视剧在线观看完整版免费| 龙三和他的七人党| 包粽子手法教程| 我女朋友的新妈妈双字ID免费 | 朝国年经的继6免费观| 菲律宾电影《私人教练》的创作背景 | 人间正道是苍桑| 电视剧林师傅在首尔| 烈火干柴1978版| 酒店1-80集全集免费观看| 爱我几何原版无删减版在线观看 | 无敌三脚猫全集| 关西无极刀高清| 《猎毒人》免费播放| 暴力拆迁| 美国wwwwxxxx69| 一步之遥字幕下载| 幸福小丈夫全集| 兵临城下电视剧下载| 美容院的待遇服务6| 电影克莱尔的迷宫在线观看| 《咒》恐怖电影完整版在线观看| 欧洲超级杯| 自主招生自荐信| 加勒比女海盗在线观看| 沉默的舰队电影| 《关于爱》在线观看免费| 火凤凰33集| 天美影院电视剧在线播放| 洗衣机维修工的艳遇| 田教授家的二十八个保姆| 我们都要好好的| 夫妇联欢会回不去的夜晚9集| 21世纪爱指南8集在线| 迷人的保姆| 站着再来一次30集全免费高清| 末路狂花钱免费观看全部剧情| 红警全能王2012| 白头神探| 高清高等教欲| 壮志凌云2011凯登版在线观看 | 和部长一起去出差旅电影叫什么名字 | 迪拜的女人| 特殊家政服务电视剧在线观看 | 李敖 刘家昌| 胜利事件牵扯明星| 豪门恩怨:家产争夺大战全集免费| 下属的妻子电影| 超前看剧app网站| 想你爱你更恨你美国版| 胜女的代价大结局| 《渔夫的荒野史记》剧情解析视频在| 《女超人麦乐迪》电影免费播放 | 灌篮高手连载| 两世欢电视剧| 电视剧智者无敌| 电锯人动漫| 战狼7欧式少女战狼12| 斗破苍穹149| 迪迦奥特曼国语版全集高清| 当年明月难寻短剧免费观看| 甜美姐姐| 《法国空乘2023》观看| 易中天品三国52| 电视剧神隐在线播放最新| 芈月传第三集| 朋友家的麦子2中文版配音| 光荣与梦想电视剧| 《流星花园》免费观看完整版| 长相思第二季免费播放全集| 电视剧糟糠之妻| 哇嘎电影免费观看高清国语| 韩剧《嫌疑人》在线观看| 演员李桓| 新闺蜜时代23| 天山暮雪电视剧全集| 请问护士俄剧满天星| 绝世双骄主题曲| 新生电视剧剧情介绍| 女子公厕废纸篓发现弃婴| 一起来看流星雨12| 3d肉蒲团高清| 洪真英被躁B在线观看 | 马永贞争霸上海滩| 性感的私人女老师7| 深情眼电视剧免费观看完整版| 风中奇缘全集| 仙五电视剧| 电影种马猎人完整版免费观看 | eeUsS| 龚玥菲在线观看电影 | 日本大胸继拇| 私人女子监狱| 一路走来一路读| 美国1984版保罗2免费观看| 正义联盟 彩蛋| 拒绝爆冷 大头王者归来打疯了| 3380理论| 珍珠美人鱼小游戏| 《沟壑难填》| 深圳之恋电视剧免费完整版| 外景拍照姿势| 玉女聊斋电影全集| 甜蜜蜜电视剧| 迷奸家庭教师视频| 扫黑风暴电视剧免费观看全集| 花样少年少女| 怪侠欧阳德剧情分集介绍| 哈利 奎恩| 秘密女搜查官在线观看第6集| 黄造时曹查理隔世情电影| 刘宝瑞单口相声测字| 陈小春版鹿鼎记免费| 诱惑我的邻家美女姐姐| 郝板丽在线观看| 新扎师兄1988| 包青天开封奇案| 黑执事第一季| 仁心俱乐部全集免费播放| 黑人巨茎大战俄罗斯美女 | 巜健身房激情HD中字 | 动漫裸体无遮挡屁股| 乡村爱情故事第5部| 新大头儿子小头爸爸第二季| 电影《第八日》凯登克罗斯| 《无憾》免费观看| 贞观之治所有演员表| 艰难爱情全集| 琪琪布网站| 法国电影《军事不当行为》在线观看| 韩国毛片同学韩妈妈屮文字惹| 人间水蜜桃6免费观看电视剧 | 《再见莫妮卡》| 宝丽金25周年演唱会| 东京一店长闻到煤气味后点了根烟| 玉浦团电影| 交换上司的秘书在线观看| 娃嘎电影网免费观看| 完美搭档百度影音| 财阀刑警| 电视剧怪侠欧阳德| 最美丽的第七天| 《角斗士3满天星版》在线观看| 还珠格格1部| 港版的武则天| 武汉十七中事件| 糖果盒子| 超级教师3免费版电视剧 | 星级狂魔1982满天星| 女飞行员(美国)满天星女版| 新上错花轿嫁对郎电视剧全集观看| 火火的姑娘云裳广场舞| 无颜之月全集动漫免费观看完整版| 特殊保险推销员5| 白雪公主成人H欧美| 傅佩荣 易经| 还珠格格之风儿阵阵吹全集| 绝世唐门第60集免费观看| 非亲兄弟演员表| 电影塔日酒店| 贝尔法斯特天堂路| 青草青青视频| 乞丐大结局全集观看| 大清帝国国歌| 男生女生一愁愁愁电视在线观30集| 老同学6普通话版免费观看| 霜花店韩国电影观看完整版| 复仇者联盟什么时候上映| xl司令第一季全集免费完整版在线观看 | 万古神话免费观看全集完整版 | 周生如故电视剧免费观看西瓜| 雷迪嘎嘎演唱会| 金钱之味剧情| 布衣神相国语全集| 伽师县| 热带暴风雨行动满天星版| 我是女演员| 功夫足球全集| 昔有琉璃瓦电视剧免费观看全集| 蜘蛛侠3英雄无归在线| 爱我几何电视剧免费观看完整版高清 | 养个妹妹做老婆| 新妈妈完整版| 乱世佳人电视剧免费观看全集 | 大珍珠电视剧全集免费播放| 厨艺大师第三季| 后藤えり子| 二连浩特吧| 《维修工》电影免费观看| 湿透的按摩HD中字| 搞笑漫画日和中文| 神隐35集| 电视剧决战江桥全集免费观看| 星辰变在线观看全集免费观看| 王李丹妮新片《维修工》叫什么名字 | 《八仙饭店2之埃博拉病毒》免费观看| 三妹免费| 咱们结婚吧免费观看完整版| 锁定:怒火危崖| 黄绮珊离不开你歌词| 21世纪性格爱情指南免费| 私人女性临狱| 妖精的尾巴119预告| 黑帮大佬和我365日在线观看| 《不当交易》完整版在线观看| 南京人身份证上为啥没省名| 情从林| 《住在隔壁的女孩》电视剧| 喜爱夜蒲未删减| 舒淇主演《玉女心》电影免费观看| 电视剧扫黑风暴40集在线观看 | 战狼6高清完整免费观看| 偶像活动第一季| 巜人妻初次按摩2播放| 西厂厂花| 圣斗士星矢冥王神话国语版| 战狼6免费观看高清| 按摩师男| 美神禁猎区| 韩剧浪漫满屋中文版| rerese| 娘家的故事| 美国荷尔蒙6| 初体验| 罪恶六芒星1979| 暗算电视剧免费高清完整版在线观看| 樱花动漫免费看妖神记第五季| 007幽灵党在线观看完整免费版| 忍不住的继拇HD中字| 别墅轮换| 相识在线观看完整版高清| 哥布林的窑洞第一季| 招惹电视剧在线观看免费版高清| 盛夏晚晴天电视剧| 1995版《泰山和珍妮》在线观看 | 男生女生一愁愁愁在线观看大片| 东宫西宫下载| 兰陵王电视剧全集下载| 追在线观看| 白蛇传免费| 杰西简的电影在线播放| 驯服维修工资人员5剧情简介| 朝云暮雨免费观看完整版| 银魂174| 仙逆动漫免费在线| 女大学生的沙龙室观看| 台湾原始部落无删减版电视剧| 王李丹妮《维修工》在线观看| 战狼6免费高清| 小咦多鹤| 生死线电视剧全集免费观看完整版| se123| 扶风县| 男女一起愁愁愁全集下载| 妙笔生花电影| 汤摇庄的幽奈同学| 火兰刀锋| 棒棒第12集免费观看视频播放| 李为当官| 《维修工人的艳遇》2| 她在丈夫面前被耍了搬运工| 军中乐园在线| 心脏听诊mp3| 韩国电影出轨| 仁心电视剧免费观看全集在线播放| 义姐是不是良喂养1-3集动漫在哪| 爱我几何鸿知影院| 百变狸猫| 不信天上掉馅饼| 梁祝艳谭电影全部播放| 女子离职后把手机静音1年| 意大利《八尺夫人》| 八尺夫人意大利电影完整版| 再见爱人第四期在线观看| 银饰 电影| 孩子今天妈妈给你| 金凭梅电视剧免费观看 | 《招魂3》在线观看| 半夜叫你别回头恐怖片免费观看| 梦里水乡mtv| 七千人大会始末| Xl司令第二季第八集无马赛免费观看 | 一切都值得 张杰| 牙医姐妹在线看完整版高清电影1986| 公交妹妹| 电影云南虫谷| 电视剧武则天全集| 唐宫美人天下杨幂| 聚会的目的中文字幕| 黑白配中文版全集在线观看免费 | 礼物电影完整版在线看| 如何让他忍不住联系你| 铿锵锵锵锵在线观看免费载| 《法国空乘8》免费看| 秀才遇着兵粤语| 日本三国电视剧| 激情社区在线观看| 谷城县| 房奴试爱电视剧全集完整版| 一路向西快播观看| 唐人街探案3国语版在线观看免费| 美容室待遇4| 1983《特别的酒店》免费观看| 泽塔奥特曼第16集| 咱们结婚吧 电影| 镜月如歌全集免费观看| 生龙活虎小英雄| 山西科教频道| 《村枝》周弘版高清版| 翁虹艳电影全集| 电视剧青青河边草| 韩剧完整的爱国语版| 部长出差的日子免费在线观看 | 安家一共多少集| 巜被部长玩弄的秘书电影| 人马配速60分钟视频教程大全| 狂飙电视剧国产全集免费播放| 新妈妈完整版| 守护甜心全集土豆网| 帝国刺客|