代碼倉庫: https://github.com/brandonlyg/cute-dl

目標

        上階段cute-dl已經可以構建基礎的RNN模型。但對文本相模型的支持不夠友好, 這個階段的目標是, 讓框架能夠友好地支持文本分類和本文生成任務。具體包括:

1. 添加嵌入層, 為文本尋找高效的向量表示。
2. 添加類別抽樣函數, 根據模型輸出的類別分佈抽樣得到生成的文本。
3. 使用imdb-review數據集驗證文本分類模型。
4. 使用一個古詩數據集驗證文本生成模型。

        這階段涉及到的代碼比較簡單因此接下來會重點描述RNN語言相關模型中涉及到的數學原理和工程方法。

數學原理

文本分類模型

        可以把文本看成是一個詞的序列\(W=[w_1, w_2, …, w_T]\), 在訓練數據集中每個文本屬於一個類別\(a_i\), \(a_i∈A\), 集合 \(A = \{ a_1, a_2, …, a_k \}\) 是一個類別別集合. 分類模型要做的是給定一個文本W, 計算所有類別的后驗概率:

\[P(a_i|W) = P(a_i|w_1,w_2,…,w_T), \quad i=1,2,…k \]

        那麼文本序列W的類別為:

\[a = arg \max_{a_i} P(a_i|w_1,w_2,…,w_T) \]

        即在給定文本的條件下, 具有最大后驗概率的類別就是文本序列W所屬的類別.

文本預測模型

        設任意一個文本序列為\(W=[w_1,w_2,…,W_T]\), 任意一個詞\(w_i ∈ V\), V是所有詞彙的集合，也叫詞彙表, 這裏需要強調的是\(w_i\)在V中是無序的, 但在W中是有序的, 文本預測的任務是, 計算任意一個詞\(w_i ∈ V\)在給定一個序列中的任意一個位置出現的概率:

\[P(w_1,…,W_T) = ∏_{t=1}^T P(w_t|w_1,…,w_{t-1}) \]

        文本預測輸出一個\(w_i ∈ V\)的分佈列, 根據這個分佈列從V中抽取一個詞即為預測結果。不同於分類任務，這裏不是取概率最大的詞, 這裏的預測結果是某個詞出現的在一個序列特定位置的個概率，只要概率不是0都有可能出現，所以要用抽樣的方法確定某次預測的結果。

詞的数字化表示

        任意一條數據在送入模型之前都要表示為一個数字化的向量, 文本數據也不例外。一個文本可以看成詞的序列，因此只要把詞数字化了，文本自然也就数字化了。對於詞來說，最簡單的方式是用詞在詞彙表中的唯一ID來表示, ID需要遵守兩個最基本的規則:

1. 每個詞的ID在詞彙表中必須是唯一的.
2. 每個詞的ID一旦確定不能變化.

        這種表示很難表達詞之間的關係, 例如: 在詞彙表中把”好”的ID指定為100, 如果希望ID能夠反映詞意的關係, 需要把”好”的近意詞: “善”, “美”, “良”, “可以”編碼為98, 99, 101, 102. 目前為止這看起還行. 如果還希望ID能夠反映詞之間的語法關係, “好”前後經常出現的詞: “友”, “人”, “的”, 這幾個詞的ID就很難選擇, 不論怎樣, 都會發現兩個詞它們在語義和語法上的關係都很遠，但ID卻很接近。這也說明了標量的表達能力很有限，無法表達多個維度的關係。為了能夠表達詞之間多個維度的的關係，多維向量是一個很好的選擇. 向量之間的夾大小衡量它們之間的關係:

\[cos(θ) = \frac{<A, B>}{|A||B|} \]

        對於兩個向量A, B使用它們的點積, 模的乘積就能得到夾角θ餘弦值。當cos(θ)->1表示兩個向量的相似度高, cos(θ)->0 表示兩個向量是不相關的, cos(θ)->-1 表示兩個向量是相反的。

        把詞的ID轉換成向量，最簡單的辦法是使用one-hot編碼, 這樣得到的向量有兩個問題:

1. 任意兩個向量A,B, <A,B>=0, 夾角的餘弦值cos(θ)=0, 不能表達詞之間的關係.
2. 向量的維度等於詞彙表的大小, 而且是稀疏向量，這和導致模型有大量的參數，模型訓練過程的運算量也很大.

        詞嵌入技術就是為解決詞表示的問題而提出的。詞嵌入把詞ID映射到一個合適維度的向量空間中, 在這個向量空間中為每個ID分配一個唯一的向量, 把這些向量當成參數看待, 在特定任務的模型中學習這些參數。當模型訓練完成后, 這些向量就是詞在這個特定任務中的一個合適的表示。詞嵌入向量的訓練步驟有:

1. 收集訓練數據集中的詞彙, 構建詞彙表。
2. 為詞彙表中的每個詞分配一個唯一的ID。假設詞彙表中的詞彙量是N, 詞ID的取值為:0,1,2,…,N-1, 對人任意一個0<ID<N-1, 必然存在ID-1, ID+1.
3. 隨機初始化N個D維嵌入向量, 向量的索引為0,1,2,…,N-1. 這樣詞ID就成了向量的索引.
4. 定義一個模型, 把嵌入向量作為模型的輸入層參与訓練.
5. 訓練模型.

嵌入層實現

        代碼: cutedl/rnn_layers.py, Embedding類.

        初始化嵌入向量, 嵌入向量使用(-1, 1)區間均勻分佈的隨機變量初始化:

'''
dims 嵌入向量維數
vocabulary_size 詞彙表大小
need_train 是否需要訓練嵌入向量
'''
def __init__(self, dims, vocabulary_size, need_train=True):
    #初始化嵌入向量
    initializer = self.weight_initializers['uniform']
    self.__vecs = initializer((vocabulary_size, dims))

    super().__init__()

    self.__params = None
    if need_train:
        self.__params = []
        self.__cur_params = None
        self.__in_batch = None

        初始化層參數時把所有的嵌入向量變成參与訓練的參數:

def init_params(self):
    if self.__params is None:
        return

    voc_size, _ = self.__vecs.shape
    for i in range(voc_size):
        pname = 'weight_%d'%i
        p = LayerParam(self.name, pname, self.__vecs[i])
        self.__params.append(p)

        向前傳播時, 把形狀為(m, t)的數據轉換成(m, t, n)形狀的數據, 其中t是序列長度, n是嵌入向量的維數.

'''
in_batch shape=(m, T)
return shape (m, T, dims)
'''
def forward(self, in_batch, training):
    m,T = in_batch.shape
    outshape = (m, T, self.outshape[-1])
    out = np.zeros(outshape)

    #得到每個序列的嵌入向量表示
    for i in range(m):
        out[i] = self.__vecs[in_batch[i]]

    if training and self.__params is not None:
        self.__in_batch = in_batch

    return out

        反向傳播時只關注當前批次使用到的向量, 注意同一個向量可能被多次使用, 需要累加同一個嵌入向量的梯度.

def backward(self, gradient):
    if self.__params is None:
        return

    #pdb.set_trace()
    in_batch = self.__in_batch
    params = {}
    m, T, _ = gradient.shape
    for i in range(m):
        for t in range(T):
            grad = gradient[i, t]
            idx = self.__in_batch[i, t]

            #更新當前訓練批次的梯度
            if idx not in params:
                #當前批次第一次發現該嵌入向量
                params[idx] = self.__params[idx]
                params[idx].gradient = grad
            else:
                #累加當前批次梯度
                params[idx].gradient += grad

    self.__cur_params = list(params.values())

驗證

imdb-review數據集上的分類模型

        代碼: examples/rnn/text_classify.py.

        數據集下載地址: https://pan.baidu.com/s/13spS_Eac_j0uRvCVi7jaMw 密碼: ou26

數據集處理

        數據集處理時有幾個需要注意的地方:

1. imdb-review數據集由長度不同的文本構成, 送入模型的數據形狀為(m, t, n), 至少要求一個批次中的數據具有相同的序列長度, 因此在對數據進行分批時, 對數據按批次填充.
2. 一般使用0為填充編碼. 在構建詞彙表時, 假設有v個詞彙, 詞彙的編碼為1,2,…,v.
3. 由於對文本進行分詞, 編碼比較耗時。可以把編碼后的數據保存起來，作為數據集的預處理數據, 下次直接加載使用。

模型

def fit_gru():
    print("fit gru")
    model = Model([
                rnn.Embedding(64, vocab_size+1),
                wrapper.Bidirectional(rnn.GRU(64), rnn.GRU(64)),
                nn.Filter(),
                nn.Dense(64),
                nn.Dropout(0.5),
                nn.Dense(1, activation='linear')
            ])
    model.assemble()
    fit('gru', model)

        訓練報告:

這個模型和tensorflow給出的模型略有差別, 少了一個RNN層wrapper.Bidirectional(rnn.GRU(32), rnn.GRU(32)), 這個模型經過16輪的訓練達到了tensorflow模型的水平.

文本生成模型

        我自己收集了一個古由詩詞構成的小型數據集, 用來驗證文本生成模型. 代碼: examples/rnn/text_gen.py.

        數據集下載地址: https://pan.baidu.com/s/14oY_wol0d9hE_9QK45IkzQ 密碼: 5f3c

        模型定義:

def fit_gru():
    vocab_size = vocab.size()
    print("vocab size: ", vocab_size)
    model = Model([
                rnn.Embedding(256, vocab_size),
                rnn.GRU(1024, stateful=True),
                nn.Dense(1024),
                nn.Dropout(0.5),
                nn.Dense(vocab_size, activation='linear')
            ])

    model.assemble()
    fit("gru", model)

        訓練報告:

        生成七言詩:

def gen_text():
    mpath = model_path+"gru"

    model = Model.load(mpath)
    print("loadding model finished")
    outshape = (4, 7)

    print("vocab size: ", vocab.size())

    def do_gen(txt):
        #編碼
        #pdb.set_trace()
        res = vocab.encode(sentence=txt)

        m, n = outshape

        for i in range(m*n - 1):
            in_batch = np.array(res).reshape((1, -1))
            preds = model.predict(in_batch)
            #取最後一維的預測結果
            preds = preds[:, -1]
            outs = dlmath.categories_sample(preds, 1)
            res.append(outs[0,0])

        #pdb.set_trace()
        txt = ""
        for i in range(m):
            txt = txt + ''.join(vocab.decode(res[i*n:(i+1)*n])) + "\n"

        return txt


    starts = ['雲', '故', '畫', '花']
    for txt in starts:
        model.reset()
        res = do_gen(txt)
        print(res)

        生成的文本:

雲填纜首月悠覺
纜濯醉二隱隱白
湖杖雨遮雙雨鄉
焉秣都滄楓寓功

故民民時都人把
陳雨積存手菜破
好纜簾二龍藕卻
趣晚城矣中村桐

畫和春覺上蓋騎
滿楚事勝便京兵
肯霆唇恨朔上楊
志月隨肯八焜著

花夜維他客陳月
客到夜狗和悲布
關欲摻似瓦闊靈
山商過牆灘幽惘

        是不是很像李商隱的風格？

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※帶您來了解什麼是 USB CONNECTOR  ?

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!

※綠能、環保無空污,成為電動車最新代名詞，目前市場使用率逐漸普及化

※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益

※教你寫出一流的銷售文案?

具體的策略，用我的概來概括就是“非常6+1”，六個策略+一個特別關注的事情，具體分為品牌策略、車型策略、網絡策略、區域策略、經銷商盈利策略，一個就是跟經銷店溝通支持，提供快速解決。通過非常6+1的落實，Q1結果出來，銷售了16萬，加上關閉了的4款車型，去年同比增長11%，應該說順利實現開門紅。

如果你要問我一汽豐田近期最受關注的一款車是什麼，我絕對會毫不猶豫告訴你——奕澤，作為一汽豐田旗下首款小型SUV，奕澤憑藉設計犀利的造型、雙色的車身等諸多亮點吸引了不少人的關注，而這一次北京車展上奕澤也正式亮相，雖然並沒有上市，但是距離奕澤馳騁在中國大街小巷那一天已經比較近了，而這一次北京車展我們有幸採訪到一汽豐田汽車銷售有限公司的田青久先生以及一汽豐田銷售常務副總經理水谷雅史先生，一起看看他們能夠給我們分享哪些關於奕澤以及一汽豐田的秘密吧！

主題：一汽豐田專訪

時間：2018年4月25日下午2：30

地點：中國國際會展中心E1

受訪人：一汽豐田汽車銷售有限公司 田青久先生

一汽豐田銷售常務副總經理水谷雅史先生

一汽豐田銷售常務副總經理水谷雅史先生

提問：一汽豐田的各位領導好，我想請問一下炫酷的奕澤6月份上市，有哪些亮點抓住用戶呢？

田青久：他的亮點很多：首先，在基礎的駕駛性能上，無論是駕趣、拐彎、剎車技術性，均達到世界領先的水平。前期在珠海，我們經銷商進行的對比試駕活動，我也參与了試駕，確實有着改朝換代的感覺，跟其他的SUV完全不同，我們將儘快的安排在座的媒體老師體驗這款車。

說起來亮點幾大方面：第一，奕動美學的設計，顏值即正義，顏值用太多的話無法說清楚，只有大家真正感受，用我的話就是一見傾心，心動不已；二見鍾情，買它回家。中看不中用也不行，是吧？首先，鑽石動力組合，搭載了Dynamic Force Engine 2.0L “噴汽流控發動機”加上10速變動器。為什麼是鑽石動力組合，它的性能達到了非常高的水平，126千瓦，熱效率達到世界領先40%。這是從中用的角度來說。中看中用之後，安全不安全呢？在安全配置上從起步車型開始，全系搭載了豐田智行安全系統（TSS系統）和10氣囊，媒體老師都很了解，這種配置一般只在豪華車型上會配備。所以，概括來說就是前所未有的顏值，前所未有的駕趣，前所未有的安全。

提問：伴隨着消費升級，一汽豐田2018年會進行怎麼樣的調整，來應對中國汽車市場的變化？

水谷雅史：首先感謝您對一汽豐田的關心，感謝您的提問。接下來我來回答一下您的問題。

首先，中國市場在飛速的變化發展，這是我的認知。通過這一次的車展，我們看到新的國產車不斷出現，以及新的品牌不斷出現，新的市場在充實。同時，我們也感覺危機感。所以，我想未來的汽車市場外資品牌與純國資品牌的競爭會日趨激烈，這是毋庸置疑的。所以，在這樣的競爭環境下，各大企業必須要提升自己商品的魅力與實力才可以。

為此，從今年開始我們開始導入了TNGA豐巢概念下的新車型。昨天大家看到奕澤IZOA這款車型，在外觀、環境貢獻能力、安全都有進化和提升，商品大幅進化，就是激烈的市場，帶給我們的價值。

第二，我們經銷店給我們客戶提供什麼樣的服務，在未來是越來越重要的。未來，我們將吸取海外的服務經驗，將它們引進國內，給客戶提供更好的服務。謝謝您的問題。

提問：我想問田總一個問題，大家都關注奕澤的問題，我想問一下銷量的問題，2018年銷量目標定位69.5萬台，目標設定是基於什麼樣的考慮，今年將採取什麼樣的措施來確保目標的完成？

田青久：我們考慮了幾個因素：

第一，外部環境。媒體老師都知道，中國車市進入穩定低速增長狀態，前些年動輒二位數高速增長時代一去不復返。

第二，內部因素。一汽豐田正處於發展調整期，今年有四款車型退市，奕澤下半年才上市量銷，有拉伸的過程。今年的增量，需要我們通過現有車型營銷努力，提高營銷質量來解決。

那麼我們在制訂目標的時候，不局限於這個目標，而是要挑戰71，乃至於更高，具體涉及到打法、策略的問題。總體策略是12個字：“增量為本，節奏為先，結構為王”，找增量出口，這是本源。節奏上半年贏，全年贏，把車型銷售作為調整，有明星車型。具體的策略，用我的概來概括就是“非常6+1”，六個策略+一個特別關注的事情，具體分為品牌策略、車型策略、網絡策略、區域策略、經銷商盈利策略，一個就是跟經銷店溝通支持，提供快速解決。通過非常6+1的落實，Q1結果出來，銷售了16萬，加上關閉了的4款車型，去年同比增長11%，應該說順利實現開門紅。我相信後幾個季度堅定執行策略，很好的超額完成，在69.5萬基礎上的目標。

提問：我想問水谷雅史先生一個問題，上午一汽豐田中國發布會公布了卡羅拉雙擎E+的上市會，你能否介紹一下這款車以及戰略意義？

水谷雅史：感謝您的提問。今天上午剛剛公布了卡羅拉雙擎E+這款車型，我認為這款車型的戰略意義，未來面向新能源需求的1號車，具體會在2019年正式進行導入。

我認為這款卡羅拉車型，是目前為止豐田在全球銷售的混合動力的進化版、升級版。大家可能都知道，豐田電動化車型在全世界銷售了100多個國家，銷售量達到1100萬台以上。那麼這一次，在原有車型基礎上，進一步技術能力出現了插電式混合動力卡羅拉雙擎E+的這款車型。這款車型未來面對中國能源政策，是一款毫無問題的車型，而且在充電續航能力上，即使沒有油電支持下，只有純電動的情況下，也可以行駛相當長距離。同時大家也知道，卡羅拉這款車型長期受到全球歡迎，結合上新能源技術，強強聯合出來的車型。

我們會好好準備，把這樣的好產品奉獻給中國市場。這裏我再做一個預告，2020年作為新能源政策的對應第二號車型，是EV車型。再跟大家預告一下，這款車型將成為一汽豐田在全球導入第一款奕澤的EV車型，中國是先於全世界的任何一個國家。

提問：移動互聯網增長迅猛，應對新時代變革方面，一汽豐田在数字營銷、粉絲營銷方面，有沒有什麼創新的想法？

田青久：這個問題我來回答，一汽豐田董事長特別提倡營銷創新，有一句話創新到不能再創新。那麼一汽豐田的創新突破點在哪？最後選在数字體驗營銷方面。為什麼選擇這個端口呢？根據統計目前汽車市場消費者75%是80、90后，而這部分客戶從小接觸互聯網，是互聯網的原住民。在中國消費市場上，移動互聯網應用越來越廣泛，所以我們把創新的突破點鎖定在這個窗口上。

具體正在嘗試做兩方面的工作，一是我們開發了数字聯合運營平台，流量聚合，全過程進行可視化管理，支持渠道（經銷商）DCC業務，提高信息量。第二方面打造粉絲營銷矩陣，600萬保有客戶、620家經銷家、3000零件供應商的現有龐大基盤、加上以在座各位為代表的四五百家友好的媒體、廣大的員工，這五個維度加在一起，有好內容產生的話，在粉絲營銷矩陣上一次觸達接近2000萬人群，二次裂變就可以覆蓋上億的人群。

當今時代人人都是自媒體，就是媒體平台，傳播效率不言而喻。同時建立粉絲社群，通過跟粉絲互動，及時了解粉絲需求的效果，進而通過蓄水和放水的功能，實現銷售的轉化。假設按照0.5%轉化率來算，我們有200萬的粉絲，就是有一萬台增量。所以，在這方面积極探索。目前來看是效果是非常好的。今後大家有好主意，歡迎积極跟我說一下，吸收大家的智慧，我們一起來做嘗試。

提問：我想問田總一個問題，去年600萬達成，一汽豐田推出“安享管家”計劃。能否從客戶利好的角度，給我們介紹具體的內容？

田青久：營銷2.0時代汽車銷售與服務之外，確實各個品牌都在研究汽車延伸價值鏈的計劃。我們“安享計劃”，是把客戶在購車、用車過程當中的痛點都覆蓋到，具體安享計劃有八個方面，包括安心二手車、純牌零件、純正精品、安心租車、AAA延保、AAA保險、貼心金融等。只要用戶購車、用車的過程當中有困難，我們都有相應的產品服務來對應到他們。

謝謝。本站聲明:網站內容來源於http://www.auto6s.com/,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

※帶您來了解什麼是 USB CONNECTOR  ?

※自行創業缺乏曝光? 網頁設計幫您第一時間規劃公司的形象門面

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!

※綠能、環保無空污,成為電動車最新代名詞，目前市場使用率逐漸普及化

※廣告預算用在刀口上，台北網頁設計公司幫您達到更多曝光效益

※教你寫出一流的銷售文案?