Giới thiệu về LSTM

Bài trước tôi đã ra mắt về recurrent neural network (RNN). RNN có thể xử trí lên tiếng dạng chuỗi (sequence/ time-series). Nhỏng làm việc bài bác dự đoán thù hành động trong đoạn Clip sống bài bác trước, RNN có thể mang đọc tin của frame (ảnh) trường đoản cú state trước cho tới những state sau, rồi ngơi nghỉ state cuối là việc phối hợp của toàn bộ các hình ảnh để tham dự đoán thù hành động trong video clip.quý khách sẽ xem: Lstm là gì


*

Các gọi biểu đồ gia dụng trên: chúng ta bắt gặp kí hiệu sigma, tanh ý là bước đấy sử dụng sigma, tanh activation function. Phép nhân sinh sống đây là element-wise multiplication, phép cộng là cộng ma trận.

Bạn đang xem: Lstm là gì

f_t, i_t, o_t khớp ứng với forget gate, input gate cùng output gate.

Forget gate: displaystyle f_t = sigma(U_f*x_t + W_f*h_t-1 + b_f)Input gate: displaystyle i_t = sigma(U_i*x_t + W_i*h_t-1 + b_i) Output đầu ra gate: displaystyle o_t = sigma(U_o*x_t + W_o*h_t-1 + b_o)

Nhận xét: 0 ; b_f, b_i, b_o là những thông số bias; hệ số W, U hệt như trong bài bác RNN.

displaystyle ildec_t = anh(U_c*x_t + W_c*h_t-1 + b_c) , bước này giống hệt như tính s_t vào RNN.

displaystyle c_t = f_t * c_t-1 + i_t * ildec_t, forget gate ra quyết định coi đề nghị lấy bao nhiêu từ cell state trước cùng input đầu vào gate đang ra quyết định đem từng nào từ bỏ input của state với hidden layer của layer trước.

Xem thêm: Mã Thẻ Cào Mobifone Có Bao Nhiêu Số ? Mã Thẻ Cào Mobi Có Bao Nhiêu Số

Nhận xét: h_t, ildec_t khá như là với RNN, cần Model có short term memory. Trong lúc ấy c_t giống như một băng chuyền nghỉ ngơi bên trên quy mô RNN vậy, lên tiếng như thế nào đề nghị đặc biệt với dùng ở sau sẽ được gửi vào với dùng lúc đề xuất => hoàn toàn có thể sở hữu báo cáo từ bỏ đi xa=> long term memory. Do kia mô hình LSTM tất cả cả short term memory cùng long term memory.


*

cell state vào LSTM

LSTM kháng vanishing gradient


*

Ta cũng vận dụng thuật tân oán back propagation through time cho LSTM giống như như RNN.

Thành phần bao gồm khiến là vanishing gradient vào RNN là displaystyle fracpartial s_t+1partial s_t = (1-s_t^2) * W , trong số ấy s_t, W .

Do đó LSTM được dùng phổ biến hơn RNN cho những toán công bố dạng chuỗi. Bài sau mình đã ra mắt về áp dụng LSTM cho image captioning.

Bài viết liên quan

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *