av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

redis - 如何給輕量python程序、腳本制作緩存?

瀏覽:101日期:2022-06-30 14:23:37

問題描述

運維菜鳥,最近在做公司日志進行簡單處理之后,按一定數量加入一個list,然后使用ES的接口將數據批量添加到另外一臺ElasticSearch上,再通過一些方式進行展示。這里遇到一個問題,如果數據插入時,發生異常。比如要插入的es主機崩潰等,但是數據源沒有問題。這樣就應該把已經處理完的數據移到緩存中,然后停止程序。(數據源是kafka,即便停止了程序,重新啟動后仍可以消費之前沒有消費的)那么想問一下,對于比較輕量的python程序或者腳本,應該使用怎樣的方式存儲這些異常狀況發生時要先存儲下來的數據呢?

問題解答

回答1:

可以在es異常時, py腳本捕獲到異常后, 使用cPickle或者pickle 將處理好的數據序列化后保存到一個文件上(你可以理解成寫入一個文件, 不同在于cPickle和pickle能夠將字典或者列表這樣的對象直接寫入文件), 然后等你es恢復了, 重新啟動該py腳本, 那么該腳本優先去檢測是否存在這個臨時文件, 如果有, 并非空, 則把里面的數據取出, 寫入es

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 国产成人99久久亚洲综合精品 | 日韩手机看片 | 三级在线观看视频 | 国产尤物视频 | 国产一区精品在线观看 | 久久久久久久久久久久久久 | 国产三级在线看 | 黄色免费观看网站 | 亚洲精品日韩精品 | 女教师合集乱500篇小说 | 99热 | 天天干天天干 | 国产一区二区中文字幕 | 精品亚洲一区二区三区 | 综合久久久 | 久久人人爽人人爽人人片 | 99一区二区 | 国产午夜影院 | 超碰精品在线 | 黄色一级网站 | 日韩a视频| 一区视频| 成人91看片| 99在线视频免费观看 | 黄色三级网 | 欧美精品一级片 | 国产精品免费在线播放 | 亚洲一区二区精品视频 | 日韩中文字幕视频 | 久操久操| 国产区一区 | 好色影院| 亚洲一区视频 | 日韩精品在线一区二区 | 视频在线一区二区 | 91狠狠综合 | 欧美日韩毛片 | 日韩欧美一区二区三区四区 | 黄色在线免费网站 | 国产欧美日韩综合 | 官场少妇尤物雪白高耸 |