文章詳情頁
java - hadoop數據查找
瀏覽：140日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個string對應的那一行，每條數據都不重復，請問怎么可以快速的找到呢？我寫了簡單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結果慢的要死，一直動不都不懂，請問有快點的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個寫MR吧，如果你想省事就把數據導入到hive中，用sql 來解決
標簽：
java
相關文章：
1. 數組按鍵值封裝！2. docker不顯示端口映射呢？3. java - 阿里的開發手冊中為什么禁用map來作為查詢的接受類?4. Docker for Mac 創建的dnsmasq容器連不上/不工作的問題5. python - flask _sqlalchemy 能否用中文作為索引條件6. python3.x - git bash如何運行.bat文件？7. javascript - ES6規范下 repeat 函數報錯 Invalid count value8. 主題切換問題，用過別人的webapp在后臺切換模板主題后手機端打開網頁就是切換到的主題了9. clone - git sourceTree克隆倉庫時,都不停彈出Password Required彈窗,即時輸入正確的git賬號密碼還是彈出10. html5 - 使用echarts中的圖表 一個頁面導入了好幾個js圖表 實現echarts圖表隨著瀏覽器窗口變化而變化時出現了問題
排行榜
網公網安備