一键导入csv到数据库

痛点直击作为程序员,工作中碰到最多的就是日志,日志格式多数为csv。而最常见的需求就是将日志聚合,筛选得出想要的结果。当然awk是最强大的工具,比如zcat *.gz | awk -F '1' '{h=strftime("%Y-%m-%d %H",$26);if($1=="unity"){a[h]++}}END{for( b in a) print b":"a[b]}'寻求其他方案sql是我能想到

- 阅读全文 -

Casperjs:网络爬虫的完美实现

「Casperjs」是一个基于 PhantomJs(webkit) 和 SlimerJs(Gecko) 导航脚本和测试套件,「CasperJS」简化了完整的导航场景的过程定义,提供了用于完成常见任务的实用的高级函数、方法和语法。本文章主要针对「Casperjs」在网络爬虫应用和实现。目前网络爬虫的实现主要是将网站静态资源请求到本地,利用正则匹配等技术手段,针对静态资源进行过滤和替换,获取到自己想要

- 阅读全文 -