ITeye博客

SunShineBoy

mr_lonely_hp · 共 46 篇文章

Hadoop Map/Reduce教程

这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。 先决条件 请先确认Hadoop被正确安装、配置和正常运行中。更多信息见: Hadoop快速入门对初次使用者。 Hadoop集群搭建对大规模分布式集群。 概述 Hadoop Map/Reduce是一个使用简易的 软件 框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce 作业(job) 通常会把输入的数据集切分为若干独立的数据块,由 map任务(task)以完全并行的方式处理它们。框架会对map的输出先进行排序,…

2011-09-30 16:26 · 关于Hadoop · 评论(0)

linux下更换java版本

linux安装的时候如果选择了java开发的话会默认安装当前linux内置的gil java版本 新点的linux安装的java版本大多为1.4 有更老的系统自带的java版本为1.3根本不能满足我们程序开发的需要 进入终端查看当前java版本 [root@localhost sbin]# java -version java version "1.6.0_11" Java(TM) SE Runtime Environment (build 1.6.0_11-b03) Java HotSpot(TM) Client VM (build 11.0-b16, mixed mode, sharin…

2011-09-13 18:43 · Linux部署应用 · 评论(0)

ictclas4j for lucene analyzer,

版权信息 : 可以任意转载, 转载时请务必以超链接形式标明文章 原文出处 , 即下面的声明. 原文出处: http://blog.chenlb.com/2009/01/ictclas4j-for-lucene-analyzer.html 在 lucene 的中文分词域里,有好几个分词选择,有:je、paoding、IK。最近想把 ictclas 拿来做 lucene 的中文分词。网上看了下资料,觉得 ictclas4j 是比较好的选择,作者博客相关文章: http://blog.csdn.net/sinboy/category/207165.aspx 。ictclas4j 目前是0.9.1版…

2011-08-29 17:26 · 关于分词 · 评论(0)

一些常用的开源分词工具

SCWS : Author: Hightman 算法: 基于词频词典的机械中文分词引擎,采用的是采集的词频词典,并辅以一定的专有名称,人名,地名,数字年代等规则识别来达到基本分词 准确率:经小范围测试大概准确率在 90% ~ 95% 之间,已能基本满足一些小型搜索引擎、关键字提取等场合运用。 性能:45Kb 左右的文本切词时间是 0.026 秒,大概是 1.5MB 文本 / 秒, 语言和平台: SCWS 采用纯 C 代码开发,以 Unix-Like OS 为主要平台环境,提供共享函数库,方便植入各种现有软件系统。此外它支持 GBK , UTF-8 , BIG5 等汉字编码。支持 PHP4 和…

2011-08-26 12:23 · 关于搜索 · 评论(0)

Linux常用命令

1 文件管理 # ls ls -a 列出当前目录下的所有文件,包括以.头的隐含文件 文件管理 # ls ls -l或ll 列出当前目录下文件的详细信息 文件管理 # pwd pwd 查看当前所在目录的绝对路经 文件管理 # cd cd .. 回当前目录的上一级目录 文件管理 # cd cd - 回上一次所在的目录 文件管理 # cd cd ~ 或 cd 回当前用户的宿主目录 文件管理 # cd cd ~用户名 回指定用户的宿主目录 2 文件管理 # mkdir mkdir 目录名 创建一个目录 文件管理 # mkdir mkdir –p 递归式去创建一些嵌套目录 文件管理 # rmdir R…

2011-08-24 19:10 · Linux系统 · 评论(0)

linux下SSH两机器无需登录可访问

如何做到两台Linux机器之间不使用密码即可通过SSH远程登录。 有两台linux机器A(192.168.0.195),B(192.168.1.210),想通过A机器ssh的方式登录到B机器,且不必输入密码。 原理很简单,rsa公私钥机制,创建一对密钥(包含公钥和私钥),将公钥放入远程需要登录到的那个机器B上,自己保留私钥。通过A登录远程机器B时,对方验证方法为:使用公钥加密数据,谁能够解密这段数据则证明谁手里有私钥,即谁有权限登录。 下面的例子假设:A和B都是通过root用户进行登录,其实通过其他用户登录方法相同。 方法如下: 1. 在A机器上的/root/.ssh下执行 :ssh-key…

2011-06-14 17:16 · Linux系统 · 评论(0)

在linux/unix下如何去掉windows下的换行符

windows编写的文本文件,在linux下发现每行的后面都多了字符“^M”. 导致有的脚本无法直接执行,如perl脚本,可能就必须要用 perl **.pl的形式来执行脚本了, 即使你在第一行指定了 #! /usr/bin/perl 也不好使。 原因就是这个换行格式造成。 简单的解决办法是: 输入命令:sed 's/^M//' filename.pl>newfilename.pl 注意:这个^M不是按shift+6再加字母M产生的,而是要直接拷贝过来,或者按ctrl+v再回车产生,或者ctrl+v再ctrl+m产生的。是一个单独的字符。 然后再mv newfilename.pl filen…

2011-06-10 11:20 · Linux系统 · 评论(0)

Red Hat Enterprise Linux AS release 4 安装YUM

系统版本: Linux localhost.localdomain 2.6.9-55.ELsmp #1 SMP Fri Apr 20 17:03:35 EDT 2007 i686 i686 i386 GNU/Linux cat /etc/redhat-release Red Hat Enterprise Linux AS release 4 (Nahant Update 5) 一、 1.下载软件包: http://yum.baseurl.org/download/2.0/yum-2.0.8-1.src.rpm 2.安装(由于是RPM源码包所以安装比较特殊) #rpmbuild --rebui…

2011-05-31 17:42 · Linux系统 · 评论(0)

Linux下MySql的安装和使用

一、引言 想使用Linux已经很长时间了,由于没有硬性任务一直也没有系统学习,近日由于工作需要必须使用Linux下的MySQL。本以为有Windows下使用SQL Server的经验,觉得在Linux下安装MySql应该是易如反掌的事,可在真正安装和使用MySQL时走了很多弯路,遇见很多问题,毕竟Linux和Windows本身就有很大区别。为了让和我一样的初学者在学习的过程中少走弯路,尽快入门,写了此文,希望对您有所帮助。本文的Linux环境是Red Hat 9.0,MySQL是4.0.16。 二、安装Mysql 1、下载MySQL的安装文件 安装MySQL需要下面两个文件: MySQL-s…

2011-05-27 18:19 · 关于数据库 · 评论(0)

LINUX如何启动/停止/重启MySQL/卸载/安装

LINUX如何启动/停止/重启MySQL 发启动、停止、重启 MySQL 是每个拥有独立主机的站长必须要撑握的操作,下面作简单介绍: 一、启动方式 1、使用 service 启动:service mysqld start 2、使用 mysqld 脚本启动:/etc/init.d/mysqld start 3、使用 safe_mysqld 启动:safe_mysqld& 二、停止 1、使用 service 启动:service mysqld stop 2、使用 mysqld 脚本启动:/etc/inint.d/mysqld stop 3、mysqladmin shutdown 三、重启 1、使…

2011-05-27 17:45 · 关于数据库 · 评论(0)

MySql导入和备份

在DOS的 MYSQL安装目录/BIN 目录下用下面命令: mysql -c --default-character-set=utf8 -u username -p databasename -h IPAddress < XXX.sql 其中username 为mysql用户名,一般为root; databasename为你要导入数据的目标数据库名字; XXX.sql为你现在的sql文件 存放的目录;如c:/aaa/ttt.sql 小一点的数据可以直接用工具导入,但超过几M后用这个办法就不行了。 1.首先在命令行控制台中打开mysql 或许命令的如下: mysql -u root -p da…

2011-05-27 17:38 · 关于数据库 · 评论(0)

linux下查看mysql、apache是否安装,并卸载

1,mysql 的守护进程是mysqld 如果已经安装则: service mysqld start 启动 MySQL: 如果没有安装则: service mysqld start mysqld:未被识别的服务 你可以看看你的服务是否已经添加到linux上 chkconfig --list mysqld mysqld 0:关闭 1:关闭 2:关闭 3:关闭 4:关闭 5:启用 6:关闭 没有安装则: chkconfig --list mysqld 在mysqld服务中读取信息时出错,没有那个文件或目录 一旦你启动了服务,可以这样检查服务器是否在运行 ps -el | grep mysqld …

2011-05-27 15:58 · 关于数据库 · 评论(0)

Linux下Memcached安装

Linux下Memcache服务器端的安装 服务器端主要是安装memcache服务器端,目前的最新版本是 memcached-1.3.0 。 下载:http://www.danga.com/memcached/dist/memcached-1.2.2.tar.gz 另外,Memcache用到了libevent这个库用于Socket的处理,所以还需要安装libevent,libevent的最新版本是libevent-1.3。(如果你的系统已经安装了libevent,可以不用安装) 官网:http://www.monkey.org/~provos/libevent/ 下载:http://www.…

2011-05-25 17:44 · Linux部署应用 · 评论(0)

linux下Tomcat应用部署

一.所需软件 软件:jdk6.bin、apache-tomcat-6.0.18.tar 程序包:customer.war,customerService.war,FrontProject.war,expressBackUser.war, expressAccount,expressPlatform.war,OrderDispose.war,OrderDisposeTest.war 二.安装jdk 1).移动jdk到安装目录; 2).赋予执行权限:chmod u+x jdk6.bin 3).执行命令:./jdk6.bin 4).用mv命令把jdk1.6.0_01给它改个名字叫jdk1.6 5)…

2011-05-25 17:38 · Linux部署应用 · 评论(0)

Linux下VI命令

linux下Vi编辑器命令大全 /根目录下的文件夹 输入”/”,回车 里面有很多文件夹,如:etc,home,lib,mnt等等 etc:存放用户名和密码 home:每个用户有个文件夹,存放在这里 lib:操作系统文件等 mnt:挂扣用的 opt:java工具 bea:web编程的一些东西 sbin,bin,usr:这三个文件夹都是存放unix的命令的 tmp:临时文件夹 常用的操作: 查看当前目录:pwd 修改密码:passwd 更换模式:csh,bash 远程登陆:telnet 服务器ip 回到上级目录:cd .. 查看该目录下的文件夹:ls 打开文件:vi /文件夹/文件 文件显示的格…

2011-05-25 10:12 · Linux系统 · 评论(0)